Catatan kaki yang menarik dalam perang AI adalah bagaimana The Bitter Lesson berlaku untuk modal manusia yang mengerjakan AI. Di satu sisi adalah perekrutan (Google, Microsoft, Meta) dan jenis perekrutan (PhD, ahli manusia) yang dilakukan saat ini vs sisi lain pendekatan xAI (pendekatan komputer dan sintetis). Bayar satu orang $1 miliar ATAU beli $1 miliar lebih banyak komputasi.

.@JonathanRoss321 (penemu dan bapak TPU) dan saya membuat taruhan ini pada tahun 2017. @GroqInc sekarang menjadi solusi inferensi tercepat di pasar saat ini. Berikut adalah beberapa pelajaran yang dipetik sejauh ini: - jika kita berasumsi kita sampai ke Super Intelligence dan kemudian General Intelligence, seluruh game akan menyatu ke Inference. Arsitektur desain untuk Inferensi sangat berbeda dengan untuk Pelatihan. Pertimbangan memori dan kekuatan yang sama sekali berbeda. Kecepatan adalah yang terpenting. - Mulailah pada simpul proses yang terbukti, murah, dan sangat tersedia dan tetap pada kurva itu. Menumpuk kompleksitas (yaitu 2nm) dan masalah hasil ke dalam chip Inferensi akan menghasilkan biaya per token keluaran yang tidak masuk akal secara komersial. - Ini semua tentang ketersediaan dan keragaman model. Jika chip Anda pada dasarnya adalah ASIC untuk satu model, Anda perlu menggunakannya dalam skala besar secara internal (yaitu Google dan TPU) atau Anda perlu memberi insentif kepada perusahaan aplikasi untuk membangunnya (yaitu Amazon dengan Anthropic dan Inferentia). Bagaimanapun, saya penggemar berat arahnya, tetapi Meta perlu menghindari beberapa lubang dalam strategi eksekusi. Saya berharap mereka baik-baik saja - lebih banyak solusi lebih baik imo.

Atau siapa pun yang membuat Dojo... oh tunggu!

Konsekuensi penting untuk ini bagi mereka yang menginginkan kepentingan online: Pengaruh dan popularitas adalah latihan nilai mutlak. Perhatian negatif atau positif tidak masalah. Yang penting adalah bahwa populasi berbicara tentang Anda dan bukan orang lain. Ketika Anda mengukur pertumbuhan pelanggan/pengikut Anda dengan cara ini, Anda akan melihat ini bersembunyi di depan mata.

Coinbase mengirimi saya salah satu kartu Satoshi Nakamoto Coinbase One peringatan langka mereka (1 dari 21). Bersemangat untuk mendapatkan saya sendiri di musim gugur yang datang dengan 4% kembali melalui Bitcoin. Hidup BTC! Terima kasih @coinbase @brian_armstrong @immuneeb

"Butuh waktu bertahun-tahun untuk memuntahkan semua kotoran yang telah diajarkan kepada saya tentang diri saya sendiri, dan setengah percaya, sebelum saya bisa berjalan di bumi seolah-olah saya memiliki hak untuk berada di sini." ― James Baldwin

Dengan semua kemajuan yang dibuat dalam kualitas model pada "silikon generik" oleh pembuat model dasar, inilah saatnya untuk mengubah model itu sendiri ke tugas merancang silikon khusus mereka sendiri per kasus penggunaan. Ini terjadi pada tingkat kecil saat ini tetapi kendala pasokan harus memaksa lebih banyak pembuat model untuk menyadari kebutuhan untuk merancang silikon khusus. Namun, beberapa kendala penting untuk tantangan desain ini. Yang paling penting adalah mempertahankan desain yang berguna pada node proses yang tidak mutakhir sehingga Anda tidak menciptakan kendala pasokan atau masalah hasil dan tidak berjuang melawan fisika di tingkat elektron. Yang kedua adalah bagaimana Anda merancang penggunaan memori - cache v HBM per kasus penggunaan adalah paradoks yang jelas. Pendinginan adalah hal lain. Saya telah bekerja dengan seorang insinyur hebat yang merancang pompa panas dingin CO2. Jika berhasil, rak, sistem, dan chip harus merenungkannya dan bekerja untuk memanfaatkan dinamika pendinginan yang berbeda ini karena menghasilkan lebih sedikit kendala. Dll dll dll. Bagaimanapun, jelas bagi saya bahwa dalam lima tahun, kita akan melihat ke belakang dan keragaman silikon akan meledak. Saya berharap untuk melihat banyak pengumuman tentang chip baru yang dimulai dengan pra-pelatihan dan kemudian berdarah ke kesimpulan.

🤔 Setidaknya, pasti ada beberapa "AI memiliki" dan "AI tidak memiliki" di antara 10 teratas.

Mereka mengatakan Anda harus bermain bola basket untuk menembus batas gaji. Lebih seperti mendapatkan gelar PhD...

Apa yang saya baca minggu ini... Pekan ini, Presiden Trump menandatangani perintah eksekutif yang membuat Jadwal G, klasifikasi baru dalam pemerintah federal untuk penunjukan politik tertentu. Ini membahas kesenjangan lama dalam cara pemerintah mengelola posisi pembuatan kebijakan yang diharapkan akan berubah dengan setiap pemerintahan. Di masa lalu, peran ini sering jatuh ke area abu-abu. Beberapa dipegang oleh pegawai negeri sipil karir yang tetap di tempat di berbagai kepresidenan, sementara yang lain secara longgar diklasifikasikan dalam kategori yang ditujukan untuk staf rahasia daripada pembuat keputusan kebijakan. Hal ini menyulitkan administrasi yang akan datang untuk membuat perubahan kepegawaian, bahkan dalam posisi sentral untuk membentuk dan melaksanakan kebijakan. Selain itu, perlindungan pegawai negeri sipil untuk pegawai negeri sipil karir dan personel terkait kebijakan lainnya membuat pemindahan terlalu lambat dan rumit, seringkali membuat manajer tidak dapat meminta pertanggungjawaban staf yang berkinerja buruk. Jadwal G dirancang untuk menyediakan satu komponen struktur yang diperlukan untuk memotong kelembaman birokrasi di lembaga federal, sementara juga memberi presiden masa depan lebih banyak kelonggaran untuk membawa tim kebijakan yang selaras dengan agenda mereka, yang pada akhirnya memastikan bahwa lembaga menanggapi kepemimpinan terpilih.