Saya memoderasi diskusi antara Dwarkesh, Dr. Burry, dan John Clark (dari Anthropic) tentang ketidaksepakatan di antara sekumpulan orang yang lebih terinformasi tentang AI, termasuk dampak masa depan pada pekerjaan, apakah itu gelembung, dll. Terima kasih kepada Substack karena telah mewujudkannya.

Satu sub-ketidaksepakatan adalah sejauh mana LLM, yang menurut kerumunan ini dapat melakukan hal-hal yang berharga secara komersial, runcing dan rawan kesalahan dengan cara yang sulit diprediksi. Ya! Begitu juga manusia. Dan kebetulan kami memiliki bug yang berbeda.

Sebuah poin yang disorot oleh Jack dan yang merupakan salah satu kesenjangan pemahaman terbesar antara orang-orang yang mendapat informasi yang baik dan mereka yang perlu mendapat informasi yang baik: kemampuan saat ini adalah lantai daripada langit-langit. Setiap sistem masa depan dapat memilih atau membuangnya.

Jack secara singkat menceritakan bagaimana LLM adalah terobosan tajam dari gagasan populer sebelumnya bahwa kita akan mengembangkan kecerdasan dengan membangun seratus ribu tempat tidur uji, memiliki solusi poin belajar bagaimana menang tipis, lalu ??? generalisasi menyiratkan kecerdasan.

Sebagai gantinya, kami telah membangun alat umum yang *mencolok* tentang apa yang diputar ke satu lingkungan ("letakkan di ruangan dengan setiap dokumen tertulis") dan kemudian hal yang tersandung kebetulan sangat berhasil ketika Anda melemparkannya pada tugas baru. Beberapa tahun ke depan mungkin melibatkan pembuatan testbed.

Seperti yang saya amati: kami biasa melatih AI untuk bermain StarCraft. Semua upaya di masa depan untuk melakukan ini dapat mengasumsikan sistem telah membaca Seni Perang dalam bahasa Cina asli, kecuali arsitek percaya bahwa pengetahuan akan membuat Anda lebih buruk dalam menghentikan terburu-buru zergling.

* Jack Clark, bukan John Clark. Maaf, tumbuh dengan membaca Tom Clancy. Suatu hari nanti mereka akan dapat melihat pratinjau tweet saya, dan saya akan bersukacita betapa berkurangnya telur di wajah yang terjadi saat membuat draft di ponsel.