ada lima setengah tahun antara "perhatian adalah semua yang Anda butuhkan" dan rilis chatGPT. tiga tahun lagi telah berlalu sejak itu. Saya telah menghabiskan sebagian besar hari ini mencoba merangkai kata-kata yang entah bagaimana masuk akal dari tahun-tahun ini. ketika "perhatian" turun, saya berusia 19 tahun bekerja di laboratorium ML industri yang mengerjakan penguraian dokumen. Pemodelan bahasa tidak diragukan lagi merupakan latar belakang budaya saat itu, terutama dalam perawatan kesehatan. IBM Watson baru saja membakar beberapa miliar dolar selama mimpi demam NLP besar pertama, dan gagasan bahwa bahkan beberapa juta dolar akan masuk kembali ke bidang ini tampak aneh. musim panas berikutnya makalah pra-pelatihan generatif jatuh. Saya ingat diteruskan oleh pacar teman sekamar kuliah saat itu yang menjalankan perusahaan pemrosesan dokumen di gedung rendah industri Boston. jika Anda menyipitkan mata Anda, bersama-sama mereka membentuk cukup gambaran agenda penelitian untuk mendapatkan NLP industri yang benar-benar bagus. Anda dapat membayangkan mengkurasi kumpulan data, dan bahkan mungkin menemukan cukup uang untuk merangkai beberapa GPU bersama-sama, Anda mungkin mendapatkan sesuatu yang berguna. Saya berhenti dari pekerjaan saya pada musim gugur itu untuk mengerjakan model. Pusat spiritual dari komunitas "AI agak nyata" pada titik ini adalah sekumpulan rumah kelompok Berkley yang yakin bahwa mereka telah memecahkan psikologi manusia. Masih perlu beberapa tahun lagi sebelum mereka pingsan dalam skandal pemanggilan iblis dan dua tahun lagi dari titik itu sampai undang-undang penskalaan menjadi jelas. dan masih jauh lebih lama sampai chatGPT. Kesenjangan itulah yang menghantui saya. Lima setengah tahun adalah keabadian, tetapi kita membicarakannya sekarang seperti garis lurus. Itu tidak. Itu adalah jalan pengembaraan dengan sejumlah besar modal dibakar, perusahaan dihancurkan, dan lusinan jalan buntu. Sekarang semua orang berasumsi fase penyebaran akan instan. bahwa karena kita memiliki kecerdasan, ekonomi hanya akan membentuk kembali dirinya sendiri secara cair di sekitarnya. Tapi saya melihat sistem yang kami coba suntikkan hal-hal ini ke dalamnya – proses daging dan darah manusia – rasanya mustahil untuk tidak merasakan pelebaran waktu yang sama. Membuat model bekerja adalah masalah teknologi. membuat dunia bekerja dengannya sama sekali tidak. Jalan menuju difusi ekonomi aktual akan jauh lebih panjang daripada yang diizinkan oleh pasar modal. Kecuali kali ini bukan IBM yang membakar beberapa miliar. itu semua orang. setiap mega cap. setiap startup. triliunan kapitalisasi pasar bertaruh pada garis waktu penerapan yang mengasumsikan organisasi manusia berperilaku seperti produk teknologi. ...