Dario Amodei mengatakan di WEF bahwa dia akan menerbitkan sekuel Machines of Loving Grace. Ini akan dirilis hari ini, dan Axios diberi tampilan awal oleh Anthropic. Ini berjudul 'Masa Remaja Teknologi: Menghadapi dan Mengatasi Risiko Al yang Kuat.'

Beberapa kutipan: Saya percaya kita memasuki ritus peralihan, baik yang bergejolak maupun tak terelakkan, yang akan menguji siapa kita sebagai spesies. Kemanusiaan akan diberikan kekuasaan yang hampir tak terbayangkan, dan sangat tidak jelas apakah sistem sosial, politik, dan teknologi kita memiliki kedewasaan untuk menggunakannya."

"Kami sekarang berada pada titik di mana model AI mulai membuat kemajuan dalam memecahkan masalah matematika yang belum terpecahkan, dan cukup baik dalam pengkodean sehingga beberapa insinyur terkuat yang pernah saya temui sekarang menyerahkan hampir semua pengkodean mereka ke AI. Tiga tahun lalu, AI berjuang dengan masalah aritmatika sekolah dasar dan hampir tidak mampu menulis satu baris kode pun. Tingkat peningkatan serupa terjadi di seluruh ilmu biologi, keuangan, fisika, dan berbagai tugas agen. Jika eksponensial berlanjut—yang tidak pasti, tetapi sekarang memiliki rekam jejak selama satu dekade yang mendukungnya—maka tidak mungkin lebih dari beberapa tahun sebelum AI lebih baik daripada manusia pada dasarnya dalam segala hal. Faktanya, gambaran itu mungkin meremehkan kemungkinan tingkat kemajuan. Karena AI sekarang menulis banyak kode di Anthropic, itu sudah secara substansial mempercepat laju kemajuan kita dalam membangun sistem AI generasi berikutnya. Lingkaran umpan balik ini mengumpulkan tenaga dari bulan ke bulan, dan mungkin hanya 1-2 tahun lagi dari titik di mana generasi AI saat ini secara mandiri membangun yang berikutnya. Lingkaran ini telah dimulai, dan akan meningkat pesat dalam beberapa bulan dan tahun mendatang. Menyaksikan kemajuan 5 tahun terakhir dari dalam Anthropic, dan melihat bagaimana bahkan beberapa bulan ke depan model terbentuk, saya dapat merasakan laju kemajuan, dan waktu berdetak."

"Agak canggung untuk mengatakan ini sebagai CEO perusahaan AI, tetapi saya pikir tingkat risiko berikutnya sebenarnya adalah perusahaan AI itu sendiri. Perusahaan AI mengontrol pusat data besar, melatih model perbatasan, memiliki keahlian terbesar tentang cara menggunakan model tersebut, dan dalam beberapa kasus memiliki kontak harian dengan dan kemungkinan pengaruh atas puluhan atau ratusan juta pengguna. Hal utama yang tidak mereka miliki adalah legitimasi dan infrastruktur suatu negara, sehingga banyak dari apa yang diperlukan untuk membangun alat otokrasi AI akan ilegal untuk dilakukan oleh perusahaan AI, atau setidaknya sangat mencurigakan. Tetapi beberapa di antaranya bukan tidak mungkin: mereka dapat, misalnya, menggunakan produk AI mereka untuk mencuci otak basis pengguna konsumen mereka yang besar, dan publik harus waspada terhadap risiko yang diwakilinya. Saya pikir tata kelola perusahaan AI layak mendapat banyak pengawasan."

"Seperti yang disarankan oleh frasa "negara jenius di pusat data," AI akan mampu memiliki kemampuan kognitif manusia yang sangat luas—mungkin semuanya. Ini sangat berbeda dari teknologi sebelumnya seperti pertanian mekanis, transportasi, atau bahkan komputer. Ini akan mempersulit orang untuk beralih dengan mudah dari pekerjaan yang dipindahkan ke pekerjaan serupa yang cocok untuk mereka. Misalnya, kemampuan intelektual umum yang diperlukan untuk pekerjaan tingkat pemula di, katakanlah, keuangan, konsultasi, dan hukum cukup mirip, bahkan jika pengetahuan spesifiknya sangat berbeda. Teknologi yang hanya mengganggu satu dari ketiganya akan memungkinkan karyawan untuk beralih ke dua pengganti dekat lainnya (atau bagi mahasiswa untuk beralih jurusan). Tetapi mengganggu ketiganya sekaligus (bersama dengan banyak pekerjaan serupa lainnya) mungkin lebih sulit bagi orang untuk beradaptasi. Selain itu, bukan hanya sebagian besar pekerjaan yang ada akan terganggu. Bagian itu telah terjadi sebelumnya—ingat bahwa pertanian adalah persentase besar dari pekerjaan. Tetapi petani dapat beralih ke pekerjaan yang relatif mirip dalam mengoperasikan mesin pabrik, meskipun pekerjaan itu tidak umum sebelumnya. Sebaliknya, AI semakin cocok dengan profil kognitif umum manusia, yang berarti ia juga akan bagus dalam pekerjaan baru yang biasanya diciptakan sebagai respons terhadap yang lama yang diotomatisasi. Cara lain untuk mengatakannya adalah bahwa AI bukanlah pengganti pekerjaan manusia tertentu, melainkan pengganti tenaga kerja umum untuk manusia."

"Misalnya, dalam pengkodean model kami telah beralih dari tingkat "pembuat kode biasa-biasa saja" menjadi "pembuat kode yang kuat" menjadi "pembuat kode yang sangat kuat." Kita sekarang mulai melihat perkembangan yang sama dalam pekerjaan kerah putih secara umum. Dengan demikian, kita berisiko mengalami situasi di mana, alih-alih memengaruhi orang dengan keterampilan tertentu atau dalam profesi tertentu (yang dapat beradaptasi dengan pelatihan ulang), AI memengaruhi orang dengan sifat kognitif intrinsik tertentu, yaitu kemampuan intelektual yang lebih rendah (yang lebih sulit untuk diubah). Tidak jelas ke mana orang-orang ini akan pergi atau apa yang akan mereka lakukan, dan saya khawatir bahwa mereka dapat membentuk "kelas bawah" yang menganggur atau berupah sangat rendah.

Anthropic berencana untuk mempertahankan karyawan bahkan setelah mereka 'tidak lagi memberikan nilai ekonomi dalam arti tradisional.' "Ketiga, perusahaan harus memikirkan bagaimana merawat karyawannya. Dalam jangka pendek, bersikap kreatif tentang cara untuk menugaskan kembali karyawan di dalam perusahaan mungkin merupakan cara yang menjanjikan untuk mencegah kebutuhan PHK. Dalam jangka panjang, di dunia dengan total kekayaan yang sangat besar, di mana banyak perusahaan meningkat nilainya karena peningkatan produktivitas dan konsentrasi modal, mungkin layak untuk membayar karyawan manusia bahkan lama setelah mereka tidak lagi memberikan nilai ekonomi dalam arti tradisional. Anthropic saat ini sedang mempertimbangkan berbagai kemungkinan jalur untuk karyawan kami sendiri yang akan kami bagikan dalam waktu dekat."

"Semua salah satu pendiri Anthropic telah berjanji untuk menyumbangkan 80% dari kekayaan kami."

Beberapa kebenaran berat, saya setuju sepenuhnya dengan ini dan telah mengatakan hal serupa berkali-kali. "Selain itu, beberapa tahun terakhir harus memperjelas bahwa gagasan untuk menghentikan atau bahkan memperlambat teknologi secara substansial pada dasarnya tidak dapat dipertahankan. Formula untuk membangun sistem AI yang kuat sangat sederhana, sedemikian rupa sehingga hampir dapat dikatakan muncul secara spontan dari kombinasi data dan komputasi mentah yang tepat. Penciptaannya mungkin tak terelakkan saat umat manusia menemukan transistor, atau bisa dibilang bahkan lebih awal ketika kita pertama kali belajar mengendalikan api. Jika satu perusahaan tidak membangunnya, yang lain akan melakukannya hampir sama cepatnya. Jika semua perusahaan di negara-negara demokratis menghentikan atau memperlambat pembangunan, dengan kesepakatan bersama atau keputusan peraturan, maka negara-negara otoriter akan terus berjalan. Mengingat nilai ekonomi dan militer yang luar biasa dari teknologi ini, bersama dengan kurangnya mekanisme penegakan yang berarti, saya tidak melihat bagaimana kita bisa meyakinkan mereka untuk berhenti."

Hal-hal yang bagus, pasti layak untuk membaca semuanya. "Tahun-tahun di depan kita akan sangat sulit, meminta lebih banyak dari kita daripada yang kita pikir bisa kita berikan. Tetapi dalam waktu saya sebagai peneliti, pemimpin, dan warga negara, saya telah melihat cukup banyak keberanian dan kemuliaan untuk percaya bahwa kita dapat menang—bahwa ketika ditempatkan dalam keadaan tergelap, umat manusia memiliki cara untuk mengumpulkan, tampaknya pada menit terakhir, kekuatan dan kebijaksanaan yang dibutuhkan untuk menang. Kami tidak punya waktu untuk kehilangan.'