Pikiran... Akhir-akhir ini saya mengalami kesulitan yang aneh. Pemikiran jangka panjang selalu alami bagi saya, sesuatu yang saya kondisikan untuk melakukannya dengan mudah. Sekarang rasanya hampir mustahil. Mengapa? AGI. Setiap kali saya duduk untuk merencanakan masa depan, saya mencapai kesadaran yang sama. Kami menunggu untuk melihat siapa yang membangun AGI nyata pertama, dan siapa pun yang melakukannya akan secara efektif memiliki dunia. Itu membuat perencanaan jangka panjang terasa terputus dari kenyataan. Saya tidak tahu dunia siapa yang akan saya tinggali, jadi saya tidak dapat menambatkan masa depan dengan percaya diri. AGI adalah balapan terakhir. Kita mendekati level akhir video game. Titik di mana satu pemain membangun sistem yang dapat mengotomatiskan semua tugas cerdas dan mencapai tujuan mengubah penciptanya menjadi sesuatu yang dekat dengan dewa. Satu entitas mendapatkan kemampuan untuk mengalahkan semua orang di setiap domain. Itu mengakhiri persaingan. Itu mengakhiri opsionalitas. Tempat kedua menjadi budak pandangan dunia siapa pun yang sampai di sana lebih dulu. Inilah sebabnya mengapa insentif seputar AGI sangat berbahaya. Setiap pemain memahami bahwa keraguan adalah jalan langsung menuju subordinasi. Logika itu memaksa akselerasi, mendorong jalan pintas, dan menghapus kehati-hatian seputar keselamatan. Begitu perlombaan menjadi eksistensial bagi para pesaing, eksternalitas berhenti berarti. ...