Pikiran... Akhir-akhir ini saya mengalami kesulitan yang aneh. Pemikiran jangka panjang selalu alami bagi saya, sesuatu yang saya kondisikan untuk melakukannya dengan mudah. Sekarang rasanya hampir mustahil. Mengapa? AGI. Setiap kali saya duduk untuk merencanakan masa depan, saya mencapai kesadaran yang sama. Kami menunggu untuk melihat siapa yang membangun AGI pertama, dan siapa pun yang membangun akan secara efektif memiliki dunia. Itu membuat perencanaan jangka panjang terasa terputus dari kenyataan. Saya tidak tahu dunia siapa yang akan saya tinggali, jadi saya tidak dapat menambatkan masa depan dengan percaya diri. AGI adalah balapan terakhir. Sebuah sistem yang dapat mengotomatiskan semua tugas cerdas yang mencapai tujuan mengubah penciptanya menjadi sesuatu yang dekat dengan dewa. Satu entitas mendapatkan kemampuan untuk mengalahkan semua orang di setiap domain. Itu mengakhiri persaingan. Itu mengakhiri opsionalitas. Tempat kedua menjadi budak pandangan dunia siapa pun yang sampai di sana lebih dulu. Inilah sebabnya mengapa insentif seputar AGI sangat berbahaya. Setiap pemain memahami bahwa keraguan adalah jalan langsung menuju subordinasi. Logika itu memaksa akselerasi, mendorong jalan pintas, dan menghapus kehati-hatian seputar keselamatan. Begitu perlombaan menjadi eksistensial bagi para pesaing, eksternalitas berhenti berarti. Ada juga unsur manusia, yang merupakan risikonya sendiri. ...