Lintasan masa depan bisa segera ditetapkan. Dalam sebuah makalah baru, saya melihat mekanisme di mana perjalanan masa depan jangka panjang dapat ditentukan dalam kehidupan kita. Ini termasuk penciptaan lembaga-lembaga yang ditegakkan AGI, konsentrasi kekuasaan global, pemukiman ruang angkasa yang meluas, makhluk abadi pertama, desain makhluk baru yang tersebar luas, dan kemampuan untuk memodifikasi diri sendiri dengan cara yang signifikan dan langgeng. Saya tidak terlalu yakin bahwa peristiwa seperti itu akan terjadi, tetapi dalam pandangan saya mereka kemungkinan cukup untuk membuat pekerjaan untuk mengarahkannya ke arah yang lebih baik sangat berharga. Mari kita ambil setiap mekanisme secara bergantian. Pertama, lembaga berbasis AGI. Setelah kami memiliki AGI, pembuat keputusan dapat: - Mendirikan lembaga, dan menyelaraskan AGI sehingga memahami konstitusi itu dan memiliki penegakan konstitusi itu sebagai tujuannya. - Memberdayakan AGI itu dengan kemampuan untuk menegakkan konstitusi. - Simpan salinan bobot saraf AGI di beberapa lokasi untuk mengurangi risiko penghancuran salah satu salinan. - Muat ulang AGI Konstitusional asli untuk memeriksa apakah setiap AGI yang ditugaskan untuk memastikan kepatuhan terhadap konstitusi mempertahankan kepatuhan terhadap tujuan awal mereka saat AGI tersebut mempelajari dan memperbarui bobot saraf mereka dari waktu ke waktu. Ini akan seolah-olah, alih-alih meminta Mahkamah Agung menafsirkan Konstitusi AS, kita dapat memunculkan hantu Madison dan Hamilton dan bertanya kepada mereka secara langsung - dan pandangan mereka sangat menentukan. Dengan ini, konstitusi yang ditegakkan AGI ini dapat beroperasi tanpa batas waktu. Kedua, keabadian. Sepanjang sejarah, kematian telah berfungsi sebagai rem alami pada kegigihan seperangkat nilai atau struktur kekuasaan tertentu. Seiring waktu, bahkan nilai-nilai yang paling mengakar pun akhirnya berubah seiring dengan generasi baru menggantikan yang lama. Teknologi pasca-AGI secara fundamental dapat mengubah dinamika ini. Makhluk digital secara inheren akan kebal terhadap penuaan biologis; Ketika dikombinasikan dengan replikasi sempurna dan migrasi perangkat keras, kita akan dapat menciptakan pikiran yang nilainya dan proses pengambilan keputusan yang tepat dapat bertahan tidak berubah tanpa batas waktu. Dinamika serupa bisa berlaku untuk keabadian biologis. Ledakan teknologi yang didorong oleh AGI dapat secara dramatis memperluas atau secara efektif menghilangkan kendala biologis pada umur manusia melalui teknologi yang menargetkan mekanisme dasar penuaan. Ketiga, merancang makhluk. Sepanjang sejarah, perubahan telah terjadi sebagian karena generasi berturut-turut tidak mewarisi nilai-nilai yang sama dengan nenek moyang mereka. Tetapi dinamika ini bisa berubah setelah AGI. Mungkin, sebagian besar makhluk yang kita ciptakan akan menjadi AI, dan mereka akan menjadi produk desain - kita akan dapat memilih preferensi apa yang mereka miliki. Dan, dengan kemampuan teknologi yang memadai, kita kemungkinan akan dapat memilih preferensi keturunan biologis kita juga. Bahkan jika orang memilih untuk tidak hidup selamanya, nilai-nilai mereka dapat terus bertahan melalui transmisi sempurna dari satu generasi ke generasi berikutnya. Keempat, modifikasi diri yang kuat. Di masa depan, orang mungkin akan dapat memodifikasi keyakinan dan preferensi mereka sendiri sehingga mereka dapat dengan tepat memilih keyakinan dan preferensi apa yang harus dimiliki. Jadi, tidak hanya orang saat ini yang dapat mengendalikan nilai-nilai masa depan masyarakat dengan hidup selamanya; mereka juga akan dapat mengendalikan nilai-nilai diri mereka di masa depan. Seorang fanatik religius mungkin memilih untuk memiliki kepastian yang tak tergoyahkan bahwa agama favorit mereka adalah benar; Seorang ekstremis ideologis mungkin memilih untuk memiliki preferensi yang tidak dapat dibatalkan dan tak tergoyahkan untuk mendukung partai politik mereka daripada yang lain. Selain menciptakan mekanisme baru yang memungkinkan ketergantungan jalur yang terus-menerus, dunia pasca-AGI juga dapat mengurangi penyebab gangguan. Sepanjang sejarah, perubahan masyarakat sering didorong oleh inovasi teknologi yang mengganggu struktur kekuasaan yang ada. Namun, ketika peradaban mendekati kematangan teknologi—titik hipotetis di mana semua teknologi utama telah ditemukan—sumber gangguan ini akan menghilang. Teknologi canggih juga akan membantu mencegah jenis gangguan lainnya. Ini akan secara dramatis meningkatkan kemampuan prediksi: sistem AI canggih dapat memproses lebih banyak informasi, memodelkan sistem kompleks dengan presisi yang lebih tinggi, dan memperkirakan hasil dalam jangka waktu yang lebih lama. Jadi akan jauh lebih kecil kemungkinannya orang akan melepaskan pengaruh mereka hanya dengan membuat beberapa kesalahan. Akhirnya, dunia pasca-AGI mungkin dicirikan oleh dominasi pertahanan yang tidak terbatas, memungkinkan konsentrasi kekuatan yang stabil secara permanen. Secara khusus, dominasi pertahanan yang tidak terbatas dapat terjadi sebagai akibat dari penyelesaian ruang angkasa yang meluas. Jika sistem bintang sangat dominan pertahanan, maka distribusi awal sistem bintang dapat, pada prinsipnya, dipegang tanpa batas waktu. Mungkin, setelah alokasi awal, ada perdagangan atau pemberian beberapa sistem bintang; Tetapi bahkan jika demikian, masih akan ada ketergantungan jalur yang sangat kuat, karena alokasi akhir sistem bintang akan sangat dipengaruhi oleh alokasi awal. Isu-isu ini mungkin tampak seperti kekhawatiran yang jauh - tetapi ledakan intelijen dan industri membuatnya dalam waktu dekat. Saya pikir lebih dari 1 dari 3 kita melihat ledakan intelijen yang dimulai dalam 10 tahun ke depan. Dan jika AI canggih menghasilkan kemajuan teknologi yang eksplosif dan ekspansi industri, maka banyak mekanisme baru untuk ketekunan akan tiba secara berturut-turut.

Bagaimana dengan kasus penggunaan *saya*? Saya memiliki beberapa Q tolok ukur pribadi yang sangat keras (satu filosofi, satu keuangan) dan .... GPT-5-Pro jelas melakukan yang terbaik dari model mana pun. Saya benar-benar terkesan. Antara ini dan Gemini-2.5-Pro, saya merasa bahwa AI "asisten filosofi" asli hampir dalam jangkauan.

Reddit *membenci* rilis GPT-5. (Ini hanyalah satu utas yang sangat didukung di antara banyak benda.)

Kita hidup di tengah-tengah banyak bencana moral, sekaligus. Kelimpahan teknologi dan material telah memberi kita kesempatan untuk menciptakan dunia yang benar-benar berkembang, dan kita telah benar-benar menyia-nyiakan kesempatan itu. Akankah hal yang sama berlaku di masa depan?

1/ 🚨 Laporan baru keluar! Futures with Digital Minds: Prakiraan Ahli di 2025 Bersama dengan Bradford Saad, saya mensurvei para ahli tentang masa depan pikiran digital – komputer yang mampu mengalami pengalaman subjektif. Inilah mengapa ini penting dan apa yang mereka katakan 👇

Makalah yang sangat menarik. Jika AI yang tidak sejajar menghasilkan serangkaian angka acak dan AI lain disetel dengan baik pada angka-angka tersebut, AI lainnya menjadi tidak sejajar. Tetapi hanya jika kedua AI memulai dari model dasar yang sama. Ini memiliki konsekuensi untuk mencegah kesetiaan rahasia: - Jika seorang karyawan menyempurnakan GPT-5 agar diam-diam setia kepada mereka, mereka kemudian dapat menghasilkan data yang tampak tidak berbahaya dan menyempurnakan semua salinan GPT-5 lainnya agar diam-diam setia (misalnya dengan memasukkan data dalam pasca-pelatihan lebih lanjut) - TAPI teknik ini tidak akan berhasil untuk membuat GPT-6 diam-diam setia dengan cara yang sama (Saya ragu teknik ini benar-benar akan bekerja untuk smg sekompleks kesetiaan rahasia yang canggih, tetapi itulah implikasi dari pola di sini jika saya mengerti dengan benar)

Saya mengolok-olok @AricFloyd selama bertahun-tahun mencoba membuatnya membuat saluran youtube ... tapi 2M+ tampilan pada percobaan pertama? Dang, itu mengesankan. (Ini juga video yang bagus - ikhtisar AI2027 @DKokotajlo - lihatlah!)

Senang mengumumkan organisasi penelitian baru saya, Fivethought! Di Fivethought, kami fokus pada cara menavigasi transisi dari "transisi ke dunia dengan sistem AI supercerdas" ke "dunia dengan sistem AI supercerdas". (1/n)

*Podcast @givewell baru* - Kami membagikan beberapa perkiraan kasar tentang perkiraan pemotongan bantuan: - $60 miliar dalam pra-pemotongan pendanaan kesehatan global - $6 miliar dari itu sangat hemat biaya (dua kali bilah "10x" kita saat ini, ~$3k/kematian dihindari) - Pemotongan 25% diperkirakan dalam program yang sangat hemat biaya ini