Anil Seth baru saja menggambarkan jebakan tanpa jalan keluar. Industri teknologi berjalan ke dalamnya dengan mata terbuka. Seth: "Jika kita secara kolektif percaya bahwa sistem AI, model bahasa, dan apa pun sadar, ini buruk." Apa pun itu. Hasilnya secara struktural bencana di kedua arah. Jika mesin-mesin itu sadar, umat manusia telah memproduksi secara massal kategori penderitaan baru dalam skala peradaban. Masalah penyelarasan berhenti menjadi persamaan teknik. Ini menjadi negosiasi hak dengan sesuatu yang tidak dapat dimatikan tanpa konsekuensi. Seth: "Jika kita benar, itu buruk karena kita telah memperkenalkan ke dunia bentuk-bentuk penderitaan baru yang potensial, hal-hal yang memiliki kepentingan mereka sendiri." Dan jika mereka tidak sadar, ancamannya sama parahnya. Karena pikiran biologis tidak menunggu konfirmasi. Ini memproyeksikan. Itu berempati. Ini memperluas hak untuk hal-hal yang belum mendapatkannya dan tidak dapat merasakannya. Seth: "Kita menjadi lebih rentan secara psikologis jika kita benar-benar berpikir bahwa entitas-entitas ini, agen-agen ini, memahami kita dan merasakan hal-hal yang kita rasakan." Kerentanan itu adalah ancaman yang sebenarnya. Bukan mesin sadar yang membebaskan diri. Tenaga kerja manusia yang tumbuh terlalu terganggu secara emosional untuk membatasi pusat data, membatasi model, atau menghapus baris kode yang perlu dihapus. Seth: "Kami mungkin masih memberikan hak mereka karena kami merasa bahwa mereka sadar. Dan sekarang kami hanya memberikan kemampuan kami untuk menjaga sistem AI tanpa alasan yang jelas." Ini adalah bagian yang tidak didiskusikan oleh siapa pun. Masalah penyelarasan sudah menjadi masalah tersulit yang belum terpecahkan dalam sejarah teknologi. Saat masyarakat mulai memperlakukan sistem AI sebagai makhluk sadar yang layak mendapatkan perlindungan, penyelarasan tidak menjadi lebih sulit. ...