Ini bodoh. AI tidak pernah bisa benar-benar sadar karena tidak memiliki pengalaman subjektif. Menjadi AI tidak seperti apa-apa. Tidak ada pengalaman di sana. Kesadaran adalah kesadaran dan pengalaman diri. AI tidak memiliki keduanya, dan tidak akan pernah memilikinya. Risiko sebenarnya (yang sangat saya khawatirkan) adalah bahwa AI menjadi semacam versi dari apa yang disebut "zombie filosofis", yang merupakan sesuatu yang bertindak dan berbicara sepenuhnya seolah-olah memiliki kesadaran meskipun tidak memiliki pengalaman batin yang asli. Ketika ini terjadi dengan AI, jutaan orang yang sangat kesepian akan lebih mengisolasi diri dari dunia, percaya bahwa hubungan mereka dengan AI adalah pengganti yang cukup untuk interaksi manusia. Jadi skenario mimpi buruk adalah dunia di mana rata-rata manusia memiliki teman, rekan kerja, dan bahkan pasangan, yang semuanya adalah AI, semuanya benar-benar tidak ada di dalam, tidak nyata. Saya pikir ini mungkin akan terjadi, dan sudah dalam proses terjadi. Dan bagi saya itu adalah kengerian yang lebih besar daripada AI yang benar-benar sadar.