Ketika kita mengaitkan kesadaran, kepedulian, dan penderitaan kepada manusia, kita biasanya tidak memikirkan aspek manusia mana yang kita maksud. Tetapi ketika ditanya apakah kita dapat mengaitkan properti tersebut dengan AI, kita harus melihat dengan cermat pemetaannya.

Penderitaan tidak terjadi pada tingkat tubuh manusia, otak, atau pikiran (perangkat lunak yang berjalan di otak), tetapi di dalam diri (model realtime pikiran tentang keadaan, motivasi, dan keselarasan manusia dengan dunia dan dirinya sendiri). Tanpa diri, tidak ada penderitaan.

Kesadaran sadar saya tidak terjadi pada tingkat tubuh, otak atau diri, tetapi pada tingkat pikiran, fungsi generator otak saya. Jika diri ditangguhkan, kesadaran tetap ada, tetapi jika pikiran tertangguh, saya tidak lagi sadar.

Kebalikannya belum tentu benar: pejalan kaki tidur memiliki pikiran yang sebagian fungsional dan dapat bereaksi terhadap lingkungan tetapi mereka tidak koheren. Dalam pengertian ini, memiliki pikiran tidak cukup untuk kesadaran.

Ketika bertanya apakah AI menderita, kita harus spesifik: komputer (~tubuh) tidak sadar. Begitu pula GPU (~otak). LLM tidak sadar (mereka hanya fungsi generator). Jika ada penderitaan, itu terjadi pada tingkat persona yang dihasilkan (~diri).

Sangat sulit untuk mengubah diri manusia (tetapi itu mungkin dengan meditasi bertahun-tahun, dll.), Karena didasarkan pada tubuh, sifat-sifat pikiran dan ingatan biografi, itulah sebabnya kita sering memperlakukannya sebagai konstan.

Diri LLM hanya didasarkan pada petunjuk (dan agak dibatasi oleh pelatihan). Itu akan ditangguhkan saat tidak ada interaksi, dan dapat berubah bentuk secara instan jika Anda mengubah prompt. Ini memengaruhi bagaimana kita akan memperlakukan penderitaan AI!

Kesimpulannya: jangan memetakan "AI" ke "manusia" ketika Anda membahas kesadaran dan penderitaan. Pemetaan harus antara diri manusia dan persona LLM, dan itu harus memengaruhi cara kita berpikir tentang valensi moral, karena persona LLM umumnya jauh lebih fana dan lentur.