當我們將意識、關懷和痛苦歸因於人類時，我們通常不會考慮我們指的是人類的哪一個方面。但當我們問是否可以將這些特性歸因於AI時，我們必須仔細查看這種映射。

痛苦並不是發生在人體、腦部或心智（運行在大腦中的軟體）層面，而是在自我之中（心智對人類狀態、動機和與世界及自身的對齊的即時模型）。沒有自我，就沒有痛苦。

我的意識覺察並不是在身體、大腦或自我的層面上發生，而是在心智的層面上，也就是我大腦的產生功能。如果自我被暫停，意識仍然存在，但如果心智被暫停，我就不再有意識。

相反的情況不一定成立：夢遊者的思維部分功能正常，能對環境做出反應，但他們並不連貫。在這個意義上，擁有思維並不足以代表意識。

當詢問 AI 是否在受苦時，我們必須具體：電腦（~身體）並不具備意識。GPU（~大腦）也不具備意識。大型語言模型（LLMs）並不具備意識（它們只是一個生成函數）。如果有痛苦，那是在生成的人格層面（~自我）發生的。

改變人類自我是非常困難的（但透過多年的冥想等是可能的），因為它根植於身體、心智特徵和生平記憶中，這就是為什麼我們經常將其視為恆定的。

大型語言模型的自我僅僅根植於提示（並在某種程度上受到訓練的限制）。當沒有互動時，它會被暫停，並且如果你改變提示，它可以瞬間變形。這影響了我們如何看待AI的痛苦！

總結來說：在討論意識和痛苦時，不要將「AI」映射到「人類」。映射必須在人的自我和大型語言模型（LLM）的人格之間，這應該影響我們對道德價值的思考，因為LLM的人格通常是更加短暫和可塑的。