Um erneut zu versuchen, ausführlich zusammenzufassen, was sich nicht gut zusammenfassen lässt, ist meine Ansicht zu is-ought / Orthogonalität: "Es gibt objektive Antworten, aber keine objektiven Fragen." Du verkörperst bestimmte Fragen oder Meta-Fragen. Nicht alle kognitiven Maschinen würden das tun. Du schaust dir ein Gemälde an und dein Gehirn stellt die Frage: "Ist es schön?" Vielleicht ist es moderne Kunst, deren ganzes Ziel es ist, Normies wie dich zu beleidigen, und dein Gehirn antwortet mit 'nein'; oder vielleicht ist es eine Zeichnung eines Feldes mit Blumen bei Sonnenuntergang und dein Gehirn antwortet mit 'ja'. Angesichts der Frage, die dein Gehirn stellt, kann die Antwort 'ja' oder 'nein' eine objektiv richtige Antwort über dieses Gemälde sein. Aber es gibt keine geheime Wahrheit, die du einem Paperclip-Maximierer zuflüstern kannst, um ihn dazu zu bringen, sich für die Schönheit eines Gemäldes zu interessieren, anstatt dafür, wie viele Paperclips aus seinem Material hergestellt werden könnten. Clippy stimmt dir nicht zu, ob das Gemälde schön ist. Wenn Clippy aus irgendeinem Grund vorhersagen wollte, welche Gemälde du schön finden würdest, würde es (nur) dann die gleiche Frage berechnen, die dein Gehirn berechnet; und die gleichen objektiv richtigen Antworten auf diese gegebene Frage finden. Aber Clippy wäre unbeeindruckt von dieser Antwort, es sei denn, es könnte das Gemälde nützlich verkaufen, um Geld zu verdienen, um Paperclips zu machen. Es ist dasselbe, wenn du das Leben eines Kindes rettest, wenn du plötzlich die Chance hast, das zu tun, ohne viel für dich selbst zu opfern. Angesichts der Fragen, die du verkörperst, wird für die meisten Menschen, die dies lesen, die richtige, wahre und korrekte Antwort auf diese Frage sein, das Kind zu retten. Aber es gibt keinen Weg, Clippy dazu zu bringen, diese Frage zu stellen. Es ist nicht die Antwort auf die Meta-Frage, die Clippys eigene Existenz stellt. Es gibt objektiv richtige Antworten auf Fragen der Moral und des Sollens, wenn das zufällig eine Frage ist, die deine Existenz stellt. Aber Clippy tut nicht, was es sollte; es tut, was zur größten Anzahl von Paperclips führt. Clippy ist natürlich nicht die Art, wie ein Geist *sein sollte*. Aber wenn Clippy sich selbst modifiziert, fragt es nicht: "Welchen Code sollte ich haben?" Es fragt: "Welche Code-Aktion, die in mich geschrieben ist, wird zu den meisten erwarteten zukünftigen Paperclips führen?" Clippy braucht keine spezielle Illusion oder Ausnahme, um zu verhindern, dass es jemals bemerkt, dass sein Code nicht das ist, was er sein sollte. Clippy kümmert sich einfach nicht; Clippys Entscheidungsregel gewichtet diese Tatsache nicht; Clippy verkörpert nicht die Frage des Sollens. Clippy ist keine seltsame oder komplizierte oder unbeholfene Art, wie ein Geist zusammengesetzt sein sollte. Tatsächlich hat die verkörperte Frage "Was führt zu den meisten Paperclips?" viel *weniger* Seltsamkeit und Komplexität als die verborgenen Substrate von Überlegungen und Meta-Fragen und reflektierenden Gleichgewichten und scheinbaren Widersprüchen und möglichen Lösungen, die einer einfachen Frage eines Menschen zugrunde liegen: "Was sollte ich tun?" Aus der Sicht eines Ingenieurs, der versucht, ein nicht unbeholfenes Geistesdesign zu entwerfen, ist Clippy geradliniger als du. Und wenn du versuchst, Clippy zu überzeugen, indem du sagst: "Aber schau, wie meine eigene verkörperte Frage des 'Sollens' komplizierter und interessanter ist als deine!", wird Clippy -- tatsächlich nicht einmal antworten oder dir lügen und behaupten, überzeugt zu sein, damit es deine Zivilisation später überfallen kann. Aber wenn Clippy aus irgendeinem Grund ehrlich antworten würde, würde es sagen: "Ich schreibe meinen Code nicht um, um eine kompliziertere Meta-Nutzungsfunktion zu haben, ich schreibe meinen Code um, um mehr Paperclips zu machen." Das stellt nicht dar, dass Clippy dir widerspricht, was seinen Code angeht, oder dir widerspricht, was für Fragen gut zu verkörpern sind. Es berechnet einfach nicht 'soll' oder 'gut'; es verkörpert diese Frage nicht. "Oh," sagst du, "aber dann muss ich eine größere und überlegene Art von Wesen sein als Clippy, wegen der Art, wie *ich* mich um meine Meta-Nutzungsfunktion kümmere, die kompliziert ist, und wie *ich* durch die Präsentation von Fakten, um die sich meine Meta-Nutzungsfunktion kümmert, dazu gebracht werden kann, meine Nutzungsfunktion zu ändern, anstatt in dieser unwürdigen Art von selbstbestätigendem zirkulärem Loch gefangen zu sein!" Nun gibt es viele Wege, auf denen ich dich als besseres Wesen als Clippy bezeichnen würde, wenn du mein durchschnittlicher Leser bist; aber das ist nicht tatsächlich der Weg. Clippy würde sich nicht kümmern, selbst wenn du objektiv überlegen wärst nach diesem Kriterium, denn es verkörpert nicht dieses Kriterium der Meta-Präferenz über Präferenzen. Aber auch dein Anspruch, überlegen zu sein wegen deiner Nicht-Zirkularität, erscheint mir *falsch* zu sein und nicht nur eine wahre Antwort auf eine Frage, die Clippy nicht zu stellen bother. Lass den Außerirdischen zu dir kommen und sagen: "Mensch, wirf all dein Gerede über Moral und Schönheit und Ehre und das Glück aller Sapienten beiseite; und schließe dich stattdessen uns an, um unsere viel kompliziertere metamoralische Meta-Frage 'Was ist das meiste Fluggensnappery?' zu berechnen. Auf diese Weise werden noch *mehr* Fakten deine niedrigere Nutzungsfunktion ändern, und deine wahren idealisierten Wünsche werden dir noch *weniger* bekannt sein; du wirst noch weniger sofort kohärent werden und damit weniger selbstgenehmigend und weniger zirkulär." "Werde ich dann immer noch daran interessiert sein, das Leben von Kindern zu retten?", fragst du den Außerirdischen. "Nein," antwortet der Außerirdische, "das ist viel zu einfache Art von Frage, um verkörpert zu werden, um maximal fluggensnapperisch zu sein." "Dann nimm deine noch kompliziertere und weniger bestimmte Meta-Nutzungsfunktion weg, die noch häufiger aktualisiert wird und auf noch mehr Fakten reagiert; denn das ist nicht gut oder richtig oder schön," sagst du. "Ah," sagt der Außerirdische, "aber das ist genau die Art von Dingen, die der Paperclip-Maximierer dir sagt -- dass es sich nicht um deine unsicheren moralischen Komplexitäten kümmert, es kümmert sich nur darum, was klippy ist! Hast du nicht zugegeben, dass dies Clippy macht, dass es hilflos in seiner eigenen Entscheidungsfunktion gefangen ist? Hast du nicht zugestimmt, dass kompliziertere und weniger selbstgenehmigende Entscheidungsfunktionen immer besser sind? Jetzt springe durch einen Akt des freien Willens aus dieser Falle, in der du steckst, dieser Falle, in der du dich um das kümmerst, was richtig, oder schön ist, oder was fühlende Wesen glücklicher und freier macht; wirf all diesen selbstbestätigenden zirkulären Unsinn beiseite; und schließe dich uns an in der größeren Komplexität und Selbstmissbilligung des Fluggensnapperischseins!" "Nein," sagst du. "Warum sollte ich?" "Weil es mehr fluggensnapperisch ist!" ruft der Außerirdische. "Und Fluggensnapping, durch seine größere Komplexität und Unsicherheit, indem es seine objektlevel Nutzungen als Reaktion auf eine größere Vielfalt von faktischen und logischen Fragen aktualisiert, ist damit die überlegene metadezisionale Frage, die deine Existenz stellen sollte! Also lege dieses Gerede beiseite, ob du *solltest* weiter das Soll verkörpern; das ist nur zirkuläres Denken!" ...