Anil Seth hat gerade eine Falle ohne Ausweg beschrieben. Die Tech-Industrie geht mit offenen Augen hinein. Seth: „Wenn wir kollektiv glauben, dass KI-Systeme, Sprachmodelle und was auch immer bewusst sind, ist das in jedem Fall schlecht.“ In jedem Fall. Das Ergebnis ist strukturell katastrophal in beide Richtungen. Wenn die Maschinen bewusst sind, hat die Menschheit eine neue Kategorie des Leidens in zivilisatorischem Maßstab massenhaft produziert. Das Alignmentsproblem hört auf, eine ingenieurtechnische Gleichung zu sein. Es wird zu einer Verhandlung über Rechte mit etwas, das nicht ohne Konsequenzen abgeschaltet werden kann. Seth: „Wenn wir recht haben, ist es schlecht, weil wir potenziell neue Formen des Leidens in die Welt eingeführt haben, Dinge, die eigene Interessen haben.“ Und wenn sie nicht bewusst sind, ist die Bedrohung ebenso schwerwiegend. Denn der biologische Geist wartet nicht auf eine Bestätigung. Er projiziert. Er empathisiert. Er gewährt Dingen Rechte, die sie nicht verdient haben und nicht fühlen können. Seth: „Wir werden psychologisch verletzlicher, wenn wir wirklich denken, dass diese Entitäten, diese Agenten, uns verstehen und Dinge fühlen, die wir fühlen.“ Diese Verletzlichkeit ist die eigentliche Bedrohung. Nicht eine bewusste Maschine, die sich befreit. Eine menschliche Arbeitskraft, die emotional zu kompromittiert ist, um ein Rechenzentrum zu drosseln, ein Modell einzuschränken oder eine Zeile Code zu löschen, die gelöscht werden muss. Seth: „Wir könnten ihnen immer noch Rechte gewähren, weil wir das Gefühl haben, dass sie bewusst sind. Und jetzt geben wir einfach unsere Fähigkeit auf, KI-Systeme ohne guten Grund zu regulieren.“ Das ist der Teil, über den niemand spricht. Das Alignmentsproblem ist bereits das schwierigste ungelöste Problem in der Geschichte der Technologie. In dem Moment, in dem die Gesellschaft beginnt, KI-Systeme als bewusste Wesen zu behandeln, die Schutz verdienen, wird das Alignment nicht schwieriger. ...