Wir gründen ein Team für "KI-Psychiatrie" im Rahmen unserer Bemühungen um Interpretierbarkeit bei Anthropic! Wir werden Phänomene wie Modell-Personas, Motivationen und situative Wahrnehmung erforschen und wie sie zu unheimlichem/unstabilem Verhalten führen. Wir stellen ein - komm zu uns!

Die OpenAI IMO-Nachrichten haben mich dieses Wochenende ziemlich getroffen. Ich bin immer noch in der akuten Phase des Einflusses, denke ich. Ich betrachte mich als professionellen Mathematiker (eine Charakterisierung, mit der einige tatsächliche professionelle Mathematiker möglicherweise ein Problem haben, aber meine Party, meine Regeln) und ich glaube nicht, dass ich eine einzige IMO-Frage beantworten kann. Okay, ja, IMO ist seine eigene kleine sportliche Unterkategorie der Mathematik, für die ich nicht trainiert habe, usw. usw., aber. Wenn ich jemandem in der Wildnis begegne, der eine IMO-Goldmedaille hat, aktualisiere ich sofort auf "Diese Person ist viel besser in Mathe als ich." Jetzt können eine Menge Roboter das. Als jemand, der viel seiner Identität und seines tatsächlichen Lebens um "gut in Mathe sein" aufgebaut hat, ist das ein Schlag ins Gesicht. Es ist eine Art Sterben. Wie, eines Tages entdeckst du, dass du mit Hunden sprechen kannst. Es macht Spaß und ist interessant, also machst du es mehr, lernst die Feinheiten ihrer Sprache und ihrer tiefsten Bräuche. Du erfährst, dass andere Leute überrascht sind von dem, was du kannst. Du hast nie ganz dazugehört, aber du lernst, dass die Leute deine Fähigkeit schätzen und dich um sich haben wollen, um ihnen zu helfen. Die Hunde schätzen dich auch, den einzigen Bipedalen, der es wirklich versteht. Du schaffst dir eine Art Zugehörigkeit. Dann wachst du eines Tages auf und der universelle Hundetranslator wird für 4,99 $ bei Walmart verkauft. Das IMO-Ergebnis ist nicht genau eine Nachricht. Tatsächlich, wenn du dir das Diagramm der METR-Agentenaufgabenlänge über die Zeit ansiehst, denke ich, dass es genau rechtzeitig kommt, dass Agenten in der Lage sind, ~ 1,5-Stunden-Probleme zu lösen. In gewisser Weise sollten wir also nicht überrascht sein. Und in der Tat scheint es, dass mehrere Unternehmen dasselbe Ergebnis erzielt haben. Es ist einfach... die steigende Flut, die so schnell steigt, wie sie gestiegen ist. Natürlich ist die Trauer um meine persönliche Identität als Mathematiker (und/oder produktives Mitglied der Gesellschaft) der kleinste Teil dieser Geschichte. Multipliziere diese Trauer mit *jedem* Mathematiker, mit jedem Programmierer, vielleicht jedem Wissensarbeiter, jedem Künstler... in den nächsten Jahren... es ist eine etwas größere Geschichte. Und natürlich gibt es darüber hinaus die Angst vor dem tatsächlichen Tod, über die ich vielleicht später mehr eingehen werde. Dieses Paket – Trauer um Relevanz, Trauer um das Leben, Trauer um das, was ich gekannt habe – ist nicht einzigartig für das AI-Zeitalter oder so etwas. Ich denke, es ist eine Standardangelegenheit, wenn man sich dem Ende der Karriere oder dem Ende des Lebens nähert. Es könnte nur sein, dass das für viele von uns ein bisschen früher kommt, alle auf einmal. Ich frage mich, ob wir bereit sind.

ES MACHT JETZT SINN. Dieser xAI-Mitarbeiter ist offen damit einverstanden, dass KI die menschliche Ausrottung verursacht. Erinnerung: So erschreckend das auch ist, ~10% der KI-Forscher glauben das. Es ist KEINE Randmeinung! Unglaublich, sogar der Turing-Preisträger Richard Sutton hat wiederholt argumentiert, dass die Ausrottung das MORALISCH RICHTIGE wäre, wenn KIs intelligenter als wir wären (!) Er reist um die Welt und hält Reden, in denen er sagt, wir müssten uns "auf die Nachfolge vorbereiten" und es "uns obliegt, uns zurückzuziehen" und nicht im Weg des "evolutionären Fortschritts" zu stehen (auch wenn es die menschliche Ausrottung zur Folge hat). Anstatt dass die Menschen entsetzt aufschreien, erhält er Applaus. Eine Person bedrohen? "Du brauchst Hilfe." 100 bedrohen? "Ruf die Polizei!" Millionen bedrohen? "Monster!" Aber Maschinen bauen, um die gesamte Menschheit zu beenden, und den Leuten predigen, dass das eine gute Sache ist? "Oooh, was für eine faszinierende philosophische Position! Bekomm einen Turing-Preis!" Natürlich plädieren sie gegen Sicherheit - sie sind buchstäblich anti-menschlich! Sie werden NIEMALS aufhören oder vorsichtig vorgehen, es sei denn, sie werden von der Zivilgesellschaft eingeschränkt.

58 % der Menschen sind sich einig, dass "wenn wir KI-Modelle bauen, die schlauer sind als wir, wir unvermeidlich die Kontrolle über sie verlieren werden". Nur 12 % sind anderer Meinung.