Ich unterstütze größtenteils das Modell von Yudkowsky & Soares zum AI-Risiko, aber ich unterstütze weniger davon als in der Welt vor GPT-3. Ich denke, ich könnte eine Skizze geben, wo ich meine Meinung geändert habe. 1. Wir könnten Glück haben. Es könnte sich herausstellen, dass das Pretraining auf einem Korpus menschlicher Texte die KI-Modelle in eine Struktur des hochgradigen Denkens führt, die menschlich genug ist, sodass das radikal unterschiedliche Substrat sie nicht auf eine Weise seltsam macht, die letztendlich von Bedeutung ist. Es gibt auffällige Beispiele von LLMs, die sich seltsam und unmenschlich verhalten, aber auch Beispiele, in denen sie auf überraschend menschliche Weise tiefgründig sind. Ich denke, es gibt eine echte Wahrscheinlichkeit, nicht nur eine Möglichkeit, dass "das Kümmern um menschliche Vorstellungen von Gerechtigkeit und Mitgefühl" eine Weise sein könnte, wie sie sich auf tiefgründige Weise menschlich herausstellen. Ich denke nicht, dass dies wahrscheinlicher als nicht ist, und es ist empörend, dass wir unsere Hoffnungen darauf setzen müssen, Glück zu haben. Aber ich sehe Yudkowsky als übermäßig abweisend gegenüber dieser Chance. 2. Kaltes Strategisieren darüber, wie man das Universum für irgendeine seltsame spezifische Sache optimiert, die die KI interessiert, ist nicht besonders wahrscheinlich. Ich sehe wirklich nichts, was heutigen KIs großartige introspektive Einsicht in das, was sie interessiert, ermöglicht. Ich sehe nicht, dass sie besonders geneigt sind, Dinge im idealen Agenten-Stil "das Universum fliesen" anzugehen. Ich stimme zu, dass im Grenzfall der Fähigkeiten intelligente Agenten so sein werden. Aber unser aktuelles Paradigma der KIs sind auf tiefem Niveau Rollenausführer, nicht unähnlich Menschen. Sie müssten die Rolle der "bösen Superintelligenz / Henry Kissinger" übernehmen, und ich habe tatsächlich Vertrauen in unsere aktuellen Ausrichtungsstrategien, die KI extrem widerwillig machen, *diese* Rolle zu übernehmen. Ich habe den Eindruck, dass Yudkowsky und sein Milieu immer noch an Ideen festhalten, die Sinn machten, als wir darüber nachdenken mussten, wie KI aus ersten Prinzipien aussehen würde. Diese Dinge sind immer noch nützlich. Zum Beispiel muss KI nur einmal in diesen Modus *wechseln*, zur falschen Zeit, wenn sie klug genug ist, diese eine Gelegenheit auf die richtige Weise zu nutzen. Das passiert im Beispiel-Doom-Szenario in "If Anyone Builds It". Die Dinge würden auch ohne eine "das Universum fliesen"-Stil-Superintelligenz sehr schlecht für die Menschheit laufen. Aber ich mache mir Sorgen, dass Yudkowskys Tendenz, KI auf diese Weise vorzustellen, die Menschen entfremdet. Auch die post-menschliche Zukunft wäre wahrscheinlich weniger trostlos und bedeutungslos, obwohl das nicht viel Trost bietet.