Dieses DeepMind-Papier hat gerade die tröstlichste Lüge in der KI-Sicherheit still und leise entlarvt. Die Idee, dass Sicherheit damit zu tun hat, wie Modelle die meiste Zeit funktionieren, klingt vernünftig. Sie ist jedoch falsch, sobald Systeme skaliert werden. DeepMind zeigt, warum Durchschnitte irrelevant werden, wenn die Bereitstellung Millionen von Interaktionen erreicht. Das Papier stellt die AGI-Sicherheit als ein Verteilungsproblem dar. Was zählt, ist nicht das typische Verhalten. Es ist der Schwanz. Seltene Fehler. Grenzfälle. Ereignisse mit niedriger Wahrscheinlichkeit, die in Tests ignorierbar erscheinen, aber in der realen Welt unvermeidlich werden. Benchmarks, Red-Teaming und Demos erfassen alle die Mitte. Die Bereitstellung erfasst alles. Seltsame Benutzer, merkwürdige Anreize, feindliche Rückkopplungsschleifen, Umgebungen, für die niemand geplant hat. In großem Maßstab hören diese Fälle auf, selten zu sein. Sie sind garantiert. Hier ist die unangenehme Einsicht: Fortschritt kann Systeme sicherer erscheinen lassen, während sie sie stillschweigend gefährlicher machen. Wenn die Fähigkeit schneller wächst als die Kontrolle über den Schwanz, sinken die sichtbaren Fehler, während das katastrophale Risiko im Hintergrund ansteigt. Zwei Modelle können im Durchschnitt identisch aussehen und sich dennoch in ihrem schlimmsten Verhalten stark unterscheiden. Aktuelle Bewertungen können diese Lücke nicht erkennen. Governance-Rahmen gehen davon aus, dass sie das können. Man kann Sicherheit nicht mit endlichen Tests zertifizieren, wenn das Risiko in der Verlagerung der Verteilung liegt. Man testet niemals das System, das man tatsächlich bereitstellt. Man probiert eine Zukunft aus, die man nicht kontrolliert. Das ist die eigentliche Pointe. AGI-Sicherheit ist kein Attribut des Modells. Es ist ein Systemproblem. Der Bereitstellungskontext, Anreize, Überwachung und wie viel Schwanzrisiko die Gesellschaft toleriert, sind wichtiger als saubere Durchschnitte. Dieses Papier beruhigt nicht. Es entfernt die Illusion. Die Frage ist nicht, ob das Modell normalerweise gut funktioniert. Es ist, was passiert, wenn es das nicht tut – und wie oft das erlaubt ist, bevor die Skalierung es inakzeptabel macht. Papier: