RT @markchen90: Alignment ist arguably die wichtigste Forschungsfront im Bereich AI. Wenn wir das Denken skalieren, gewinnen Modelle situatives Bewusstsein a…

In der letzten Woche nahmen unsere Denkmodelle am International Collegiate Programming Contest (ICPC) 2025 teil, dem weltweit führenden Programmierwettbewerb auf Universitätsniveau. Unser System löste alle 12 von 12 Problemen, eine Leistung, die weltweit den ersten Platz belegt hätte (das beste menschliche Team löste 11 Probleme). Dieser Meilenstein rundet zwei intensive Monate von Wettbewerbsleistungen unserer Modelle ab: - Ein zweiter Platz beim AtCoder Heuristics World Finals - Goldmedaille bei der Internationalen Mathematik-Olympiade - Goldmedaille bei der Internationalen Olympiade in Informatik - Und jetzt, eine Goldmedaille, den ersten Platz beim ICPC World Finals. Ich glaube, dass diese Ergebnisse, die aus einer Familie von allgemeinen Denkmodellen stammen, die in unserem Hauptforschungsprogramm verwurzelt sind, vielleicht den klarsten Maßstab für den Fortschritt in diesem Jahr darstellen. Diese Wettbewerbe sind großartige, abgeschlossene, zeitlich begrenzte Tests für die Fähigkeit, neue Ideen zu entdecken. Selbst bevor unsere Modelle im einfachen Rechnen versiert waren, schauten wir auf diese Wettbewerbe als Meilensteine des Fortschritts in Richtung transformierender künstlicher Intelligenz. Unsere Modelle gehören jetzt zu den besten Menschen in diesen Bereichen, wenn sie mit gut definierten Fragen konfrontiert werden und auf ~5 Stunden beschränkt sind. Die Herausforderung besteht nun darin, zu offeneren Problemen überzugehen und viel längere Zeitrahmen zu berücksichtigen. Diese Art von Denkfähigkeit, die über Monate und Jahre auf Probleme angewendet wird, die wirklich wichtig sind, ist das, wonach wir streben - die Automatisierung wissenschaftlicher Entdeckungen. Dieser rasante Fortschritt unterstreicht auch die Bedeutung von Sicherheits- und Ausrichtungsforschung. Wir benötigen weiterhin mehr Verständnis für die Ausrichtungseigenschaften von langfristigen Denkmodellen; insbesondere empfehle ich, die faszinierenden Ergebnisse aus der Studie über das Planen in Denkmodellen zu überprüfen, die wir heute veröffentlicht haben. Herzlichen Glückwunsch an meine Teamkollegen, die ihr Herzblut in die Erzielung dieser Wettbewerbsergebnisse gesteckt haben, und an alle, die zur zugrunde liegenden grundlegenden Forschung beitragen, die dies ermöglicht!

Ich bin sehr gespannt auf das Potenzial der Treue und Interpretierbarkeit der Gedankenkette. Es hat das Design unserer Denkmodelle, beginnend mit o1-preview, maßgeblich beeinflusst. Da KI-Systeme mehr Rechenleistung aufwenden, z. B. für die Arbeit an langfristigen Forschungsproblemen, ist es von entscheidender Bedeutung, dass wir eine Möglichkeit haben, ihren internen Prozess zu überwachen. Die wunderbare Eigenschaft von versteckten CoTs ist, dass sie zwar auf der Sprache basieren, die wir interpretieren können, das skalierbare Optimierungsverfahren jedoch nicht der Fähigkeit des Beobachters entgegensteht, die Absicht des Modells zu verifizieren - im Gegensatz zu z.B. der direkten Aufsicht mit einem Belohnungsmodell. Die Spannung besteht darin, dass, wenn die CoTs nicht standardmäßig verborgen wären und wir den Prozess als Teil der Leistung der KI betrachten, es einen großen Anreiz (und in einigen Fällen auch eine Notwendigkeit) gibt, ihn zu überwachen. Ich glaube, dass wir hier auf das Beste aus beiden Welten hinarbeiten können - unsere Modelle so trainieren, dass sie ihre internen Schlussfolgerungen hervorragend erklären können, aber gleichzeitig die Fähigkeit behalten, sie gelegentlich zu überprüfen. Die Treue des CoT ist Teil einer breiteren Forschungsrichtung, bei der es um das Training der Interpretierbarkeit geht: die Festlegung von Zielen auf eine Weise, die zumindest einen Teil des Systems darauf trainiert, ehrlich und skalierbar zu bleiben. Wir bei OpenAI erhöhen weiterhin unsere Investitionen in diese Forschung.