Łukasz Kaiser(@OpenAI) sagte, dass das Pretraining in gewissem Sinne das obere Ende der S-Kurve erreicht hat. Das bedeutet jedoch nicht, dass das Hochskalieren des Pretrainings nicht mehr funktioniert. Tatsächlich funktioniert es völlig wie erwartet, und Labore wie OpenAI und Google sowie andere beobachten alle, dass der Verlust ungefähr logarithmisch-linear abnimmt, wenn man mehr Rechenleistung hinzufügt. Das Problem ist, wie viel Geld man investieren muss, um die Gewinne zu erzielen, und obwohl die Beträge enorm sind, investieren die Leute weiterhin. Im Gegensatz dazu kann man im „Reasoning“-Paradigma viel auffälligere Fortschritte für die gleichen Kosten erzielen, da das Reasoning sich noch im unteren Teil der S-Kurve befindet. Das Pretraining ist also nicht zum Stillstand gekommen. Er sagte, dass wir einfach ein neues Paradigma gefunden haben, das für den gleichen Preis viel bemerkenswerteren Fortschritt liefert.