Łukasz Kaiser(@OpenAI) a déclaré que dans un certain sens, le pré-entraînement semble avoir atteint la partie supérieure de la courbe en S. Cependant, cela ne signifie pas que l'augmentation du pré-entraînement a cessé de fonctionner. En fait, cela fonctionne complètement comme prévu, et des laboratoires comme OpenAI et Google, ainsi que d'autres, observent tous que la perte diminue de manière à peu près logarithmique à mesure que vous ajoutez plus de puissance de calcul. Le problème est combien d'argent vous devez investir pour les gains que vous obtenez, et même si les montants sont énormes, les gens continuent d'investir. En revanche, dans le paradigme du "raisonnement", vous pouvez obtenir des progrès beaucoup plus frappants pour le même coût, car le raisonnement est encore dans la partie inférieure de la courbe en S. Donc, le pré-entraînement n'a pas échoué. Il a dit que nous avons simplement trouvé un nouveau paradigme qui offre des progrès beaucoup plus remarquables pour le même prix.