Łukasz Kaiser (@OpenAI) disse que, de certa forma, o pré-treinamento parece ter alcançado a parte superior da curva em S. No entanto, isso não significa que a ampliação do pré-treinamento tenha parado de funcionar. Na verdade, funciona exatamente como esperado, e laboratórios como OpenAI e Google, entre outros, estão observando que a perda diminui aproximadamente de forma linear à medida que se adiciona mais computação. A questão é quanto dinheiro você precisa investir para os ganhos que obtém, e mesmo que os valores sejam enormes, as pessoas ainda estão investindo. Em contraste, no paradigma de "raciocínio" você pode obter um progresso muito mais marcante pelo mesmo custo, porque o raciocínio ainda está na parte inferior da curva S. Então o pré-treinamento não desapareceu. Ele disse que simplesmente encontramos um novo paradigma que proporciona progressos muito mais notáveis pelo mesmo preço.