Łukasz Kaiser(@OpenAI) sade att förträningen på något sätt känns som att den nått den övre delen av S-kurvan. Detta betyder dock inte att uppskalning av förträning har slutat fungera. Faktum är att det fungerar helt som förväntat, och laboratorier som OpenAI och Google, liksom andra, observerar alla att förlusten minskar ungefär loglinjärt ju mer beräkning man lägger till. Problemet är hur mycket pengar du måste lägga in för de vinster du får, och även om summorna är enorma investerar folk fortfarande. I kontrast kan man i "resonemem"-paradigmet få mycket mer påtaglig framgång för samma kostnad, eftersom resonemanget fortfarande ligger i den nedre delen av S-kurvan. Så förträningen har inte falnat. Han sade att vi helt enkelt har funnit ett nytt paradigm som ger mycket mer anmärkningsvärda framsteg för samma pris.