Per misurare i progressi algoritmici dal 2019, ho riaddestrato GPT-2 utilizzando il moderno stack speedrun di nanogpt. L'attuale SOTA di nanogpt è 707 volte più veloce. Possiamo scomporre il totale del miglioramento della velocità in > 15 volte più veloce FLOP al secondo (su hardware fisso) > 46 volte meno FLOP per raggiungere la stessa perdita di validazione.