Um den algorithmischen Fortschritt seit 2019 zu messen, habe ich GPT-2 mit dem modernen Nanogpt-Speedrun-Stack neu trainiert. Der aktuelle Nanogpt SOTA ist 707x schneller. Wir können die gesamte Beschleunigung in > 15x schnellere FLOP pro Sekunde (auf fester Hardware) > 46x weniger FLOPs zur Erreichung des gleichen Validierungsverlusts zerlegen.