Son 6 ayda FineWeb'te NanoGPT hız kaybı 3.28'e kadar %33 azalarak 2 dakikaya düştü. Son zamanlarda bu değişikliklerin bir alt kümesi daha büyük ölçekli 2.92 kayıp parçasına toplu kopyalanıp yapıştırıldı. Şaşırtıcı bir şekilde, ayarlanmamış yolo koşusu 2.92'lik kayıp rekorunu %25 kırdı.