جهاز NanoGPT Speedrun WR الجديد بسرعة 112.7 (-1.0 ثانية)، ويتميز بأوزان في bfloat16 مع 16 بت إضافية في المحسن والاتصالات المتداخلة. إلهام من @YouJiacheng و@ChrisJMcCormick. أيضا اختيار آدم، الذي يخطو نصف عدد مرات ميون، له lm_head beta1=0.5.