Uusi NanoGPT Speedrun WR nopeudella 106,9 (-2,3s) @.andrewbriandilta ja @.jrauvola Githubissa. He havaitsivat, että torch-kääntäjä suoritti tehotonta erillistä ydintä Relu(x)^2-aktivointia varten, ja lisäsivät tritoniytimen sulattamaan aktivoinnin aiempaan lineaariseen operaatioon.