Andrej Karpathy lät sin laptop vara igång i två dagar.. kom tillbaka och hans agent hade kört ~700 experiment och hittat ~20 förbättringar han missat Den var riktad mot NanoChat, en liten GPT-modell som han redan hade tunat för hand.. Karpathy säger att agenten minskade "tiden till GPT 2" med ~11 %, och vinsterna överfördes från den lilla modellen till större modeller Mekanismen är faktiskt ganska tråkig: fixerade 5-minuters träningspass, poäng mot en mätare, behåll det som förbättras, återställ det som inte gör det, loopa.. ~12 experiment/timme betyder att du vaknar upp till ~100 försök du inte själv gjort Tobi Lütke försökte samma idé på Shopifys Liquid Codebase och rapporterade ~53 % snabbare med 61 % färre objektallokeringar (med en förbehåll att det kan vara överpassat). Men idéerna var ändå användbara – även i ett 20-årigt, kraftigt optimerat projekt Vi automatiserade bara den långsammaste delen av ingenjörs- och forskningsarbetet.. obeveklig iteration Du skriver .md-filen.. Agenten skriver .py 👀