Andrej Karpathy nechal svůj notebook běžet dva dny... Vrátil se a jeho agent provedl ~700 experimentů a našel ~20 vylepšení, která přehlédl Byl namířený na NanoChat, malý model ve stylu GPT, který už ručně vyladil... Karpathy říká, že agent zkrátil "čas do GPT 2" o ~11 % a zisky se přenesly z malého modelu na větší Mechanismus je vlastně docela nudný: pevné 5minutové tréninkové běhy, skóre podle jednoho ukazatele, zachovat to, co se zlepší, vrátit zpět, co ne, opakovat smyčku... ~12 experimentů/hodinu znamená, že se probudíš s ~100 pokusy, které jsi osobně neprovedl Tobi Lütke zkoušel stejný nápad na liquidní kódové základně Shopify a hlásil ~53 % rychlejší s o 61 % menším počtem objektů (s upozorněním, že může být předimenzovaný).. Ale nápady byly užitečné – i v dvacetiletém, silně optimalizovaném projektu Právě jsme automatizovali nejpomalejší část inženýrství a výzkumu... neúnavná iterace Ty napíšeš .md soubor.. agent píše .py 👀