Andrej Karpathy zostawił swojego laptopa włączonego przez dwa dni.. wrócił i jego agent przeprowadził ~700 eksperymentów i znalazł ~20 ulepszeń, które przeoczył. Był skierowany na nanochat, mały model w stylu GPT, który już wcześniej dostroił ręcznie.. Karpathy mówi, że agent skrócił „czas do GPT-2” o ~11%, a zyski przeniosły się z małego modelu na większe. Mechanizm jest w rzeczywistości dość nudny: stałe 5-minutowe sesje treningowe, ocena według jednego wskaźnika, zachowanie tego, co poprawia, przywracanie tego, co nie, pętla.. ~12 eksperymentów/godzinę oznacza, że budzisz się z ~100 próbami, których osobiście nie przeprowadziłeś. Tobi Lütke spróbował tego samego pomysłu na kodzie źródłowym Liquid Shopify i zgłosił ~53% szybsze działanie przy 61% mniejszej liczbie alokacji obiektów (z zastrzeżeniem, że może być to przetrenowane).. ale pomysły były nadal użyteczne - nawet w 20-letnim, mocno zoptymalizowanym projekcie. Właśnie zautomatyzowaliśmy najwolniejszą część inżynierii i badań.. nieustanna iteracja. Ty piszesz plik .md.. agent pisze plik .py 👀