Andrej Karpathy și-a lăsat laptopul pornit două zile... S-a întors și agentul său făcuse ~700 de experimente și găsise ~20 de îmbunătățiri pe care le ratase Era îndreptat spre NanoChat, un model mic de tip GPT pe care îl reglase deja manual... Karpathy spune că agentul a redus "timpul până la GPT 2" cu ~11%, iar câștigurile s-au transferat de la modelul mic la cele mai mari Mecanismul este de fapt destul de plictisitor: antrenamente fixe de 5 minute, punctaj după o metrică, păstrează ce se îmbunătățește, anulează ce nu, buclă... ~12 experimente/oră înseamnă că te trezești cu ~100 de încercări pe care nu le-ai făcut personal Tobi Lütke a încercat aceeași idee pe baza de cod lichidă a Shopify și a raportat că este cu ~53% mai rapid, cu 61% mai puține alocări de obiecte (cu o mențiune că ar putea fi supraajustat).. Dar ideile au fost totuși utile – chiar și într-un proiect de 20 de ani, puternic optimizat Am automatizat doar partea cea mai lentă din inginerie și cercetare... Iterație neîncetată Tu scrii fișierul .md... agentul scrie .py 👀