Andrej Karpathy lot laptopen sin gå i to dager.. kom tilbake, og agenten hans hadde kjørt ~700 eksperimenter og funnet ~20 forbedringer han hadde oversett Den var rettet mot NanoChat, en liten GPT-modell han allerede hadde tunet for hånd.. Karpathy sier at agenten kuttet «tiden til GPT 2» med ~11 %, og gevinstene ble overført fra den lille modellen til de større Mekanismen er faktisk ganske kjedelig: fikser 5-minutters treningsøkter, scorer mot én måling, behold det som forbedres, reverser det som ikke gjør det, loop .. ~12 eksperimenter/time betyr at du våkner til ~100 forsøk du ikke selv har gjort Tobi Lütke prøvde samme idé på Shopify sin flytende kodebase og rapporterte ~53 % raskere med 61 % færre objektallokeringer (med forbehold om at det kan være overfit). Men ideene var fortsatt nyttige – selv i et 20 år, sterkt optimalisert prosjekt Vi har nettopp automatisert den tregeste delen av ingeniør- og forskningsarbeid.. Nådeløs iterasjon Du skriver .md-filen.. Agenten skriver .py 👀