Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
De briljantheid van @karpathy is in staat om enorm complexe concepten te destilleren en ze eenvoudig te maken om te begrijpen en op kleine schaal te implementeren.
Het enige wat nodig was, was Claude Code en $10 op @runpod om een enkele H100 op te starten, en ik had een wereldklasse ML-onderzoeker die op automatische piloot werkte.
Ik neem het algemene concept van autoresearch en pas het toe op een inferentie-pijplijn waar ik aan heb gewerkt (gelukkig geen GPU nodig). Alles is nu zo leuk.


8 mrt, 03:53
Ik heb het "autoresearch" project verpakt in een nieuwe zelfstandige minimale repo als mensen in het weekend willen spelen. Het is in wezen de kern van nanochat LLM-training, teruggebracht tot een versie met één GPU en één bestand van ~630 regels code, dan:
- de mens werkt aan de prompt (.md)
- de AI-agent werkt aan de trainingscode (.py)
Het doel is om je agents te ontwerpen zodat ze de snelste onderzoeksvoortgang oneindig maken zonder enige betrokkenheid van jouw kant. In de afbeelding is elke stip een complete LLM-trainingsronde die precies 5 minuten duurt. De agent werkt in een autonome lus op een git feature branch en accumuleert git-commits naar het trainingsscript terwijl het betere instellingen vindt (met een lagere validatieverlies aan het einde) van de architectuur van het neurale netwerk, de optimizer, alle hyperparameters, enz. Je kunt je voorstellen dat je de onderzoeksvoortgang van verschillende prompts, verschillende agents, enz. vergelijkt.
Deel code, deel sci-fi, en een snufje psychose :)

@karpathy @runpod heb vrienden nodig zoals @ryaneshea om je (zwakke) excuses te verwijderen om gewoon dingen te doen

501
Boven
Positie
Favorieten
