Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Genialiteten med @karpathy er å kunne destillere svært komplekse konsepter og gjøre dem enkle å forstå og implementere i liten skala.
Alt som skulle til var Claude Code og 10 dollar på @runpod for å starte opp en enkelt H100, og jeg hadde en verdensklasse ML-forsker som jobbet på autopilot.
Jeg tar det generelle konseptet autoresearch og anvender det på en inferenspipeline jeg har jobbet med (heldigvis ingen GPU nødvendig). Alt er så gøy nå.
8. mars, 03:53
Jeg pakket sammen "autoresearch"-prosjektet i et nytt, selvstendig minimalt repo hvis folk vil spille i helgen. Det er i bunn og grunn nanochat LLM-treningskjerne strippet ned til en enkelt-GPU, én fil-versjon med ~630 linjer kode, og så:
- mennesket itererer på prompten (.md)
- AI-agenten itererer på treningskoden (.py)
Målet er å få agentene dine til å oppnå raskest mulig forskningsfremgang på ubestemt tid og uten egen involvering. På bildet er hver prikk en komplett LLM-trening som varer nøyaktig 5 minutter. Agenten jobber i en autonom sløyfe på en git-funksjonsgren og akkumulerer git-commits til treningsskriptet etter hvert som den finner bedre innstillinger (med lavere valideringstap mot slutten) i den nevrale nettverksarkitekturen, optimalisatoren, alle hyperparameterne osv. Du kan tenke deg å sammenligne forskningsfremdriften til ulike prompts, forskjellige agenter osv.
Delvis kode, delvis sci-fi, og en klype psykose :)
@karpathy @runpod trenger venner som @ryaneshea for å fjerne dine (svake) unnskyldninger for ikke bare å gjøre ting
502
Topp
Rangering
Favoritter