Genialita @karpathy spočívá v tom, že dokáže zjednodušit nesmírně složité koncepty a učinit je snadno pochopitelnými a implementovatelnými v malém měřítku. Stačil Claude Code a 10 dolarů na @runpod, abych rozjel jediný H100, a měl jsem světové třídy ML výzkumníka pracujícího na autopilota. Používám obecný koncept autovýzkumu a aplikuji ho na inferenční pipeline, na které pracuji (naštěstí GPU nepotřebuji). Teď je všechno tak zábavné.
Andrej Karpathy
Andrej Karpathy8. 3. 03:53
Projekt "autoresearch" jsem zabalil do nového samostatného minimálního repozitáře, pokud by si lidé chtěli zahrát o víkendu. V podstatě jde o tréninkové jádro nanochat LLM zredukované na verzi s jedním GPU a jedním souborem ~630 řádků kódu, pak: - člověk iteruje na zadání (.md) - AI agent iteruje na tréninkovém kódu (.py) Cílem je inženýrsky nasměrovat své agenty tak, aby dělali nejrychlejší výzkumný pokrok neomezeně dlouho a bez vašeho zapojení. Na obrázku je každý bod kompletní tréninkový běh LLM, který trvá přesně 5 minut. Agent pracuje v autonomní smyčce na větvi funkcí git a shromažďuje git commity do trénovacího skriptu, jakmile najde lepší nastavení (s menšími ztrátami validace na konci) architektury neuronové sítě, optimalizátoru, všech hyperparametrů atd. Můžete si představit porovnávat pokrok výzkumu různých zadání, různých agentů atd. Částečně kód, částečně sci-fi a špetka psychózy :)
@karpathy @runpod potřebovat přátele jako @ryaneshea, aby ti odstranili (slabé) výmluvy, proč prostě něco nedělat
472