@karpathy dahiliği, son derece karmaşık kavramları damıtıp onları küçük ölçekte anlaşılması ve uygulanması kolay hale getirebilmek. Tek bir H100'ü çalıştırmak için Claude Code ve @runpod için 10 dolar yeterliydi ve otopilotta çalışan dünya çapında bir makine öğrenimi araştırmacısı vardı. Otomatik araştırma genel kavramını alıp üzerinde çalıştığım bir çıkarım hattına uyluyorum (neyse ki GPU gerekmiyor). Şimdi her şey çok eğlenceli.
Andrej Karpathy
Andrej Karpathy8 Mar 03:53
"Otomatik araştırma" projesini yeni ve kendi içinde minimum depoya paketledim, eğer insanlar hafta sonu oynamak isterse. Temelde nanochat LLM eğitim çekirdeği, tek GPU, ~630 satır kod versiyonuna indirilmiş bir versiyon, sonra: - insan (.md) uyarısında yinelemeler yapar - yapay zeka ajanı eğitim kodu üzerinde yineleme yapar (.py) Amaç, ajanlarınızı süresiz ve kendi müdahaleniz olmadan en hızlı araştırma ilerlemesini elde edecek şekilde tasarlamaktır. Görseldeki her nokta, tam olarak 5 dakika süren tam bir LLM eğitim koşusu. Ajan, git özellik dalında otonom bir döngüde çalışır ve sinir ağı mimarisi, optimizator, tüm hiperparametreler vb. için daha iyi ayarları (sonunda daha düşük doğrulama kaybı oranında) buldukça eğitim betisine git commit'leri biriktirir. Farklı promptlar, farklı ajanlar vb. araştırma ilerlemesini karşılaştırmayı hayal edebilirsiniz. Kısmen kod, kısmen bilim kurgu ve biraz psikoz :)
@karpathy @runpod @ryaneshea gibi arkadaşların sadece bir şeyler yapmama bahanelerini ortadan kaldırması için
510