@karpathyの素晴らしさは、非常に複雑な概念を抽出し、小規模で理解し実装しやすくできることにあります。 Claude Codeと10ドルの @runpod だけで、1台の H100 を起動できたのに、世界クラスの機械学習研究者が自動操縦で働いていました。 Autoresearchの一般的な概念を、自分が取り組んでいる推論パイプラインに応用しています(幸いGPUは不要です)。今は全部がすごく楽しいです。
Andrej Karpathy
Andrej Karpathy3月8日 03:53
週末に遊びたい人がいるなら、その「autoresearch」プロジェクトを新しい自己完結型ミニマルリポジトリにまとめました。基本的にはnanochatのLLMトレーニングコアを、単一のGPUと約630行のファイルバージョンに絞ったものです。 - 人間がプロンプト(.md)を反復する - AIエージェントがトレーニングコードを反復する(.py) 目標は、エージェントが無期限に、そしてあなた自身の関与なしに最速で調査を進めるよう設計することです。画像では、各点がちょうど5分間の完全なLLMトレーニングランです。エージェントはgitの機能ブランチ上で自律ループで動作し、ニューラルネットワークアーキテクチャや最適化装置、すべてのハイパーパラメータなどのより良い設定(最終的に検証損失が低い)を見つけることで、gitコミットをトレーニングスクリプトに蓄積します。異なるプロンプトやエージェントの研究進捗を比較することを想像してみてください。 コードの一部、SF、そして少しの精神病:)
@karpathy @runpod@ryanesheaのような友達が必要なのです。(弱い)言い訳を取り除いてもらいましょう
505