アンドレイ・カルパティはノートパソコンを2日間も動かしっぱなしにしていた。戻ってくると、彼のエージェントは~700件の実験を行い、見落としていた~20件の改良点を見つけていた それはナノチャットという、彼がすでに手作業で調整した小型GPTスタイルのモデルを指していた。カーパシーはエージェントが「GPT 2までの時間」を~11%短縮し、その利益を小型モデルから大型モデルに移したと述べています その仕組みは実はかなり退屈です:固定された5分のトレーニングラン、ある指標でのスコア、上達した部分は保持、改善しなかった部分は元に戻す、ループ......~1時間あたり12回の実験は、自分が自分で行わなかった~100回の試みに目覚めることになります Tobi LütkeもShopifyのLiquidコードベースで同じアイデアを試み、オブジェクト割り当て数が61%少なく、約53%速くなったと報告しました(ただし、オーバーフィットの可能性あり)。しかし、そのアイデアは20年にわたる大幅に最適化されたプロジェクトであっても有用でした エンジニアリングと研究の最も遅い部分を自動化したばかりだ。容赦ない反復 .mdファイルを書くんだ。エージェントが.py👀を書く