NanoChatは現在、単一の8XH100ノードでGPT-2能力モデルをわずか2時間で訓練できるようになり(1か月前の~3時間から大幅に減少)、~インタラクティブにずっと近づいています!多くのチューニングや機能(fp8)が導入されましたが、最大の違いはデータセットをFineWeb-eduからNVIDIA ClimbMixに切り替えた点です(素晴らしい仕事ですね、NVIDIA!)。Olmo、FineWeb、DCLMを試しましたが、どれも回帰につながりました。ClimbMixは箱から出してすぐに非常によく動作しました(Goodhartingについては少し疑いがありますが、論文を読む限り~まあまあのようです)。 他の話ですが、いくつかの設定方法を試した後、AIエージェントが自動的にナノチャットで反復を行うので、しばらくこのままにして少しリラックスして、AGI後の:)感覚を楽しみます。例としてここに示すと、過去12時間で110件の変更が行われ、検証損失はこれまでの0.862415からd12モデルの0.858039に減少し、壁のクロック時間にコストをかけません。エージェントは機能ブランチを作業し、アイデアを試し、うまくいったら統合し、反復します。面白いことに、ここ2~週間で、Nanochatリポジトリよりもさらに「メタセットアップ」を最適化・調整するエージェントフローをさらに繰り返した気がします。