科学的世界モデルを拡大するには、アーキテクチャ、トレーニング目標、数値の共同設計が必要です。本日は、低精度の事前学習に関するシリーズの最初の投稿を紹介します。まずはNVIDIAの安定した4ビット学習のためのNVFP4レシピから始めます。 パート1: パート2: 浮動小数点の基礎、ヒューリスティック、カスタムCUDAカーネル、安定化技術についてもカバーします。今後の記事では、ハイブリッドアーキテクチャに関するカスタムレシピや結果も取り上げます。