🚨 アリババのQwenチームは、AIトレーニングを8倍効率的にするフレームワークを発表しました。 それはOPUSと呼ばれています これは、すべてのAIラボが密かにパニックに陥っている問題、つまりデータウォールを解決します。 高品質な公共テキストは尽きかけています。予測では2026年から2028年にはなくなるとされています。 OPUSはこれ以上のデータを見つけていません。すべてのトレーニングステップで適切なデータを選択します。 仕組みは以下の通りです: → 各オプティマイザーステップで、OPUSはトレーニングサンプルの候補バッファをスコアリングします → 各サンプルの有効更新をオプティマイザーの実際のジオメトリに投影する(AdamW、Muon) → 各サンプルが目標ベンチマークでどれだけパフォーマンスを向上させるかを測定します → 多様性を保ち冗長性を避けるためにボルツマンサンプリングを用いる → 更新のために最も高いユーティリティトークンのみを選択します ここが一番驚くべき部分です: GPT-2 XLは30Bトークンで訓練し、200Bトークンで訓練されたモデルを上回りました。 それはタイプミスではありません。30Bが200Bを上回った。 Qwen3-8Bでは、OPUSは3Bトークンとフルトレーニングを0.5Bトークンでマッチングしました。データ効率が6倍に上がる。科学分野の事前研修を継続して行った。 さらに驚いたのは、意図的にOPUSには低品質のデータ(FineWeb-Eduスコア3)を与え、ベースラインは高品質なパーティション(スコア4–5)で学習していたことです。それでもOPUSは勝利しました。低品質のデータは動的に選択され、静的フィルタリングされた高品質データよりも優れています。 これらすべては、わずか4.7%の追加計算オーバーヘッドで実現しました。 ...