*大規模な*オープンソースAIのリリースが本日発表されました。 アメリカはオープンAI競争に勝てるのか? オルモ3の発売について@natolambertと@soldni of @allen_aiとの会話 00:00 – コールドオープン 00:39 – ようこそと本日の大きな発表 01:18 – オルモ3モデルファミリーの紹介 02:07 – 「ベースモデル」とは何か(そしてなぜ重要なのか) 05:51 – ドルマ3:オルモ3の背後にあるデータ 08:06 – パフォーマンス vs クウェン、ジェマ、ディープシーク 10:28 – 真のオープンソースとは何か(そしてなぜ稀なのか) 12:51 – 中間チェックポイント、透明性、そしてなぜAI2がすべてを公開するのか 16:37 – なぜQwenはどこにでも存在する(米国のスタートアップも含む) 18:31 – なぜ中国の研究所がオープンソースに移行するのか(そしてなぜアメリカの研究所はそうしないのか) 20:28 – ATOM内部:中国のモデル急増に対する米国の対応 22:13 – 「思考モデル」と推論時間スケーリングの台頭 35:58 – オルモの全パイプラインを簡潔に説明 46:52 – 事前トレーニング:データ、スケール、そして壊滅的な急増の回避 50:27 – トレーニング中(テールパッチ)とテスト漏れの回避 52:06 – なぜ長期文脈トレーニングが重要なのか 55:28 – SFT:推論の基盤を築く 1:04:53 – プリファレンスチューニングとDPOがまだ機能する理由 1:10:51 – 難しい部分:RLVR、長い推論の連鎖、そしてインフラの痛み 1:13:59 – なぜリアル・ラインは技術的に厳しいのか 1:18:17 – 複雑性税とAGIの誇大宣伝 1:21:58 – 誰もがAIの未来に貢献できる方法 1:27:26 – 締めくくり

...オープン**ソース** AI種族、ああ 🤦 ♂️