RT @markchen90: アライメントは間違いなく最も重要な AI 研究のフロンティアです。 推論を拡張すると、モデルは状況認識を獲得します。

先週、私たちの推論モデルは、世界有数の大学レベルのプログラミングコンテストである2025年国際大学プログラミングコンテスト(ICPC)に参加しました。私たちのシステムは、12 の問題のうち 12 の問題をすべて解決し、世界 1 位になるパフォーマンスでした (最高の人間のチームが 11 の問題を解決しました)。 このマイルストーンは、私たちのモデルによる2か月間の激しい競技パフォーマンスを締めくくります。 - AtCoder Heuristics World Finalsで2位に入賞 - 国際数学オリンピック金メダル - 国際情報学オリンピック金メダル - そして今、ICPCワールドファイナルで金メダル、1位フィニッシュ。 これらの結果は、私たちの主要な研究プログラムに根ざした一連の一般的な推論モデルから得られたものであり、おそらく今年の進歩の最も明確なベンチマークであると信じています。これらのコンテストは、新しいアイデアを発見する能力のための優れた自己完結型のタイムボックステストです。私たちのモデルが単純な算術に習熟する前から、私たちはこれらのコンテストを革新的な人工知能への進歩のマイルストーンとして見ていました。 私たちのモデルは現在、明確に指定された質問を投げかけ、~5時間に制限された場合、これらの領域でトップの人間にランクされています。現在の課題は、よりオープンエンドの問題と、より長い時間軸に移行することです。このレベルの推論能力は、本当に重要な問題に数か月から数年にわたって適用され、私たちが目指しているのは、科学的発見の自動化です。 この急速な進歩は、安全性とアライメントの研究の重要性も強調しています。長期実行推論モデルのアライメント特性について、さらに理解する必要があります。特に、本日リリースした推論モデルにおける陰謀の研究から得られた興味深い発見を確認することをお勧めします( このようなコンテスト結果を得るために心を注いだチームメイトと、それを可能にする基礎研究に貢献しているすべての人、おめでとうございます!

私は、思考の連鎖、忠実さ、解釈可能性の可能性に非常に興奮しています。これは、o1-preview から始まる推論モデルの設計に大きな影響を与えました。 AIシステムは、長期的な研究問題などにより多くのコンピューティングを費やすため、その内部プロセスを監視する何らかの方法を持つことが重要です。隠れたCoTの素晴らしい特性は、私たちが解釈できる言語に基づいて開始される一方で、スケーラブルな最適化手順は、報酬モデルによる直接監視とは異なり、モデルの意図を検証するオブザーバーの能力に敵対的ではないことです。 ここでの緊張は、CoTがデフォルトで隠されておらず、そのプロセスをAIの出力の一部と見なす場合、それを監視する多くのインセンティブ(場合によっては必要性)があるということです。ここでは、モデルが内部推論をうまく説明できるようにトレーニングし、同時にそれを時折検証する能力を維持するという、両方の長所に向けて取り組むことができると信じています。 CoTの忠実さは、解釈可能性のトレーニングである、つまり、システムの少なくとも一部が正直で規模を保ち、監視可能な状態を保つようにトレーニングする方法で目標を設定する、より広範な研究の方向性の一部です。OpenAIでは、この研究への投資を増やし続けています。