转发 @markchen90: 对齐无疑是最重要的 AI 研究前沿。 随着我们扩展推理，模型获得了情境意识 a…

上周，我们的推理模型参加了2025年国际大学生程序设计竞赛（ICPC），这是全球顶尖的大学级编程比赛。我们的系统解决了12个问题中的全部12个，这一表现将我们置于全球第一（最佳人类团队解决了11个问题）。 这一里程碑标志着我们模型在过去两个月中激烈竞争表现的结束： - 在AtCoder启发式世界决赛中获得第二名 - 在国际数学奥林匹克中获得金牌 - 在国际信息学奥林匹克中获得金牌 - 现在，在ICPC世界决赛中获得金牌，取得第一名。 我相信，这些结果来自于我们主要研究项目中的一系列通用推理模型，或许是今年进展的最清晰基准。这些比赛是发现新想法的绝佳自我封闭、时间限制测试。即使在我们的模型熟练掌握简单算术之前，我们就将这些比赛视为朝向变革性人工智能进展的里程碑。 当面临明确的问题并限制在约5小时内时，我们的模型现在在这些领域中排名接近顶尖人类。现在的挑战是转向更开放的问题，以及更长的时间范围。这种推理能力的水平，应用于真正重要的问题上，持续数月甚至数年，正是我们所追求的——自动化科学发现。 这一快速进展也强调了安全与对齐研究的重要性。我们仍然需要更多了解长期运行推理模型的对齐特性；特别是，我建议回顾我们今天发布的关于推理模型中策划行为的研究中令人着迷的发现。 祝贺我的队友们，他们倾注了心血以取得这些比赛结果，也祝贺所有为支持这些成果的基础研究做出贡献的人！

我对思维链的潜力、忠实性和可解释性感到非常兴奋。它极大地影响了我们推理模型的设计，从 o1-preview 开始。 随着人工智能系统花费更多的计算来处理长期研究问题，我们必须有某种方法来监控它们的内部过程。隐藏 CoT 的奇妙特性在于，虽然它们以我们可以解释的语言为基础，但可扩展的优化过程并不不利于观察者验证模型意图的能力——这与奖励模型的直接监督不同。 这里的紧张关系在于，如果默认情况下没有隐藏 CoT，并且我们将该过程视为 AI 输出的一部分，那么就有很大的动力（在某些情况下，有必要）对其进行监督。我相信我们可以在这里努力实现两全其美——训练我们的模型，使其能够很好地解释其内部推理，但同时仍然保留偶尔验证它的能力。 CoT 忠实度是更广泛的研究方向的一部分，即可解释性培训：以一种至少训练系统的一部分保持诚实和可监控的方式设定目标。我们将继续增加对 OpenAI 这项研究的投资。