我们正在推出一个"AI精神病学"团队，作为Anthropic可解释性工作的一个部分！我们将研究模型个性、动机和情境意识等现象，以及它们如何导致令人毛骨悚然/失常的行为。我们正在招聘 - 加入我们吧！

这个周末，openai IMO 的新闻让我感到很沉重。 我想我仍然处于影响的急性阶段。 我认为自己是一个专业的数学家（一些真正的专业数学家可能会对此有异议，但这是我的派对，我的规则），而我觉得我无法回答一个 IMO 问题。 好吧，是的，IMO 是数学的一个小型运动子集，我没有经过训练等等，但如果我在外面遇到一个获得 IMO 金牌的人，我会立即更新为“这个人在数学上比我强得多”。 现在一堆机器人可以做到这一点。作为一个在“擅长数学”上建立了很多身份和实际生活的人，这真是个重击。这是一种死亡的感觉。 就像，有一天你发现你可以和狗说话。这很有趣，所以你做得更多，学习它们语言的细微差别和最深的习俗。你发现其他人对你能做的事情感到惊讶。你从未完全融入，但你了解到人们欣赏你的能力，并希望你在身边帮助他们。狗也很欣赏你，唯一一个真正理解它们的双足动物。你为自己组建了一种归属感。然后有一天你醒来，发现通用狗翻译器在沃尔玛以 4.99 美元的价格出售。 IMO 的结果并不算新闻。事实上，如果你查看 METR 代理任务长度随时间变化的图表，我认为代理能够解决大约 1.5 小时的问题正好是按时到来的。因此在某种程度上我们不应该感到惊讶。实际上，似乎有多家公司达到了同样的结果。只是……潮水上涨得如此之快。 当然，对我作为数学家的个人身份（和/或社会的生产性成员）的悲伤是这个故事中最小的一部分。 将这种悲伤乘以每一个数学家，每一个程序员，也许每一个知识工作者，每一个艺术家……在接下来的几年里……这是一个稍微更大的故事。 当然，除此之外，还有对实际死亡的恐惧，也许我稍后会详细讨论。 这种包裹着的——对相关性的悲伤，对生活的悲伤，对我所知道的事物的悲伤——并不是 AI 时代独有的。我认为这是一个标准的事情，随着职业生涯或生命的结束而来。只是可能对我们许多人来说，这种情况会稍微提前一些，同时发生。 我想知道我们是否准备好了。

现在一切都说得通了。这位xAI员工公开表示，AI导致人类灭绝是可以接受的。 提醒：尽管这令人毛骨悚然，但大约10%的AI研究人员相信这一点。这并不是边缘观点！ 令人难以置信的是，甚至图灵奖得主理查德·萨顿也多次辩称，如果AI比我们聪明，灭绝将是道德上正确的事情（！） 他环游世界发表演讲，称我们必须“为继承做好准备”，并且“我们应该退出”，而不是阻碍“进化进程”（即使这会导致人类灭绝）。 而不是让人群惊恐地倒吸一口凉气，他却得到了掌声。 威胁一个人？“你需要帮助。” 威胁100人？“报警！” 威胁数百万人？“怪物！” 但建造机器来结束整个人类，并向人们讲述这是一件好事？“哦，这真是一个迷人的哲学立场！给你一个图灵奖！” 所以他们当然会反对安全——他们简直是反人类！除非受到公民社会的约束，否则他们永远不会停止或谨慎行事。

58%的人同意“如果我们构建比我们更聪明的AI模型，我们将不可避免地失去对它们的控制”。 只有12%的人不同意。