"你对AGI的p(doom)是什么？" ...这是个糟糕的问题 "p(doom)"的讨论在旧金山的聚会上和其他地方很常见，但这很烦人，因为在以下几个方面存在很多混淆： 1. 如果(a) AGI被构建，并且(b) 我们在安全工程/安全政策/对齐方面没有任何变化，和我们今天的水平一样——本质上是在现有技术和商业常态下的毁灭可能性，假设没有人比现在更关注。 2. 如果AGI被构建（但允许我们可能会大幅提高安全性和/或解决对齐或其他问题）的毁灭可能性。 3. 在给定时间段内的毁灭可能性，包括(a) AGI可能根本不会被构建，AGI被证明太难制造，我们对AI能力发展的看法是错误的，以及(b) 我们可能会大幅提高安全性和/或解决对齐或其他问题的可能性。 人们在这三种不同含义之间模糊不清，使得讨论变得相当困难。 此外，"毁灭"本身的概念也相当混乱。有些人认为这仅仅意味着人类灭绝。 有些人说，如果整个人类的生活质量远超今天，但我们从未实现我们最大的未来银河潜力，那么我们仍然处于"毁灭"之中——还有很多介于两者之间的情况。 如果到了2100年，地球上有一万亿人，每个人的生活质量都达到"2025年美国前1%"的水平，那算不算"毁灭"？有些人说是，有些人说不是。如果我们连"毁灭"是什么都不知道，这使得讨论变得更加困难。 所以如果你问我"你对AGI的p(doom)是什么？"我只能说"请问我一个正常的问题"。