"你對 AGI 的 p(doom) 是多少？" ...這是一個糟糕的問題 "p(doom)" 的討論在 SF 派對和其他地方很常見，但這很煩人，因為在以下幾點之間存在很多混淆： 1. 如果 (a) AGI 被建造，並且 (b) 我們在安全工程/安全政策/對齊方面沒有任何變化，與我們今天的情況相比，這種情況下的毀滅可能性 -- 本質上是按照目前的技術和商業常態，假設沒有人比現在更關注。 2. 如果 AGI 被建造（但允許我們可能會大幅提高安全性和/或解決對齊或其他問題）的情況下的毀滅可能性。 3. 在給定的時間段內的毀滅可能性，包括 (a) AGI 可能根本不會被建造，AGI 被證明太難製作，我們對 AI 能力發展的看法是錯誤的，以及 (b) 我們可能會大幅提高安全性和/或解決對齊或其他問題的可能性。 人們在這三種不同的意義之間模糊不清，使得進行這方面的對話變得相當困難。 此外，"毀滅" 本身的概念也相當混亂。有些人認為這僅僅意味著人類滅絕。 有些人說，如果整個人類的生活質量遠超過今天，但我們從未實現我們最大的未來銀河潛力，那麼我們仍然處於 "毀滅" 中 -- 以及介於兩者之間的許多情況。 如果到了 2100 年，地球上有十億人，每個人的生活質量達到 "2025 年美國前 1%" 的水平，那會是 "毀滅" 嗎？有些人說是，有些人說不是。如果我們甚至不知道什麼是 "毀滅"，那麼進行這方面的對話就更難了。 所以如果你問我 "你對 AGI 的 p(doom) 是多少？" 我會說 "請問我一個正常的問題"。