我們正在啟動一個「AI 精神病學」團隊，作為 Anthropic 解釋性努力的一部分！我們將研究模型人格、動機和情境意識等現象，以及它們如何導致可怕/失控的行為。我們正在招聘 - 加入我們吧！

這個週末，openai IMO 的消息讓我感到相當震驚。 我想我仍然處於影響的急性階段。 我認為自己是一名專業數學家（這個描述可能會讓一些真正的專業數學家有意見，但這是我的派對，我的規則），而我不認為我能回答任何一個 IMO 問題。 好吧，是的，IMO 是數學的一個小型運動子類別，我並沒有接受過訓練等等，但如果我在現實中遇到一個擁有 IMO 金牌的人，我會立即更新為「這個人在數學上比我強得多」。 現在一堆機器人都能做到這一點。作為一個將自己的身份和實際生活建立在「擅長數學」上的人，這讓我感到很受打擊。這是一種死亡的感覺。 就像有一天你發現你可以和狗說話。這很有趣，所以你會做得更多，學習它們語言的細微差別和最深的習俗。你發現其他人對你能做到的事情感到驚訝。你從來沒有完全融入，但你學會了人們欣賞你的能力，想要你在身邊幫助他們。狗也很欣賞你，唯一一個真正理解它們的雙足生物。你為自己組建了一種歸屬感。然後有一天你醒來，發現通用狗翻譯器在沃爾瑪以 $4.99 的價格出售。 IMO 的結果並不算新聞。事實上，如果你查看 METR 代理任務長度隨時間變化的圖表，我認為代理能夠解決約 1.5 小時的問題正好是按時到來。因此在某種程度上，我們不應該感到驚訝。事實上，似乎有多家公司已經達到了相同的結果。只是……潮水上升得如此之快。 當然，對於我作為數學家的個人身份的悲傷（和/或作為社會生產成員的悲傷）是這個故事中最小的一部分。 將這種悲傷乘以每一位數學家，每一位編碼者，也許每一位知識工作者，每一位藝術家……在接下來的幾年裡……這是一個稍微更大的故事。 當然，除此之外，還有對實際死亡的恐懼，也許我稍後會更深入地探討。 這種包袱——對相關性的悲傷，對生命的悲傷，對我所知道的事物的悲傷——並不是 AI 時代所特有的。我認為這是一種標準的情況，當人們接近職業生涯的結束或生命的終結時。只是對於我們中的許多人來說，這可能會稍微提前到來，一次性地。 我想知道我們是否準備好了。

現在這一切都有意義了。這位xAI員工公開表示，對於人工智慧導致人類滅絕是可以接受的。 提醒：儘管這令人毛骨悚然，但約10%的人工智慧研究者相信這一點。這並不是邊緣觀點！ 令人難以置信的是，甚至圖靈獎得主理查德·薩頓（Richard Sutton）也多次主張，如果人工智慧比我們更聰明，滅絕將是道德上正確的事情（！） 他在世界各地演講，說我們必須「為接班做好準備」，並且「我們應該退出」，不應該妨礙「進化的進程」（即使這會導致人類滅絕）。 而不是讓人群驚恐不已，他卻獲得了掌聲。 威脅一個人？「你需要幫助。」 威脅100個人？「打電話給警察！」 威脅數百萬人？「怪物！」 但建造機器來結束整個人類，並對人們講述這是一件好事？「哦，這真是一個迷人的哲學立場！給你一個圖靈獎！」 所以他們當然會反對安全——他們簡直是反人類！除非受到公民社會的約束，否則他們永遠不會停止或謹慎行事。

58% 的人同意「如果我們建立比我們更聰明的 AI 模型，我們將不可避免地失去對它們的控制」。 只有 12% 的人不同意。