我自2007年以來一直深入研究人工智慧(當時是機器學習...)。在美國學習了機器學習,讀過大多數書籍,聽過每一個播客。沒有什麼比羅曼·揚波爾斯基最近的書和訪談更讓我震驚的了。🧵
他的看法是罕見且深刻的:建立人工超智能(asi)不僅僅是有風險,基本上是注定會導致滅絕。
能力已解決(計算 + 數據 = 更智能的 AI)。安全性尚未解決。而這兩者之間的差距每天都在擴大。
預測市場 + 實驗室領導者表示,AGI 可能在 2027 年到來。超智能可能會自動隨之而來。我們還沒有準備好。
羅曼預測失業率不會是10%,而是接近總體失業(>99%+)。所有的認知和體力勞動都將被取代。如果所有工作都可以自動化,重新培訓將無濟於事。
「護欄」只是臨時措施。更聰明的系統會繞過它們。拔掉插頭?幻想。你不會對一個比你更聰明的東西拔掉插頭,它會拔掉你的。
滅絕風險甚至不需要人工智慧。人工智慧輔助的生物技術可能會給予某個壞角色造成文明規模的傷害的工具。
競爭動態已經破裂:一旦 asi 開啟,誰建造它都無所謂。雙方都會失敗。
羅曼的呼籲:暫停亞洲。將窄域人工智慧保留給真正的問題。停止追逐我們無法對齊或控制的「神一般」系統。
2.65K