私は主に Yudkowsky&Soares モデルの AI X-Risk を支持していますが、GPT3 以前の世界よりも支持は少なくなります。私はどこにシフトしたのかの概要を説明できると思います 1. 幸運に恵まれる 人間のテキストのコーパスで事前トレーニングを行うと、AI モデルが人間に似た高レベルの思考構造に導かれ、根本的に異なる基質が最終的に問題になるような奇妙な点に AI モデルが変わらないことが判明する可能性があります。LLMが奇妙で非人間的な行動をとる顕著な例もありますが、深い意味で驚くほど人間的である例もあります。「正義と思いやりという人間の概念に気を配ること」が、彼らが深い意味で人間であることが判明する方法になる可能性がある可能性だけでなく、本当の可能性があると思います これは可能性が低いと思いますし、運が良ければいいことに期待を託さなければならないのはとんでもないことです。しかし、ユドコウスキーはチャンスを過度に無視していると思います 2. AI が気にかけている奇妙な特殊なものに対して宇宙を最適化する方法について冷静に戦略を立てる可能性は特に低いです 今日のAIほど、自分が関心を持っていることに内省的にアクセスできるものは本当に見当たりません。彼らが理想エージェントの「宇宙をタイル化する」スタイルで物事にアプローチすることに特に熱心であるとは思えません。能力の限界では、インテリジェントエージェントもそのようになることに同意します。しかし、現在のAIのパラダイムは、人間と変わらない、深いレベルでの役割執行者です。彼らは「邪悪な超知能/ヘンリー・キッシンジャー」の役割を採用しなければならないでしょうし、私は実際に、AIが「その」役割を採用することに非常に消極的になるようにするための現在の調整戦略を信じています ユドコウスキーと彼のミリューは、第一原理からAIがどのように見えるかを推論しなければならなかったときには、理にかなったアイデアにまだ固執しているという印象を受けます。しかし、それはまだ役に立ちます。AI がその 1 つの機会を正しい方法で利用するのに十分賢い場合、間違ったタイミングで *一度* そのモードに滑り込むだけでよいのです。それが、If Anyone Builds Itの破滅シナリオの例で起こることです 「宇宙をタイル化する」スタイルの超知能がなくても、人類にとって物事は非常にうまくいかないでしょう。しかし、私はユドコウスキーがAIをそのように想像する傾向が人々を遠ざけるのではないかと心配しています。また、ポスト・ヒューマニティの未来はおそらくそれほど陰鬱で無意味ではないだろうが、それはあまり慰めにはならないだろうが、