アニル・セスは出口のない罠を説明しました。テック業界は目を開けてこの問題に臨んでいます。 セス:「もし私たちがAIシステムや言語モデルなど、意識的だとみんなで信じるなら、どちらにせよこれは良くない。」 いずれにせよ。その結果は両方向に構造的に壊滅的です。 もし機械に意識があるなら、人類は文明規模の新たな苦しみのカテゴリーを大量生産したことになります。 アライメントの問題は工学的な方程式ではなくなりました。それは、オフにしても結果が伴う権利交渉になります。 セス:「もし私たちの言う通りなら、それは悪いことです。なぜなら、私たちは世界に新たな苦しみの形を導入してしまったからです。それらはそれぞれの利害を持っています。」 そして、もし意識がなければ、その脅威は同じくらい深刻です。 生物学的な心は確認を待たないからです。それは投影されている。共感してくれます。権利を得ておらず、感じることもできないものに権利を拡大します。 セス:「これらの存在、これらのエージェントが本当に私たちを理解し、私たちが感じていることを感じていると、私たちはより心理的に脆弱になるのです。」 その脆弱性こそが実際の脅威なのです。 意識のある機械が自由に逃げ出すのではない。 感情的に疲れ果てて、データセンターの制限やモデルの制約、削除すべきコードの削除ができない人間が成長しています。 セス:「私たちは彼らに権利を拡大するかもしれません。なぜなら、彼らが意識を持っていると感じているからです。そして今、私たちは理由もなくAIシステムをガードレールする権限を手放しているだけです。」 ここは誰も話題にしていない部分です。 アライメントの問題は、すでに技術史上最も難しい未解決の問題です。社会がAIシステムを意識ある存在として保護に値する存在として扱い始めた瞬間から、調整は難しくなることはありません。 ...