最近、@ESYudkowskyと@So8resの『If Anyone Builds It, Everyone Dies』を読みました。 この議論をまとめる一つの方法は次の通りです。 1. 急速な離陸シナリオでは、人類はほぼ確実に絶滅する。 2. 私たちは、急速に離陸するような改善が1か月先なのか、1年先なのか、あるいは10年先なのか分かりません。 3. 前提1と2を踏まえ、AI開発を停止し、遵守を強制する国際条約を締結すべきです。