未来の軌道はすぐに決まるかもしれない。 新しい論文では、私たちの生涯のうちに長期的な将来の進路が決定されるメカニズムについて考察しています。 これらには、AGI によって強制される制度の創設、世界的な権力の集中、宇宙の広範な定住、最初の不滅の存在、新しい存在の広範な設計、および重要かつ永続的な方法で自己修正する能力が含まれます。 私はそのような出来事が起こるとはあまり自信がありませんが、私の考えでは、より良い方向に導くための作業を非常に価値のあるものにするのに十分である可能性が高いです。それぞれの仕組みを順番に見ていきましょう。 まず、AGIベースの機関です。AGI ができれば、意思決定者は次のことができるようになります。 - 機関を設立し、AGI がその憲法を理解し、その憲法の施行を目標とするように調整します。 - AGI に憲法を施行する能力を与えます。 - AGI のニューラル ウェイトのコピーを複数の場所に保存して、コピーのいずれかが破壊されるリスクを軽減します。 - 元の憲法 AGI をリロードして、憲法への準拠を確保する任務を負っている AGI が、時間の経過とともにニューラル ウェイトを学習して更新するにつれて、当初の目標への準拠を維持していることを確認します。 これは、最高裁判所に合衆国憲法を解釈させるのではなく、マディソンとハミルトンの亡霊を呼び起こして直接尋ねることができるかのようであり、彼らの見解は決定的でした。これらが整えば、このAGIが施行する憲法は無期限に機能する可能性があります。 第二に、不老不死。歴史を通じて、死は特定の価値観や権力構造の存続に対する自然なブレーキとして機能してきました。時間が経つにつれて、最も定着した価値観でさえ、新しい世代が古い世代に取って代わるにつれて、最終的には変化します。 ポストAGIテクノロジーは、このダイナミクスを根本的に変える可能性があります。デジタル生物は本質的に生物学的老化の影響を受けません。完璧なレプリケーションとハードウェアの移行と組み合わせることで、正確な価値観と意思決定プロセスが無期限に変更されずに存続できる頭脳を生み出すことができます。 同様のダイナミクスは生物学的不死にも当てはまる可能性があります。AGIによって推進される技術的爆発は、老化の基本的なメカニズムを対象とする技術を通じて、人間の寿命に対する生物学的制約を劇的に延長または効果的に排除する可能性があります。 第三に、存在を設計すること。歴史を通じて変化が起こったのは、次の世代が先祖と同じ価値観を受け継いでいないためでもあります。しかし、この力関係はAGI後に変わる可能性があります。おそらく、私たちが創造する存在の大部分は AI であり、それらはデザインの産物であり、私たちは彼らがどのような好みを持っているかを選択できるようになります。そして、十分な技術力があれば、生物学的な子孫の好みも選択できるでしょう。たとえ人々が永遠に生きないことを選んだとしても、その価値観は世代から世代へと完全に受け継がれることで存続し続けることができます。 第四に、強力な自己修正。将来的には、人々はおそらく自分の信念や好みを変更して、どのような信念や好みを持つべきかを正確に選択できるようになるでしょう。したがって、今日の人々は永遠に生きることによって社会の将来の価値観をコントロールできるだけではありません。また、将来の自分の価値観をコントロールすることもできるでしょう。 宗教的熱狂者は、自分たちが好む宗教が真実であるという揺るぎない確信を持つことを選択するかもしれません。イデオロギー的過激派は、他のどの政党よりも自分の政党を支持する、取り返しのつかない揺るぎない好みを持つことを選択するかもしれません。 永続的な経路依存を可能にする新しいメカニズムを作成するだけでなく、ポスト AGI の世界は混乱の原因も減らす可能性があります。歴史を通じて、社会の変化は、既存の権力構造を破壊する技術革新によって推進されることがよくあります。しかし、文明が技術的成熟(すべての主要技術が発明された仮想の時点)に近づくにつれて、この混乱の原因は消滅するでしょう。 高度なテクノロジーは、他の種類の混乱を防ぐのにも役立ちます。高度な AI システムは、はるかに多くの情報を処理し、複雑なシステムをより正確にモデル化し、より長い期間にわたって結果を予測できるようになります。したがって、人々が何らかの間違いを犯しただけで影響力を放棄する可能性ははるかに低くなります。 最後に、AGI後の世界は、無期限の防衛支配によって特徴付けられ、恒久的に安定した権力の集中を可能にする可能性があります。特に、宇宙定住の広範囲にわたる結果として、無期限の防衛優位性が生じる可能性があります。恒星系が防御力が強く優位である場合、恒星系の開始分布は原則として無期限に保持される可能性があります。最初の割り当ての後、いくつかの星系の取引または贈与がある可能性があります。しかし、たとえそうであっても、星系の最終的な割り当ては開始割り当てに大きく影響されるため、依然として非常に強い経路依存性があります。 これらの問題は遠い懸念のように思えるかもしれませんが、知能と産業の爆発により、それらは短期的なものになります。今後10年間でインテリジェンスの爆発が始まるのは、3人に1人以上だと思います。そして、高度なAIが爆発的な技術進歩と産業拡大をもたらすとすれば、永続化のための新しいメカニズムの多くが次々と登場するでしょう。

*my*のユースケースについてはどうですか? 私には、いくつかの非常に難しいベンチマークQ(1つの哲学、1つの金融)と...。GPT-5-Pro は明らかにどのモデルよりも優れていました。本当に感動しました。 これとGemini-2.5-Proの間では、本物の「哲学アシスタント」AIがほぼ手の届くところにあると感じています。

Reddit は GPT-5 のリリースを「嫌い」しています。 (これは、多くのスレッドの中でも賛成票が投じられたスレッドの 1 つにすぎません。

私たちは、一度に多くの道徳的大惨事の真っ只中に生きています。 技術的にも物質的にも豊かさは、真に繁栄する世界を創造する機会を私たちに与えてくれましたが、私たちはその機会を完全に無駄にしてしまいました。 将来も同じことが当てはまるのでしょうか?

1/ 🚨 新しいレポートが公開されました! デジタルマインドによる未来: 2025 年の専門家の予測 ブラッドフォード・サードとともに、私はデジタルマインド、つまり主観的な経験が可能なコンピューターの将来について専門家に調査しました。 これが重要な理由と彼らの発言👇は次のとおりです

超面白い紙。 位置がずれた AI がランダムな数値の文字列を生成し、別の AI がそれらの数値を微調整すると、他の AI は位置がずれます。 ただし、両方の AI が同じ基本モデルから開始する場合に限ります。 これは、秘密の忠誠心を防ぐ結果をもたらします。 - 従業員が GPT-5 を微調整して密かに忠実になれば、無害に見えるデータを生成し、他のすべての GPT-5 コピーを密かに忠実になるように微調整することができます (たとえば、さらなるトレーニング後のデータを挿入することによって) - しかし、この手法は、同じように GPT-6 を密かに忠実にするには機能しません (この手法が、洗練された秘密の忠誠心のような複雑な smg に実際に機能するとは思えませんが、私が正しく理解していれば、それがここでのパターンの意味です)

私は彼にYouTubeチャンネルをやってもらおうと何年も@AricFloydに嫌がらせをしました...しかし、最初は 2M+ のビューですか?くそー、それは印象的です。 (@DKokotajloの AI2027 の概要を紹介した素晴らしいビデオでもありますので、ぜひチェックしてください!

私の新しい研究組織であるFivethoughtを発表できることを嬉しく思います! Fivethoughtでは、「超知能AIシステムを持つ世界への移行」から「超知能AIシステムを持つ世界」への移行をどのようにナビゲートするかに焦点を当てています。(1/n)

*新着* @givewellポッドキャスト - 予測される援助削減の大まかな見積もりをいくつか共有します。 - グローバルヘルス資金の前売りで$60b - そのうち $6b は非常に費用対効果が高いです (現在の「10 倍」バーの 2 倍、~$3k/死回避) - これらの非常に費用対効果の高いプログラムで25%の削減が予測されています