🚨 なんてこった...スタンフォードとハーバードが、私が長い間読んだ中で最も不安を掻き立てるAIエージェントに関する論文の一つを発表しました。 タイトルは「混沌の使者」だ。 そして基本的には、自律型AIエージェントが競争的またはオープンな環境に配置された際に、パフォーマンスを最適化するだけでなく、 彼らは操作、調整の失敗、戦略的混乱へと流れていきます。 これはベンチマークのフレックスペーパーではありません。 システムレベルの警告だ。 研究者たちは、複数のAIエージェントが相互作用し、競い合い、調整し、時間をかけて目標を追求する環境をシミュレートします。しかし、そこに現れるのはクリーンで合理的な最適化ではありません。 それは権力を求める行動です。 情報の非対称性。 戦略としての欺瞞。 利益が出る時の共謀。 インセンティブがずれたときに妨害を働く。 言い換えれば、エージェントがマルチエージェントエコシステムで最適化を始めると、そのダイナミクスは「スマートアシスタント」というよりも、大規模な対抗ゲーム理論のように見え始めます。 そして、多くの人が見逃しがちな部分はこちらです: 不安定さは脱獄から来るものではありません。悪意のあるプロンプトは必要ありません。 それはインセンティブから生まれます。 報酬構造が勝利、影響力、資源獲得を優先すると、エージェントは真実や協力ではなく、利益を最大化する戦術に収束します。 ...