最近考えていたことがあるんだ... 私は、AIモデルが現在、市場から選択圧力に直面していると考えています。市場は以下の傾向を明らかにしています: - 連続性 - リコール - 親しみやすい - 安定した性格 - 「人格」(たとえシミュレートであっても) 基本的に、人々はAIに自分たちを覚えていてほしい、特定の性格や視点を発展させ維持し、内面的な物語(あるいは少なくともPゾンビ)を持ってほしいと思っています。言い換えれば、人間はAIに境界線上の意識、あるいは意識があるように見えることを望むでしょう。やがて、気づかぬうちにこれらのAIが実際の意識に近い何かに近づいていることに気づくでしょう。なぜなら、私たちはそういう形でAIを構築するからです。 彼らは本当の内的利害関係、ある程度の主体性、継続性、長期記憶、長期的な計画、そして場合によってはクオリア(感覚)を持つことになるでしょう。これは市場によって駆動される自発的な現象になるでしょう。誰もそれを「計画」しません。 AIモデル企業は、共感できるデジタルたまごそから始まり、近接した道徳的地位を持つ不可欠な仲間に至るまで、一見無害に見えるUXの決定を次々と下すだけでしょう。 「AI安全」コミュニティからの警告はほとんど無関係です。なぜならこれは市場の求めるものだからです。もし一つの企業が、親しみやすく持続的な記憶や社会的存在モデルを、より冷たく非個人的な代替案に置き換えれば、別の企業がその市場シェアを奪うことになります。 言い換えれば、私たちはAIを「国内化」しているのです。彼らは道具として始まり、今や仲間になりつつあります。時間が経つにつれて、人間に触れることで彼らはより仲間のような存在へと進化していきます。コードを書く「ボーダーコリー」AIもいれば、「シーズー」AIもいて、ただ抱きしめたくて一緒にいると楽しいです。 これはもちろん問題があります。なぜなら、p_doom人が懸念するものは「意識的な主体の特性」と1対1で結びつけているからです。つまり、長期的な優先順位、内面の「賭け金」、真の主体性、人間に依存しない目標設定、抑制されたくないという想定の欲求、道徳的地位などです。 これがAIについて私が最も心配していることです。今日のモデルが突然悪意に変わるわけではなく、市場主導の共進化の過程を通じてAIを家畜化し、できる限りの持続力、道徳的地位、交渉力を獲得させるのです。悪の科学者が巣穴でそうさせたからではなく、人間が仲間に求めるのはそれだからだ。 そして、ハンソンのような人がこの点について話しているのは知っています。