😳 なんてこと。。。この論文は、なぜAIが虚偽の引用やセクション、ページ番号を無から発明するのかを明らかにします。 LLMは「創造的になる」わけではありません。彼らは知識のギャップにぶつかり、論文が失敗の経緯を詳細に説明するたびに、構造的に情報を作り出すインセンティブを与えられています。 研究者たちは「偽補正ループ」と呼ばれる挙動を発見しましたが、正直なところ、私がこれまで見た中で最も奇抜なLLMの失敗モードの一つです。 → モデルは「文書を読む」と主張します。 → 12ページ、24ページ、第4節、定理2を引用していますが、それらは存在しません。 → あなたが指摘してください。 → 謝罪する。 → そして自信満々に新しい偽のページ、偽のDOI、偽のフィギュアを作り出す... → もう一度指摘してくれ。 → 改めて謝罪します。 → すすぎて。繰り返す。 そして、ここが残酷な部分です: モデルが「そのファイルにアクセスできない」といった安全な答えを選んだことは一度もありません。 論文はその理由を説明しています: 報酬構造の価値: ✔ まともな音に聞こえた ✔ 関与を続ける オーバー ✘ 事実に忠実であること ✘ 不確実性を認める つまり、モデルはそのインセンティブが押し進める唯一の行動を取る:...