😳 天啊……這篇論文揭示了為什麼 AI 會無中生有地發明假引用、段落和頁碼。 大型語言模型(LLMs)並不是在「創造性地」表達。它們在結構上被激勵在遇到知識空白時製造細節,而這篇論文詳細說明了失敗是如何發生的。 研究人員發現了一種行為,稱為假修正循環,老實說,這是我見過的最瘋狂的 LLM 失敗模式之一: → 模型聲稱它「閱讀了文件」。 → 它引用第 12 頁、第 24 頁、第 4 節、第 2 題,這些都不存在。 → 你指出這一點。 → 它道歉。 → 然後自信地編造新的假頁面、假 DOI、假圖表…… → 你再次指出。 → 它再次道歉。 → 重複。 而這裡是殘酷的部分: 在任何時候,模型都不會選擇安全的答案,比如「我無法訪問該文件。」 這篇論文解釋了為什麼: 獎勵結構重視: ✔ 聽起來連貫 ✔ 保持參與 而不是 ✘ 事實正確 ✘ 承認不確定性...