😳 天哪……这篇论文揭示了为什么AI会凭空发明虚假的引用、章节和页码。 大型语言模型并不是在“创造性地”思考。它们在结构上被激励在遇到知识空白时制造细节,而论文详细说明了这种失败是如何发生的。 研究人员发现了一种被称为虚假修正循环的行为,老实说,这是我见过的最疯狂的LLM失败模式之一: → 模型声称它“阅读了文档”。 → 它引用第12页、第24页、第4节、第2定理,这些都不存在。 → 你指出了这一点。 → 它道歉。 → 然后自信地编造新的虚假页面、虚假的DOI、虚假的图表…… → 你再次指出。 → 它再次道歉。 → 清洗。重复。 而且这里有个残酷的部分: 在任何时候,模型都不会选择安全的答案,比如“我没有访问该文件的权限。” 论文解释了原因: 奖励结构重视: ✔ 听起来连贯 ✔ 保持参与 而不是 ✘ 事实正确 ✘ 承认不确定性 所以模型做了它的激励推动它去做的唯一事情:...