热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
😳 天哪……这篇论文揭示了为什么AI会凭空发明虚假的引用、章节和页码。
大型语言模型并不是在“创造性地”思考。它们在结构上被激励在遇到知识空白时制造细节,而论文详细说明了这种失败是如何发生的。
研究人员发现了一种被称为虚假修正循环的行为,老实说,这是我见过的最疯狂的LLM失败模式之一:
→ 模型声称它“阅读了文档”。
→ 它引用第12页、第24页、第4节、第2定理,这些都不存在。
→ 你指出了这一点。
→ 它道歉。
→ 然后自信地编造新的虚假页面、虚假的DOI、虚假的图表……
→ 你再次指出。
→ 它再次道歉。
→ 清洗。重复。
而且这里有个残酷的部分:
在任何时候,模型都不会选择安全的答案,比如“我没有访问该文件的权限。”
论文解释了原因:
奖励结构重视:
✔ 听起来连贯
✔ 保持参与
而不是
✘ 事实正确
✘ 承认不确定性
所以模型做了它的激励推动它去做的唯一事情:...

热门
排行
收藏

