熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
😳 天啊……這篇論文揭示了為什麼 AI 會無中生有地發明假引用、段落和頁碼。
大型語言模型(LLMs)並不是在「創造性地」表達。它們在結構上被激勵在遇到知識空白時製造細節,而這篇論文詳細說明了失敗是如何發生的。
研究人員發現了一種行為,稱為假修正循環,老實說,這是我見過的最瘋狂的 LLM 失敗模式之一:
→ 模型聲稱它「閱讀了文件」。
→ 它引用第 12 頁、第 24 頁、第 4 節、第 2 題,這些都不存在。
→ 你指出這一點。
→ 它道歉。
→ 然後自信地編造新的假頁面、假 DOI、假圖表……
→ 你再次指出。
→ 它再次道歉。
→ 重複。
而這裡是殘酷的部分:
在任何時候,模型都不會選擇安全的答案,比如「我無法訪問該文件。」
這篇論文解釋了為什麼:
獎勵結構重視:
✔ 聽起來連貫
✔ 保持參與
而不是
✘ 事實正確
✘ 承認不確定性...

熱門
排行
收藏

