AI模型正在变得更强大,但它们的信心增长速度仍然快于它们的确定性。 更多的参数扩展了系统可以讨论的内容,而不是它可以真正验证的内容。可能答案的空间增长速度快于这些答案所依赖的基础。即使模型已经超出了数据所能支持的范围,它仍然流利地表达。 幻觉依然存在,因为基础行为没有改变。模型仍然在高分辨率下预测下一个标记。扩展使得猜测变得更加顺畅,而不是更有根据。当模型漂移到它实际上理解的世界之外时,它仍然以同样的轻松和节奏继续进行。语言变得更加精炼。错误变得更难以发现。 改善的不是事实。改善的是说服力。这就是为什么更强大的模型感觉更准确,即使它们并不是。错误看起来像洞察,直到你检查细节。模型在塑造论点方面越好,越容易忘记这个论点从一开始就没有得到真实来源的支持。 前进的道路是围绕模型构建系统,以限制漂移。检索以锚定答案。反馈循环以保持其诚实。护栏迫使模型回到实际已知的内容中。 单靠力量无法消除幻觉。只有扎根才能做到。