当你的代理感觉缓慢或不一致时,通常是因为它使用了错误的模型来完成任务。许多代理默认使用它们“最聪明”的模型来处理所有事情。这就像用超级计算机来检查拼写! 一个更简单的解决方案是让代理在回答之前决定任务实际上需要多少智能。 1. 让代理将任务分类为简单、创造性或分析性。 2. 将简单工作路由到轻量级模型,仅在需要分析时使用重推理模型。 这样做的人报告说延迟更低,失败更少,规模化时成本显著降低。