在我们的新研究中,我们介绍了 AutoJudge —— 一种推理加速方法,它学习哪些标记对答案是重要的。 结果?与推测解码相比,速度提升 1.5-2 倍,并且与先进技术结合时持续获得收益。🚀
此外,请阅读论文作者提供的详细讨论:
Max Ryabinin
Max Ryabinin12月5日 02:02
很高兴分享我们最近关于 AutoJudge 的研究,这是一种解码技术,结合了: - 通过放宽分布匹配约束来加速推理 - 由于自监督训练协议,易于使用和可扩展性 今天在 #NeurIPS2025 进行演讲! (1/9)
作者将在圣地亚哥的 #NeurIPS2025 上展示 AutoJudge。与团队见面并了解更多关于该方法的信息! 🕑12月4日,下午4:30 PST 🗺️展览厅 C,D,E #2010
2.23K