Dalam penelitian baru kami, kami menyajikan AutoJudge — metode akselerasi inferensi yang mempelajari token mana yang penting untuk jawabannya. Hasilnya? Kecepatan 1,5-2x dibandingkan dengan decoding spekulatif, dan keuntungan stabil bila dikombinasikan dengan teknik canggih. 🚀
Baca juga utas dengan detail dari penulis makalah:
Max Ryabinin
Max Ryabinin5 Des, 02.02
Senang untuk membagikan penelitian terbaru kami tentang AutoJudge, teknik decoding yang menggabungkan: - Percepatan inferensi melalui pelonggaran batasan pencocokan distribusi - Kemudahan penggunaan dan skalabilitas karena protokol pelatihan yang diawasi sendiri Presentasi di #NeurIPS2025 hari ini! (1/9)
Penulis akan mempresentasikan AutoJudge di #NeurIPS2025 di San Diego. Temui tim dan pelajari lebih lanjut tentang pendekatannya! 🕑4 Des, 16:30 PST 🗺️Aula Pameran C, D, E # 2010
2,24K