У нашому новому дослідженні ми представляємо AutoJudge — метод прискорення висновку, який визначає, які токени важливі для відповіді. Результат? Прискорення у 1,5-2 рази порівняно зі спекулятивним декодуванням і стабільний приріст у поєднанні з просунутими техніками. 🚀
Також прочитайте тему з деталями від авторів статей:
Max Ryabinin
Max Ryabinin5 груд., 02:02
Раді поділитися нашими недавніми дослідженнями про AutoJudge — техніку декодування, яка поєднує: - Прискорення висновку шляхом послаблення обмеження на відповідність розподілу - Простота використання та масштабованість завдяки самоконтрольованому протоколу навчання Сьогодні виступаю на #NeurIPS2025! (1/9)
Автори представлять AutoJudge на #NeurIPS2025 у Сан-Дієго. Познайомтеся з командою та дізнайтеся більше про цей підхід! 🕑4 грудня, 16:30 PST 🗺️Виставковий зал C,D,E #2010
2,25K