În noua noastră cercetare, prezentăm AutoJudge — o metodă de accelerare a inferenței care învață care tokenuri sunt importante pentru răspuns. Rezultatul? Accelerări de 1,5-2x comparativ cu decodarea speculativă și câștiguri constante combinate cu tehnici avansate. 🚀
De asemenea, citește firul cu detalii de la autorii articolelor:
Max Ryabinin
Max Ryabinin5 dec., 02:02
Suntem încântați să împărtășim cercetările noastre recente despre AutoJudge, o tehnică de decodare care combină: - Accelerarea inferenței prin relaxarea constrângerii de potrivire a distribuției - Ușurință în utilizare și scalabilitate datorită unui protocol de antrenament auto-supravegheat Prezentez la #NeurIPS2025 astăzi! (1/9)
Autorii vor prezenta AutoJudge la #NeurIPS2025 din San Diego. Cunoaște echipa și află mai multe despre această abordare! 🕑4 decembrie, 16:30 PST 🗺️Sala de Expoziții C,D,E #2010
2,23K