I vår nya forskning presenterar vi AutoJudge — en inferensaccelerationsmetod som lär sig vilka tokens som är viktiga för svaret. Resultatet? 1,5–2x hastighetsökningar jämfört med spekulativ avkodning, och stadiga vinster när de kombineras med avancerade tekniker. 🚀
Läs också tråden med detaljer från artikelförfattarna:
Max Ryabinin
Max Ryabinin5 dec. 02:02
Ser fram emot att dela vår senaste forskning om AutoJudge, en avkodningsteknik som kombinerar: - Acceleration av inferensen genom att lätta på fördelningsmatchningsbegränsningen - Användarvänlighet och skalbarhet tack vare ett självövervakat träningsprotokoll Presenterar på #NeurIPS2025 idag! (1/9)
Författarna kommer att presentera AutoJudge på #NeurIPS2025 i San Diego. Möt teamet och lär dig mer om tillvägagångssättet! 🕑4 dec, 16:30 PST 🗺️Utställningshall C,D,E #2010
2,29K