In ons nieuwe onderzoek presenteren we AutoJudge — een inferentieversnelling methode die leert welke tokens belangrijk zijn voor het antwoord. Het resultaat? 1,5-2x versnellingen vergeleken met speculatieve decodering, en constante winsten wanneer gecombineerd met geavanceerde technieken. 🚀
Lees ook de thread met details van de auteurs van het paper:
Max Ryabinin
Max Ryabinin5 dec, 02:02
Enthousiast om ons recente onderzoek naar AutoJudge te delen, een decoderingstechniek die combineert: - Versnelling van inferentie door de beperking van de distributieovereenkomst te versoepelen - Gebruiksgemak en schaalbaarheid dankzij een zelfgestuurd trainingsprotocol Vandaag presenteren op #NeurIPS2025! (1/9)
De auteurs zullen AutoJudge presenteren op #NeurIPS2025 in San Diego. Ontmoet het team en leer meer over de aanpak! 🕑4 dec, 16:30 PST 🗺️Exhibit Hall C,D,E #2010
2,25K