Ser fram emot att dela vår senaste forskning om AutoJudge, en avkodningsteknik som kombinerar: - Acceleration av inferensen genom att lätta på fördelningsmatchningsbegränsningen - Användarvänlighet och skalbarhet tack vare ett självövervakat träningsprotokoll Presenterar på #NeurIPS2025 idag! (1/9)

Vi finner att vi automatiskt kan utvinna etiketterna för acceptansklassificeraren. Specifikt tar vi en datamängd och kör mål- och utkastsmodellgenereringar. Sedan kontrollerar vi alla mismatchande tokens mellan mål- och draftmodeller. Om att behålla tokenen från utkastmodellen leder till fel svar, markeras den som viktig (3/9)

Med dessa etiketter kan vi träna en enkel klassificerare för att hitta viktiga tokens vid inferenstidpunkten. Om den ursprungliga spekulativa avkodningen skulle avvisa en token ger vi den en andra chans genom att fråga klassificeraren. För icke-viktiga tokens fortsätter vi genereringen, men för andra startar vi en ny spekulativ cykel (4/9)

Våra huvudsakliga utvärderingar av AutoJudge fokuserar på uppgifter där det är enkelt att mäta svarens korrekthet — programmering (LiveCodeBench) och matematik (GSM8K). Med modellpar som 8B/70B kan vi uppnå upp till 40 accepterade tokens per cykel med en träff på <1 % i noggrannhet! (5/9)

AutoJudge integreras också enkelt med öppen källkods inferensramverk som vLLM. Förbättringarna i acceptansgraden leder till snabbare ökningar från början till slut: om vi kompromissar med 2 % noggrannhet får vi nästan 50 % fler tokens per sekund! (6/9)

Att granska annotationerna för viktiga tokens avslöjar ett märkligt mönster: tydliga fel markeras som negativa prover (=> behöver regenereras), medan semantiskt ekvivalenta tokens tillåter spekulationen att fortsätta (7/9)

För att lära dig mer, kolla in: Papper: Kod: Blogginlägg: Förberäknade aktiveringar för GSM8K och LiveCodeBench: (8/9)

Detta arbete leddes av mina fantastiska medförfattare @garipovroma, @MightyNeighbour, Ivan Ermakov, Ruslan Svirschevski och Vage Egiazarian. Teamet är i San Diego för NeurIPS den här veckan – kom och säg hej idag på postersessionen! 16:30, affisch #2010 (9/9)