Olemme innoissamme voidessamme jakaa tuoreen tutkimuksemme AutoJudgesta, dekoodaustekniikasta, joka yhdistää: - Päättelyn kiihdytys jakaumayhteensopivuusrajoitteen löyhentämisen kautta - Helppokäyttöisyys ja skaalautuvuus itseohjatun koulutusprotokollan ansiosta Esittelen #NeurIPS2025 tänään! (1/9)

Huomaamme, että voimme louhia hyväksymisluokittelijan etikettejä automaattisesti. Tarkemmin sanottuna otamme aineiston ja ajamme kohde- ja luonnosmallien generointia. Sen jälkeen tarkistamme kaikki kohde- ja draft-mallien väliset epäsopivat tokenit. Jos tokenin jättäminen luonnosmallista johtaa väärään vastaukseen, se merkitään tärkeäksi (3/9)

Näiden tunnisteiden avulla voimme kouluttaa yksinkertaisen luokittelijan löytämään tärkeitä tokeneita päättelyajankohtana. Jos alkuperäinen spekulatiivinen dekoodaus hylkäisi tokenin, annamme sille toisen mahdollisuuden kysymällä luokittelijalta. Ei-tärkeille tokeneille jatketaan generointia, mutta toisille aloitamme uuden spekulatiivisen syklin (4/9)

Pääasialliset AutoJudgen arvioinnit keskittyvät tehtäviin, joiden oikeellisuutta on helppo mitata — ohjelmointi (LiveCodeBench) ja matematiikka (GSM8K). Mallipareilla, kuten 8B/70B, voimme saavuttaa jopa 40 hyväksyttyä tokenia per syklin ja tarkkuus on <1 %! (5/9)

AutoJudge integroituu myös helposti avoimen lähdekoodin päättelykehyksiin, kuten vLLM. Hyväksymisprosentin parannukset näkyvät päästä päähän nopeutetuiksi: jos vaihdamme 2 % tarkkuudesta, saamme lähes 50 % enemmän tokeneita sekunnissa! (6/9)

Tärkeiden tokenien annotaatioiden tarkastelu paljastaa mielenkiintoisen kaavan: selkeät virheet merkitään negatiivisiksi näytteiksi (=> täytyy regeneroida), kun taas semanttisesti ekvivalentit tokenit mahdollistavat spekuloinnin etenemisen (7/9)

Lisätietoja saat katsomalla: Paperi: Koodi: Blogikirjoitus: Esilasketut aktivointi GSM8K:lle ja LiveCodeBenchille: (8/9)

Tätä työtä johti upeat kanssakirjoittajani @garipovroma, @MightyNeighbour, Ivan Ermakov, Ruslan Svirschevski ja Vage Egiazarian. Tiimi on tällä viikolla San Diegossa NeurIPS-tapahtumassa — tule tervehtimään tänään julistetilaisuuteen! 16:30, juliste #2010 (9/9)