📣 Variasjon i verifisering: Forstå verifiseringsdynamikk i store språkmodeller 📄 Papir: 🔗 Prosjekt: Har du noen gang lurt på om LLM-verifikatoren din faktisk er pålitelig for oppgaven din? Analyserammeverket vårt avslører tre nøkkelfaktorer som bestemmer verifiseringssuksess på tvers av problemvanskeligheter, generatorkapasitet og verifikatorkapasitet. Viktig innsikt: 📈 Problemvanskeligheter gir riktig responsgjenkjenning - verifikatorer utmerker seg på enkle problemer, men sliter med vanskelige problemer 🔍 Generatorstyrke påvirker feildeteksjon - svake generatorer gir åpenbare feil, sterke skaper elegante, men feil løsninger ⚖️ Verifikatorskalering viser avtagende avkastning i visse regimer - noen ganger slår GPT-4o knapt mindre modeller 💡 For skalering i testtid: svake generatorer + verifisering kan matche sterke generatorers ytelse, og dyre verifikatorer er ikke alltid verdt det. Flott arbeid av Yefan Zhou @LiamZhou98, Austin Xu @austinsxu, Yilun Zhou @YilunZhou, Janvijay Singh @iamjanvijay, Jiang Gui @JiangGui, Shafiq Joty @JotyShafiq! #LLM #AIVerification #TestTimeScaling #FutureOfAI #EnterpriseAI