GDM-bevisen är underbara! Grattis till teamet för en imponerande insats.

kul: För 3/4 månader sedan körde jag o3 för några akademiker på en uppsättning AIME-liknande problem. Det har tagit dem så lång tid att skriva en sammanfattning av resultaten (96% irrc) att Alex löste bevis och IMO under tiden lol

kul: För 3/4 månader sedan körde jag o3 för några akademiker på en uppsättning AIME-liknande problem. Det har tagit dem så lång tid att skriva en sammanfattning av resultaten (98%) att Alex löste proof + IMO under tiden lol

kul: För 3/4 månader sedan körde jag o3 för några akademiker på en privat testuppsättning av AIME-liknande problem. Det har tagit dem så lång tid att skriva en sammanfattning av resultaten (96%) att Alex löst IMO under tiden.

@alexwei_ kan du berätta för världen hur många tokens per problem?

För att sammanfatta denna vecka: - Vi släppte en dator för allmänt bruk med hjälp av Agent - Blev slagen av en enda människa i en heuristiktävling i Atcoder - löste 5/6 nya IMO-problem med naturliga språkbevis Alla dessa är baserade på samma system för förstärkt inlärning

17 M amerikanska tonåringar årskurs 9-12, ~5 US IMO guld i praktiken men ~ 20 barn på guldnivå. Så IMO guld är en-på-miljonen mattetalang (för 18-åringar; men jag slår vad om att nästa Putnam faller också). 99,9999:e percentilen.

Varför är jag glad över IMO-resultat som vi just publicerat: - vi gjorde väldigt lite IMO-specifikt arbete, vi fortsätter bara att träna allmänna modeller - Alla bevis på naturligt språk - Ingen utvärderingssele Vi behövde ett nytt forskningsgenombrott och @alexwei_ och team levererade

Om du påstår att du har sett detta komma, är det bättre att du har det mångfaldiga P&L för att backa upp det

LLM:er är fortfarande underskattade