Det var noe dypt tilfredsstillende med ImageNet. Den hadde et godt kuratert treningssett. En klart definert testprotokoll. En konkurranse som samlet de beste forskerne. Og en ledertavle som skapte ResNets og ViT-er, og til slutt endret feltet for godt. Så fulgte NLP. Uansett hvor mye OpenAI, Anthropic og xAI er uenige, er de i det minste enige om én ting: benchmarking. MMLU, HLE, SWEBench - du kan ikke gjøre fremskritt før du er i stand til å måle det. Robotikk har fortsatt ikke en slik oppfordring. Ingen er enige om noe: maskinvare, oppgave, poengsum, simuleringsmotor eller virkelige omgivelser. Alle er SOTA, per definisjon, på referansen de definerer i farten for hver artikkel. Fra skaperen av ImageNet - BEHAVIOR tar et stikk på den skremmende utfordringen med å forene robotikk-benchmarking på en reproduserbar fysikkmotor (Isaac Sim). Prosjektet startet før jeg ble uteksaminert fra Stanford Vision Lab, og tok så mange år med dedikasjon og doktorgradskarrierer å bygge. Jeg håper ATFERD enten er bakkeklatringssignalet vi trenger, eller gnisten som endelig får oss til å snakke om hvordan vi kan måle reell fremgang som et felt.

Vibe Minecraft: en flerspiller, selvkonsistent verdensmodell i sanntid som gjør det mulig å bygge hva som helst og trylle frem alle gjenstander. Funksjonen til verktøy og til og med selve spillmekanikken kan programmeres av naturlig språk, for eksempel "chrono-pickaxe: tilbakestill enhver blokk til en tidligere tilstand i tide" og "fossefall blir til regnbuebro når enhjørninger går forbi". Spillere definerer og manipulerer kollektivt en delt verden. Den nevrale simen tar som input en *multimodal* systemmelding: spilleregler, eiendelspng-er, et globalt kart og påskeegg. Den lagrer med jevne mellomrom spilltilstander som en sekvens av latente vektorer som kan lastes tilbake i kontekst, eventuelt med sammenflettede "veiledningstekster" for å tillate enkel redigering. Hver spiller har sin egen eksplisitte statistikk json (helse, inventar, 3D-koordinat) samt implisitte "spillervektorer" som fanger opp interaksjonshistorikk av høyere orden. Spilladministratorer kan lage et Minecraft-multivers fordi de latente er kompatible fra forskjellige servere. Hver verden kan sømløst krysse med en annen for å skape nye verdener på sekunder. Folk kan mikse og matche med vennenes eller sine egne tidligere stater. «Sjeldne vektorer» kan dukke opp når noen spillere uunngåelig vil vandre inn i det bisarre, ukjente latente rommet i verdensmodellen. Disse flytematrisene kan handles som NFT-er. Jo villere ting du prøver, jo mer sannsynlig er det at du utvinner sjeldne vektorer. Den som sender Vibe Minecraft først, vil gå inn i historien som å endre spillforløpet for alltid.

Vil gjerne se FSD-skaleringsloven, siden det er det eneste fysiske datasvinghjulet på planetarisk skala. Hva er «terskelen for nye evner» for modell-/datastørrelse?