Er was iets diep bevredigends aan ImageNet. Het had een goed samengestelde trainingsset. Een duidelijk gedefinieerd testprotocol. Een competitie die de beste onderzoekers bijeenbracht. En een ranglijst die ResNets en ViTs voortbracht, en uiteindelijk het veld voor altijd veranderde. Toen volgde NLP. Hoeveel OpenAI, Anthropic en xAI ook van mening verschillen, ze zijn het in ieder geval over één ding eens: benchmarking. MMLU, HLE, SWEBench - je kunt geen vooruitgang boeken totdat je het kunt meten. Robotica heeft nog steeds zo'n oproep tot actie niet. Niemand is het ergens over eens: hardware, taak, scoring, simulatiemotor of echte omgeving. Iedereen is SOTA, per definitie, op de benchmark die ze ter plekke definiëren voor elk paper. Van de maker van ImageNet - BEHAVIOR probeert de ontmoedigende uitdaging aan te gaan om robotica-benchmarking te verenigen op een reproduceerbare fysica-engine (Isaac Sim). Het project begon voordat ik afstudeerde aan het Stanford Vision Lab, en kostte zoveel jaren van toewijding en PhD-carrières om op te bouwen. Ik hoop dat BEHAVIOR ofwel het signaal is dat we nodig hebben om de berg op te klimmen, of de vonk die ons eindelijk aan het praten krijgt over hoe we echte vooruitgang als veld kunnen meten.

Vibe Minecraft: een multiplayer, zelfconsistente, real-time wereldmodel dat het bouwen van alles en het oproepen van objecten mogelijk maakt. De functie van gereedschappen en zelfs de spelmechanica zelf kan worden geprogrammeerd met natuurlijke taal, zoals "chrono-pickaxe: keer elk blok terug naar een eerdere staat in de tijd" en "watervallen veranderen in een regenboogbrug wanneer eenhoorns voorbij komen". Spelers definiëren en manipuleren gezamenlijk een gedeelde wereld. De neurale simulatie neemt als invoer een *multimodaal* systeemprompt: spelregels, asset png's, een wereldkaart en easter eggs. Het slaat periodiek speltoestanden op als een reeks latente vectoren die weer in context kunnen worden geladen, optioneel met ingemengde "leidende teksten" om eenvoudig te kunnen bewerken. Elke gamer heeft zijn eigen expliciete stat json (gezondheid, inventaris, 3D-coördinaat) evenals impliciete "speler vectoren" die de geschiedenis van hogere-orde interacties vastleggen. Gamebeheerders kunnen een Minecraft multiversum creëren omdat de latente vectoren compatibel zijn van verschillende servers. Elke wereld kan naadloos met een andere kruisen om in enkele seconden nieuwe werelden te creëren. Mensen kunnen mixen en matchen met de vorige staten van hun vrienden of hun eigen staten. "Zeldzame vectoren" kunnen ontstaan omdat sommige spelers onvermijdelijk in de bizarre, onontdekte latente ruimte van het wereldmodel zouden dwalen. Die zwevende matrices kunnen worden verhandeld als NFT's. Hoe wilder de dingen die je probeert, hoe waarschijnlijker het is dat je zeldzame vectoren zult delven. Wie Vibe Minecraft als eerste lanceert, zal de geschiedenis ingaan als degene die de loop van het gamen voor altijd heeft veranderd.

Ik zou graag de FSD Scaling Law willen zien, aangezien het de enige fysieke data flywheel op planetair niveau is. Wat is de "emergent ability threshold" voor model/data grootte?