Det var något djupt tillfredsställande med ImageNet. Den hade ett väl utvalt träningsset. Ett tydligt definierat testprotokoll. En tävling som samlade de bästa forskarna. Och en topplista som gav upphov till ResNets och ViTs, och som i slutändan förändrade fältet för gott. Sedan följde NLP. Oavsett hur mycket OpenAI, Anthropic och xAI är oense, är de åtminstone överens om en sak: benchmarking. MMLU, HLE, SWEBench - du kan inte göra framsteg förrän du kan mäta det. Robotiken har fortfarande inte fått någon sådan stridskraft. Ingen är överens om någonting: hårdvara, uppgift, poängsättning, simuleringsmotor eller verklig miljö. Alla är SOTA, per definition, på det riktmärke som de definierar i farten för varje papper. Från tillverkaren av ImageNet - BEHAVIOR tar sig an den skrämmande utmaningen att förena robotbenchmarking på en reproducerbar fysikmotor (Isaac Sim). Projektet startade innan jag tog examen från Stanford Vision Lab, och det tog så många år av engagemang och doktorandkarriärer att bygga upp. Jag hoppas att BEHAVIOR antingen är den signal vi behöver, eller den gnista som äntligen får oss att prata om hur man mäter verkliga framsteg som ett område.

Vibe Minecraft: en självkonsistent världsmodell för flera spelare i realtid som gör det möjligt att bygga vad som helst och trolla fram vilka föremål som helst. Verktygens funktion och till och med själva spelmekaniken kan programmeras med hjälp av naturligt språk, till exempel "kronohacka: återställ ett block till ett tidigare tillstånd i tiden" och "vattenfall förvandlas till regnbågsbro när enhörningar passerar". Spelare definierar och manipulerar kollektivt en delad värld. Den neurala simmen tar som indata en *multimodal* systemprompt: spelregler, tillgångs-pngs, en global karta och påskägg. Den sparar med jämna mellanrum speltillstånd som en sekvens av latenta vektorer som kan laddas tillbaka i sitt sammanhang, eventuellt med överlagrade "vägledningstexter" för att möjliggöra enkel redigering. Varje spelare har sin egen explicita statistik json (hälsa, inventering, 3D-koordinat) samt implicita "spelarvektorer" som samlar in interaktionshistorik av högre ordning. Speladministratörer kan skapa ett Minecraft-multiversum eftersom de latenta är kompatibla från olika servrar. Varje värld kan sömlöst korsas med en annan för att skapa nya världar på några sekunder. Människor kan mixa och matcha med sina vänners eller sina egna tidigare tillstånd. "Sällsynta vektorer" kan uppstå eftersom vissa spelare oundvikligen skulle vandra in i den bisarra, outforskade latenta rymden i världsmodellen. Dessa floatmatriser kan handlas som NFT:er. Ju vildare saker du provar, desto mer sannolikt är det att du bryter sällsynta vektorer. Den som skickar Vibe Minecraft först kommer att gå till historien som att ha förändrat spelandet för alltid.

Skulle älska att se FSD Scaling Law, eftersom det är det enda svänghjulet för fysiska data på planetskala. Vad är tröskeln för "framväxande förmåga" för modell-/datastorlek?