A fost ceva profund satisfăcător la ImageNet. Avea un set de antrenament bine organizat. Un protocol de testare clar definit. O competiție care a adunat cei mai buni cercetători. Și un clasament care a dat naștere ResNets și ViTs și, în cele din urmă, a schimbat definitiv terenul. Apoi a urmat NLP. Indiferent cât de mult OpenAI, Anthropic și xAI nu sunt de acord, cel puțin sunt de acord cu un singur lucru: benchmarking. MMLU, HLE, SWEBench - nu poți face progrese până când nu ești capabil să-l măsori. Robotica încă nu are un astfel de apel de mobilizare. Nimeni nu este de acord cu nimic: hardware, sarcină, punctaj, motor de simulare sau mediu din lumea reală. Toată lumea este SOTA, prin definiție, pe punctul de referință pe care îl definește din mers pentru fiecare lucrare. De la producătorul ImageNet - BEHAVIOR încearcă provocarea descurajantă de a unifica benchmarking-ul robotic pe un motor fizic reproductibil (Isaac Sim). Proiectul a început înainte de a absolvi Stanford Vision Lab și a durat atât de mulți ani de dedicare și carieră de doctorat pentru a fi construit. Sper că COMPORTAMENTUL este fie semnalul de urcare a dealurilor de care avem nevoie, fie scânteia care ne face în sfârșit să vorbim despre cum să măsurăm progresul real ca domeniu.

Vibe Minecraft: un model de lume multi-player, auto-consistent, în timp real, care permite construirea de orice și conjurarea oricăror obiecte. Funcția instrumentelor și chiar mecanica jocului în sine pot fi programate prin limbaj natural, cum ar fi "crono-târnăcop: readuceți orice bloc la o stare anterioară în timp" și "cascadele se transformă în pod curcubeu când trec unicornii". Jucătorii definesc și manipulează colectiv o lume comună. Simulatorul neuronal ia ca intrare un prompt de sistem *multimodal*: reguli de joc, png de active, o hartă globală și ouă de Paște. Salvează periodic stările jocului ca o secvență de vectori latenți care pot fi încărcați înapoi în context, opțional cu "texte de îndrumare" intercalate pentru a permite editarea ușoară. Fiecare jucător are propria statistică explicită json (sănătate, inventar, coordonate 3D), precum și "vectori de jucător" impliciti care surprind istoricul interacțiunilor de ordin superior. Administratorii jocului pot crea un multivers Minecraft, deoarece latenții sunt compatibili de pe servere diferite. Fiecare lume se poate intersecta fără probleme cu alta pentru a genera lumi noi în câteva secunde. Oamenii pot amesteca și potrivi cu prietenii lor sau cu propriile stări trecute. "Vectori rari" pot apărea pe măsură ce unii jucători ar rătăci inevitabil în spațiul latent bizar și neexplorat al modelului lumii. Aceste matrice float pot fi tranzacționate ca NFT-uri. Cu cât încercați lucruri mai sălbatice, cu atât este mai probabil să extrageți vectori rari. Oricine lansează primul Vibe Minecraft va rămâne în istorie ca modificând cursul jocurilor pentru totdeauna.

Mi-ar plăcea să văd Legea de scalare FSD, deoarece este singurul volant de date fizice la scară planetară. Care este "pragul de abilitate emergentă" pentru dimensiunea modelului/datelor?