C'era qualcosa di profondamente soddisfacente in ImageNet. Aveva un set di addestramento ben curato. Un protocollo di test chiaramente definito. Una competizione che ha radunato i migliori ricercatori. E una classifica che ha generato ResNets e ViTs, cambiando infine il campo per sempre. Poi è seguito il NLP. Non importa quanto OpenAI, Anthropic e xAI non siano d'accordo, almeno concordano su una cosa: il benchmarking. MMLU, HLE, SWEBench - non puoi fare progressi finché non sei in grado di misurarli. La robotica non ha ancora un tale richiamo. Nessuno è d'accordo su nulla: hardware, compito, punteggio, motore di simulazione o ambiente reale. Ognuno è SOTA, per definizione, sul benchmark che definisce al volo per ogni articolo. Dal creatore di ImageNet - BEHAVIOR affronta la sfida scoraggiante di unificare il benchmarking della robotica su un motore fisico riproducibile (Isaac Sim). Il progetto è iniziato prima che mi laureassi allo Stanford Vision Lab e ha richiesto tanti anni di dedizione e carriere di dottorato per essere costruito. Spero che BEHAVIOR sia o il segnale di scalata di cui abbiamo bisogno, o la scintilla che finalmente ci fa parlare di come misurare i veri progressi come campo.

Vibe Minecraft: un modello di mondo in tempo reale, auto-consistente e multi-giocatore che consente di costruire qualsiasi cosa e evocare qualsiasi oggetto. La funzione degli strumenti e persino le meccaniche di gioco possono essere programmate tramite linguaggio naturale, come "piccone cronologico: riporta qualsiasi blocco a uno stato precedente nel tempo" e "le cascate si trasformano in un ponte arcobaleno quando i unicorni passano". I giocatori definiscono e manipolano collettivamente un mondo condiviso. Il simulatore neurale prende come input un prompt di sistema *multimodale*: regole di gioco, png degli asset, una mappa globale e uova di Pasqua. Salva periodicamente gli stati di gioco come una sequenza di vettori latenti che possono essere ricaricati nel contesto, eventualmente con "testi di guida" intercalati per consentire una facile modifica. Ogni giocatore ha il proprio stat json esplicito (salute, inventario, coordinate 3D) così come "vettori di giocatore" impliciti che catturano la storia delle interazioni di ordine superiore. Gli amministratori del gioco possono creare un multiverso di Minecraft perché i latenti sono compatibili tra diversi server. Ogni mondo può attraversare senza soluzione di continuità un altro per generare nuovi mondi in pochi secondi. Le persone possono mescolare e abbinare con gli stati passati dei loro amici o i propri. "Vettori rari" possono emergere poiché alcuni giocatori inevitabilmente vagheranno nello spazio latente bizzarro e inesplorato del modello di mondo. Quelle matrici fluttuanti possono essere scambiate come NFT. Più cose strane provi, più è probabile che tu estragga vettori rari. Chiunque lanci Vibe Minecraft per primo entrerà nella storia come colui che ha alterato il corso del gioco per sempre.

Mi piacerebbe vedere la Legge di Scalabilità FSD, poiché è l'unico volano di dati fisico su scala planetaria. Qual è la "soglia di abilità emergente" per la dimensione del modello/dati?