Il y avait quelque chose de profondément satisfaisant dans ImageNet. Il avait un ensemble d'entraînement bien organisé. Un protocole de test clairement défini. Une compétition qui rassemblait les meilleurs chercheurs. Et un classement qui a engendré des ResNets et des ViTs, et a finalement changé le domaine pour de bon. Puis le NLP a suivi. Peu importe combien OpenAI, Anthropic et xAI sont en désaccord, ils s'accordent au moins sur une chose : l'évaluation. MMLU, HLE, SWEBench - vous ne pouvez pas progresser tant que vous n'êtes pas en mesure de le mesurer. La robotique n'a toujours pas un tel appel à l'unité. Personne n'est d'accord sur quoi que ce soit : matériel, tâche, notation, moteur de simulation ou environnement réel. Tout le monde est SOTA, par définition, sur le benchmark qu'il définit à la volée pour chaque article. Du créateur d'ImageNet - BEHAVIOR s'attaque au défi redoutable d'unifier l'évaluation en robotique sur un moteur physique reproductible (Isaac Sim). Le projet a commencé avant que je ne termine mes études au Stanford Vision Lab, et a nécessité tant d'années de dévouement et de carrières de doctorat pour être construit. J'espère que BEHAVIOR est soit le signal de montée que nous avons besoin, soit l'étincelle qui nous fera enfin parler de la manière de mesurer le véritable progrès en tant que domaine.

Vibe Minecraft : un modèle de monde en temps réel, multi-joueur et auto-cohérent qui permet de construire n'importe quoi et d'invoquer n'importe quel objet. La fonction des outils et même les mécaniques du jeu peuvent être programmées par langage naturel, comme "pioche chrono : ramène n'importe quel bloc à un état précédent dans le temps" et "les cascades se transforment en pont arc-en-ciel lorsque des licornes passent". Les joueurs définissent et manipulent collectivement un monde partagé. La simulation neuronale prend en entrée un prompt système *multimodal* : règles du jeu, png d'actifs, carte globale et œufs de Pâques. Elle sauvegarde périodiquement les états du jeu sous forme de séquence de vecteurs latents qui peuvent être rechargés dans le contexte, éventuellement avec des "textes de guidance" entrelacés pour permettre une édition facile. Chaque joueur a son propre json d'état explicite (santé, inventaire, coordonnées 3D) ainsi que des "vecteurs de joueur" implicites qui capturent l'historique d'interaction d'ordre supérieur. Les administrateurs de jeu peuvent créer un multivers Minecraft car les latents sont compatibles entre différents serveurs. Chaque monde peut se croiser sans effort avec un autre pour générer de nouveaux mondes en quelques secondes. Les gens peuvent mélanger et assortir avec les états passés de leurs amis ou les leurs. Des "vecteurs rares" peuvent émerger car certains joueurs finissent inévitablement par errer dans l'espace latent bizarre et inexploré du modèle de monde. Ces matrices flottantes peuvent être échangées en tant que NFTs. Plus vous essayez de choses étranges, plus vous êtes susceptible de miner des vecteurs rares. Quiconque lancera Vibe Minecraft en premier entrera dans l'histoire comme ayant modifié le cours du jeu à jamais.

J'aimerais voir la loi d'échelle FSD, car c'est le seul flywheel de données physiques à l'échelle planétaire. Quel est le "seuil de capacité émergente" pour la taille du modèle/données ?