Es gab etwas zutiefst Befriedigendes an ImageNet. Es hatte einen gut kuratierten Trainingssatz. Ein klar definiertes Testprotokoll. Einen Wettbewerb, der die besten Forscher zusammenbrachte. Und eine Rangliste, die ResNets und ViTs hervorgebracht hat und letztendlich das Feld für immer verändert hat. Dann folgte NLP. Egal wie sehr OpenAI, Anthropic und xAI uneinig sind, sie sind sich zumindest in einer Sache einig: Benchmarking. MMLU, HLE, SWEBench - man kann keinen Fortschritt erzielen, bis man in der Lage ist, ihn zu messen. Die Robotik hat immer noch keinen solchen Aufruf zur Einheit. Niemand ist sich über irgendetwas einig: Hardware, Aufgabe, Bewertung, Simulationsengine oder reale Umgebung. Jeder ist SOTA, per Definition, bei dem Benchmark, den er für jedes Papier spontan definiert. Vom Schöpfer von ImageNet - BEHAVIOR versucht, die gewaltige Herausforderung anzugehen, das Benchmarking in der Robotik auf einer reproduzierbaren Physik-Engine (Isaac Sim) zu vereinheitlichen. Das Projekt begann, bevor ich vom Stanford Vision Lab graduierte, und erforderte viele Jahre Hingabe und Doktoratskarrieren, um es aufzubauen. Ich hoffe, BEHAVIOR ist entweder das Signal zum Bergsteigen, das wir brauchen, oder der Funke, der uns endlich dazu bringt, darüber zu sprechen, wie wir echten Fortschritt als Feld messen können.

Vibe Minecraft: ein Mehrspieler-, konsistentes, Echtzeit-Weltmodell, das den Bau von allem und das Beschwören beliebiger Objekte ermöglicht. Die Funktion von Werkzeugen und sogar die Spielmechanik selbst können durch natürliche Sprache programmiert werden, wie zum Beispiel "Chrono-Pickaxe: setze jeden Block in einen vorherigen Zustand zurück" und "Wasserfälle verwandeln sich in Regenbogenbrücken, wenn Einhörner vorbeigehen". Die Spieler definieren und manipulieren gemeinsam eine geteilte Welt. Die neuronale Simulation nimmt als Eingabe einen *multimodalen* Systemprompt: Spielregeln, Asset-PNGs, eine globale Karte und Ostereier. Sie speichert regelmäßig den Spielzustand als eine Sequenz von latenten Vektoren, die wieder in den Kontext geladen werden können, optional mit eingestreuten "Leittexten", um eine einfache Bearbeitung zu ermöglichen. Jeder Spieler hat sein eigenes explizites Stat-JSON (Gesundheit, Inventar, 3D-Koordinate) sowie implizite "Spielervektoren", die die Interaktionsgeschichte höherer Ordnung erfassen. Spieladministratoren können ein Minecraft-Multiversum erstellen, da die latenten Vektoren von verschiedenen Servern kompatibel sind. Jede Welt kann nahtlos mit einer anderen kreuzen, um in Sekundenschnelle neue Welten zu erschaffen. Die Menschen können mit den vergangenen Zuständen ihrer Freunde oder ihren eigenen mischen und kombinieren. "Seltene Vektoren" können entstehen, da einige Spieler unvermeidlich in den bizarren, unerforschten latenten Raum des Weltmodells wandern würden. Diese schwebenden Matrizen können als NFTs gehandelt werden. Je wilder die Dinge sind, die du ausprobierst, desto wahrscheinlicher ist es, dass du seltene Vektoren abbaust. Wer auch immer Vibe Minecraft zuerst veröffentlicht, wird in die Geschichte eingehen, da er den Verlauf des Spielens für immer verändert.

Ich würde gerne das FSD Scaling Law sehen, da es das einzige physische Datenflywheel im planetarischen Maßstab ist. Was ist die "emergent ability threshold" für Modell-/Datengröße?