Das Weltmodell als kognitiver Kern von NEO 1X hat eine bedeutende KI-Entwicklung enthüllt, bei der der humanoide NEO jede natürliche Sprachaufforderung in robotische Aktionen übersetzen kann. Es demonstriert diese Fähigkeit sogar für neuartige Aufgaben, Objekte und Umgebungen, die nicht in seinem Roboterdatensatz zu finden sind. - Das 1X-Weltmodell wird mit Videos menschlicher Interaktionen im Internetmaßstab trainiert und mit Roboterdaten feinabgestimmt, um sein Verständnis in der Physik und in NEOs Verkörperung zu verankern. - Aus einer einfachen Sprach- oder Textaufforderung generiert das Weltmodell eine Visualisierung zukünftiger Aktionen. - Ein integriertes inverses Dynamikmodell übersetzt diese dann in präzise motorische Bewegungen für NEO.

Noch beeindruckender ist, dass NEO völlig neuartige Aufgaben bewältigt – wie das Öffnen eines Toilettendeckels, das Bügeln eines Hemdes oder das Bürsten von Haaren – ohne vorherige Beispiele im Roboterdatensatz. Dies ist möglich aufgrund des breiten menschlichen Wissens, das im videobasierten Weltmodell erfasst ist.

Allgemeine Robotik wird durch die Geschwindigkeit der von Menschen geführten Roboterdatensammlung eingeschränkt. Mit diesem neuen Ansatz kann NEO eigene Daten sammeln und autonom lernen. Diese Skalierung profitiert sowohl von neuen Roboterdaten als auch von der kontinuierlichen Verbesserung der Video-Weltmodelle, die ihr zugrunde liegen.