Heute sind wir mit @rdn_nikita, Mitbegründer und CEO von @FlexionRobotics, zusammen, um über die Kluft zwischen den aktuellen robotischen Fähigkeiten und dem, was erforderlich ist, um vollständig autonome Roboter in der realen Welt einzusetzen, zu diskutieren. Nikita erklärt, wie verstärkendes Lernen und Simulationen den schnellen Fortschritt in der Robotermobilität vorangetrieben haben – und warum die Mobilität noch lange nicht "gelöst" ist. Wir tauchen in die sim2real-Kluft ein und wie das Hinzufügen visueller Eingaben Rauschen einführt und den sim-to-real-Transfer erheblich kompliziert. Wir erkunden auch die Debatte zwischen End-to-End-Modellen und modularen Ansätzen und warum die Trennung von Mobilität, Planung und Semantik heute einen pragmatischen Ansatz darstellt. Nikita führt auch das Konzept "real-to-sim" ein, das reale Daten verwendet, um Simulationsparameter für ein höheres Maß an Treue im Training zu verfeinern, diskutiert, wie verstärkendes Lernen, Imitationslernen und Teleoperationsdaten kombiniert werden, um robuste Richtlinien für sowohl vierbeinige als auch humanoide Roboter zu trainieren, und stellt Flexions hierarchischen Ansatz vor, der vortrainierte Vision-Language-Modelle (VLMs) für die hochrangige Aufgabenorchestrierung mit Vision-Language-Action (VLA)-Modellen und niedergradigen Ganzkörper-Trackern nutzt. Schließlich teilt Nikita die Hintergründe der humanoiden Roboter-Demos, seine Meinung zu verstärkendem Lernen in Simulationen im Vergleich zur realen Welt, die Nuancen der Belohnungseinstellung und bietet praktische Ratschläge für Forscher und Praktiker, die heute mit Robotik beginnen möchten. 🗒️ Für die vollständige Liste der Ressourcen für diese Episode besuchen Sie die Seite mit den Shownotes: 📖 KAPITEL =============================== 00:00 - Einführung 04:07 - Ist die Robotermobilität gelöst? 06:04 - Sim-to-real-Kluft 08:58 - Hinzufügen von Semantik zu Richtlinien 09:42 - Modulare vs. End-to-End-Architekturen 10:29 - Planungsmodell 12:21 - Anpassung von RL-Techniken von Vierbeinern zu Humanoiden 15:39 - Hinter den Roboterdemos 18:09 - Humanoide Roboter in Wohnumgebungen 22:03 - Trainingsansatz 23:56 - VLA-Modelle 27:59 - Schließen der sim-to-real-Kluft 32:55 - Aufgabenorchestrierung mit VLMs 36:38 - Werkzeugnutzung 38:10 - Modellhierarchie 43:37 - Simulator versus Simulationsumgebung 44:57 - Kombination von Imitationslernen und verstärkendem Lernen 46:42 - RL in der realen Welt versus RL in Simulationen 52:58 - Belohnungseinstellung und Wertfunktionen in der Robotik 56:38 - Vorhersagen 1:00:10 - Humanoide, Vierbeiner und Räderplattformen 1:02:45 - Ratschläge, empfohlene Roboter-Kits und Community pla