Hoy, estamos acompañados por @rdn_nikita, cofundador y CEO de @FlexionRobotics para discutir la brecha entre las capacidades robóticas actuales y lo que se requiere para desplegar robots totalmente autónomos en el mundo real. Nikita explica cómo el aprendizaje por refuerzo y la simulación han impulsado un progreso rápido en la locomoción robótica—y por qué la locomoción aún está lejos de estar "resuelta". Profundizamos en la brecha sim2real, y cómo agregar entradas visuales introduce ruido y complica significativamente la transferencia de sim a real. También exploramos el debate entre modelos de extremo a extremo y enfoques modulares, y por qué separar locomoción, planificación y semántica sigue siendo un enfoque pragmático hoy en día. Nikita también introduce el concepto de "real-a-sim", que utiliza datos del mundo real para refinar los parámetros de simulación para un entrenamiento de mayor fidelidad, discute cómo se combinan el aprendizaje por refuerzo, el aprendizaje por imitación y los datos de teleoperación para entrenar políticas robustas tanto para robots cuadrúpedos como humanoides, y presenta el enfoque jerárquico de Flexion que utiliza Modelos de Lenguaje-Visión (VLMs) preentrenados para la orquestación de tareas de alto nivel con modelos de Lenguaje-Visión-Acción (VLA) y rastreadores de cuerpo completo de bajo nivel. Finalmente, Nikita comparte lo que hay detrás de las demostraciones de robots humanoides, su opinión sobre el aprendizaje por refuerzo en simulación frente al mundo real, las sutilezas de la sintonización de recompensas, y ofrece consejos prácticos para investigadores y profesionales que buscan comenzar en robótica hoy. 🗒️ Para la lista completa de recursos de este episodio, visita la página de notas del programa: 📖 CAPÍTULOS =============================== 00:00 - Introducción 04:07 - ¿Está resuelta la locomoción robótica? 06:04 - Brecha sim-a-real 08:58 - Agregando semántica a las políticas 09:42 - Arquitecturas modulares vs de extremo a extremo 10:29 - Modelo de planificación 12:21 - Adaptando técnicas de RL de cuadrúpedos a humanoides 15:39 - Detrás de las demostraciones de robots 18:09 - Robots humanoides en entornos domésticos 22:03 - Enfoque de entrenamiento 23:56 - Modelos VLA 27:59 - Cerrando la brecha sim-a-real 32:55 - Orquestación de tareas usando VLMs 36:38 - Uso de herramientas 38:10 - Jerarquía de modelos 43:37 - Simulador versus entorno de simulación 44:57 - Combinando aprendizaje por imitación y aprendizaje por refuerzo 46:42 - RL en el mundo real versus RL en simulación 52:58 - Sintonización de recompensas y funciones de valor en robótica 56:38 - Predicciones 1:00:10 - Humanoides, cuadrúpedos y plataformas con ruedas 1:02:45 - Consejos, kits de robots recomendados y comunidad.