Hoy nos acompaña @rdn_nikita, cofundador y CEO de @FlexionRobotics, para hablar sobre la brecha entre las capacidades robóticas actuales y lo que se requiere para desplegar robots totalmente autónomos en el mundo real. Nikita explica cómo el aprendizaje por refuerzo y la simulación han impulsado un rápido progreso en la locomoción robótica—y por qué la locomoción aún está lejos de estar "resuelta". Profundizamos en la brecha de sim2real y en cómo añadir entradas visuales introduce ruido y complica significativamente la transferencia de simulador a real. También exploramos el debate entre modelos de extremo a extremo y enfoques modulares, y por qué separar locomoción, planificación y semántica sigue siendo un enfoque pragmático hoy en día. Nikita también introduce el concepto de "real-to-sim", que utiliza datos del mundo real para refinar parámetros de simulación para entrenamiento de mayor fidelidad, analiza cómo se combinan el aprendizaje por refuerzo, el aprendizaje por imitación y los datos de teleoperación para entrenar políticas robustas tanto para robots cuadrúpedos como humanoides, e introduce el enfoque jerárquico de Flexion que utiliza modelos de visión-lenguaje (VLM) preentrenados para la orquestación de tareas de alto nivel con modelos Visión-Lenguaje-Acción (VLA) y de bajo nivel Rastreadores de cuerpo entero. Por último, Nikita comparte el detrás de las escenas de demostraciones de robots humanoides, su visión sobre el aprendizaje por refuerzo en simulación frente al mundo real, las sutilezas del ajuste de recompensas y ofrece consejos prácticos para investigadores y profesionales que desean empezar en la robótica hoy en día. 🗒️ Para consultar la lista completa de recursos para este episodio, visita la página de notas del programa: 📖 CAPÍTULOS =============================== 00:00 - Introducción 04:07 - ¿Se ha resuelto la locomoción robótica? 06:04 - Distancia de simulador a real 08:58 - Añadiendo semántica a las políticas 09:42 - Arquitecturas modulares vs de extremo a extremo 10:29 - Modelo de planificador 12:21 - Adaptando técnicas de RL de cuadrúpedos a humanoides 15:39 - Detrás de las demostraciones de robots 18:09 - Robots humanoides en entornos domésticos 22:03 - Aproximación de entrenamiento 23:56 - Modelos VLA 27:59 - Cerrando la brecha entre simulador y real 32:55 - Orquestación de tareas usando VLMs 36:38 - Uso de herramientas 38:10 - Jerarquía de modelos 43:37 - Entorno simulador frente a simulación 44:57 - Combinando el aprendizaje por imitación y el aprendizaje por refuerzo 46:42 - RL en el mundo real frente a RL en simulación 52:58 - Ajuste de recompensas y funciones de valor en robótica 56:38 - Predicciones 1:00:10 - Humanoides, cuadrópedos y plataformas con ruedas 1:02:45 - Consejos, kits de robots recomendados y pla comunitario