Dziś dołączają do nas @rdn_nikita, współzałożyciel i dyrektor generalny @FlexionRobotics, aby omówić różnicę między obecnymi możliwościami robotów a tym, co jest wymagane do wdrożenia w pełni autonomicznych robotów w rzeczywistym świecie. Nikita wyjaśnia, jak uczenie przez wzmocnienie i symulacja przyczyniły się do szybkiego postępu w lokomocji robotów — i dlaczego lokomocja wciąż jest daleka od "rozwiązania". Zgłębiamy temat różnicy sim2real oraz to, jak dodanie wizualnych danych wejściowych wprowadza szum i znacznie komplikuje transfer z symulacji do rzeczywistości. Badamy również debatę między modelami end-to-end a podejściami modułowymi oraz dlaczego oddzielanie lokomocji, planowania i semantyki pozostaje pragmatycznym podejściem dzisiaj. Nikita wprowadza również pojęcie "real-to-sim", które wykorzystuje dane z rzeczywistego świata do udoskonalenia parametrów symulacji w celu uzyskania wyższej wierności treningu, omawia, jak uczenie przez wzmocnienie, uczenie przez naśladowanie i dane z teleoperacji są łączone w celu trenowania solidnych polityk zarówno dla robotów czworonożnych, jak i humanoidalnych, oraz przedstawia hierarchiczne podejście Flexion, które wykorzystuje wstępnie wytrenowane modele wizji-języka (VLM) do orkiestracji zadań na wysokim poziomie z modelami wizji-języka-akcji (VLA) oraz niskopoziomowymi trackerami całego ciała. Na koniec Nikita dzieli się kulisami pokazów robotów humanoidalnych, swoją opinią na temat uczenia przez wzmocnienie w symulacji w porównaniu do rzeczywistego świata, niuansami dostrajania nagród i oferuje praktyczne porady dla badaczy i praktyków, którzy chcą rozpocząć pracę w dziedzinie robotyki dzisiaj. 🗒️ Pełną listę zasobów do tego odcinka znajdziesz na stronie notatek z programu: 📖 ROZDZIAŁY =============================== 00:00 - Wprowadzenie 04:07 - Czy lokomocja robotów jest rozwiązana? 06:04 - Różnica sim-to-real 08:58 - Dodawanie semantyki do polityk 09:42 - Architektury modułowe vs end-to-end 10:29 - Model planera 12:21 - Dostosowywanie technik RL z czworonogów do humanoidów 15:39 - Kulisy pokazów robotów 18:09 - Roboty humanoidalne w domowych środowiskach 22:03 - Podejście do treningu 23:56 - Modele VLA 27:59 - Zamykanie różnicy sim-to-real 32:55 - Orkiestracja zadań z wykorzystaniem VLM 36:38 - Użycie narzędzi 38:10 - Hierarchia modeli 43:37 - Symulator a środowisko symulacyjne 44:57 - Łączenie uczenia przez naśladowanie i uczenia przez wzmocnienie 46:42 - RL w rzeczywistości a RL w symulacji 52:58 - Dostrajanie nagród i funkcje wartości w robotyce 56:38 - Prognozy 1:00:10 - Humanoidy, czworonogi i platformy kołowe 1:02:45 - Porady, polecane zestawy robotów i społeczność pla