今天，我們邀請到了 @rdn_nikita，@FlexionRobotics 的共同創辦人兼 CEO，來討論當前機器人能力與在現實世界中部署完全自主機器人所需的差距。Nikita 解釋了強化學習和模擬如何推動機器人運動的快速進展——以及為什麼運動仍然遠未「解決」。我們深入探討了 sim2real 差距，以及添加視覺輸入如何引入噪音並顯著複雜化模擬到現實的轉移。我們還探討了端到端模型與模組化方法之間的辯論，以及為什麼將運動、規劃和語義分開仍然是當今的一種務實方法。Nikita 還介紹了「真實到模擬」的概念，該概念使用現實世界數據來細化模擬參數，以進行更高保真度的訓練，並討論了如何將強化學習、模仿學習和遠程操作數據結合起來，為四足和人形機器人訓練穩健的策略，並介紹了 Flexion 的分層方法，該方法利用預訓練的視覺-語言模型 (VLMs) 進行高層次任務協調，並使用視覺-語言-行動 (VLA) 模型和低層次全身追蹤器。最後，Nikita 分享了人形機器人演示的幕後故事，他對模擬中的強化學習與現實世界中的強化學習的看法，獎勵調整的細微差別，並為希望今天開始進入機器人領域的研究人員和從業者提供實用建議。 🗒️ 有關本集的完整資源列表，請訪問節目說明頁面： 📖 章節 =============================== 00:00 - 介紹 04:07 - 機器人運動解決了嗎？ 06:04 - 模擬到現實的差距 08:58 - 為政策添加語義 09:42 - 模組化與端到端架構 10:29 - 規劃模型 12:21 - 將強化學習技術從四足動物適應到人形機器人 15:39 - 機器人演示的幕後 18:09 - 家庭環境中的人形機器人 22:03 - 訓練方法 23:56 - VLA 模型 27:59 - 關閉模擬到現實的差距 32:55 - 使用 VLMs 進行任務協調 36:38 - 工具使用 38:10 - 模型層次 43:37 - 模擬器與模擬環境 44:57 - 結合模仿學習和強化學習 46:42 - 現實世界中的強化學習與模擬中的強化學習 52:58 - 機器人中的獎勵調整和價值函數 56:38 - 預測 1:00:10 - 人形機器人、四足動物和輪式平台 1:02:45 - 建議、推薦的機器人套件和社區計劃