⭐️ π₀-FAST hiện đã có trong LeRobot ⭐️ Tôi rất vui được chia sẻ công việc mới nhất của mình tại @LeRobotHF: đưa π₀-FAST hoàn toàn vào trong stack. Phiên bản Pi-FAST gốc chỉ có sẵn trong JAX, vì vậy chúng tôi đã xây dựng lại nó trong PyTorch, bắt đầu từ π₀, bao gồm mục tiêu mất mát entropy chéo, sơ đồ phân tách FAST, và các tối ưu hóa suy diễn như KV-caching. π₀-FAST là mô hình Vision-Language-Action tự hồi tiếp tiên tiến nhất cho đến nay của @physical_int. Nó bao gồm một bộ phân tách hành động tích hợp, FAST, biến các hành động liên tục thành các token rời rạc (như nén JPEG). Điều đó có nghĩa là π₀-FAST có thể được huấn luyện với dự đoán token tiếp theo theo kiểu LLM. Khi mọi thứ đều là token, nhiều cánh cửa mở ra cho cộng đồng: > Dễ dàng huấn luyện trước π₀-FAST với mục tiêu token tiếp theo trên các tập dữ liệu, hình thức, và thậm chí các loại token mới (hộp giới hạn, ngôn ngữ, cảm nhận vị trí; tất cả đều là token). Lưu ý rằng dự đoán token tiếp theo huấn luyện nhanh hơn ~5× so với diffusion hoặc flow-matching. > Tái sử dụng cùng một trọng số và tinh chỉnh với mục tiêu flow-matching trên nhiệm vụ mục tiêu của bạn để suy diễn nhanh hơn. Bạn cũng có thể huấn luyện bộ phân tách FAST của riêng mình trên bất kỳ tập dữ liệu LeRobot nào bằng lệnh `lerobot-train-tokenizer`. Thật tuyệt. Về mặt hệ thống, chúng tôi đã thêm KV-caching theo kiểu LLM trong suy diễn, mang lại tốc độ tăng ~5× cho việc giải mã tự hồi tiếp. Chúng tôi đã đánh giá trên LIBERO và đạt 82.5% thành công @ 40k bước (tăng từ ~40% khi nó được chuyển đổi lần đầu tiên vào năm ngoái). Điều này đặt nền tảng cho các công thức AR + flow-matching lai và cách cách ly kiến thức kiểu π₀.₅ bên trong LeRobot. 👉 Tài liệu: 🤖 Kiểm tra cơ sở Pi0Fast: