⭐️ π₀-FAST ya está en LeRobot ⭐️ Estoy emocionado de compartir mi último trabajo en @LeRobotHF: llevar π₀-FAST completamente al stack. La implementación original de Pi-FAST solo estaba disponible en JAX, así que la reconstruimos en PyTorch, comenzando desde π₀, incluyendo el objetivo de pérdida de entropía cruzada, el esquema de tokenización FAST y optimizaciones de inferencia como el KV-caching. π₀-FAST es el modelo de acción de lenguaje-visual-autoregresivo más avanzado hasta la fecha por @physical_int. Incluye un tokenizador de acción incorporado, FAST, que convierte acciones continuas en tokens discretos (como la compresión JPEG). Eso significa que π₀-FAST se puede entrenar con predicción del siguiente token al estilo LLM. Una vez que todo son tokens, se abren muchas puertas para la comunidad: > Preentrenar fácilmente π₀-FAST con un objetivo de siguiente token a través de conjuntos de datos, encarnaciones e incluso nuevos tipos de tokens (cajas delimitadoras, lenguaje, propriocepción; todo son tokens). Ten en cuenta que la predicción del siguiente token entrena ~5× más rápido que la difusión o el emparejamiento de flujo. > Reutiliza los mismos pesos y ajusta con un objetivo de emparejamiento de flujo en tu tarea objetivo para una inferencia más rápida. También puedes entrenar tu propio tokenizador FAST en cualquier conjunto de datos de LeRobot usando el comando `lerobot-train-tokenizer`. Muy genial. En el lado de los sistemas, añadimos KV-caching al estilo LLM en la inferencia, dando una aceleración de ~5× para la decodificación autoregresiva. Evaluamos en LIBERO y alcanzamos un 82.5% de éxito @ 40k pasos (subiendo de ~40% cuando se portó por primera vez el año pasado). Esto establece el escenario para recetas híbridas de AR + emparejamiento de flujo y aislamiento de conocimiento al estilo π₀.₅ dentro de LeRobot. 👉 Docs: 🤖 Punto de control base de Pi0Fast: