⭐️ π₀-FAST agora está no LeRobot ⭐️ Estou entusiasmado para compartilhar meu trabalho mais recente em @LeRobotHF: trazendo o π₀-FAST totalmente para a pilha. A implementação original do Pi-FAST estava disponível apenas em JAX, então a reconstruímos em PyTorch, começando do π₀, incluindo o objetivo de perda de entropia cruzada, o esquema de tokenização FAST e otimizações de inferência como KV-caching. O π₀-FAST é o modelo de Ação-Linguagem-Visão autoregressivo mais avançado até hoje por @physical_int. Inclui um tokenizador de ação embutido, o FAST, que transforma ações contínuas em tokens discretos (como a compressão JPEG). Isso significa que o π₀-FAST pode ser treinado com previsão do próximo token no estilo LLM. Uma vez que tudo são tokens, muitas portas se abrem para a comunidade: > Pré-treine facilmente o π₀-FAST com um objetivo de próximo token em conjuntos de dados, emanações e até novos tipos de tokens (caixas delimitadoras, linguagem, propriocepção; tudo são tokens). Note que a previsão do próximo token treina ~5× mais rápido do que difusão ou correspondência de fluxo. > Reutilize os mesmos pesos e ajuste fino com um objetivo de correspondência de fluxo na sua tarefa alvo para uma inferência mais rápida. Você também pode treinar seu próprio tokenizador FAST em qualquer conjunto de dados do LeRobot usando o comando `lerobot-train-tokenizer`. Muito legal. Do lado dos sistemas, adicionamos KV-caching no estilo LLM na inferência, proporcionando um aumento de ~5× na velocidade de decodificação autoregressiva. Nós avaliamos no LIBERO e alcançamos 82,5% de sucesso @ 40k passos (subindo de ~40% quando foi portado pela primeira vez no ano passado). Isso prepara o terreno para receitas híbridas de AR + correspondência de fluxo e isolamento de conhecimento no estilo π₀.₅ dentro do LeRobot. 👉 Docs: 🤖 Checkpoint base do Pi0Fast: