⭐️ π₀-FAST ist jetzt in LeRobot ⭐️ Ich freue mich, meine neueste Arbeit in @LeRobotHF zu teilen: π₀-FAST vollständig in den Stack zu integrieren. Die ursprüngliche Pi-FAST-Implementierung war nur in JAX verfügbar, also haben wir sie in PyTorch neu aufgebaut, beginnend mit π₀, einschließlich des Ziels für den Kreuzentropieverlust, dem FAST-Tokenisierungsansatz und Optimierungen für die Inferenz wie KV-Caching. π₀-FAST ist das bisher fortschrittlichste autoregressive Vision-Language-Action-Modell von @physical_int. Es enthält einen integrierten Aktions-Tokenizer, FAST, der kontinuierliche Aktionen in diskrete Tokens umwandelt (wie JPEG-Kompression). Das bedeutet, dass π₀-FAST mit einem LLM-ähnlichen Next-Token-Vorhersageansatz trainiert werden kann. Sobald alles Tokens sind, öffnen sich viele Türen für die Community: > π₀-FAST einfach mit einem Next-Token-Ziel über Datensätze, Ausprägungen und sogar neue Token-Typen (Bounding Boxes, Sprache, Propriozeption; es sind alles Tokens) vortrainieren. Beachten Sie, dass die Next-Token-Vorhersage ~5× schneller trainiert als Diffusion oder Flow-Matching. > Verwenden Sie die gleichen Gewichte erneut und feintunen Sie mit einem Flow-Matching-Ziel für Ihre Zielaufgabe für schnellere Inferenz. Sie können auch Ihren eigenen FAST-Tokenizer auf jedem LeRobot-Datensatz mit dem Befehl `lerobot-train-tokenizer` trainieren. So cool. Auf der Systemseite haben wir LLM-ähnliches KV-Caching bei der Inferenz hinzugefügt, was eine ~5× Beschleunigung für die autoregressive Dekodierung bietet. Wir haben auf LIBERO evaluiert und 82,5% Erfolg bei 40k Schritten erreicht (von ~40%, als es letztes Jahr zum ersten Mal portiert wurde). Das bereitet den Boden für hybride AR + Flow-Matching-Rezepte und π₀.₅-Stil Wissensisolierung innerhalb von LeRobot. 👉 Dokumentation: 🤖 Pi0Fast Basis-Checkpoint: