⭐️ π₀-FAST este acum în LeRobot ⭐️ Sunt entuziasmat să împărtășesc cele mai recente lucrări ale mele în @LeRobotHF: aducerea completă a π₀-FAST în stivă. Implementarea originală Pi-FAST era disponibilă doar în JAX, așa că am reconstruit-o în PyTorch, începând de la π₀, incluzând obiectivul de pierdere a entropiei încrucișate, schema de tokenizare FAST și optimizări de inferență precum KV-caching. π₀-FAST este cel mai avansat model autoregresiv Vision-Language-Action până în prezent, conform @physical_int. Include un tokenizator de acțiuni integrat, FAST, care transformă acțiunile continue în tokenuri discrete (precum compresia JPEG). Asta înseamnă că π₀-FAST poate fi antrenat cu predicția next-token în stil LLM. Odată ce totul este tokens, se deschid multe uși pentru comunitate: > Preantrenează ușor π₀-FAST cu un obiectiv next-token prin seturi de date, întrupări și chiar noi tipuri de tokenuri (cutii de delimitare, limbaj, propriocepție; toate sunt tokenuri). Rețineți că predicția pentru următorul token se antrenează cu ~5× mai rapid decât difuzia sau potrivirea fluxului. > Reutilizează aceleași greutăți și ajustează fin cu un obiectiv de potrivire a fluxului pe sarcina țintă pentru o inferență mai rapidă. De asemenea, poți antrena propriul tău tokenizator FAST pe orice set de date LeRobot folosind comanda 'lerobot-train-tokenizer'. Foarte tare. Pe partea de sisteme, am adăugat cache KV de tip LLM la inferență, oferind o accelerare de ~5× pentru decodarea autoregresivă. Am evaluat pe LIBERO și am atins 82,5% succes @ 40.000 pași (în creștere față de ~40% când a fost portat anul trecut). Aceasta pregătește terenul pentru rețete hibride AR + potrivirea fluxului și izolație de tip π₀.₅ în interiorul LeRobot. 👉 Documentare: 🤖 Punct de control de bază Pi0Fast: