I dag presenterer vi et gjennomgående skifte innen robotisk AI-@sundayrobotics. Introduksjon av ACT-1: En banebrytende robotgrunnlagsmodell trent på null robotdata. - Ultra-langhorisontoppgaver - Nullskuddsgeneralisering - Avansert fingerferdighet 🧵->

I stedet for teleoperasjon trener vi utelukkende på data fra vår Skill Capture Glove. Hansken er co-designet med Memos hånd, noe som betyr at de deler nøyaktig samme geometri og sensorpakke. Hvis du kan gjøre det med hansken, kan Memo lære det.

Skill Capture Glove gir oss to størrelsesordener høyere kapitaleffektivitet sammenlignet med teleoperasjon (200 dollar mot 20 000 dollar) Det lar oss også skalere mangfoldet raskere. Du kan samle data hvor som helst uten å måtte flytte roboter rundt.

Skill Capture Glove justerer hendene, men hva med resten av kroppen? Menneskelige samlere varierer i høyde og armlengde, og er også visuelt forskjellige. Vi utviklet Skill Transform, en metode som konverterer hanskedata til tilsvarende robotdata med en suksessrate på 90 %+.

Det tok oss over et år å utvikle kjerneinfrastrukturen. Vi brukte deretter de siste 3 månedene på å produsere alle de autonome resultatene ovenfor. Nedenfor fremhever jeg noen av mine favorittdeler fra denne utgivelsen.

Oppgaven fra bord til oppvaskmaskin er det klassiske marerittscenariet for robotikere: Langhorisont, svært fingerferdig, presis helkroppsmanipulasjon kombinert med delikate, gjennomsiktige, reflekterende og deformerbare objekter. Likevel håndterer Memo det så naturlig og elegant.

Spesifikt er vinglasslasting den mest delikate deloppgaven: Trykke ned med for mye kraft? Knuse. Satt inn feil tapp? Knuse. Vi ødela mange under utviklingen, men null over 20+ live demo-økter.

En mindre kjent fakta om hanskebasert datainnsamling: den produserer data av høyere kvalitet enn teleop på kontaktrike oppgaver. Fjernteleop kan ikke gi god krafttilbakemelding, men hansker gjør det naturlig, noe som gjør oppgaver som sokkebretting, som er basert på følelse, mye enklere å fange.

Det er enda morsommere å se hvordan Memo reagerer på usette omgivelser. Vi plasserer den på 6 usette Airbnbs og gir roboten detaljerte oppgaver som å plukke opp bestikk fra tallerkenen. Fordi vi trener på data fra over 500 hjem, er det nye hjemmet umiddelbart kjent for Memo.