Viktigheten av en skybasert SDK for robotikk høres kanskje ikke prangende ut, men det er helt avgjørende for å fremme sektoren. Hvis du er i teknologikretser, vil du høre om skyplattformer daglig, som sjelden vekker fantasien. Men for humanoide roboter og operatører i den fysiske verden er et verktøysett for skysimulering en kjernenødvendighet for enhver utvikler som prøver å skalere opplæringen sin. Nøyaktige simuleringer av virtuelle verdener er en av de mest ettertraktede varene innen robotikk akkurat nå. Forskere kjører endeløse eksperimenter for å finne ut hvilke kombinasjoner av ekte og syntetiske data som genererer de mest presise resultatene for treningsoppgaver Ja, selskaper som Tesla har et enormt forsprang takket være nevrale nettverksdata de har samlet inn fra flåtene sine, selv om disse dataene ganske enkelt er rå informasjon til de blir satt ut i livet gjennom realistiske treningssimuleringer. For alle andre er det ikke et alternativ å skaffe seg det nivået av data eller til og med maskinvaren for å drive det med mindre du er et massivt finansiert selskap. Det er her skysimulering kommer inn. Ved å flytte robotopplæring og -testing til skybaserte virtuelle miljøer, kan hvem som helst få tilgang til nødvendig databehandling og skalering. En skyplattform kan sentralisere delingen av disse simuleringene, resultatene og dataene. Du abstraherer i hovedsak bort den lukkede dørtilgangen disse milliardselskapene har tilgang til, de omfattende maskinvarekomponentene som brukes i laboratorier og bringer datasett ut i offentlig lys der åpen kildekode-bidrag blir en generell +EV for innovasjon. Denne forretningsmodellen har allerede bevist seg med Hugging Faces LeRobot (åpen kildekode-initiativ) som samarbeider med Nvidia for å koble sammen rammeverkene deres slik at forskere kan dele modeller, datasett og simuleringsmiljøer på skyen. Sluttmålet er å lage et datasvinghjul, ettersom folk bidrar med simuleringsdata og trente retningslinjer for å åpne repositorier, akselererer det andres fremgang, og genererer igjen mer globalt tilgjengelige data. Mye arbeid blir kanalisert inn i dette ved å tette gapet mellom "sim til ekte". Simulatorer kom ofte til kort med virkeligheten, roboter ville lære atferd i en virtuell verden som ikke ble overført til den virkelige verden, fordi fysikken eller det visuelle ikke var nøyaktig nok. Dette gapet lukkes nå raskt på grunn av bedre simuleringstroskap og hybride treningstilnærminger. De fleste av de nyeste grunnmodellene innen robotikk (som NVIDIAs Isaac GROOT og Figure's Helix VLA) bruker en dobbel systemarkitektur som etterligner menneskelig kognisjon. Det samme gjelder hvordan de trener data i verdenssimulatorer. En del av modellen er trent på menneskelige demonstrasjonsdata fra den virkelige verden, mens en annen del er trent på en enorm mengde syntetiske data generert via high fidelity-simulatorer. Ved å kombinere fysisk og simulert trening lærer modellen nøyaktige ferdigheter som generaliserer bedre. Ekte data gir sannhet i AI, mens simulerte data gir skalaen og variasjonen som er upraktisk å samle inn i den fysiske verden. Utviklere kan til og med finjustere eller ettertrene modeller med ekstra reelle eller syntetiske data for spesifikke oppgaver, noe som gjør opplæringspipelinen ekstremt fleksibel. Figurer: Helix VLA, som bruker System 1/System 2-tilnærmingen, er trent på bare hundrevis av fjernstyrte timer (forsterket av simulering og smart merking), Helix kan håndtere nye husholdningsoppgaver gjennom naturlig språk uten tilpasset koding. Demonstrerer hvordan multimodale modeller og syntetisk trening reduserer databehov dramatisk. @codecopenflow bruker det samme prinsippet med Octo, en åpen VLA integrert i Optr SDK, som muliggjør oppfatning av flere kameraer og språkstyrt kontroll med langt mindre datasett og lavere databehandling. ...