Livsuppdatering: Jag har bestämt mig för att sluta 1X. Det har varit en ära att hjälpa till att växa företaget. Jag började på Halodi Robotics 2022 (företagets tidigare namn) som den enda anställda baserad i Kalifornien. Vid den tiden var vi ungefär 40 personer baserade i Norge och 2 i Texas. Min första anställda och jag jobbade från mitt garage i några månader för att spara pengar. Idag är 1X hundratals personer, med hårdvara, design, mjukvara, AI, tillverkning och produkt, alla flyttade till SF Bay-området, som arbetar på alla cylindrar och arbetar med att göra NEO redo för hemmet. Ett stort tack till alla mina kollegor jag arbetade med. Det var ett svårt beslut att lämna. När man arbetar på en spännande startup som växer snabbt finns det alltid så mycket att göra och aldrig en perfekt tid att gå vidare. Vi har flera projekt på gång som är så spännande eftersom de i hög grad främjar allmän autonomi och skalbarhet i vår distributionsstrategi och verkligen visar en realistisk väg mot att produkten fungerar. Den senaste uppdateringen av World Models autonomi är ett exempel, och fler är på väg. 1X-fabriken är så spännande. Saker och ting accelererar i en takt som jag hade blivit förvånad över för några år sedan. År 2022 var de flesta teknologer, forskare och riskkapitalister skeptiska till humanoider och storskalig imitationsinlärning. "Varför Legs?" "Hur skulle lärande från början till slut någonsin kunna vara tillräckligt bra?" "Varför gå efter hemmet och inte fabriken?" "Hur ska vi någonsin samla tillräckligt med data?" Overtons fönster för allmän robotik har förändrats mycket sedan dess. Även om vi fortfarande är tidigt i vårt uppdrag är jag övertygad om att husrobotar snart kommer att vara lika vanliga som luftkonditionering, bilar och ChatGPT. Prata bara med boten, så kommer den att gå och tyst göra det. Hela ekonomier kommer så småningom att omorganisera sig kring denna teknik. Folk förstår det nu. Vad händer härnäst? Jag tror att framsteg inom tillämpad djupinlärning generellt bygger på att "utnyttja magin" i några få magiska föremål. Dessa magiska föremål har mycket mer generaliseringskraft än man normalt kan förvänta sig. Att bara be LLM:n förstå vad du vill är magi. Videogenereringsmodeller är magiska. Resonemang är magi. Du stöter inte på ett magiskt föremål varje dag, men när du gör det ser du till att ta det och använda det för att skapa något användbart i roboten på något sätt. Mycket av min tidiga översikt om vart robotik var på väg var att arbeta med BC-Z från 2018 till 2021. Det "magiska objektet" jag satsade på då var de överraskande dataabsorptionsmöjligheterna hos övervakad inlärning och "be bara om generalisering". Detta banade väg för många av de standardingredienser vi ser i VLA idag: - Generalisering till osedda språkkommandon - Människostyrd DAgger för policyförbättring - Öppen slinga hjälpprediktioner + kontroll av tillbakadragande horisont, även kallad action chunking - Manipulationsnyckelpunkter för att förbättra servostyrningen - Enkel ResNet18 med FiLM-konditionering på multimodala ingångar Nästa "magiska objekt" vi satsade på på 1X var videomodeller, eftersom de tydligt är magiska objekt som lär sig en datadistribution inte alltför olik den en robot behöver lära sig. De generaliserar förvånansvärt bra. Jag känner återigen att det finns fler magiska föremål i spel nu, vilket öppnar upp många nya möjligheter för robotik och mer därtill. Jag tar några månader för att tömma min kopp på tidigare brott och få ett nytt perspektiv. När jag lämnade Google 2022 tillbringade jag ungefär två veckor med att bestämma vad jag skulle göra härnäst. Den här gången vill jag ta mycket mer tid för att ta igen vad som har hänt inom det bredare AI+robotikområdet. Jag har återimplementerat några djupinlärningsartiklar. Jag jobbar på en stor handledning för min blogg. Jag lär mig alla Claude power user-tricks. Jag läser blogginläggen om Thinking Machines för att förstå vilka typer av experiment som genomförs vid gränslaboratorier. Jag läser Ben Katz avhandling från 2016 om Mini-gepardaktuatorn. Jag reser till Kina i mars för att träffa otroliga företag inom det kinesiska robotekosystemet. Nu, mer än någonsin, är det dags för både människor och maskiner att lära sig. Nästa minnessekvens i mitt liv kommer att vara viktig. Till kollegor och investerare som satsade på 1X tidigt, redan innan vi blev ett välkänt namn – jag tackar er av hela mitt hjärta. Jag kommer inte att glömma det♥️