Aktualizacja życia: Zdecydowałem się opuścić 1X. Było to zaszczytem pomagać w rozwoju firmy. Dołączyłem do Halodi Robotics w 2022 roku (wcześniejsza nazwa firmy) jako jedyny pracownik z Kalifornii. W tamtym czasie było nas około 40 w Norwegii i 2 w Teksasie. Mój pierwszy pracownik i ja pracowaliśmy przez kilka miesięcy z mojego garażu, aby zaoszczędzić pieniądze. Dziś 1X to setki ludzi, z działami sprzętu, designu, oprogramowania, AI, produkcji i produktu przeniesionymi do rejonu Zatoki San Francisco, działającymi na pełnych obrotach i pracującymi nad przygotowaniem NEO do użytku domowego. Wielkie podziękowania dla wszystkich moich kolegów, z którymi pracowałem. Decyzja o odejściu była trudna. Pracując w ekscytującym startupie, który szybko rośnie, zawsze jest tak wiele do zrobienia i nigdy nie ma idealnego momentu na odejście. Mamy kilka projektów w toku, które są tak ekscytujące, ponieważ znacznie przyspieszają ogólną autonomię i skalowalność naszego podejścia do wdrożenia i naprawdę pokazują realistyczną drogę do działania produktu. Ostatnia aktualizacja autonomii Modelu Świata jest jednym z przykładów, a więcej nadchodzi. Fabryka 1X jest tak ekscytująca. Rzeczy przyspieszają w tempie, które kilka lat temu by mnie zaskoczyło. W 2022 roku większość technologów, badaczy i inwestorów była sceptyczna wobec humanoidów i uczenia się na dużą skalę. "Dlaczego nogi?" "Jak uczenie end-to-end mogłoby być wystarczająco dobre?" "Dlaczego iść do domu, a nie do fabryki?" "Jak kiedykolwiek zbierzemy wystarczająco dużo danych?" Okno Overtona w zakresie robotyki ogólnego przeznaczenia znacznie się przesunęło od tego czasu. Chociaż wciąż jesteśmy na wczesnym etapie naszej misji, pozostaję pewny, że wkrótce roboty domowe będą tak powszechne jak klimatyzatory, samochody i ChatGPT. Po prostu porozmawiaj z botem, a on pójdzie i cicho to załatwi. Całe gospodarki ostatecznie zorganizują się wokół tej technologii. Ludzie to rozumieją. Co dalej? Wierzę, że postęp w zastosowanej głębokiej nauce ogólnie opiera się na "wykorzystywaniu magii" kilku magicznych obiektów. Te magiczne obiekty mają znacznie większą moc generalizacji, niż można by się normalnie spodziewać. Po prostu poproszenie LLM o zrozumienie, czego chcesz, to magia. Modele generacji wideo to magia. Rozumowanie to magia. Nie spotykasz magicznego obiektu codziennie, ale kiedy to robisz, upewniasz się, że go chwycisz i wykorzystasz do stworzenia czegoś użytecznego w robocie w jakiś sposób. Wiele moich wczesnych przekonań co do kierunku, w którym zmierza robotyka, wynikało z pracy nad BC-Z w latach 2018-2021. "Magiczny obiekt", na który postawiłem w tamtym czasie, to zaskakujące zdolności absorpcji danych uczenia nadzorowanego i "po prostu poproś o generalizację". To zapoczątkowało wiele standardowych składników, które widzimy w VLA dzisiaj: - Generalizacja do niewidzianych poleceń językowych - Ulepszanie polityki z wykorzystaniem DAgger z przewodnictwem człowieka - Otwarte przewidywania pomocnicze + kontrola horyzontu recesyjnego, znana jako chunking akcji - Kluczowe punkty manipulacji w celu poprawy serwowania - Prosty ResNet18 z warunkowaniem FiLM na multimodalnych wejściach Następnym "magicznym obiektem", na który postawiliśmy w 1X, były modele wideo, ponieważ są to wyraźnie magiczne obiekty, które uczą się rozkładu danych, który nie jest zbyt różny od tego, czego robot musi się nauczyć. Generalizują zaskakująco dobrze. Ponownie czuję, że teraz jest więcej magicznych obiektów w grze, co otwiera wiele nowych możliwości dla robotyki i nie tylko. Biorę kilka miesięcy, aby opróżnić moją filiżankę wcześniejszych przekonań i zdobyć świeżą perspektywę. Kiedy opuściłem Google w 2022 roku, spędziłem około 2 tygodni na zastanawianiu się, co robić dalej. Tym razem chcę poświęcić znacznie więcej czasu na nadrobienie tego, co wydarzyło się w szerszej przestrzeni AI + robotyki. Ponownie implementuję niektóre artykuły dotyczące głębokiego uczenia. Pracuję nad dużym samouczkiem na mojego bloga. Uczę się wszystkich sztuczek dla zaawansowanych użytkowników Claude'a. Czytam posty na blogu Thinking Machines, aby zrozumieć, jakie eksperymenty są prowadzone w laboratoriach na czołowej linii. Czytam pracę magisterską Bena Katza z 2016 roku na temat aktuatora Mini-cheetah. W marcu podróżuję do Chin, aby spotkać niesamowite firmy w chińskim ekosystemie robotyki. Teraz, bardziej niż kiedykolwiek, nadszedł czas, aby zarówno ludzie, jak i maszyny się uczyli. Następny token mojej sekwencji życia będzie ważny. Dla kolegów i inwestorów, którzy postawili na 1X na początku, nawet zanim staliśmy się znaną marką - dziękuję z całego serca. Nie zapomnę o tym♥️