Aggiornamento sulla vita: ho deciso di lasciare 1X. È stato un onore contribuire alla crescita dell'azienda. Sono entrato in Halodi Robotics nel 2022 (il nome precedente dell'azienda) come unico dipendente con sede in California. All'epoca, eravamo circa 40 con sede in Norvegia e 2 in Texas. Il mio primo assunto e io abbiamo lavorato dal mio garage per alcuni mesi per risparmiare. Oggi, 1X conta centinaia di persone, con hardware, design, software, AI, produzione e prodotto tutti trasferiti nell'area della Baia di San Francisco, operando a pieno regime e lavorando per preparare NEO per la casa. Un grande grazie a tutti i miei colleghi con cui ho lavorato. È stata una decisione difficile da prendere. Quando si lavora in una startup entusiasmante che cresce rapidamente, c'è sempre così tanto da fare e mai un momento perfetto per andare avanti. Abbiamo diversi progetti in cantiere che sono così entusiasmanti perché avanzano notevolmente l'autonomia generale e la scalabilità del nostro approccio al deployment e mostrano davvero un percorso realistico verso il funzionamento del prodotto. L'aggiornamento recente sull'autonomia del World Model è un esempio, e ce ne sono altri in arrivo. La fabbrica di 1X è così entusiasmante. Le cose stanno accelerando a una velocità che mi avrebbe sorpreso qualche anno fa. Nel 2022, la maggior parte dei tecnologi, dei ricercatori e dei VC erano scettici riguardo ai robot umanoidi e all'apprendimento per imitazione su larga scala. "Perché le gambe?" "Come potrebbe l'apprendimento end-to-end essere mai abbastanza buono?" "Perché puntare alla casa e non alla fabbrica?" "Come faremo mai a raccogliere abbastanza dati?" La finestra di Overton sulla robotica a scopo generale è cambiata molto da allora. Anche se siamo ancora all'inizio della nostra missione, rimango fiducioso che presto i robot domestici saranno comuni come i condizionatori d'aria, le automobili e ChatGPT. Basta parlare con il bot, e lui andrà e lo farà in silenzio. Intere economie si riorganizzeranno eventualmente attorno a questa tecnologia. La gente ora lo capisce. Cosa c'è dopo? Credo che i progressi nell'apprendimento profondo applicato generalmente si basino sul "sfruttare la magia" di alcuni oggetti magici. Questi oggetti magici possiedono un potere di generalizzazione molto maggiore di quanto ci si potrebbe aspettare normalmente. Chiedere semplicemente al LLM di capire cosa vuoi è magia. I modelli di generazione video sono magia. Il ragionamento è magia. Non si incontra un oggetto magico ogni giorno, ma quando lo si fa, ci si assicura di afferrarlo e metterlo al lavoro per creare qualcosa di utile nel robot in qualche modo. Molta della mia convinzione iniziale su dove stesse andando la robotica è stata lavorare su BC-Z dal 2018 al 2021. L'"oggetto magico" su cui scommettevo all'epoca erano le sorprendenti capacità di assorbimento dei dati dell'apprendimento supervisionato e "basta chiedere per la generalizzazione". Questo ha aperto la strada a molti degli ingredienti standard che vediamo oggi nei VLA: - Generalizzazione a comandi linguistici non visti - DAgger guidato dall'uomo per il miglioramento delle politiche - Previsioni ausiliarie in open-loop + controllo a orizzonte mobile, AKA azione a blocchi - Punti chiave di manipolazione per migliorare il servoing - Simple ResNet18 con condizionamento FiLM su input multimodali Il prossimo "oggetto magico" su cui abbiamo scommesso in 1X erano i modelli video, perché sono chiaramente oggetti magici che apprendono una distribuzione di dati non troppo dissimile da quella che un robot deve apprendere. Generalizzano sorprendentemente bene. Mi sento ancora una volta che ci sono più oggetti magici in gioco ora, il che apre molte nuove possibilità per la robotica e oltre. Sto prendendo alcuni mesi per svuotare la mia tazza di preconcetti e guadagnare una nuova prospettiva. Quando ho lasciato Google nel 2022, ho impiegato circa 2 settimane per decidere cosa fare dopo. Questa volta, voglio prendere molto più tempo per capire cosa è successo nello spazio più ampio dell'AI + robotica. Ho ri-implementato alcuni articoli di apprendimento profondo. Sto lavorando a un grande tutorial per il mio blog. Sto imparando tutti i trucchi da power user di Claude. Sto leggendo i post del blog di Thinking Machines per capire quali tipi di esperimenti vengono condotti nei laboratori all'avanguardia. Sto leggendo la tesi di Ben Katz del 2016 sull'attuatore Mini-cheetah. Viaggerò in Cina a marzo per incontrare aziende incredibili nell'ecosistema robotico cinese. Ora, più che mai, è il momento per sia gli esseri umani che le macchine di imparare. Il prossimo token della mia sequenza di vita sarà un momento importante. Ai colleghi e agli investitori che hanno scommesso su 1X all'inizio, anche prima che diventassimo un nome noto - vi ringrazio dal profondo del mio cuore. Non lo dimenticherò♥️