Оновлення про життя: я вирішив піти 1X. Для мене було честю допомагати розвивати компанію. Я приєднався до Halodi Robotics у 2022 році (попередня назва компанії) як єдиний працівник із Каліфорнії. На той час нас було близько 40 співробітників у Норвегії та 2 в Техасі. Мій перший працівник і я кілька місяців працювали в гаражі, щоб заощадити гроші. Сьогодні 1X — це сотні людей, обладнання, дизайн, програмне забезпечення, штучний інтелект, виробництво, продукти — усе це переїхало до району затоки Сан-Франциско, працюють на повну потужність і працюють над підготовкою NEO до дому. Велика подяка всім моїм колегам, з якими я працював. Це було важке рішення — піти. Працюючи в захопливому стартапі, який швидко зростає, завжди є багато справ і ніколи не буває ідеального часу, щоб рухатися далі. У нас є кілька робіт у процесі розробки, які дуже захоплюють, бо вони значно підвищують загальну автономію та масштабованість нашого підходу до розгортання і дійсно демонструють реалістичний шлях до роботи продукту. Нещодавнє оновлення автономії World Model — один із прикладів, і попереду буде ще більше. Фабрика 1X така захоплююча. Все прискорюється з такою швидкістю, яка кілька років тому мене б здивувала. У 2022 році більшість технологів, дослідників і венчурних інвесторів скептично ставилися до гуманоїдів і масштабного імітаційного навчання. "Чому Легс?" "Як може наскрізне навчання бути достатньо хорошим?" "Чому йти вдома, а не на фабрику?" "Як ми коли-небудь зберемо достатньо даних?" Вікно Овертона щодо універсальної робототехніки значно змінилося з того часу. Хоча ми ще на початку нашої місії, я впевнений, що незабаром домашні роботи стануть такими ж звичними, як кондиціонери, автомобілі та ChatGPT. Просто поговори з ботом, і він тихо зробить роботу. Цілі економіки зрештою реорганізуються навколо цієї технології. Тепер люди це розуміють. Що далі? Я вважаю, що прогрес у прикладному глибокому навчанні зазвичай базується на «використанні магії» кількох магічних предметів. Ці магічні предмети мають набагато більшу узагальнювальну силу, ніж можна було б очікувати. Просто попросити LLM зрозуміти, чого ви хочете — це магія. Моделі генерації відео — це магія. Міркування — це магія. Ви не стикаєтеся з магічним предметом щодня, але коли це трапляється, обов'язково беріть його і використовуєте на роботі, щоб якось створити щось корисне в роботі. Багато з того, що я на початку усвідомлював рух робототехніки, пов'язано з робототехнікою у період з 2018 по 2021 рік. «Магічним об'єктом», на який я ставив тоді, були несподівані можливості поглинання даних під керованим навчанням і «просто попроси узагальнення». Це стало піонером багатьох стандартних інгредієнтів, які ми сьогодні бачимо у VLA: - Узагальнення на команди невидимої мови - Людино-керований DAgger для вдосконалення політики - Допоміжні прогнози з відкритим контуром + керування віддаленим горизонтом, також відоме як фрагментування дій - Маніпуляція ключовими точками для покращення сервоінгу - Простий ResNet18 з FiLM-кондиціюванням на мультимодальних входах Наступним «магічним об'єктом», на який ми ставили в 1X, були відеомоделі, бо це явно магічні об'єкти, які навчаються розподілу даних, не надто відмінному від того, що потрібно вивчити роботу. Вони узагальнюються дивовижно добре. Я знову відчуваю, що зараз у грі більше магічних об'єктів, що відкриває багато нових можливостей для робототехніки та не тільки. Я беру кілька місяців, щоб позбутися своїх попередніх судимостей і отримати свіжий погляд. Коли я залишив Google у 2022 році, я провів близько двох тижнів, вирішуючи, що робити далі. Цього разу я хочу приділити набагато більше часу, щоб ознайомитися з тим, що відбулося у ширшій сфері штучного інтелекту + робототехніки. Я перевпроваджую деякі статті з глибокого навчання. Я працюю над великим туторіалом для свого блогу. Я вчуся всім трюкам Клода, який використовує «продвинутий користувач». Я читаю блоги Thinking Machines, щоб зрозуміти, які експерименти проводяться у лабораторіях фронтиру. Я читаю дипломну роботу Бена Каца 2016 року про актуатор міні-гепарда. У березні я їду до Китаю, щоб зустрітися з неймовірними компаніями китайської екосистеми робототехніки. Зараз, як ніколи, настав час для людей і машин навчатися. Наступний знак мого життєвого послідовності буде важливим. Колегам і інвесторам, які зробили ставку на 1X раніше, ще до того, як ми стали відомими — дякую вам від щирого серця. Я цього не забуду♥️