Обновление жизни: я решил покинуть 1X. Для меня было честью помогать развивать компанию. Я присоединился к Halodi Robotics в 2022 году (предыдущее название компании) как единственный сотрудник из Калифорнии. В то время нас было около 40 человек, базировавшихся в Норвегии, и 2 в Техасе. Мой первый сотрудник и я работали из моего гаража в течение нескольких месяцев, чтобы сэкономить деньги. Сегодня в 1X сотни людей, с аппаратным обеспечением, дизайном, программным обеспечением, ИИ, производством и продуктами, все перемещены в район залива Сан-Франциско, работающие на полную мощность и занимающиеся подготовкой NEO к домашнему использованию. Огромное спасибо всем моим коллегам, с которыми я работал. Это было трудное решение уйти. Когда работаешь в захватывающем стартапе, который быстро растет, всегда есть так много дел, и никогда не бывает идеального времени для ухода. У нас есть несколько проектов в разработке, которые так захватывающи, потому что они значительно продвигают общую автономию и масштабируемость нашего подхода к развертыванию и действительно показывают реалистичный путь к тому, чтобы продукт заработал. Недавнее обновление автономии World Model — это один из примеров, и впереди еще много интересного. Фабрика 1X так захватывающа. Вещи развиваются с такой скоростью, что несколько лет назад я бы был удивлен. В 2022 году большинство технологов, исследователей и венчурных капиталистов скептически относились к гуманоидным роботам и крупномасштабному имитационному обучению. "Зачем ноги?" "Как может обучение от начала до конца быть достаточно хорошим?" "Почему идти в дом, а не на фабрику?" "Как мы когда-либо соберем достаточно данных?" Окно Овертона в области универсальной робототехники с тех пор сильно изменилось. Хотя мы все еще на ранней стадии нашей миссии, я остаюсь уверенным, что вскоре домашние роботы станут такими же обычными, как кондиционеры, автомобили и ChatGPT. Просто поговорите с ботом, и он тихо выполнит задачу. Целые экономики в конечном итоге будут реорганизованы вокруг этой технологии. Люди теперь это понимают. Что дальше? Я верю, что прогресс в прикладном глубоком обучении в целом зависит от "использования магии" нескольких волшебных объектов. Эти волшебные объекты обладают гораздо большей способностью к обобщению, чем можно было бы ожидать. Просто попросить LLM понять, что вы хотите, — это магия. Модели генерации видео — это магия. Рассуждение — это магия. Вы не встречаете волшебный объект каждый день, но когда вы это делаете, вы обязательно берете его и заставляете работать, чтобы создать что-то полезное в роботе. Моя ранняя уверенность в том, куда движется робототехника, была связана с работой над BC-Z с 2018 по 2021 год. "Волшебный объект", на который я ставил в то время, — это удивительные способности к поглощению данных в контролируемом обучении и "просто попросите об обобщении". Это стало основой многих стандартных ингредиентов, которые мы видим в VLAs сегодня: - Обобщение для невидимых языковых команд - Человеко-ориентированное DAgger для улучшения политики - Открытые вспомогательные предсказания + управление с убывающим горизонтом, также известное как деление действий - Ключевые точки манипуляции для улучшения сервоприводов - Простой ResNet18 с FiLM-условием на мультимодальных входах Следующим "волшебным объектом", на который мы ставили в 1X, были видео модели, потому что они явно являются волшебными объектами, которые учат распределение данных, не слишком отличающееся от того, что нужно учить роботу. Они удивительно хорошо обобщают. Я снова чувствую, что сейчас в игре есть больше волшебных объектов, что открывает много новых возможностей для робототехники и не только. Я собираюсь провести несколько месяцев, чтобы освободить свою чашу от предвзятостей и получить свежую перспективу. Когда я покинул Google в 2022 году, я потратил около 2 недель на то, чтобы решить, что делать дальше. На этот раз я хочу взять гораздо больше времени, чтобы разобраться в том, что произошло в более широком пространстве ИИ + робототехники. Я переосмысляю некоторые статьи по глубокому обучению. Я работаю над большим учебным пособием для своего блога. Я изучаю все хитрости для продвинутых пользователей Claude. Я читаю посты в блоге Thinking Machines, чтобы понять, какие эксперименты проводятся в передовых лабораториях. Я читаю диссертацию Бена Кац 2016 года о приводе Mini-cheetah. В марте я еду в Китай, чтобы встретиться с невероятными компаниями в китайской экосистеме робототехники. Сейчас, как никогда, время для обучения как людей, так и машин. Следующий этап в последовательности моей жизни будет важным. Коллегам и инвесторам, которые сделали ставку на 1X на раннем этапе, даже до того, как мы стали известным именем, — я благодарю вас от всего сердца. Я не забуду это♥️