Это конец для ICML2025. Невероятно наблюдать, как пространство прошло от "О чем вы говорите" до "Это невозможно" до "Хмм, это очень интересно" всего за год.

Мы также сделали видео в стиле @3blue1brown, объясняющее статью на высоком уровне.

Использование красивых панелей Grafana для всего внутри компании, это намного приятнее, чем Tensorboard. Wandb все еще хорош, но не работает с децентрализованным обучением. Заставляет меня задуматься, каковы внутренние инструменты визуализации в OpenAI - должно быть, невероятно.

Мы достигли важного этапа в полностью децентрализованном обучении: впервые мы продемонстрировали, что большую языковую модель можно разделить и обучать на потребительских устройствах, подключенных через интернет, без потери скорости или производительности.

Вероятно, самая большая неделя в децентрализованном обучении на сегодняшний день после ICLR и еще больше новостей на подходе. Сводка ситуации на сегодняшний день: 1. Децентрализованное RL пост-обучение явно работает. @gensynai последние с отличными результатами здесь. Этот процесс берет сильную базовую модель, дает копии участникам, которые генерируют следы рассуждений, которые затем собираются и используются для улучшения базовой модели. Это, очевидно, зависит от доступности/открытости весов базовых моделей и значительно дешевле, чем предобучение. Узлы должны только выполнять вывод. Недостаток в том, что накапливаются доказательства (и это очень интуитивно), что невозможно RL-способом преодолеть плохую базовую модель. Таким образом, сохраняется зависимость. Нам нужно дождаться результатов этих запусков, но реальность такова, что это будет работать так или иначе, потому что процесс настолько тривиально параллелизуем. 2. Предобучение с параллелизмом данных (DP) выглядит хорошо. И @NousResearch, и @PrimeIntellect уже имеют результаты на моделях размером 10B. Это будет очень просто (но дорого для операторов узлов) расширить до случая 100B. Это потому, что в DP каждый узел хранит полную копию модели, поэтому вам нужно, например, 8xh100s для обучения на размере 10b; нельзя использовать маленькие карты. Таким образом, вы можете просто расширить эту технику, увеличив количество узлов, и проводить совместное обучение между дата-центрами (т.е. каждый узел состоит из 100 H100 или около того, и вы обучаете модель >100b). Также есть проблема, что каждый видит полную копию модели, поэтому неясно, как монетизировать (Protocol Learning решает это). 3. Модельный параллелизм (где сама модель разделена на узлы - представьте себе 1000 географически раздельных Macbook, обучающих модель с 100b параметрами, где каждое устройство имеет только небольшую часть общей модели) начал показывать первые признаки возможности. Мы (@PluralisHQ) опубликовали статью 'Beyond Top k', которая сжимает коммуникации между узлами более чем на 90%, а также две другие работы, которые показывают, что можно использовать гетерогенные устройства в настройке Pipeline Parallel (PP). Мы также приняли наш метод Нестерова для PP в ICML2025, что, насколько мне известно, является первой статьей о децентрализованном обучении, принятой на крупную конференцию по ИИ с момента оригинальной статьи SWARM, и это должно помочь вызвать интерес у основных кругов ИИ. Решен ли децентрализованный модельный параллелизм → НЕТ. Пропускная способность связи настолько хуже по сравнению с дата-центром, что даже 90% недостаточно. Нам нужно достичь около 300-кратного сжатия, чтобы достичь паритета с централизованным обучением. Остается огромный вопрос, возможно ли это вообще - вы уничтожаете так много сигнала обучения, делая это. Это фокус Pluralis. Однако что произойдет, если это сработает? Впервые вы сможете проводить реальное совместное предобучение. Нет зависимости от deepseek или Meta. Индивидуумы могут объединять вычислительные мощности для создания моделей такого масштаба с нуля. Здесь происходит реальное инновационное сообщество, чего никогда не существовало до сих пор. Децентрализованное RL-основанное пост-обучение затем может быть использовано для улучшения этих моделей. Реальность такова, что мы находимся на самых ранних стадиях чего-то чрезвычайно значительного. Это станет важной областью. Указанные компании работают на полную мощность, вскоре выйдет еще много новостей, и я не ожидаю, что это замедлится с этого момента до того, как что-то произойдет. И если вы читаете это, вы находитесь в начале.

Последняя из наших трех статей на семинаре ICLR: Сжатие в параллельном обучении по конвейеру испытывало трудности с превышением 10% сжатия без ухудшения производительности модели. Мы достигли 90%.

Удивительно видеть, что статья о параллелизме конвейера от Pluralis была принята на ICML. ICML — одна из крупнейших и самых авторитетных конференций по искусственному интеллекту в мире, которая в этом году будет иметь значительное представительство DeAI. Лето DeAI будет эпическим.

:)

1/2 Мы расширили нашу предыдущую работу в режиме параллельной обработки данных (где каждый узел имеет полную копию модели) до режима параллельной обработки модели. Это первая работа, кроме оригинальной статьи о рое, которая рассматривает сценарий, где сама модель распределена по устройствам.

Мы предлагаем новый алгоритм Momentum Look-Ahead на ICLR'25 MCDC, который позволяет использовать гетерогенные GPU с высокой загрузкой в децентрализованной предварительной подготовке. Базовые алгоритмы — Async-DiloCo и DyLU, которые мы превосходим.