Isso é um embrulho para ICML2025. Incrível ver o espaço passar de "Do que você está falando" para "Isso é impossível" para "Hmmm isso é muito interessante" em pouco mais de um ano. @tha_ajanthan @hmdolatabadi

Também fizemos um vídeo de estilo @3blue1brown explicando o artigo em alto nível.

Usando belos painéis do Grafana para tudo internamente, muito melhor do que o Tensorboard. Wandb ainda é bom, mas realmente não funciona com treinamento descentralizado. Me faz pensar como é o ferramental de vis interno no openai - deve ser incrível.

Alcançamos um marco importante no treinamento totalmente descentralizado: pela primeira vez, demonstramos que um grande modelo de linguagem pode ser dividido e treinado em dispositivos de consumo conectados pela Internet - sem perda de velocidade ou desempenho.

Provavelmente a maior semana em Treinamento Descentralizado até hoje na parte de trás do ICLR e mais prestes a sair. Resumo da situação atual: 1. O pós-treinamento de RL descentralizado está claramente funcionando. @gensynai o mais recente com ótimos resultados aqui. Esse processo usa um modelo base forte, fornece cópias aos participantes que geram traços de raciocínio que são coletados e usados para melhorar o modelo base. Isso obviamente depende dos modelos básicos estarem disponíveis / de peso aberto e é significativamente mais barato do que o pré-treinamento. Os nós só precisam fazer inferência. A desvantagem é que há evidências crescentes (e é muito intuitivo) de que não é possível RL seu caminho além de um modelo básico ruim. Então você mantém uma dependência. Precisamos esperar pelos resultados dessas corridas, mas a realidade é que isso vai funcionar de uma forma ou de outra porque o processo é tão trivialmente paralizável. 2. O pré-treinamento de dados paralelos (DP) parece bom. Tanto @NousResearch quanto @PrimeIntellect já têm resultados aqui em tamanhos de modelo em escala 10B. Será muito simples (mas caro para os operadores de nós) estender isso para o caso 100B. Isso ocorre porque no DP cada nó mantém uma cópia completa do modelo, então você precisa, por exemplo, de 8xh100s para treinar no tamanho 10b; Você não pode usar cartões pequenos. Portanto, você pode simplesmente estender essa técnica escalando verticalmente os nós e fazer treinamento colaborativo entre datacenters (ou seja, cada nó é composto por 100 H100s ou mais, e você treina >modelo 100b). Você também tem o problema de que todos veem uma cópia completa do modelo, então não está claro como monetizar (o Aprendizado de Protocolo resolve isso). 3. Model-Parallel (onde o modelo em si é dividido em nós - pense em 1000 Macbooks geograficamente separados treinando um modelo de parâmetro 100b, onde cada dispositivo tem apenas uma pequena parte do modelo total) começou a mostrar os primeiros indícios de ser possível. Nós (@PluralisHQ) publicamos o artigo 'Beyond Top k' que compacta as comunicações entre nós em mais de 90%, bem como dois outros trabalhos que mostram que você pode usar dispositivos heterogêneos em uma configuração de Pipeline Parallel (PP). Também tivemos nosso método Nesterov para PP aceito no ICML2025, que, até onde sei, é o primeiro artigo sobre treinamento descentralizado aceito em uma grande conferência de IA desde o artigo original do SWARM, e deve ajudar a catalisar o interesse dos principais círculos de IA. O modelo descentralizado paralelo é resolvido → NÃO. A largura de banda de comunicação é muito pior em comparação com um datacenter, que mesmo 90% não é suficiente. Precisamos chegar a uma compressão de cerca de 300x para atingir a paridade com o treinamento centralizado. Resta uma grande questão se isso é possível - você está destruindo muito do sinal de treinamento ao fazer isso. Este é o foco da Pluralis. No entanto, o que acontece se isso funcionar? Pela primeira vez, você pode fazer um pré-treinamento colaborativo real. Não há dependência de deepseek ou Meta. Os indivíduos podem combinar computação para criar modelos nessa escala, do zero. Temos inovação real voltada para a comunidade acontecendo aqui de uma forma que nunca existiu até hoje. O pós-treinamento descentralizado baseado em RL pode ser usado para tornar esses modelos ainda melhores. A realidade é que estamos nos primeiros dias de algo extremamente significativo ocorrendo aqui. Este será um campo importante. As empresas acima estão disparando em todos os cilindros, um monte mais está prestes a sair do portão em breve, e eu não espero que isso diminua a partir de agora até que aconteça o que quer que aconteça aconteça. E se você está lendo isso, você está adiantado.

O último de nossos três artigos do workshop ICLR: O treinamento paralelo de compressão em pipeline tem lutado para ir além de 10% de compactação sem prejudicar o desempenho do modelo. Recebemos 90%.

É incrível ver o artigo de paralelismo de pipeline da Pluralis aceito no ICML. A ICML é uma das maiores e mais conceituadas conferências de IA do mundo, que terá grande representação da DeAI este ano. O verão DeAI será épico.

:)

1/2 Estendemos nosso trabalho anterior no regime paralelo de dados (onde cada nó tem uma cópia completa do modelo) para o regime Model-Parallel. Este é o primeiro trabalho, além do artigo de enxame original, lidando com o cenário em que o próprio modelo é fragmentado em dispositivos.

Propomos um novo algoritmo Momentum Look-Ahead no ICLR'25 MCDC que permite que GPUs heterogêneas sejam usadas com alta utilização em pré-treinamento descentralizado. As linhas de base são Async-DiloCo e DyLU, que superamos.