Isso é tudo para o ICML2025. Incrível ver o espaço passar de "Do que você está falando" para "Isso é impossível" para "Hmmm, isso é muito interessante" em pouco mais de um ano. @tha_ajanthan @hmdolatabadi

Também fizemos um vídeo ao estilo @3blue1brown explicando o artigo de forma geral.

Usando belos painéis do Grafana para tudo internamente, é muito mais agradável do que o Tensorboard. O Wandb ainda é bom, mas não funciona realmente com treinamento descentralizado. Isso me faz perguntar como são as ferramentas de visualização internas na OpenAI - devem ser incríveis.

Atingimos um marco importante no treinamento totalmente descentralizado: pela primeira vez, demonstramos que um modelo de linguagem grande pode ser dividido e treinado em dispositivos de consumo conectados pela internet - sem perda de velocidade ou desempenho.

Provavelmente a maior semana de Treinamento Descentralizado a partir da ICLR e mais prestes a sair. Resumo da situação atual: 1. O pós-treinamento descentralizado de RL está claramente funcionando. @gensynai o mais recente com ótimos resultados aqui. Este processo toma um modelo base forte, dá cópias aos participantes que geram traços de raciocínio que são então recolhidos e utilizados para melhorar o modelo base. Isso obviamente depende dos modelos básicos estarem disponíveis/peso aberto, e é significativamente mais barato do que o pré-treinamento. Os nós só precisam fazer inferência. A desvantagem é que há evidências crescentes (e é muito intuitiva) de que não é possível passar por um modelo base ruim. Então você mantém uma dependência. Temos de esperar pelos resultados destas corridas, mas a realidade é que isto vai funcionar de uma forma ou de outra, porque o processo é trivialmente parolizável. 2. O pré-treinamento Data-Parallel (DP) parece bom. Tanto @NousResearch quanto @PrimeIntellect já temos resultados aqui em tamanhos de modelo em escala 10B. Será muito simples (mas caro para os operadores de nós) estender isso para o caso 100B. Isso ocorre porque no DP cada nó mantém uma cópia completa do modelo, então você precisa, por exemplo, de 8xh100s para treinar no tamanho 10b; você não pode usar cartões pequenos. Assim, você pode simplesmente estender essa técnica escalando os nós e fazer treinamento colaborativo entre datacenters (ou seja, cada nó é composto por 100 H100 ou mais, e você treina o modelo >100b). Você também tem o problema de que todos veem uma cópia completa do modelo, então não está claro como monetizar (o Protocol Learning resolve isso). 3. Model-Parallel (onde o modelo em si é dividido em nós - pense em 1000 Macbooks geograficamente separados treinando um modelo de 100b param, onde cada dispositivo tem apenas uma pequena parte do modelo total) começou a mostrar os primeiros indícios de ser possível. Nós (@PluralisHQ) publicamos o artigo 'Beyond Top k' que comprime comms entre nós mais de 90%, bem como dois outros trabalhos que mostram que você pode usar dispositivos heterogêneos em uma configuração Pipeline Parallel (PP). Também tivemos nosso método Nesterov para PP aceito em ICML2025, que, até onde eu sei, é o primeiro artigo sobre treinamento descentralizado aceito em uma grande conferência de IA desde o artigo SWARM original, e deve ajudar a catalisar o interesse dos círculos de IA convencionais. É descentralizado modelo paralelo resolvido → NÃO. A largura de banda de comunicação é tão pior em comparação com um datacenter, que mesmo 90% não é suficiente. Precisamos chegar a cerca de 300x de compressão para atingir a paridade com treinamento centralizado. Resta uma enorme dúvida se isso é mesmo possível - você está destruindo muito do sinal de treinamento fazendo isso. Este é o foco da Pluralis. No entanto, o que acontece se isso funcionar? Pela primeira vez, você pode fazer um pré-treinamento colaborativo real. Não há dependência de deepseek ou Meta. Os indivíduos podem combinar computação para criar modelos a esta escala, a partir do zero. Recebemos inovação real impulsionada pela comunidade acontecendo aqui de uma forma que nunca existiu até hoje. O pós-treinamento descentralizado baseado em RL pode então ser usado para tornar esses modelos ainda melhores. A realidade é que estamos nos primeiros dias de algo extremamente significativo ocorrendo aqui. Este vai ser um campo importante. As empresas acima estão disparando em todos os cilindros, um monte de mais está prestes a sair do portão em breve, e eu não espero que isso diminua a partir de agora até que aconteça o que acontecer. E se você está lendo isso, você está cedo.

O último de nossos três trabalhos de oficina de ICLR: Compressão no treinamento paralelo de pipeline tem lutado para ir além de 10% de compressão sem prejudicar o desempenho do modelo. Ficamos com 90%.

Incrível ver o papel de paralelismo de pipeline da Pluralis aceito no ICML. O ICML é uma das maiores e mais conceituadas conferências de IA do mundo, que terá grande representação DeAI este ano. DeAI verão será épico.

:)

1/2 Estendemos nosso trabalho anterior no regime de dados paralelos (onde cada nó tem cópia completa do modelo) para o regime Modelo-Paralelo. Este é o primeiro trabalho, além do papel enxame original, que lida com o cenário em que o próprio modelo é fragmentado sobre dispositivos.

Propomos um novo algoritmo Momentum Look-Ahead no ICLR'25 MCDC que permite que GPUs heterogêneas sejam usadas com alta utilização em pré-treinamento descentralizado. As linhas de base são Async-DiloCo e DyLU que superamos.