A escassez de GPUs em IA nunca foi sobre os chips. Temos muitos. A verdadeira crise é que ainda não conseguimos usar a maioria deles. Aqui está o porquê 🧵

@cot_research 2/ Olhe para a lacuna: Computação voluntária como a Folding@Home funciona bem em hardware de consumo. Até o @pewdiepie está fazendo um ótimo trabalho e contribuindo! No entanto, as cargas de trabalho modernas de IA falharão. Mesma pool de hardware. Resultado muito diferente. Por quê?

3/ Os runtimes de IA modernos (inferência ou treino) assumem condições estéreis: - GPUs idênticas - Links estáveis e de baixa latência O mundo real, no entanto, é uma confusão de máquinas heterogéneas e internet lenta A pilha tecnológica padrão colapsa aqui.

4/ Muitas das chamadas redes de computação "descentralizadas" não conseguiram alcançar o ajuste produto-mercado porque tratam essa confusão como um caso extremo. Elas constroem mercados para agregar GPUs ociosas, mas agregação não é coordenação. Se o hardware não consegue se comportar como uma máquina coerente, é... meio inútil

5/ A coordenação é a montante. Em redes de computação: se você não resolver primeiro a coordenação do hardware fragmentado, nada mais que você construa importa. A confiabilidade e a experiência do desenvolvedor são problemas a jusante.

6/ @YottaLabs é a primeira equipe que vi abordar isso desde o início e fazer um progresso significativo. Ao reconstruir a pilha de IA, desde o agendador até a camada de comunicação, eles trouxeram o desempenho de computação descentralizada para dentro de ~15% dos clusters centralizados.

7/ O que é ainda mais interessante é o modelo de negócios da @YottaLabs. O mercado é secundário. Eles estão construindo uma barreira de dados em resiliência operacional que o Google não consegue replicar - o otimizador inteligente. A Yotta alimenta cada pico térmico e falha de rede de volta ao seu otimizador. Mais sobre isso mais tarde.