A escassez de GPUs em IA nunca foi sobre os chips. Temos bastante. A verdadeira crise é que ainda não conseguimos usar a maioria deles. Aqui está o porquê 🧵

@cot_research 2/ Olhe a lacuna: Computação voluntária como Folding@Home funciona bem em hardware de consumo. Até @pewdiepie está fazendo um ótimo trabalho e contribuindo! No entanto, as cargas de trabalho modernas de IA vão falhar. Mesmo pool de hardware. Resultado muito diferente. Por quê?

3/ Os tempos de execução modernos da IA (inferência ou treinamento) assumem condições estéreis: - GPUs idênticas - Links estáveis e de baixa latência O mundo real, no entanto, é uma bagunça de máquinas heterogêneas e internet lenta A pilha tecnológica padrão desmorona aqui.

4/ Muitas chamadas redes de computação "descentralizadas" ainda não atingiram o ajuste ao mercado porque tratam essa bagunça como um caso extremo. Eles constroem marketplaces para agregar GPUs ociosas, mas agregação não é coordenação. Se o hardware não consegue agir como uma máquina coerente, é... meio inútil

5/ A coordenação é a montante. Em redes de computação: se você não resolve primeiro a coordenação de hardware fragmentado, nada do mais que você constrói importa. Confiabilidade e Experiência do Desenvolvedor são problemas posteriores.

6/@YottaLabs é o primeiro time que vejo enfrentar isso do zero e fazer um progresso forte. Ao reconstruir a pilha de IA, do escalonador à camada de comunicação, eles trouxeram o desempenho de computação descentralizada para cerca de ~15% dos clusters centralizados.

7/ O que é ainda mais interessante é o modelo de negócios da @YottaLabs. O mercado é secundário. Eles estão construindo um fosso de dados na resiliência operacional que o Google não consegue replicar – o otimizador inteligente A Yotta alimenta cada pico térmico e falha na rede de volta para o otimizador deles. Falaremos mais sobre isso depois.