A maioria das pessoas pensa que a computação descentralizada falha porque "não há GPUs suficientes." Elas estão focadas na oferta. O verdadeiro bloqueio é a coordenação, e quem resolver isso poderá definir as regras para a infraestrutura de IA. 🧵

/2 Continuamos a aprender a lição errada com a computação voluntária como o Folding@Home. Esses trabalhos toleram nós lentos e interrupções. O treinamento e a inferência de IA modernos punem a inconsistência; uma GPU instável pode travar toda a execução.

/3 Uma pergunta continua a surgir para nós: Podem GPUs globalmente dispersas e desalinhadas comportar-se como uma máquina previsível? Se a resposta for não, a fiabilidade e a experiência do desenvolvedor nunca importam, porque nada é enviado.

/4 A internet faz com que as GPUs se comportem como instrumentos com diferentes afinações. Os stacks de data center assumem um tempo perfeito. Uma malha global oferece jitter, largura de banda desigual, tempo de inatividade aleatório e variação de hardware. A coordenação tem que absorver essa confusão.

/5 @YottaLabs segue a rota do SO, não a rota do mercado. Agendamento, comunicação, descarregamento de memória, tratamento de falhas, verificação. O ponto é simples, transformar máquinas não confiáveis em um cluster que se comporta de forma previsível o suficiente para SLAs.

/6 A visão mais concreta, dividir a inferência em dois trabalhos. O pré-preenchimento precisa das melhores GPUs. A decodificação pode ser executada em GPUs mais fracas. Esse design impede que placas caras fiquem esperando por placas baratas, e torna as “frotas mistas” úteis em vez de dolorosas.

/7 Então o gargalo oculto, movendo a memória de trabalho do modelo (cache KV). Se você enviar tudo de uma vez, você para. Yotta transmite pequenos pedaços enquanto o cálculo é executado e comprime o cache, para que a latência da WAN deixe de dominar.