La pénurie de GPU dans l'IA n'a jamais été une question de puces. Nous en avons en quantité. La véritable crise est que nous ne pouvons toujours pas utiliser la plupart d'entre eux. Voici pourquoi 🧵

@cot_research 2/ Regardez l'écart : le calcul bénévole comme Folding@Home fonctionne bien sur le matériel grand public. Même @pewdiepie fait un excellent travail et contribue ! Cependant, les charges de travail modernes en IA échoueront. Même pool de matériel. Résultat très différent. Pourquoi ?

3/ Les environnements d'IA modernes (inférence ou entraînement) supposent des conditions stériles : - GPU identiques - Liens stables à faible latence Cependant, le monde réel est un fouillis de machines hétérogènes et d'internet lent. La pile technologique standard s'effondre ici.

4/ De nombreux réseaux de calcul dits "décentralisés" n'ont pas atteint l'adéquation produit-marché parce qu'ils considèrent ce désordre comme un cas marginal. Ils construisent des places de marché pour agréger des GPU inactifs, mais l'agrégation n'est pas de la coordination. Si le matériel ne peut pas se comporter comme une machine cohérente, c'est... plutôt inutile.

5/ La coordination est en amont. Dans les réseaux informatiques : si vous ne résolvez pas d'abord la coordination du matériel fragmenté, rien d'autre que vous construisez n'a d'importance. La fiabilité et l'expérience développeur sont des problèmes en aval.

6/ @YottaLabs est la première équipe que j'ai vue aborder cela depuis le début et faire de forts progrès. En reconstruisant la pile AI, du planificateur à la couche de communication, ils ont rapproché la performance de calcul décentralisé à environ 15 % des clusters centralisés.

7/ Ce qui est encore plus intéressant, c'est le modèle commercial de @YottaLabs. Le marché est secondaire. Ils construisent une barrière de données en résilience opérationnelle que Google ne peut pas reproduire - l'optimiseur intelligent. Yotta renvoie chaque pic thermique et chaque problème de réseau dans son optimiseur. Plus d'infos là-dessus plus tard.