Il y a beaucoup de développements vraiment passionnants dans la formation d'IA décentralisée cette année. Voici mon avis sur les raisons pour lesquelles la formation décentralisée passe de "impossible" à "investissable". 🧵👇

Au début, l'entraînement décentralisé était considéré comme impossible compte tenu de l'état de l'art des protocoles d'entraînement de l'IA. Les entreprises obtenaient des résultats grâce à du matériel haut de gamme dans des centres de données haut de gamme -- s'entraîner sur du matériel grand public avec une connexion Internet lente semblait fou, et l'argument était techniquement bien raisonné.

Cependant, très rapidement, l'entraînement décentralisé a été démontré par l'exemple. Des algorithmes à "faible communication" comme DiLoCo (développé chez @GoogleDeepMind) ont été utilisés par des entreprises comme @PrimeIntellect, @NousResearch et @tplr_ai pour démontrer des modèles entraînés de manière distribuée. Ces algorithmes de parallélisme de données conservent l'ensemble du modèle dans la mémoire du nœud et divisent les données. En octobre de l'année dernière, @Pluralis a démontré la première exécution *parallèle de modèle*, qui peut diviser un transformateur en ses couches réelles pour l'entraînement.

De nombreuses personnes dans le monde traditionnel de l'IA, de @jackclarkSF (co-fondateur de @AnthropicAI) à @beffjezos, en passant par des organisations de recherche en IA à but non lucratif comme @EpochAIResearch, portent une attention particulière à l'entraînement décentralisé. Epoch a calculé que la puissance de calcul pour l'entraînement décentralisé a crû de 20 fois d'une année sur l'autre. Bien qu'elle soit encore 1000 fois plus petite que les exécutions centralisées de pointe, elle réduit cet écart à un rythme 4 fois plus rapide.