In diesem Jahr gibt es viele wirklich aufregende Entwicklungen im Bereich des dezentralen AI-Trainings. Hier ist meine Meinung, warum dezentrales Training von "unmöglich" zu "investierbar" übergeht. 🧵👇

Zu Beginn wurde dezentrales Training als unmöglich angesehen, angesichts des Stands der Technik bei den KI-Trainingsprotokollen. Unternehmen erzielten Ergebnisse mit High-End-Hardware in High-End-Rechenzentren – das Training auf Consumer-Hardware mit langsamen Consumer-Internet schien verrückt, und das Argument war technisch gut begründet.

Allerdings wurde sehr schnell dezentrales Training durch Beispiele demonstriert. "Low communication"-Algorithmen wie DiLoCo (entwickelt bei @GoogleDeepMind) wurden von Unternehmen wie @PrimeIntellect, @NousResearch und @tplr_ai verwendet, um Modelle zu demonstrieren, die auf verteilte Weise trainiert wurden. Diese datenparallelen Algorithmen halten das gesamte Modell im Speicher des Knotens und teilen die Daten auf. Im Oktober letzten Jahres demonstrierte @Pluralis den ersten *modell-parallelen* Lauf, der einen Transformer in seine tatsächlichen Schichten für das Training aufteilen kann.

Viele Menschen in der traditionellen AI-Welt, von @jackclarkSF (Mitbegründer von @AnthropicAI) über @beffjezos bis hin zu AI-Forschungs-Nichtregierungsorganisationen wie @EpochAIResearch, achten auf dezentrales Training. Epoch hat berechnet, dass die Rechenleistung für dezentrales Training im Jahresvergleich um das 20-fache gewachsen ist. Obwohl es immer noch 1000-mal kleiner ist als zentrale Frontier-Läufe, schließt es diese Lücke mit einer Rate von 4x.