Det är en wrap för ICML2025. Otroligt att se rymden gå från "Vad pratar du om" till "Det är omöjligt" till "Hmmm, det är väldigt intressant" på drygt ett år. @tha_ajanthan @hmdolatabadi

Vi gjorde också en video i @3blue1brown stil där vi förklarade tidningen på en hög nivå.

Att använda vackra Grafana-instrumentpaneler för allt internt, så mycket trevligare än Tensorboard. Wandb fortfarande bra men fungerar inte riktigt med decentraliserad träning. Får mig att undra hur den interna vis-verktyget ser ut i openai - måste vara otroligt.

Vi har nått en viktig milstolpe inom helt decentraliserad utbildning: för första gången har vi visat att en stor språkmodell kan delas upp och tränas över konsumentenheter som är anslutna via internet – utan att förlora hastighet eller prestanda.

Förmodligen största veckan i decentraliserad utbildning hittills efter ICLR och mer på väg att komma ut. Sammanfattning av situationen som den ser ut idag: 1. Decentraliserad RL efter träning fungerar tydligt. @gensynai det senaste med fantastiska resultat här. Denna process tar en stark basmodell, ger kopior till deltagarna som genererar resonemangsspår som sedan samlas in och används för att förbättra basmodellen. Detta bygger naturligtvis på att basmodellerna är tillgängliga/öppna och är betydligt billigare än Pretraining. Noder behöver bara göra slutsatsdragning. Nackdelen är att det finns allt fler bevis (och det är väldigt intuitivt) att det inte är möjligt att RL dig förbi en dålig basmodell. Så du behåller ett beroende. Vi måste vänta på resultaten av dessa körningar, men verkligheten är att detta kommer att fungera på ett eller annat sätt eftersom processen är så trivialt paralliserbar. 2. Förträning av dataparalleller (DP) ser bra ut. Både @NousResearch och @PrimeIntellect har redan resultat här i modellstorlekar i skala 10B. Det kommer att vara mycket enkelt (men dyrt för nodoperatörer) att utöka detta till 100B-fallet. Detta beror på att i DP behåller varje nod en fullständig kopia av modellen, så du behöver till exempel 8xh100s för att träna i 10b-storleken; Du kan inte använda små kort. Så du kan bara utöka den här tekniken genom att skala upp noderna och göra samarbetsträning mellan datacenter (dvs. varje nod består av 100 H100-tal eller så, och du tränar >100b-modellen). Du har också problemet att alla ser en fullständig kopia av modellen så det är inte klart hur man ska tjäna pengar (Protocol Learning löser detta). 3. Model-Parallel (där själva modellen är uppdelad över noder - tänk 1000 geografiskt separata Macbooks som tränar en 100b param-modell, där varje enhet bara har en liten del av den totala modellen) började visa de första antydningarna om att det var möjligt. Vi (@PluralisHQ) publicerade dokumentet "Beyond Top k" som komprimerar kommunikation mellan noder över 90 %, samt två andra arbeten som visar att du kan använda heterogena enheter i en PP-installation (Pipeline Parallel). Vi fick också vår Nesterov-metod för PP accepterad i ICML2025, som så vitt jag vet är den första artikeln om decentraliserad träning som accepterats till en stor AI-konferens sedan den ursprungliga SWARM-artikeln, och bör hjälpa till att katalysera intresset från vanliga AI-kretsar. Löses decentraliserad modellparallell → NEJ. Kommunikationsbandbredden är så mycket sämre jämfört med ett datacenter att inte ens 90% räcker. Vi måste komma till cirka 300x komprimering för att nå paritet med centraliserad träning. Det återstår en stor fråga om detta ens är möjligt - du förstör så mycket av träningssignalen genom att göra detta. Detta är Pluralis fokus. Men vad händer om detta fungerar? För första gången kan du göra riktig kollaborativ förträning. Det finns inget beroende av deepseek eller Meta. Enskilda användare kan kombinera beräkning för att skapa modeller i den här skalan, från grunden. Vi får verklig community-driven innovation som sker här på ett sätt som aldrig har funnits hittills. Decentraliserad RL-baserad efterträning kan sedan användas för att göra dessa modeller ännu bättre. Verkligheten är att vi befinner oss i början av något enormt betydelsefullt som händer här. Detta kommer att bli ett stort område. Ovanstående företag går på alla cylindrar, ett gäng fler är på väg att komma ut ur porten inom kort, och jag förväntar mig inte att detta kommer att sakta ner alls från och med nu tills vad som än händer händer. Och om du läser detta är du tidig.

Den sista av våra tre ICLR-workshopdokument: Komprimering i pipeline parallell träning har kämpat för att gå utöver 10 % komprimering utan att skada modellens prestanda. Vi får 90%.

Det är fantastiskt att se att Pluralis rapport om parallellitet i pipeline accepteras i ICML. ICML är en av de största och mest välrenommerade AI-konferenserna i världen, som kommer att ha stor DeAI-representation i år. DeAI-sommaren kommer att bli episk.

:)

1/2 Vi utökade vårt tidigare arbete i den dataparallella regimen (där varje nod har en fullständig kopia av modellen) till den modellparallella regimen. Detta är det första arbetet, bortsett från det ursprungliga svärmdokumentet, som handlar om scenariot där själva modellen är fragmenterad över enheter.

Vi föreslår en ny Momentum Look-Ahead-algoritm på ICLR'25 MCDC som gör det möjligt att använda heterogena GPU:er med hög användning i decentraliserad förträning. Baslinjer är Async-DiloCo och DyLU som vi överträffar.