Asta este o încheiere pentru ICML2025. Incredibil să vezi spațiul trecând de la "Despre ce vorbești?" la "E imposibil" la "Hmmm, asta e foarte interesant" în puțin peste un an. @tha_ajanthan @hmdolatabadi

Am făcut și un videoclip în stil @3blue1brown explicând lucrarea la un nivel înalt.

Folosind tablouri de bord frumoase Grafana pentru orice intern, mult mai frumos decât Tensorboard. Wandb este încă bun, dar nu prea funcționează cu antrenamentul descentralizat. Mă face să mă întreb cum este instrumentul de vis intern în openai - trebuie să fie incredibil.

Am atins o etapă majoră în instruirea complet descentralizată: pentru prima dată, am demonstrat că un model lingvistic mare poate fi împărțit și antrenat pe dispozitive de consum conectate prin internet - fără pierderi de viteză sau performanță.

Probabil cea mai mare săptămână din Instruirea Descentralizată de până acum în spatele ICLR și mai multe pe cale să apară. Rezumatul situației în prezent: 1. Post-instruirea RL descentralizată funcționează în mod clar. @gensynai cele mai recente cu rezultate excelente aici. Acest proces presupune un model de bază puternic, oferă copii participanților care generează urme de raționament care sunt apoi colectate și utilizate pentru a îmbunătăți modelul de bază. Acest lucru se bazează evident pe modelele de bază disponibile/cu greutate deschisă și este semnificativ mai ieftin decât Pretraining. Nodurile trebuie doar să facă inferențe. Dezavantajul este că există dovezi din ce în ce mai mari (și sunt foarte intuitive) că nu este posibil să treci de un model de bază prost. Deci păstrezi o dependență. Trebuie să așteptăm rezultatele acestor alergări, dar realitatea este că acest lucru va funcționa într-un fel sau altul, deoarece procesul este atât de trivial de paralizabil. 2. Preantrenamentul Data-Parallel (DP) arată bine. Atât @NousResearch, cât și @PrimeIntellect au deja rezultate aici la dimensiuni de model la scară 10B. Va fi foarte simplu (dar costisitor pentru operatorii de noduri) să extindem acest lucru la cazul 100B. Acest lucru se datorează faptului că în DP fiecare nod păstrează o copie completă a modelului, deci aveți nevoie de exemplu de 8xh100 pentru a vă antrena la dimensiunea 10b; Nu poți folosi cărți mici. Deci, puteți extinde această tehnică prin scalarea nodurilor și prin antrenamentul colaborativ între centrele de date (adică fiecare nod este compus din aproximativ 100 H100 și antrenați >modelul 100b). De asemenea, aveți problema că toată lumea vede o copie completă a modelului, deci nu este clar cum să monetizați (Protocol Learning rezolvă acest lucru). 3. Model-Parallel (unde modelul în sine este împărțit în noduri - gândiți-vă la 1000 de Macbook-uri separate geografic care antrenează un model de param 100b, unde fiecare dispozitiv are doar o mică parte din modelul total) a început să arate primele indicii că este posibil. Am (@PluralisHQ) publicat lucrarea "Beyond Top k" care comprimă comunicațiile între noduri peste 90%, precum și alte două lucrări care arată că puteți utiliza dispozitive eterogene într-o configurație Pipeline Parallel (PP). De asemenea, am avut metoda noastră Nesterov pentru PP acceptată în ICML2025, care, din câte știu, este prima lucrare despre formarea descentralizată acceptată într-o conferință majoră de IA de la lucrarea originală SWARM și ar trebui să ajute la catalizarea interesului din partea cercurilor principale de inteligență artificială. Este descentralizat model-paralel rezolvat → NU. Lățimea de bandă de comunicare este mult mai proastă în comparație cu un centru de date, încât nici măcar 90% nu este suficient. Trebuie să ajungem la o compresie de aproximativ 300x pentru a atinge paritatea cu antrenamentul centralizat. Rămâne o întrebare uriașă dacă acest lucru este posibil - distrugeți atât de mult din semnalul de antrenament făcând acest lucru. Acesta este obiectivul lui Pluralis. Cu toate acestea, ce se întâmplă dacă acest lucru funcționează? Pentru prima dată, puteți face un pretraining colaborativ real. Nu există nicio dependență de deepseek sau Meta. Indivizii pot combina calculul pentru a crea modele la această scară, de la zero. Avem inovații reale conduse de comunitate aici într-un mod care nu a existat niciodată până în prezent. Post-instruirea descentralizată bazată pe RL poate fi apoi utilizată pentru a face aceste modele și mai bune. Realitatea este că suntem la primele zile în care se întâmplă ceva extrem de semnificativ aici. Acesta va fi un domeniu major. Companiile de mai sus trag la maxim, o grămadă de altele sunt pe cale să iasă din poartă în curând și nu mă aștept ca acest lucru să încetinească deloc de acum până când se întâmplă orice se întâmplă. Și dacă citești asta, ești devreme.

Ultima dintre cele trei lucrări ale atelierului ICLR: Compresia în antrenamentul paralel al conductelor s-a străduit să depășească 10% compresie fără a afecta performanța modelului. Primim 90%.

Uimitor să văd că lucrarea de paralelism a conductelor de la Pluralis a fost acceptată în ICML. ICML este una dintre cele mai mari și mai reputate conferințe AI din lume, care va avea o reprezentare majoră DeAI în acest an. Vara DeAI va fi epică.

:)

1/2 Am extins munca noastră anterioară în regimul de date-paralel (unde fiecare nod are o copie completă a modelului) la regimul Model-Paralel. Aceasta este prima lucrare, în afară de lucrarea originală, care se ocupă de scenariul în care modelul în sine este fragmentat peste dispozitive.

Propunem un nou algoritm Momentum Look-Ahead la ICLR'25 MCDC, care permite utilizarea GPU-urilor eterogene cu o utilizare ridicată în preantrenamentul descentralizat. Liniile de bază sunt Async-DiloCo și DyLU, pe care le depășim.