To koniec ICML2025. Niesamowite było obserwować, jak ta przestrzeń przeszła od "O czym mówisz" do "To niemożliwe" do "Hmmm, to bardzo interesujące" w zaledwie rok. @tha_ajanthan @hmdolatabadi

Zrobiliśmy również film w stylu @3blue1brown, wyjaśniający artykuł na wysokim poziomie.

Używanie pięknych pulpitów nawigacyjnych Grafana do wszystkiego wewnętrznie, znacznie lepsze niż Tensorboard. Wandb wciąż dobre, ale nie działa z zdecentralizowanym treningiem. Zastanawiam się, jak wygląda wewnętrzne narzędzie wizualizacyjne w OpenAI - musi być niesamowite.

Osiągnęliśmy ważny kamień milowy w całkowicie zdecentralizowanym szkoleniu: po raz pierwszy wykazaliśmy, że duży model językowy można podzielić i wytrenować na urządzeniach konsumenckich podłączonych przez Internet - bez utraty szybkości i wydajności.

Prawdopodobnie największy tydzień w Zdecentralizowanym Szkoleniu do tej pory rozpoczął się po ICLR i wkrótce pojawi się więcej. Podsumowanie obecnej sytuacji: 1. Zdecentralizowany post-trening RL wyraźnie działa. @gensynai najnowsze z doskonałymi wynikami tutaj. Proces ten wykorzystuje silny model podstawowy, daje kopie uczestnikom, którzy generują ślady rozumowania, które są następnie zbierane i wykorzystywane do ulepszania modelu podstawowego. Opiera się to oczywiście na tym, że dostępne są modele podstawowe/open-weight i jest znacznie tańsze niż przed treningiem. Węzły muszą tylko wnioskować. Wadą jest to, że istnieje coraz więcej dowodów (i jest to bardzo intuicyjne), że nie jest możliwe ominięcie złego modelu podstawowego. W ten sposób zachowujesz zależność. Musimy poczekać na wyniki tych prób, ale rzeczywistość jest taka, że to zadziała w taki czy inny sposób, ponieważ proces jest tak trywialnie paralizowalny. 2. Wstępne trenowanie danych równoległych (DP) wygląda dobrze. Zarówno @NousResearch, jak i @PrimeIntellect już tutaj wyniki w rozmiarach modeli 10B. Rozszerzenie tego na przypadek 100B będzie bardzo proste (ale kosztowne dla operatorów węzłów). Dzieje się tak dlatego, że w DP każdy węzeł przechowuje pełną kopię modelu, więc potrzebujesz na przykład 8xh100s do trenowania w rozmiarze 10b; Nie możesz używać małych kart. Możesz więc po prostu rozszerzyć tę technikę, skalując węzły w górę i wykonując wspólne trenowanie między centrami danych (tj. każdy węzeł składa się z około 100 H100 i trenujesz model >100b). Masz również problem z tym, że wszyscy widzą pełną kopię modelu, więc nie jest jasne, jak zarabiać (Protocol Learning rozwiązuje ten problem). 3. Model-Parallel (gdzie sam model jest podzielony na węzły - pomyśl o 1000 geograficznie oddzielnych Macbookach trenujących model 100b param, gdzie każde urządzenie ma tylko niewielką część całego modelu) zaczął pokazywać pierwsze przeczucia, że jest możliwy. Opublikowaliśmy (@PluralisHQ) artykuł "Beyond Top k", który kompresuje komunikację między węzłami w ponad 90%, a także dwie inne prace, które pokazują, że można używać heterogenicznych urządzeń w konfiguracji równoległej do potoku (PP). Do ICML2025 przyjęliśmy również naszą metodę Nesterova dla PP, która, o ile mi wiadomo, jest pierwszym artykułem na temat zdecentralizowanego szkolenia przyjętym na dużą konferencję AI od czasu oryginalnego artykułu SWARM i powinna pomóc w wzbudzeniu zainteresowania ze strony głównych kręgów AI. Czy zdecentralizowany model równoległy jest rozwiązany → NO. Przepustowość komunikacji jest o tyle gorsza w porównaniu z centrum danych, że nawet 90% to za mało. Musimy osiągnąć około 300-krotną kompresję, aby osiągnąć parytet ze scentralizowanym treningiem. Pozostaje ogromne pytanie, czy jest to w ogóle możliwe - w ten sposób niszczysz tak dużą część sygnału treningowego. Na tym skupia się Pluralis. Co się jednak stanie, jeśli to zadziała? Po raz pierwszy możesz przeprowadzić prawdziwy trening wstępny oparty na współpracy. Nie ma zależności od deepseek ani Meta. Użytkownicy indywidualni mogą łączyć zasoby obliczeniowe, aby tworzyć modele w tej skali od podstaw. Mamy tu do czynienia z prawdziwymi innowacjami napędzanymi przez społeczność w sposób, który nigdy dotąd nie istniał. Zdecentralizowane szkolenie końcowe oparte na RL może być następnie wykorzystane do uczynienia tych modeli jeszcze lepszymi. Rzeczywistość jest taka, że jesteśmy w najwcześniejszych dniach czegoś, co dzieje się tutaj w sposób niezwykle znaczący. To będzie główna dziedzina. Powyższe firmy pracują na pełnych obrotach, wkrótce pojawi się kilka kolejnych i nie spodziewam się, aby to w ogóle zwolniło od teraz, dopóki nie wydarzy się to, co się stanie. A jeśli to czytasz, jesteś wcześnie.

Ostatni z naszych trzech artykułów warsztatowych ICLR: Kompresja w trenowaniu równoległym rurociągów miała trudności z przekroczeniem 10% kompresji bez uszczerbku dla wydajności modelu. Otrzymujemy 90%.

Zdumiewające jest to, że dokument o równoległości rurociągów autorstwa Pluralis został przyjęty do ICML. ICML to jedna z największych i najbardziej renomowanych konferencji poświęconych sztucznej inteligencji na świecie, która w tym roku będzie miała główną reprezentację DeAI. Lato DeAI będzie epickie.

:)

1/2 Rozszerzyliśmy nasze poprzednie prace w reżimie równoległym danych (gdzie każdy węzeł ma pełną kopię modelu) na reżim równoległy modelu. Jest to pierwsza praca, poza oryginalnym artykułem roju, zajmująca się scenariuszem, w którym sam model jest dzielony na fragmenty.

Proponujemy nowy algorytm Momentum Look-Ahead w ICLR'25 MCDC, który umożliwia korzystanie z heterogenicznych procesorów graficznych z wysokim wykorzystaniem w zdecentralizowanym trenowaniu wstępnym. Linie bazowe to Async-DiloCo i DyLU, które przewyższamy.