🧵Fem förträningstrick från CAI.
Före Google-avtalet körde @character_ai förträning på GCP H100-TCPX som har en fjärdedel av bandbredden som IB (!). @NoamShazeer uppfann en gradientkomprimeringsalgoritm kallad "Squinch" som bibehöll SOTA MFU trots dålig nätverksuppbyggnad.
Jag har förmånen att få vara en del av två (!) stiftelseprojekt (@vllm_project och @raydistributed) som har stor synergi med varandra.
Ray + vLLM + PyTorch-stacken kommer samman.
Grattis, Ray!
Vi är glada över att välkomna Ray till PyTorch Foundation 👋 @raydistributed är ett ramverk för distribuerad databehandling med öppen källkod för #AI arbetsbelastningar, inklusive databehandling, modellträning och slutsatsdragning i stor skala. Genom att bidra med Ray till @PyTorch Foundation stärker @anyscalecompute sitt engagemang för öppen styrning och långsiktig hållbarhet för Ray och AI med öppen källkod. ➡️ Läs tillkännagivandet: #PyTorchCon