🧵Lima trik prapelatihan dari CAI.
Sebelum kesepakatan Google, @character_ai sedang menjalankan prapelatihan pada GCP H100-TCPX yang memiliki 1/4 bandwidth sebagai IB (!). @NoamShazeer menemukan algoritma kompresi gradien yang disebut "Squinch" mempertahankan SOTA MFU meskipun jaringan yang buruk.
Beruntung menjadi bagian dari dua (!) proyek yayasan (@vllm_project dan @raydistributed) yang memiliki sinergi besar satu sama lain.
Tumpukan Ray + vLLM + PyTorch bersatu.
Selamat, Ray!
Kami sangat senang menyambut Ray ke PyTorch Foundation 👋 @raydistributed adalah kerangka kerja komputasi terdistribusi sumber terbuka untuk beban kerja #AI, termasuk pemrosesan data, pelatihan model, dan inferensi dalam skala besar. Dengan menyumbangkan Ray ke @PyTorch Foundation, @anyscalecompute memperkuat komitmennya terhadap tata kelola terbuka dan keberlanjutan jangka panjang untuk Ray dan AI sumber terbuka. ➡️ Baca pengumumannya: #PyTorchCon