🧵Fünf Pretraining-Tricks von CAI.
Vor dem Google-Deal führte @character_ai Pretraining auf GCP H100-TCPX durch, das nur 1/4 der Bandbreite von IB hat (!). @NoamShazeer erfand einen Gradientenkodierungsalgorithmus namens "Squinch", der SOTA MFU trotz des schlechten Netzwerks aufrechterhält.
Glücklich, Teil von zwei (!) Grundprojekten (@vllm_project und @raydistributed) zu sein, die eine großartige Synergie miteinander haben.
Der Ray + vLLM + PyTorch-Stack kommt zusammen.
Herzlichen Glückwunsch, Ray!
Wir freuen uns, Ray in der PyTorch Foundation willkommen zu heißen 👋 @raydistributed ist ein Open-Source-Framework für verteiltes Rechnen für #AI-Arbeitslasten, einschließlich Datenverarbeitung, Modelltraining und Inferenz in großem Maßstab. Durch die Einbringung von Ray in die @PyTorch Foundation bekräftigt @anyscalecompute sein Engagement für offene Governance und langfristige Nachhaltigkeit für Ray und Open-Source-AI. ➡️ Lesen Sie die Ankündigung: #PyTorchCon