Efektivní trénování masivních modelů Mix-of-Experts (MoE), jako jsou DeepSeek-V3 a Llama 4-Scout, je jednou z výzev moderní AI. Tyto modely tlačí GPU, sítě a kompilátory na jejich limity. Aby se s tímto problémem vypořádaly, týmy AMD a Meta PyTorch spojily síly a naladily TorchTitan a Primus-Turbo, open source knihovnu jádra AMD, pro nové GPU Instinct MI325X. Společně dosáhli téměř ideálního škálování na 1 024 GPU, což ukazuje, že efektivita a škálování nemusí být kompromisem. 📎 Přečtěte si náš nejnovější blog: #PyTorchFoundation #OpenSourceAI #TorchTitan #MoE