Szkolenie masywnych modeli Mixture-of-Experts (MoE) takich jak DeepSeek-V3 i Llama 4-Scout w sposób efektywny jest jednym z wyzwań współczesnej AI. Modele te wykorzystują GPU, sieci i kompilatory do ich granic. Aby temu sprostać, zespoły PyTorch AMD i Meta połączyły siły, aby dostosować TorchTitan i Primus-Turbo, otwartą bibliotekę jądra AMD, do nowych GPU Instinct MI325X. Razem osiągnęli prawie idealne skalowanie na 1,024 GPU, pokazując, że efektywność i skala nie muszą być kompromisem. 📎 Przeczytaj nasz najnowszy blog: #PyTorchFoundation #OpenSourceAI #TorchTitan #MoE