Entrenar modelos masivos de Mezcla de Expertos (MoE) como DeepSeek-V3 y Llama 4-Scout de forma eficiente es uno de los retos de la IA moderna. Estos modelos llevan a las GPUs, redes y compiladores al límite. Para abordar esto, los equipos de PyTorch de AMD y Meta unieron fuerzas para ajustar TorchTitan y Primus-Turbo, la biblioteca de núcleo de código abierto de AMD, para las nuevas GPUs Instinct MI325X. Juntos, alcanzaron un escalado casi ideal en 1.024 GPUs, demostrando que eficiencia y escala no tienen por qué ser un compromiso. 📎 Lee nuestro último blog: #PyTorchFoundation #OpenSourceAI #TorchTitan #MoE