Une étape majeure dans l'IA à grande échelle vient d'être franchie, propulsée par AMD. @ZyphraAI a réussi à entraîner ZAYA1-Base, le premier modèle de fondation Mixture-of-Experts (MoE) à grande échelle entièrement entraîné sur la plateforme AMD, de l'informatique au réseau en passant par le logiciel. Cette réalisation valide ce vers quoi nous avons travaillé : les GPU AMD Instinct MI300X + le réseau Pollara de Pensando + le logiciel ROCm = une alternative prête pour la production et haute performance pour l'entraînement de l'IA à grande échelle. Avec @ZyphraAI et @IBM Cloud, nous avons co-conçu et déployé un cluster offrant plus de 750 PFLOPs (FLOPS maximaux réalisables), tirant parti de 192 Go de mémoire HBM, de NIC Pollara à 400 Gbps et d'une pile logicielle ROCm entièrement optimisée. Le résultat : ⚡ Un modèle MoE à grande échelle (8,3 B au total / 760 M actifs) ⚡ Performance compétitive en raisonnement, mathématiques et codage ⚡ Entraînement efficace sur de longs contextes (jusqu'à 32 K) ⚡ Avancées en matière de réseau, de noyaux et de conception système Cela prouve ce qui est possible lorsque l'écosystème AMD se réunit. La plateforme AMD est prête pour la prochaine vague d'innovation en IA. Et ce n'est que le début. Lisez le blog de @EmadBarsoumPi et @KarimBhalwani ici :