一個重大的里程碑在前沿規模的AI上剛剛落地，由AMD提供支持。 @ZyphraAI成功訓練了ZAYA1-Base，這是第一個完全在AMD平台上訓練的大規模專家混合（MoE）基礎模型，涵蓋計算、網絡到軟件。 這一成就驗證了我們一直在努力的方向：AMD Instinct MI300X GPU + Pensando Pollara網絡 + ROCm軟件 = 一個生產就緒的高性能替代方案，用於大規模AI訓練。 與@ZyphraAI和@IBM Cloud一起，我們共同設計並部署了一個集群，提供750+ PFLOPs（最大可達FLOPS），利用192 GB HBM內存、400 Gbps Pollara NIC和完全優化的ROCm軟件堆棧。 結果： ⚡ 一個前沿規模的MoE模型（總計8.3 B / 760 M活躍） ⚡ 競爭性的推理、數學和編碼性能 ⚡ 高效的長上下文訓練（最多32 K） ⚡ 在網絡、內核和系統設計方面的突破 這證明了當AMD生態系統團結在一起時，可能實現的成果。AMD平台已為下一波AI創新做好準備。而這僅僅是個開始。 在這裡閱讀@EmadBarsoumPi和@KarimBhalwani的博客：