Wielki kamień milowy w zakresie AI na skalę frontier właśnie został osiągnięty, zasilany przez AMD. @ZyphraAI pomyślnie wytrenowało ZAYA1-Base, pierwszy model bazowy Mixture-of-Experts (MoE) na dużą skalę, wytrenowany całkowicie na platformie AMD, od obliczeń po sieci i oprogramowanie. To osiągnięcie potwierdza, w kierunku czego dążyliśmy: GPU AMD Instinct MI300X + sieci Pollara od Pensando + oprogramowanie ROCm = gotowa do produkcji, wysokowydajna alternatywa dla treningu AI na dużą skalę. Razem z @ZyphraAI i @IBM Cloud zaprojektowaliśmy i wdrożyliśmy klaster dostarczający 750+ PFLOPs (maksymalna osiągalna FLOPS), wykorzystując 192 GB pamięci HBM, 400 Gbps NIC Pollara oraz w pełni zoptymalizowany stos oprogramowania ROCm. Rezultat: ⚡ Model MoE na skalę frontier (8,3 B całkowitych / 760 M aktywnych) ⚡ Konkurencyjna wydajność w rozumowaniu, matematyce i kodowaniu ⚡ Efektywne szkolenie z długim kontekstem (do 32 K) ⚡ Przełomy w sieciach, jądrach i projektowaniu systemów To dowodzi, co jest możliwe, gdy ekosystem AMD współpracuje. Platforma AMD jest gotowa na następną falę innowacji w AI. A to dopiero początek. Przeczytaj bloga od @EmadBarsoumPi i @KarimBhalwani tutaj: