Ein wichtiger Meilenstein in der KI auf Grenzskala ist gerade erreicht worden, unterstützt von AMD. @ZyphraAI hat erfolgreich ZAYA1-Base trainiert, das erste großangelegte Mixture-of-Experts (MoE) Grundmodell, das vollständig auf der AMD-Plattform trainiert wurde, von der Berechnung über das Networking bis hin zur Software. Dieser Erfolg bestätigt, worauf wir hingearbeitet haben: AMD Instinct MI300X GPUs + Pensando Pollara Networking + ROCm Software = eine produktionsbereite, leistungsstarke Alternative für das Training von KI auf großer Skala. Zusammen mit @ZyphraAI und @IBM Cloud haben wir einen Cluster entworfen und implementiert, der über 750+ PFLOPs (maximal erreichbare FLOPS) liefert, unter Nutzung von 192 GB HBM-Speicher, 400 Gbps Pollara NICs und einem vollständig optimierten ROCm-Software-Stack. Das Ergebnis: ⚡ Ein MoE-Modell auf Grenzskala (8,3 B insgesamt / 760 M aktiv) ⚡ Wettbewerbsfähige Leistungsfähigkeit in Logik, Mathematik und Programmierung ⚡ Effizientes Training mit langen Kontexten (bis zu 32 K) ⚡ Durchbrüche im Networking, in Kernen und im Systemdesign Das beweist, was möglich ist, wenn das AMD-Ökosystem zusammenkommt. Die AMD-Plattform ist bereit für die nächste Welle der KI-Innovation. Und das ist erst der Anfang. Lesen Sie den Blog von @EmadBarsoumPi und @KarimBhalwani hier: