Un traguardo importante nell'AI su scala frontiera è appena arrivato, alimentato da AMD. @ZyphraAI ha addestrato con successo ZAYA1-Base, il primo modello fondazionale Mixture-of-Experts (MoE) su larga scala addestrato interamente sulla piattaforma AMD, dall'elaborazione al networking fino al software. Questo risultato convalida ciò a cui abbiamo lavorato: GPU AMD Instinct MI300X + networking Pensando Pollara + software ROCm = un'alternativa pronta per la produzione e ad alte prestazioni per l'addestramento di AI su larga scala. Insieme a @ZyphraAI e @IBM Cloud, abbiamo co-progettato e distribuito un cluster che offre oltre 750 PFLOPs (FLOPS massimi raggiungibili), sfruttando 192 GB di memoria HBM, NIC Pollara da 400 Gbps e un stack software ROCm completamente ottimizzato. Il risultato: ⚡ Un modello MoE su scala frontiera (8,3 B totali / 760 M attivi) ⚡ Prestazioni competitive in ragionamento, matematica e programmazione ⚡ Addestramento efficiente su contesti lunghi (fino a 32 K) ⚡ Innovazioni nel networking, nei kernel e nel design di sistema Questo dimostra cosa è possibile quando l'ecosistema AMD si unisce. La piattaforma AMD è pronta per la prossima ondata di innovazione nell'AI. E questo è solo l'inizio. Leggi il blog di @EmadBarsoumPi e @KarimBhalwani qui: