Щойно здійснився важливий віховий етап у сфері штучного інтелекту на передньому рівні, який працює на базі AMD. @ZyphraAI успішно навчив ZAYA1-Base — першу масштабну модель Mix-of-Experts (MoE), повністю навчену на платформі AMD — від обчислень до мереж і програмного забезпечення. Це досягнення підтверджує те, до чого ми прагнули: GPU AMD Instinct MI300X + мережеве забезпечення Pensando Pollara + програмне забезпечення ROCm = готова до виробництва, високопродуктивна альтернатива для масштабного навчання ШІ. Разом із @ZyphraAI та @IBM Cloud ми спільно розробили та розгорнули кластер, що забезпечує 750+ PFLOPs (Max Achievable FLOPS), використовуючи 192 ГБ HBM пам'яті, мережеві карти Pollara зі швидкістю 400 Gbps та повністю оптимізований стек програмного забезпечення ROCm. Результат: ⚡ Модель MoE у масштабі фронтиру (8,3 B загалом / 760 м активно) ⚡ Конкурентне мислення, математика та успішність у програмуванні ⚡ Ефективне тренування в довгому контексті (до 32 K) ⚡ Прориви в мережах, ядрах та проєктуванні систем Це доводить, що можливо, коли екосистема AMD об'єднається. Платформа AMD готова до наступної хвилі інновацій у сфері ШІ. І це лише початок. Читайте блог @EmadBarsoumPi та @KarimBhalwani тут: