Veldig stolt over å ha passert denne milepælen. Vi landet på qwen-skaleringskurven uten benchmaxxing, og vi gjorde det på en AMD-klynge.
Tid for å skalere opp!
I samarbeid med @AMD og @IBM deler vi @ZyphraAI ZAYA1-base! Den første storskalamodellen på en integrert AMD-maskinvare, programvare og nettverksstakk. ZAYA1 bruker Zyphras nye MoE-arkitektur med 760 millioner aktive og totalt 8,3 milliarder parametere.
Teknisk artikkel og mer nedenfor👇