Abbiamo appena rilasciato Covenant-72B: il più grande run di pre-addestramento decentralizzato mai realizzato, con partecipazione senza permessi su Internet. Particolarmente entusiasmante vedere SparseLoCo scalare così bene fino a 72B — con >146× compressione, robustezza sotto partecipazione dinamica e attori malevoli, e prestazioni competitive con baseline centralizzate addestrate su budget di token più grandi.