Smooth DiLoCo: ( @aaron_defazio und andere) Nicht-verteilte Alternative, mit weniger Speicherüberhead (nur ein zusätzlicher Puffer) und einem kontinuierlichen Update anstelle des periodischen (eher gewalttätigen) äußeren Updates des klassischen DiLoCo. Neugierig zu sehen, wie es auf verteilte Systeme ausgeweitet wird!