Smooth DiLoCo: (@aaron_defazio et al) Alternativă nedistribuită, cu mai puțin overhead de memorie (doar un buffer suplimentar) și o actualizare continuă în locul actualizării periodice (destul de violente) exterioare a DiLoCo clasic Sunt curios să văd extinderea la distribuție!