Smooth DiLoCo: ( @aaron_defazio et al) Niet-gedistribueerde alternatieve, met minder geheugenkosten (slechts één extra buffer) en een continue update in plaats van de periodieke (tamelijk gewelddadige) externe update van de klassieke DiLoCo Benieuwd om het uitgebreid te zien naar gedistribueerd!