Smooth DiLoCo: (@aaron_defazio та ін.) Нерозподілена альтернатива, з меншими накладними витратами пам'яті (лише один додатковий буфер) і безперервним оновленням замість періодичного (досить жорсткого) зовнішнього оновлення класичного DiLoCo Цікаво побачити розширення до дистрибуції!