Smooth DiLoCo: ( @aaron_defazio và những người khác) Lựa chọn không phân phối, với ít chi phí bộ nhớ hơn (chỉ một bộ đệm bổ sung) và cập nhật liên tục thay vì cập nhật định kỳ (khá mạnh mẽ) của DiLoCo cổ điển. Thật thú vị khi thấy nó được mở rộng ra phân phối!