Цілком згоден - Flower labs, ще одна група, яка активно публікує чудові речі і тепер прямо зосереджена на децентралізованому навчанні. Це має бути основною точкою даних для всіх, хто все ще скептично ставиться до цього району - команда квітів настільки легітимна, наскільки це можливо, а Нік Лейн є майже вершиною у федеративному навчанні. Кожен сигнал для мене полягає в тому, що ми ось-ось станемо свідками величезного академічного переломного моменту в цій галузі на стороні машинного навчання. Насправді це вже не навпаки, воно перейшло від цього до просто явно ранніх днів того, що стане важливою і дуже впливовою сферою.
nic lane
nic lane16 лип., 19:35
Вітаю з паперовим @_AlexanderLong. Але ви залишили поза увагою @flwrlabs, що опублікували повну систему (фотон) з перевіреним повністю децентралізованим навчанням до 13 мільярдів @MLSysConf. Поряд з ключовою технікою децентралізованого стека (decoupled embeddings) опублікований у вигляді усного @iclr_conf. Це була робота, виконана разом з @CaMLSys в @Cambridge_Uni.
1K