Полностью согласен - Flower labs еще одна группа, активно публикующая отличные материалы и теперь сосредоточенная на децентрализованном обучении. Это должно стать важной точкой данных для всех, кто все еще скептически относится к этой области - команда Flower настолько легитимна, насколько это возможно, а Ник Лейн, по сути, находится на вершине в области федеративного обучения. Каждый сигнал для меня указывает на то, что мы находимся на пороге огромного академического перелома в этой области в сфере машинного обучения. Это уже не просто контрарная позиция, это явно ранние дни того, что станет важной и очень влиятельной областью.
nic lane
nic lane16 июл., 19:35
Поздравляю с публикацией, @_AlexanderLong. Но вы упустили @flwrlabs, который опубликовал полную систему (photon) с проверенной в реальных условиях полностью децентрализованной тренировкой до 13B на @MLSysConf. Вместе с ключевой техникой децентрализованного стека (разделенные эмбеддинги), опубликованной в устной форме на @iclr_conf. Это была работа, выполненная совместно с @CaMLSys в @Cambridge_Uni.
1K