templar только что обучил модель с 72 миллиардами параметров через обычный интернет с участием более 70 участников. это крупнейшая полностью открытая децентрализованная предобучающая инициатива за всю историю. их разреженный локальный оптимизатор сжал данные в 146 раз, что позволило домохозяйствам участвовать. настоящее достижение для @tplr_ai заключается в том, что они смогли заставить недоверчивых незнакомцев обучать модель без мошенничества, благодаря их системе валидации gauntlet. но для участия все же потребовалось 8x b200 gpu (~$250k). это было доказательством концепции для хорошо капитализированных операторов... пока что. dецентрализованное обучение когда-нибудь может приблизиться к передовым моделям, но только если барьер для аппаратного обеспечения значительно снизится.