a templar acabou de treinar um modelo de 72 bilhões de parâmetros na internet comum com mais de 70 participantes. este é o maior esforço de pré-treinamento totalmente aberto e descentralizado de sempre. o otimizador sparse loco deles comprimiu dados em 146x, permitindo que conexões domésticas contribuíssem. a verdadeira inovação para @tplr_ai é conseguir que estranhos não confiáveis treinem um modelo sem trapacear, graças ao seu sistema de validação gauntlet. mas ainda eram necessárias 8 GPUs b200 (~$250k) para participar. isso foi uma prova de conceito para operadores bem capitalizados... por enquanto o treinamento descentralizado poderia um dia chegar perto de modelos de fronteira, mas apenas se a barreira de hardware cair significativamente.