templar vient de former un modèle de 72 milliards de paramètres sur l'internet de commodité avec plus de 70 participants. c'est le plus grand effort de pré-entraînement décentralisé entièrement ouvert jamais réalisé. leur optimiseur sparse loco a compressé les données 146x, permettant aux connexions domestiques de contribuer. la véritable avancée pour @tplr_ai est de faire en sorte que des étrangers non fiables entraînent un modèle sans tricher, grâce à leur système de validation gauntlet. mais il fallait tout de même 8x b200 gpus (~250k$) pour participer. c'était une preuve de concept pour des opérateurs bien capitalisés... pour l'instant tu pourrais un jour atteindre des modèles proches de la frontière grâce à l'entraînement décentralisé, mais seulement si la barrière matérielle diminue considérablement.