templar ha appena addestrato un modello da 72 miliardi di parametri su internet commerciale con oltre 70 partecipanti. questo è il più grande sforzo di pre-addestramento decentralizzato completamente aperto mai realizzato. il loro ottimizzatore sparse loco ha compresso i dati di 146 volte, consentendo alle connessioni domestiche di contribuire. la vera innovazione per @tplr_ai è riuscire a far addestrare un modello a sconosciuti non fidati senza imbrogliare, grazie al loro sistema di validazione gauntlet. ma era comunque necessario avere 8 GPU b200 (~$250k) per partecipare. questo è stato un proof-of-concept per operatori ben capitalizzati... per ora l'addestramento decentralizzato potrebbe un giorno avvicinarsi ai modelli di frontiera, ma solo se la barriera hardware scende significativamente.