Templar tocmai a antrenat un model cu 72 de miliarde de parametri pe internetul de bază cu 70+ participanți. Acesta este cel mai mare efort complet deschis și descentralizat de pre-instruire vreodată. optimizatorul lor de locomotive rar comprima datele 146x, permițând conexiunilor gospodării să contribuie. Adevărata descoperire pentru @tplr_ai este să convingă străini neîncrezători să antreneze un model fără să trișeze, datorită sistemului lor de validare a mănușilor. Dar tot era nevoie de 8 GPU-uri B200 (~250.000$) pentru a participa. Aceasta a fost o dovadă de concept pentru operatori bine capitalizați... deocamdată Antrenamentul descentralizat ar putea într-o zi să ajungă aproape de modelele frontieră, dar numai dacă bariera hardware scade semnificativ.