templar vừa huấn luyện một mô hình 72 tỷ tham số qua internet thương mại với hơn 70 người tham gia. đây là nỗ lực tiền huấn luyện phi tập trung hoàn toàn mở lớn nhất từ trước đến nay. bộ tối ưu hóa sparse loco của họ đã nén dữ liệu 146 lần, cho phép các kết nối hộ gia đình tham gia. bước đột phá thực sự cho @tplr_ai là việc khiến những người lạ không đáng tin cậy huấn luyện một mô hình mà không gian lận, nhờ vào hệ thống xác thực gauntlet của họ. nhưng nó vẫn cần 8 GPU b200 (~250k đô la) để tham gia. đây là một bằng chứng về khái niệm cho các nhà điều hành có vốn tốt... tạm thời. huấn luyện phi tập trung có thể một ngày nào đó đạt gần với các mô hình tiên tiến, nhưng chỉ khi rào cản phần cứng giảm đáng kể.