Chúng tôi vừa phát hành mô hình + báo cáo kỹ thuật cho Covenant-72B. Mô hình LLM lớn nhất từng được tiền huấn luyện trên một hạ tầng hoàn toàn phi tập trung. 72B tham số được huấn luyện qua internet mở với GPU không cần phép. Đây là một bước tiến lớn hướng tới việc làm cho việc tiền huấn luyện phi tập trung thực sự khả thi. Công việc tuyệt vời của đội ngũ @covenant_ai.