Chúng tôi đã mã nguồn mở HY-1.8B-2Bit, một mô hình LLM 2-bit hiệu quả cao được xây dựng cho việc triển khai trên thiết bị. Mô hình này giảm quy mô từ 1.8B xuống còn 0.3B tham số hiệu quả, chỉ yêu cầu 600MB dung lượng lưu trữ, nhỏ hơn nhiều ứng dụng di động. 🔹 Chiến lược Ultra-Low-Bit: Sử dụng QAT (Đào tạo Nhận thức Định lượng) để đạt được đại diện 2-bit (kích thước tương đương 0.3B bit). 🔹 Lập luận Dual-CoT: Giữ lại khả năng Lập luận Chuỗi Hai Tư duy tinh vi mặc dù giảm độ chính xác một cách triệt để. 🔹 Hiệu suất: Nhanh hơn 3-8 lần trong việc điền trước trên Apple M4 và MediaTek Dimensity 9500; nhanh hơn 2-3 lần trong việc tạo token trên thiết bị. 🔹 Tăng trưởng Benchmark: Đạt được lợi thế độ chính xác trung bình 17% so với các mô hình có kích thước tương đương. 🔹 Tương tác Phần cứng: Tối ưu hóa cho Arm SME2 và silicon tiêu dùng hiện đại. HY-1.8B-2Bit hiện có sẵn ở định dạng GGUF để tích hợp liền mạch vào các động cơ suy diễn dựa trên biên. Trang Dự án: Trọng số: Phiên bản GGUF: Báo cáo Kỹ thuật: