Açık kaynaklı HY-1.8B-2Bit var; cihaz içi dağıtım için tasarlanmış yüksek verimli 2-bit bir LLM. Bu model, 1.8B tabanı etkili bir 0.3B parametre alanına indiriyor ve sadece 600MB depolama gerektiriyor, bu da birçok mobil uygulamadan daha küçük hale geliyor. 🔹 Ultra Düşük Bit Stratejisi: QAT (Kuantizasyona Duyarlı Eğitim) kullanarak 2 bitlik bir temsil (0.3B bit eşdeğer boyut) elde eder. 🔹 Dual-CoT Gerekçesi: Radikal hassasiyet azalmasına rağmen gelişmiş Çift Düşünce Zinciri yeteneklerini korur. 🔹 Performans: Apple M4 ve MediaTek Dimensity 9500'de 3-8 kat daha hızlı ön doldurma; Cihaz üzerinde 2-3 kat daha hızlı token üretimi. 🔹 Benchmark Kazançları: Eşdeğer boyuttaki modellere karşı %17 ortalama doğruluk farkı sağlar. 🔹 Donanım Sinerjisi: Arm SME2 ve modern tüketici silikon için optimize edilmiş. HY-1.8B-2Bit, kenar tabanlı çıkarım motorlarına sorunsuz entegrasyon için artık GGUF formatında mevcuttur. Proje Sayfası: Ağırlıklar: GGUF Versiyonu: Teknik Rapor: