Avem HY-1.8B-2Bit open-source, un LLM pe 2 biți cu eficiență ridicată, construit pentru implementarea pe dispozitiv. Acest model reduce baza de 1,8 milioare la o amprentă efectivă de 0,3 miliarde de parametri, necesitând doar 600 MB spațiu de stocare, ceea ce îl face mai mic decât multe alte aplicații mobile. 🔹 Strategia Ultra-Low-Bit: Folosește QAT (Antrenament Conștient de Cuantizare) pentru a ajunge la o reprezentare pe 2 biți (0,3B echivalent la biți). 🔹 Raționamentul Dual-CoT: Păstrează capabilități sofisticate de Dual Chain-of-Thought în ciuda reducerii radicale a preciziei. 🔹 Performanță: preumplutură de 3-8 ori mai rapidă pe Apple M4 și MediaTek Dimensity 9500; Generare de tokenuri de 2-3 ori mai rapidă pe dispozitiv. 🔹 Câștiguri de reper: Obține un avans mediu de acuratețe de 17% față de modelele de dimensiuni echivalente. 🔹 Sinergie hardware: Optimizată pentru Arm SME2 și siliciu modern de consum. HY-1.8B-2Bit este disponibil acum în format GGUF pentru o integrare fără probleme în motoarele de inferență bazate pe margini. Pagina proiectului: Greutăți: Versiunea GGUF: Raport tehnic: