Vi har öppen källkod HY-1.8B-2Bit, en högpresterande 2-bitars LLM byggd för distribution på enheten. Denna modell skalar ner basen på 1,8 miljarder till ett effektivt parameteravtryck på 0,3 miljarder och kräver endast 600 MB lagringsutrymme, vilket gör den mindre än många mobilappar. 🔹 Ultra-Low-Bit-strategi: Använder QAT (Quantization-Aware Training) för att nå en 2-bitars representation (0,3B bitekvivalent storlek). 🔹 Dual-CoT Reasoning: Behåller sofistikerade Dual Chain-of-Thought-funktioner trots radikal precisionsreduktion. 🔹 Prestanda: 3–8 gånger snabbare prefill på Apple M4 och MediaTek Dimensity 9500; 2–3 gånger snabbare tokengenerering på enheten. 🔹 Benchmark-vinster: Uppnår en genomsnittlig noggrannhetsledning på 17 % över modeller av motsvarande storlek. 🔹 Hårdvarusynergi: Optimerad för Arm SME2 och modern konsumentkisel. HY-1.8B-2Bit finns nu tillgängligt i GGUF-format för sömlös integration i kantbaserade inferensmotorer. Projektsida: Vikter: GGUF-version: Teknisk rapport: