We hebben HY-1.8B-2Bit open-source gemaakt, een hoog-efficiënte 2-bit LLM gebouwd voor on-device implementatie. Dit model schaalt de 1.8B basis terug naar een effectieve 0.3B parameter footprint, die slechts 600MB opslag vereist, waardoor het kleiner is dan veel mobiele apps. 🔹 Ultra-Low-Bit Strategie: Gebruikt QAT (Quantization-Aware Training) om een 2-bit representatie (0.3B bit-equivalente grootte) te bereiken. 🔹 Dual-CoT Redeneren: Behoudt geavanceerde Dual Chain-of-Thought capaciteiten ondanks radicale precisievermindering. 🔹 Prestaties: 3-8x sneller prefill op Apple M4 en MediaTek Dimensity 9500; 2-3x sneller token generatie on-device. 🔹 Benchmark Winst: Bereikt een gemiddelde nauwkeurigheid van 17% boven modellen van gelijke grootte. 🔹 Hardware Synergie: Geoptimaliseerd voor Arm SME2 en moderne consumentensilicon. HY-1.8B-2Bit is nu beschikbaar in GGUF-formaat voor naadloze integratie in edge-gebaseerde inferentie-engines. Projectpagina: Gewichten: GGUF Versie: Technisch Rapport: