Vi har åpen kildekode HY-1.8B-2Bit, en høyeffektiv 2-bits LLM bygget for distribusjon på enheten. Denne modellen skalerer 1,8 milliarder basen ned til et effektivt parameterområde på 0,3 milliarder, og krever bare 600 MB lagringsplass, noe som gjør den mindre enn mange mobilapper. 🔹 Ultra-Low-Bit-strategi: Bruker QAT (Quantization-Aware Training) for å oppnå en 2-bits representasjon (0,3B bitekvivalent størrelse). 🔹 Dual-CoT-resonnement: Beholder sofistikerte Dual Chain-of-Thought-muligheter til tross for radikal presisjonsreduksjon. 🔹 Ytelse: 3-8 ganger raskere prefill på Apple M4 og MediaTek Dimensity 9500; 2-3 ganger raskere tokengenerering på enheten. 🔹 Benchmark-gevinster: Oppnår en gjennomsnittlig nøyaktighetsledelse på 17 % over modeller av tilsvarende størrelse. 🔹 Maskinvaresynergi: Optimalisert for Arm SME2 og moderne forbrukersilisium. HY-1.8B-2Bit er nå tilgjengelig i GGUF-format for sømløs integrasjon i kantbaserte inferensmotorer. Prosjektside: Vekter: GGUF-versjon: Teknisk rapport: