Máme open-source HY-1.8B-2Bit, vysoce efektivní 2bitový LLM určený pro nasazení přímo na zařízení. Tento model škáluje základnu 1,8B na efektivní velikost parametrů 0,3B, což vyžaduje pouze 600MB úložiště, což jej činí menším než mnoho mobilních aplikací. 🔹 Strategie ultra-nízkých bitů: Využívá QAT (Quantization-Aware Training) k dosažení 2bitové reprezentace (velikost ekvivalentu bitu 0,3B). 🔹 Dual-CoT uvažování: Zachovává sofistikované schopnosti Dual Chain-of-Thought i přes radikální snížení přesnosti. 🔹 Výkon: 3-8x rychlejší předplnění na Apple M4 a MediaTek Dimensity 9500; 2-3x rychlejší generování tokenů přímo na zařízení. 🔹 Zisky v benchmarku: Dosahuje průměrného náskoku přesnosti 17 % před modely stejné velikosti. 🔹 Hardwarová synergie: Optimalizováno pro Arm SME2 a moderní spotřebitelský silikon. HY-1.8B-2Bit je nyní dostupný ve formátu GGUF pro bezproblémovou integraci do inferenčních enginů založených na edge. Stránka projektu: Váhy: Verze GGUF: Technická zpráva: