У нас є відкритий HY-1.8B-2Bit — високоефективна 2-бітна LLM, створена для розгортання на пристрої. Ця модель масштабує базу 1,8 Б до ефективного розміру параметрів 0,3 Б, що вимагає лише 600 МБ пам'яті, що робить її меншою за багато мобільних додатків. 🔹 Стратегія наднизьких розрядів: використовує QAT (навчання з урахуванням квантування) для досягнення 2-бітного представлення (розмір 0,3 Б, еквівалентний біту). 🔹 Dual-CoT Reasoning: зберігає складні можливості Dual Chain-of-Mind, незважаючи на радикальне зниження точності. 🔹 Продуктивність: 3-8 разів швидше заповнення на Apple M4 та MediaTek Dimensity 9500; Генерація токенів у 2-3 рази швидше на пристрої. 🔹 Зростання бенчмарків: Досягає середньої переваги в точності 17% порівняно з моделями еквівалентного розміру. 🔹 Апаратна синергія: оптимізовано для Arm SME2 та сучасного споживчого кремнію. HY-1.8B-2Bit вже доступний у форматі GGUF для безшовної інтеграції з edge-based inference engines. Сторінка проєкту: Ваги: Версія GGUF: Технічний звіт: