Мы открыли исходный код HY-1.8B-2Bit, высокоэффективной 2-битной LLM, созданной для развертывания на устройствах. Эта модель уменьшает базу 1.8B до эффективного размера в 0.3B параметров, требуя всего 600 МБ памяти, что делает её меньше, чем многие мобильные приложения. 🔹 Стратегия ультранизких бит: Использует QAT (обучение с учетом квантования), чтобы достичь 2-битного представления (размер эквивалентный 0.3B бит). 🔹 Двойное рассуждение CoT: Сохраняет сложные возможности двойной цепочки размышлений, несмотря на радикальное снижение точности. 🔹 Производительность: 3-8 раз быстрее предварительной загрузки на Apple M4 и MediaTek Dimensity 9500; 2-3 раза быстрее генерация токенов на устройстве. 🔹 Приросты в бенчмарках: Достигает 17% среднего преимущества в точности по сравнению с моделями эквивалентного размера. 🔹 Синергия с аппаратным обеспечением: Оптимизировано для Arm SME2 и современных потребительских кремниевых чипов. HY-1.8B-2Bit доступна сейчас в формате GGUF для бесшовной интеграции в движки вывода на краевых устройствах. Страница проекта: Вес: Версия GGUF: Технический отчет: