Tenemos HY-1.8B-2Bit, un LLM de 2 bits de alta eficiencia de código abierto diseñado para despliegue en el dispositivo. Este modelo reduce la base de 1,8B a un espacio efectivo de parámetros de 0,3B, requiriendo solo 600MB de almacenamiento, lo que lo hace más pequeño que muchas aplicaciones móviles. 🔹 Estrategia de Ultra Bajo Bit: Utiliza QAT (Entrenamiento Consciente de Cuantización) para alcanzar una representación de 2 bits (tamaño equivalente a 0,3B en bits). 🔹 Razonamiento Dual-CoT: Mantiene capacidades sofisticadas de Doble Cadena de Pensamiento a pesar de una reducción radical de precisión. 🔹 Rendimiento: prellenado 3-8 veces más rápido en Apple M4 y MediaTek Dimensity 9500; Generación de tokens 2-3 veces más rápida en el dispositivo. 🔹 Ganancias en benchmarks: Alcanza una ventaja media del 17% en la precisión respecto a modelos de tamaño equivalente. 🔹 Sinergia de hardware: Optimizado para Arm SME2 y silicio moderno de consumo. HY-1.8B-2Bit está disponible ahora en formato GGUF para una integración fluida en motores de inferencia basados en edge. Página del proyecto: Pesos: Versión GGUF: Informe técnico: