Temos o HY-1.8B-2Bit de código aberto, um LLM de 2 bits de alta eficiência construído para implantação no dispositivo. Este modelo reduz a base de 1,8 bilhões para uma pegada efetiva de 0,3 bilhões de parâmetros, exigindo apenas 600 MB de armazenamento, tornando-o menor do que muitos aplicativos móveis. 🔹 Estratégia de Ultra-Baixo Bit: Utiliza QAT (Treinamento Consciente da Quantização) para alcançar uma representação de 2 bits (tamanho equivalente a 0,3 bilhões de bits). 🔹 Raciocínio Dual-CoT: Mantém capacidades sofisticadas de Dual Chain-of-Thought apesar da redução radical da precisão. 🔹 Desempenho: pré-preenchimento 3-8 vezes mais rápido no Apple M4 e MediaTek Dimensity 9500; Geração de tokens 2-3 vezes mais rápida no dispositivo. 🔹 Ganhos de Benchmark: Alcança uma vantagem média de 17% em relação a modelos de tamanho equivalente. 🔹 Sinergia de Hardware: Otimizada para Arm SME2 e silício moderno de consumo. O HY-1.8B-2Bit está disponível agora no formato GGUF para integração perfeita em motores de inferência baseados em bordas. Página do Projeto: Pesos: Versão GGUF: Relatório Técnico: