Wir haben HY-1.8B-2Bit als Open Source veröffentlicht, ein hocheffizientes 2-Bit-LLM, das für den Einsatz auf Geräten entwickelt wurde. Dieses Modell skaliert die 1,8B-Basis auf einen effektiven Fußabdruck von 0,3B Parametern und benötigt nur 600 MB Speicher, was es kleiner macht als viele mobile Apps. 🔹 Ultra-Niedrig-Bit-Strategie: Verwendet QAT (Quantization-Aware Training), um eine 2-Bit-Darstellung (0,3B bit-äquivalente Größe) zu erreichen. 🔹 Dual-CoT-Reasoning: Beibehaltung der anspruchsvollen Dual Chain-of-Thought-Fähigkeiten trotz radikaler Präzisionsreduktion. 🔹 Leistung: 3-8x schnellere Vorbefüllung auf Apple M4 und MediaTek Dimensity 9500; 2-3x schnellere Token-Generierung auf dem Gerät. 🔹 Benchmark-Gewinne: Erreicht einen durchschnittlichen Genauigkeitsvorteil von 17 % gegenüber Modellen ähnlicher Größe. 🔹 Hardware-Synergie: Optimiert für Arm SME2 und moderne Verbrauchersilicium. HY-1.8B-2Bit ist jetzt im GGUF-Format für eine nahtlose Integration in edge-basierte Inferenz-Engines verfügbar. Projektseite: Gewichte: GGUF-Version: Technischer Bericht: