Meillä on avoimen lähdekoodin HY-1.8B-2Bit, tehokas 2-bittinen LLM, joka on suunniteltu laitekäyttöön. Tämä malli skaalaa 1,8 miljardin kannan tehokkaaseen 0,3 miljardin parametrin jalanjäljeen, mikä vaatii vain 600 Mt tallennustilaa, mikä tekee siitä pienemmän kuin monet mobiilisovellukset. 🔹 Ultra-Low-Bit Strategy: Käyttää GAT:ia (Quantization-Aware Training) saavuttaakseen 2-bittisen esityksen (0,3B bittiekvivalentin koko). 🔹 Kaksois-CoT-päättely: Säilyttää kehittyneet kaksoisajatusketjun kyvyt, vaikka tarkkuus heikkenee radikaalisti. 🔹 Suorituskyky: 3–8 kertaa nopeampi esitäyttö Apple M4:llä ja MediaTek Dimensity 9500:lla; 2–3 kertaa nopeampi tokenien generointi laitteella. 🔹 Vertailutulokset: Saavuttaa 17 %:n keskimääräisen tarkkuusjohdon vastaavan kokoisiin malleihin verrattuna. 🔹 Laitteistojen synergia: Optimoitu Arm SME2:lle ja nykyaikaiselle kuluttajapiille. HY-1.8B-2Bit on nyt saatavilla GGUF-muodossa, jotta se voi integroida saumattomasti reunapohjaisiin päättelymoottoreihin. Projektisivu: Painot: GGUF-versio: Tekninen raportti: