🚀 Poznaj HySparse: Nasz nowy przełom w efektywności LLM o długim kontekście! Z radością dzielimy się HySparse (Hybrid Sparse Attention)—hybrydową architekturą modelu, która przeplata każdą pełną warstwę uwagi z wieloma warstwami uwagi rzadkiej, gdzie warstwy rzadkie strategicznie wyprowadzają ważny wybór tokenów i pamięci KV z poprzedniej pełnej warstwy！ 📖 Link do pracy: