🚀 Seznamte se s HySparse: Naším novým průlomem v efektivitě dlouhodobých LLM! S radostí vám představujeme HySparse (Hybrid Sparse Attention)—hybridní architekturu modelu, která propojuje každou plnou vrstvu pozornosti s více vrstvami řídké pozornosti, kde tyto vrstvy strategicky odvozují důležitý výběr tokenů a KV cache z předchozí plné vrstvy! 📖 Odkaz na papír: