🚀 تعرف على HySparse: اختراقنا الجديد في كفاءة نماذج اللغة الكبيرة طويلة السياق! نحن متحمسون لمشاركة HySparse (الانتباه الهجين المتفرق)—وهو بنية نموذج هجينة تدمج كل طبقة انتباه كاملة مع طبقات تركيز متفرقة متعددة، حيث تستمد الطبقات المتفرقة بشكل استراتيجي اختيار رموز مهمة وذاكرة KV من الطبقة الكاملة السابقة! 📖 رابط ورقي: