🚨 عاجل: تينسنت قضت على نموذج "الرمز التالي". أصدرت Tencent وTsinghua نموذج CALM (نماذج اللغة الذاتية المستمرة)، وقد دمر تماما نموذج الرمز التالي. نماذج اللغة الكبيرة تهدر حاليا كميات هائلة من الرموز المنفصلة المفردة في التنبؤ بالحسابات عبر طبقة ضخمة من المفردات السوفتماكس. بطيء ويتدرج بشكل سيء. CALM يتجاوز المفردات تماما. يستخدم مشفرا ذاتيا عالي الدقة لضغط أجزاء من النص في متجه مستمر واحد بدقة إعادة بناء تبلغ 99.9٪. يتنبأ النموذج الآن ب "المتجه التالي" في فضاء مستمر. الأرقام فعلا مذهلة: - كل خطوة توليدية تحمل الآن 4× عرض النطاق الدلالي. - يتم تقليل الحوسبة التدريبية بنسبة 44٪. - تم إزالة عنق الزجاجة في سوفت ماكس بالكامل. نحن حرفيا نشاهد نماذج اللغة تتطور من كتابة رموز منفصلة إلى تدفق الأفكار المستمرة. هذا يغير مسار الذكاء الاصطناعي بالكامل.