🚨 أطلق فريق Qwen في علي بابا إطار عمل يجعل تدريب الذكاء الاصطناعي أكثر كفاءة بمقدار 8 مرات. تسمى OPUS يحل المشكلة التي يشعر كل مختبر ذكاء اصطناعي بالذعر منها بهدوء: جدار البيانات. النصوص العامة عالية الجودة بدأت تنفد. تشير التوقعات إلى أن النتيجة ستختفي بحلول 2026–2028. OPUS لا يجد بيانات أكثر. يختار البيانات الصحيحة في كل خطوة تدريب. إليك كيف تسير الأمور: → في كل خطوة من خطوات المحسن، يقوم OPUS بتقييم مخزن مرشح لعينات التدريب → يعرض التحديث الفعال لكل عينة إلى هندسة المحسن الفعلية (AdamW، Muon) → يقيس مدى تحسن الأداء في كل عينة على معيار معين → يستخدم أخذ عينات بولتزمان للحفاظ على التنوع وتجنب التكرار → يختار فقط الرموز ذات الفائدة الأعلى للتحديث إليكم الجزء الأكثر جنونا: قام بتدريب GPT-2 XL على رموز 30B وتفوق على النماذج التي تدرب على 200 مليار توكن. هذا ليس خطأ مطبعي. 30B تفوق على 200B. في Qwen3-8B، قامت OPUS بمطابقة التدريب الكامل مع رموز 3B باستخدام رموز 0.5B فقط. زيادة كفاءة البيانات بمقدار 6 أضعاف. في التدريب المسبق المستمر على المجالات العلمية. والأكثر جنونا: أنهم تعمدوا إعطاء OPUS بيانات أقل جودة (درجة FineWeb-Edu 3) بينما كانت الخطوط الأساسية تدربت على التقسيم عالي الجودة (الدرجات 4–5). مع ذلك، فازت OPUS. البيانات ذات الجودة الأقل، التي يتم اختيارها ديناميكيا، تتفوق على البيانات ذات الجودة الأعلى التي يتم تصفيتها بشكل ثابت. كل هذا مع زيادة 4.7٪ فقط من عبء الحوسبة. ...