نقدم لكم KernelBench-V3. ربما رأيت هذا في تايم لابس التي أدرجها مؤخرا. كان علي التأكد من أنني طبخت تماما على هذا قبل إطفاءه. ملخص: أعدت بناء KernelBench الأصلي من الصفر بعد أن اكتشفت METR أن الكثير من المشكلة قابلة للاختراق. قلل من 270 مشكلة إلى 41 هي الأهم بالنسبة لهندسة النواة. تركز على البنى الحديثة مثل MLA وDeltanet المدخلة، وكانت تشغل 10 نماذج frontier على H100 + B200. جيميني 3 برو وكلود أوبوس 4.5 يتصدران النوى التي تتغلب على بايتورش. GPT 5.2 لديه أعلى دقة لكنه يحتوي على نوى سريعة أقل. النموذج المفتوح واجه صعوبة كبيرة هنا. السبب الرئيسي الذي جعلني أجمع هذا هو أنني شخصيا أردت معرفة أي نموذج هو الأفضل في توليد أو تحسين النواة. أعتقد أن لدي إجابة أفضل الآن! لا يزال هناك مجال كبير للتحسن! منفتح على المساهمات.