📣 التباين في التحقق: فهم ديناميكيات التحقق في نماذج اللغات الكبيرة 📄 ورق: 🔗 مشروع: هل تساءلت يوما عما إذا كان مدقق LLM الخاص بك موثوقا به بالفعل لمهمتك؟ يكشف إطار التحليل الخاص بنا عن ثلاثة عوامل رئيسية تحدد نجاح التحقق عبر صعوبة المشكلة وقدرة المولد وقدرة التحقق. الرؤى الرئيسية: 📈 تؤدي صعوبة المشكلة إلى التعرف على الاستجابة الصحيحة - يتفوق المدققون في المشكلات السهلة ولكنهم يكافحون مع المشكلات الصعبة 🔍 تؤثر قوة المولد على اكتشاف الأخطاء - تنتج المولدات الضعيفة أخطاء واضحة ، والمولدات القوية تخلق حلولا أنيقة ولكنها خاطئة ⚖️ يظهر تحجيم المدقق عوائد متناقصة في أنظمة معينة - في بعض الأحيان بالكاد يتفوق GPT-4o على النماذج الأصغر 💡 لتوسيع نطاق وقت الاختبار: يمكن أن تتطابق المولدات الضعيفة + التحقق مع أداء المولدات القوية ، ولا تستحق أدوات التحقق باهظة الثمن كل هذا العناء دائما. عمل رائع من قبل يفان تشو @LiamZhou98 ، أوستن شو @austinsxu ، ييلون تشو @YilunZhou ، جانفيجاي سينغ @iamjanvijay ، جيانغ غوي @JiangGui ، شفيق جوتي @JotyShafiq! #LLM #AIVerification #TestTimeScaling #FutureOfAI #EnterpriseAI

1 // نحن فخورون بأن نعلن عن إطلاق TOOL Testnet!

منشور مدونة جديد حول عدم تناسق التحقق و "قانون المدقق": أصبح عدم تناسق التحقق - فكرة أن التحقق من بعض المهام أسهل بكثير من حلها - فكرة مهمة لأن لدينا RL يعمل أخيرا بشكل عام. من الأمثلة الرائعة على عدم تناسق التحقق أشياء مثل ألغاز سودوكو ، وكتابة الكود لموقع ويب مثل instagram ، ومشاكل BrowseComp (يستغرق ~ 100 موقع للعثور على الإجابة ، ولكن من السهل التحقق منها بمجرد حصولك على الإجابة). المهام الأخرى لها شبه تماثل في التحقق ، مثل جمع رقمين مكونة من 900 رقم أو بعض البرامج النصية لمعالجة البيانات. ومع ذلك ، فإن مهام أخرى أسهل بكثير في اقتراح حلول مجدية بدلا من التحقق منها (على سبيل المثال ، التحقق من الحقائق في مقال طويل أو ذكر نظام غذائي جديد مثل "أكل البيسون فقط"). من الأشياء المهمة التي يجب فهمه حول عدم تناسق التحقق أنه يمكنك تحسين عدم التناسق من خلال القيام ببعض الأعمال مسبقا. على سبيل المثال ، إذا كان لديك مفتاح الإجابة لمشكلة رياضية أو إذا كانت لديك حالات اختبار لمشكلة Leetcode. هذا يزيد بشكل كبير من مجموعة المشاكل المتعلقة بعدم تناسق التحقق المرغوب فيه. ينص "قانون المدقق" على أن سهولة تدريب الذكاء الاصطناعي على حل مهمة ما تتناسب مع مدى إمكانية التحقق من المهمة. سيتم حل جميع المهام التي يمكن حلها ويسهل التحقق منها بواسطة الذكاء الاصطناعي. تتناسب القدرة على تدريب الذكاء الاصطناعي على حل مهمة ما مع ما إذا كانت المهمة تحتوي على الخصائص التالية: 1. الحقيقة الموضوعية: يتفق الجميع على ماهية الحلول الجيدة 2. سريع التحقق: يمكن التحقق من أي حل معين في بضع ثوان 3. قابل للتطوير للتحقق: يمكن التحقق من العديد من الحلول في وقت واحد 4. انخفاض مستوى الضجيج: يرتبط التحقق ارتباطا وثيقا بجودة الحل قدر الإمكان 5. المكافأة المستمرة: من السهل تصنيف جودة العديد من الحلول لمشكلة واحدة أحد النماذج الواضحة لقانون المدقق هو حقيقة أن معظم المعايير المقترحة في الذكاء الاصطناعي سهلة التحقق وقد تم حلها حتى الآن. لاحظ أن جميع المعايير الشائعة تقريبا في السنوات العشر الماضية تناسب المعايير # 1-4 ؛ المعايير التي لا تفي بالمعايير # 1-4 ستكافح لتصبح شائعة. لماذا تعتبر قابلية التحقق مهمة جدا؟ يتم تعظيم مقدار التعلم في الذكاء الاصطناعي الذي يحدث عند استيفاء المعايير المذكورة أعلاه ؛ يمكنك اتخاذ الكثير من خطوات التدرج حيث تحتوي كل خطوة على الكثير من الإشارات. تعد سرعة التكرار أمرا بالغ الأهمية - وهذا هو السبب في أن التقدم في العالم الرقمي كان أسرع بكثير من التقدم في العالم المادي. يعد AlphaEvolve من Google أحد أعظم الأمثلة على الاستفادة من عدم تناسق التحقق. يركز على الإعدادات التي تناسب جميع المعايير المذكورة أعلاه ، وقد أدى إلى عدد من التطورات في الرياضيات والمجالات الأخرى. يختلف عما كنا نفعله في الذكاء الاصطناعي على مدار العقدين الماضيين ، إنه نموذج جديد حيث يتم تحسين جميع المشكلات في بيئة تكون فيها مجموعة القطارات مكافئة لمجموعة الاختبار. عدم تناسق التحقق موجود في كل مكان ومن المثير التفكير في عالم من الذكاء الخشن حيث سيتم حل أي شيء يمكننا قياسه.