RT @markchen90: يمكن القول إن المحاذاة هي أهم حدود الذكاء الاصطناعي البحثية. بينما نقوم بتوسيع نطاق التفكير ، تكتسب النماذج وعيا ظرفيا ...

في الأسبوع الماضي ، شاركت نماذج التفكير لدينا في مسابقة البرمجة الجماعية الدولية لعام 2025 (ICPC) ، وهي مسابقة البرمجة الأولى على مستوى الجامعة في العالم. حل نظامنا جميع المشكلات ال 12 من أصل 12 ، وهو أداء كان من الممكن أن يحتل المرتبة الأولى في العالم (أفضل فريق بشري حل 11 مشكلة). هذا الإنجاز يختتم شهرين مكثفين من أداء المنافسة من قبل نماذجنا: - المركز الثاني في نهائيات العالم ل AtCoder Heuristics - الميدالية الذهبية في الأولمبياد الدولي للرياضيات - الميدالية الذهبية في الأولمبياد الدولي للمعلوماتية - والآن ، ميدالية ذهبية ، المركز الأول في نهائيات العالم ICPC. أعتقد أن هذه النتائج ، القادمة من عائلة من نماذج التفكير العام المتجذرة في برنامجنا البحثي الرئيسي ، ربما تكون أوضح معيار للتقدم هذا العام. هذه المسابقات هي اختبارات رائعة قائمة بذاتها ومربعة زمنيا للقدرة على اكتشاف أفكار جديدة. حتى قبل أن تكون نماذجنا بارعة في الحساب البسيط ، نظرنا إلى هذه المسابقات على أنها معالم للتقدم نحو الذكاء الاصطناعي التحويلي. تصنف نماذجنا الآن من بين أفضل البشر في هذه المجالات ، عندما يتم طرحها على أسئلة محددة جيدا وتقتصر على ~ 5 ساعات. ويتمثل التحدي الآن في الانتقال إلى مشاكل أكثر انفتاحا وآفاق زمنية أطول بكثير. هذا المستوى من القدرة على التفكير ، الذي يتم تطبيقه على مدى أشهر وسنوات على المشكلات المهمة حقا ، هو ما نسعى إليه - أتمتة الاكتشاف العلمي. يؤكد هذا التقدم السريع أيضا على أهمية أبحاث السلامة والمحاذاة. ما زلنا بحاجة إلى مزيد من الفهم لخصائص المحاذاة لنماذج التفكير طويلة الأمد. على وجه الخصوص ، أوصي بمراجعة النتائج الرائعة من دراسة المكائد في نماذج التفكير التي أصدرناها اليوم ( تهانينا لزملائي في الفريق الذين صبوا قلوبهم في الحصول على نتائج المنافسة هذه ، ولكل من يساهم في البحث الأساسي الأساسي الذي تمكنهم!

أنا متحمس للغاية لإمكانات الإخلاص والتفسير في سلسلة الفكر. لقد أثر بشكل كبير على تصميم نماذج التفكير الخاصة بنا ، بدءا من o1-preview. نظرا لأن أنظمة الذكاء الاصطناعي تنفق المزيد من أعمال الحوسبة على سبيل المثال على مشكلات البحث طويلة الأجل ، فمن الأهمية بمكان أن يكون لدينا طريقة لمراقبة عمليتها الداخلية. الخاصية الرائعة ل CoTs المخفية هي أنه بينما تبدأ على أساس اللغة التي يمكننا تفسيرها ، فإن إجراء التحسين القابل للتطوير لا يعارض قدرة المراقب على التحقق من نية النموذج - على عكس الإشراف المباشر على سبيل المثال باستخدام نموذج المكافأة. التوتر هنا هو أنه إذا لم يتم إخفاء CoTs افتراضيا ، ونظرنا إلى العملية كجزء من ناتج الذكاء الاصطناعي ، فهناك الكثير من الحوافز (وفي بعض الحالات ، الضرورة) للإشراف عليها. أعتقد أنه يمكننا العمل نحو أفضل ما في العالمين هنا - تدريب نماذجنا ليكونوا رائعين في شرح تفكيرهم الداخلي ، ولكن في نفس الوقت لا يزالون يحتفظون بالقدرة على التحقق من ذلك من حين لآخر. يعد إخلاص CoT جزءا من اتجاه بحثي أوسع ، وهو التدريب على قابلية التفسير: تحديد الأهداف بطريقة تدرب جزءا على الأقل من النظام على أن يظل صادقا وقابلا للمراقبة على نطاق واسع. نواصل زيادة استثماراتنا في هذا البحث في OpenAI.