قام باحثو ستانفورد بتطوير تقنية تحفيز جديدة! بإضافة ~20 كلمة إلى الطلب، يتم إعلى: - يعزز إبداع LLM بمقدار 1.6-2 مرة - رفع التنوع المصنف من قبل البشر بنسبة 25.7٪ - يضرب النموذج المضبوط بدقة دون أي إعادة تدريب - استعادة 66.8٪ من الإبداع المفقود في LLM بعد المحاذاة طرق المحاذاة بعد التدريب، مثل RLHF، مصممة لجعل نماذج اللغة الكبيرة مفيدة وآمنة. ومع ذلك، تسبب هذه الطرق عن غير قصد انخفاضا كبيرا في تنوع المخرجات (يسمى انهيار النمط). عندما تنهار النموذج الكبير إلى وضع، تبدأ في تفضيل مجموعة ضيقة من الاستجابات المتوقعة أو النمطية على المخرجات الأخرى. يحدث هذا لأن بيانات التفضيل البشري المستخدمة لتدريب النموذج الكبير تحتوي على عيب خفي يسمى تحيز النموذجية. إليك كيف يحدث هذا: - يقوم المعلقون بتقييم استجابات مختلفة عن نموذج اللغة اللغة، ولاحقا يتم تدريب النموذج باستخدام نموذج مكافأة لمحاكاة هذه التفضيلات البشرية. - ومع ذلك، يميل المعلقون بشكل طبيعي إلى تفضيل الإجابات التي تكون أكثر ألفة وأسهل في القراءة وقابلة للتنبؤ. هذا هو التحيز النموذجي. لذا حتى لو كانت الإجابة الجديدة والإبداعية جيدة بنفس القدر، فإن تفضيل الإنسان غالبا ما يميل إلى الإجابة الشائعة. وبسبب ذلك، يعزز نموذج المكافأة الاستجابات التي كان النموذج الأصلي (المحاذي مسبقا) قد اعتبرها محتملة بالفعل. هذا يشد بشكل كبير توزيع الاحتمالات في النموذج الكبير، مما يؤدي إلى انهيار الناتج الإبداعي للنموذج إلى استجابة أو اثنتين مهيمنة وقابلة للتنبؤ بدرجة عالية. مع ذلك، ليس تأثيرا لا رجعة فيه، ولا يزال للنموذج اللغوي الكبير شخصيتان بعد المحاذاة: - النموذج الأصلي الذي تعلم الإمكانيات الغنية أثناء التدريب المسبق. - النموذج الذي يركز على السلامة وبعد المحاذاة....