مقايضة التحيز والتباين فيها تفصيل مفقود! ليس الكثير من مهندسي التعلم الآلي يعرفون عنه. فكر في تركيب نموذج انحدار متعدد الحدود على مجموعة بيانات وهمية، مثل y=sin(x) + ضوضاء. كما هو موضح في الرسم البياني الأول في الصورة، مع زيادة الدرجة (م): - خسارة التدريب ستنخفض إلى الصفر. - فقدان الاختبار (أو التحقق) سينخفض ثم يزداد. لكن لاحظ ما يحدث مع زيادة الدرجة (m): ↳ خسارة الاختبار تنخفض مرة أخرى (موضح في المخطط الثاني) تسمى هذه الظاهرة "ظاهرة النزول المزدوج" وغالبا ما تلاحظ في نماذج التعلم العميق. وهذا غير بديهي لأنه يظهر أن زيادة تعقيد النموذج يمكن أن يحسن أداء التعميم. حسب علمي، لا يزال هذا سؤالا مفتوحا. ليس من الواضح تماما لماذا تظهر الشبكات العصبية هذا السلوك. هناك بعض النظريات حول التنظيم، مثل هذه: قد يكون النموذج يطبق نوعا من التنظيم الضمني. وبالتالي، يمكنه التركيز بدقة على عدد مناسب من المعايير للتعميم. في الواقع، يمكنك تجربتها بنفسك: - إنشاء مجموعة بيانات وهمية صغيرة بحجم n. - تدريب انحدار متعدد الحدود من الدرجة m، يبدأ من 1 إلى قيمة أكبر من n. - رسم خسارة الاختبار وخسارة التدريب لكل م. 👉 نحولك: هل سمعت عن الدابل من قبل؟

إليك الطابع الزمني الدقيق الذي تحدث فيه إيليا سوتسكيفر عن ذلك في بودكاست ليكس فريدمان: