#PaperADay 8 ما وراء المتوسط التدريجي في التحسين المتوازي: تحسين المتانة من خلال تصفية توافق التدرج موصى به @FrancoisChauba1 بعد ورقة الأمس. يقترح ترشيح الاتفاق التدرجي (GAF)، حيث يتم تصفية التدرجات المستقلة التي تحتوي على مسافات جيب تمام كبيرة بينها بدلا من أن يتم قياسها في المتوسط. الدلالة هي أن بعض التدرجات المحسوبة التي قد تساعد في فقدان التدريب ضارة بشكل نشط للتعميم، ويجب التخلص منها بدلا من استخدامها. يتم تقديم ذلك من حيث الدفعات الصغيرة في التدريب الموزع متعدد وحدات معالجة الرسوميات، لكن نفس الفكرة يجب أن تنطبق على أقسام أي دفعة تدريب. كنت أحاول بالصدفة شيئا مشابها – قص التدرجات من عينات مخزن إعادة التشغيل في IID حتى لا تتعارض مع التدرج من عينة التجربة الحالية عبر الإنترنت. لم تظهر النتائج إيجابية بعد، لكن لدي بعض الزوايا الأخرى لأجربها. الملاحظة التي تحفز النظرية هي أنه إذا دربت مصنف الصور على ضوضاء عشوائية تماما وتسميات عشوائية، فسيكون لديه دقة تدريب 100٪ ودقة تحقق عشوائية فقط، وهو متوافق بوضوح مع بيانات التدريب. لاحظوا أنه إذا نظرت إلى تشابه جيب تمام بين تدرجات الدفعات الصغيرة في هذا النموذج الزائد، فإنه دائما فوق 0.99، أو في الأساس متعامد. إذا كانت التدرجات المتعامدة علامة موثوقة على فرط التركيب، ربما يمكنك تخطي الدفعات الصغيرة التي تحتوي على تدرجات متعامدة وتقليل الإفراط في التركيب / زيادة التعميم. في أبسط حالة من الدفعات الدقيقة، يعود الأمر إلى الاحتفاظ أو رفض كلتيهما بناء على تشابه جيب تمام، لكن مع المزيد من الدفعات الدقيقة يقترحون مقارنة جميع الدفعات الدقيقة بالأولى، ومتوسط كل الدفعات التي تجتاز الاختبار. بعض التعليقات حول حجم الدفعة تتعارض مع الأطروحة في #PaperADay 5 التي تدعي أن فشل مقياس حجم الدفعة ناتج عن عدم تعديل بيتا 2، لكن المبررات لا تهم بقدر الأداء التجريبي. ربما سأجرب شيئا مشابها خلال الأيام القادمة على قاعدة كود التعلم الواقعي لدينا.