Мало хто знає про регуляризацію L2: Це НЕ просто техніка регуляризації. Більшість людей використовують регуляризацію L2 для одного: зменшити перенаслідування. Але є ще дещо, що він робить надзвичайно добре. Регуляризація L2 — чудовий засіб для мультиколінеарності. Мультиколінеарність виникає, коли дві або більше ознак сильно корелюють, або коли одна ознака може передбачити іншу. Це справжній кошмар для лінійних моделей. Ось чому: Розглянемо набір даних із двома сильно корельованими ознаками (featureA та featureB) та цільовою змінною (y). Ваша лінійна модель має два параметри (θ₁, θ₂), і мета — знайти значення, що мінімізують залишкову суму квадратів (RSS). Тепер візуалізуємо це: Побудуйте значення RSS для багатьох комбінацій (θ₁, θ₂). Ви отримуєте 3D-поверхню, де: → вісь x дорівнює θ₁ → вісь y дорівнює θ₂ → вісі z — це значення RSS Без регуляризації L2 ви отримуєте долину. Комбінації кількох параметрів дають однаковий мінімальний RSS. Модель не може вирішити, який вибрати. Ця нестабільність є прокляттям мультиколінеарності. З регуляризацією L2 долина зникає. Ви отримуєте один глобальний мінімум. Модель тепер має одну чітку відповідь. Це прихована суперсила регуляризації рівня 2, яку більшість навчальних матеріалів пропускають. Йдеться не лише про запобігання перевантаженню. Йдеться про забезпечення стабільності моделі, коли функції корелюють. 👉 Слово вам: чи знали ви про регуляризацію L2?

Насправді, саме звідси й походить назва «гребеньна регресія»: Використання штрафу L2 усуває RIDGE у функції правдоподібності лінійної моделі. Подивись на👇 це