Puțini oameni știu acest lucru despre regularizarea L2: (Indiciu: NU este doar o tehnică de regularizare) Majoritatea modelelor intenționează să folosească regularizarea L2 pentru un singur scop: ↳ Reduce supraajustarea. Totuși, regularizarea L2 este un remediu excelent pentru multicoliniaritate. Multicoliniaritatea apare când: → Două (sau mai multe) caracteristici sunt puternic corelate, SAU, → Două (sau mai multe) caracteristici pot prezice o altă caracteristică. Pentru a înțelege cum regularizarea L2 abordează multicoliniaritatea, considerați un set de date cu două caracteristici și o variabilă dependentă (y): → caracteristicăA → caracteristica B → Puternic corelată cu caracteristica A. → y = o combinație liniară între caracteristica A și caracteristica B. Ignorând termenul de interceptare, modelul nostru liniar va avea doi parametri (θ₁, θ₂). Scopul este de a găsi acei parametri specifici care minimizează suma reziduală a pătratelor (RSS). Așadar, ce-ar fi să facem următorul ↓ 1. Vom reprezenta grafic valoarea RSS pentru multe combinații diferite de parametri (θ₁, θ₂). Aceasta va crea un grafic 3D: → axa x → θ₁ → axa y → θ₂ → axa z → valoarea RSS 2. Vom determina vizual combinația (θ₁, θ₂) care minimizează valoarea RSS. Fără penalizarea L2, obținem primul grafic în imaginea de mai jos. Observi ceva? Graficul 3D are o vale. Există mai multe combinații de valori ale parametrilor (θ₁, θ₂) pentru care RSS este minim. Cu penalizarea L2, obținem al doilea grafic în imaginea de mai jos. Observi ceva diferit de data asta? Folosirea regularizării L2 a eliminat valea pe care am văzut-o mai devreme. Aceasta oferă un minim global pentru eroarea RSS. Și așa ne-a ajutat regularizarea L2 să eliminăm multicoliniaritatea. 👉 Pe partea ta: știai asta despre regularizarea L2?

De fapt, de aici provine și numele "regresiei crestei": Folosirea unei penalizări L2 elimină RIDGE-ul din funcția de verosimilitate a unui model liniar. Uită-te la asta👇