Niewiele osób wie o tym, że regularizacja L2: (Podpowiedź: to NIE jest tylko technika regularizacji) Większość modeli ma na celu wykorzystanie regularizacji L2 w jednym celu: ↳ Zmniejszenie nadmiernego dopasowania. Jednak regularizacja L2 jest doskonałym remedium na multikolinearność. Multikolinearność występuje, gdy: → Dwie (lub więcej) cechy są silnie skorelowane, LUB, → Dwie (lub więcej) cechy mogą przewidywać inną cechę. Aby zrozumieć, jak regularizacja L2 radzi sobie z multikolinearnością, rozważmy zbiór danych z dwiema cechami i zmienną zależną (y): → featureA → featureB → Silnie skorelowana z featureA. → y = jakaś liniowa kombinacja featureA i featureB. Ignorując wyraz wolny, nasz model liniowy będzie miał dwa parametry (θ₁, θ₂). Celem jest znalezienie tych konkretnych parametrów, które minimalizują resztową sumę kwadratów (RSS). Więc, co powiesz na to, aby zrobić następujące ↓ 1. Narysujemy wartość RSS dla wielu różnych kombinacji parametrów (θ₁, θ₂). To stworzy wykres 3D: → oś x → θ₁ → oś y → θ₂ → oś z → wartość RSS 2. Wizualnie określimy kombinację (θ₁, θ₂), która minimalizuje wartość RSS. Bez kary L2 otrzymujemy pierwszy wykres na poniższym obrazie. Czy zauważasz coś? Wykres 3D ma dolinę. Istnieje wiele kombinacji wartości parametrów (θ₁, θ₂), dla których RSS jest minimalne. Z karą L2 otrzymujemy drugi wykres na poniższym obrazie. Czy zauważasz coś innego tym razem? Użycie regularizacji L2 wyeliminowało dolinę, którą widzieliśmy wcześniej. To zapewnia globalne minimum dla błędu RSS. I tak regularizacja L2 pomogła nam wyeliminować multikolinearność. 👉 Teraz twoja kolej: Czy wiedziałeś o tym w kontekście regularizacji L2?

W rzeczywistości to stąd pochodzi nazwa „regresja grzbietowa”: Użycie kary L2 eliminuje GRZBIET w funkcji prawdopodobieństwa modelu liniowego. Sprawdź to👇