Weinig mensen weten dit over L2-regularisatie: Het is niet alleen een regularisatietechniek. De meeste mensen gebruiken L2-regularisatie voor één ding: het verminderen van overfitting. Maar er is nog iets anders dat het opmerkelijk goed doet. L2-regularisatie is een geweldige remedie tegen multicollineariteit. Multicollineariteit gebeurt wanneer twee of meer kenmerken sterk gecorreleerd zijn, of wanneer één kenmerk een ander kan voorspellen. Dit is een nachtmerrie voor lineaire modellen. Hier is waarom: Overweeg een dataset met twee sterk gecorreleerde kenmerken (kenmerkA en kenmerkB) en een doelvariabele (y). Je lineaire model heeft twee parameters (θ₁, θ₂), en het doel is om waarden te vinden die de residuele som van kwadraten (RSS) minimaliseren. Laten we dit visualiseren: Plot de RSS-waarde voor veel combinaties van (θ₁, θ₂). Je krijgt een 3D-oppervlak waar: → x-as is θ₁ → y-as is θ₂ → z-as is de RSS-waarde Zonder L2-regularisatie krijg je een vallei. Meerdere parametercombinaties geven je dezelfde minimale RSS. Het model kan niet beslissen welke het moet kiezen. Deze instabiliteit is de vloek van multicollineariteit. Met L2-regularisatie verdwijnt de vallei. Je krijgt een enkele globale minimum. Het model heeft nu één duidelijk antwoord. Dit is de verborgen superkracht van L2-regularisatie die de meeste tutorials overslaan. Het gaat niet alleen om het voorkomen van overfitting. Het gaat om het geven van stabiliteit aan je model wanneer kenmerken gecorreleerd zijn. 👉 Aan jou: Wist je dit over L2-regularisatie?

In feite is dit waar "ridge regressie" ook zijn naam aan ontleent: Het gebruik van een L2-penalty elimineert de RIDGE in de waarschijnlijkheidsfunctie van een lineair model. Bekijk dit👇