Få vet detta om L2-regularisering: Det är INTE bara en regulariseringsteknik. De flesta använder L2-regularisering till en sak: minska överanpassning. Men det finns något annat som den gör anmärkningsvärt bra. L2-regularisering är en utmärkt lösning mot multikollinearitet. Multikollinearitet uppstår när två eller fler funktioner är starkt korrelerade, eller när en egenskap kan förutsäga en annan. Detta är en mardröm för linjära modeller. Här är varför: Betrakta en datamängd med två starkt korrelerade egenskaper (egenskap A och egenskap B) och en målvariabel (y). Din linjära modell har två parametrar (θ₁, θ₂), och målet är att hitta värden som minimerar restsumman av kvadrater (RSS). Nu ska vi visualisera detta: Plotta RSS-värdet för många kombinationer av (θ₁, θ₂). Du får en 3D-yta där: → x-axel är θ₁ → y-axel är θ₂ → z-axeln är RSS-värdet Utan L2-regularisering får du en dal. Flera parameterkombinationer ger dig samma minsta RSS. Modellen kan inte bestämma sig för vilken den ska välja. Denna instabilitet är multikollinearitetens förbannelse. Med L2-regulariseringen försvinner dalen. Du får ett enda globalt minimum. Modellen har nu ett tydligt svar. Detta är den dolda superkraften med L2-regularisering som de flesta tutorials hoppar över. Det handlar inte bara om att förhindra överanpassning. Det handlar om att ge din modell stabilitet när funktioner korrelerar. 👉 Över till dig: Visste du detta om L2-regularisering?

Faktum är att det är här "ridge regression" också har fått sitt namn ifrån: Att använda en L2-straff eliminerar RIDGE i likelihood-funktionen för en linjär modell. Kolla det här👇