Poche persone sanno questo sulla regolarizzazione L2: Non è solo una tecnica di regolarizzazione. La maggior parte delle persone utilizza la regolarizzazione L2 per una cosa: ridurre l'overfitting. Ma c'è qualcos'altro che fa in modo straordinario. La regolarizzazione L2 è un ottimo rimedio per la multicollinearità. La multicollinearità si verifica quando due o più caratteristiche sono altamente correlate, o quando una caratteristica può prevedere un'altra. Questo è un incubo per i modelli lineari. Ecco perché: Considera un dataset con due caratteristiche altamente correlate (featureA e featureB) e una variabile target (y). Il tuo modello lineare ha due parametri (θ₁, θ₂), e l'obiettivo è trovare valori che minimizzino la somma dei quadrati dei residui (RSS). Ora, visualizziamo questo: Traccia il valore RSS per molte combinazioni di (θ₁, θ₂). Ottieni una superficie 3D dove: → l'asse x è θ₁ → l'asse y è θ₂ → l'asse z è il valore RSS Senza regolarizzazione L2, ottieni una valle. Multiple combinazioni di parametri ti danno lo stesso minimo RSS. Il modello non può decidere quale scegliere. Questa instabilità è la maledizione della multicollinearità. Con la regolarizzazione L2, la valle scompare. Ottieni un singolo minimo globale. Il modello ora ha una risposta chiara. Questo è il superpotere nascosto della regolarizzazione L2 che la maggior parte dei tutorial ignora. Non si tratta solo di prevenire l'overfitting. Si tratta di dare stabilità al tuo modello quando le caratteristiche sono correlate. 👉 A te: Sapevi questo sulla regolarizzazione L2?

Infatti, è qui che "ridge regression" prende anche il suo nome: Utilizzare una penalità L2 elimina il RIDGE nella funzione di verosimiglianza di un modello lineare. Controlla questo👇