Poche persone sanno questo sulla regolarizzazione L2: (Consiglio: non è solo una tecnica di regolarizzazione) La maggior parte dei modelli intende utilizzare la regolarizzazione L2 per un solo scopo: ↳ Ridurre l'overfitting. Tuttavia, la regolarizzazione L2 è un ottimo rimedio per la multicollinearità. La multicollinearità si verifica quando: → Due (o più) caratteristiche sono altamente correlate, O, → Due (o più) caratteristiche possono prevedere un'altra caratteristica. Per capire come la regolarizzazione L2 affronta la multicollinearità, considera un dataset con due caratteristiche e una variabile dipendente (y): → featureA → featureB → Altamente correlata con featureA. → y = qualche combinazione lineare di featureA e featureB. Ignorando il termine di intercetta, il nostro modello lineare avrà due parametri (θ₁, θ₂). L'obiettivo è trovare quei parametri specifici che minimizzano la somma dei quadrati residui (RSS). Quindi, che ne dici di fare quanto segue ↓ 1. Tracceremo il valore RSS per molte diverse combinazioni di parametri (θ₁, θ₂). Questo creerà un grafico 3D: → asse x → θ₁ → asse y → θ₂ → asse z → valore RSS 2. Determineremo visivamente la combinazione (θ₁, θ₂) che minimizza il valore RSS. Senza la penalità L2, otteniamo il primo grafico nell'immagine qui sotto. Noti qualcosa? Il grafico 3D ha una valle. Ci sono molteplici combinazioni di valori dei parametri (θ₁, θ₂) per cui il RSS è minimo. Con la penalità L2, otteniamo il secondo grafico nell'immagine qui sotto. Noti qualcosa di diverso questa volta? Utilizzando la regolarizzazione L2 abbiamo eliminato la valle che abbiamo visto prima. Questo fornisce un minimo globale all'errore RSS. E questo è come la regolarizzazione L2 ci ha aiutato a eliminare la multicollinearità. 👉 A te: Sapevi questo sulla regolarizzazione L2?

Infatti, è qui che "ridge regression" prende anche il suo nome: Utilizzare una penalità L2 elimina il RIDGE nella funzione di verosimiglianza di un modello lineare. Controlla questo👇