Peu de gens savent cela sur la régularisation L2 : (Indice : ce n'est PAS juste une technique de régularisation) La plupart des modèles ont l'intention d'utiliser la régularisation L2 pour une seule chose : ↳ Réduire le surapprentissage. Cependant, la régularisation L2 est un excellent remède contre la multicolinéarité. La multicolinéarité survient lorsque : → Deux (ou plusieurs) caractéristiques sont fortement corrélées, OU, → Deux (ou plusieurs) caractéristiques peuvent prédire une autre caractéristique. Pour comprendre comment la régularisation L2 aborde la multicolinéarité, considérons un ensemble de données avec deux caractéristiques et une variable dépendante (y) : → featureA → featureB → Fortement corrélée avec featureA. → y = une certaine combinaison linéaire de featureA et featureB. En ignorant le terme d'interception, notre modèle linéaire aura deux paramètres (θ₁, θ₂). L'objectif est de trouver ces paramètres spécifiques qui minimisent la somme des carrés des résidus (RSS). Alors, que diriez-vous de faire ce qui suit ↓ 1. Nous allons tracer la valeur RSS pour de nombreuses combinaisons différentes de paramètres (θ₁, θ₂). Cela créera un graphique 3D : → axe x → θ₁ → axe y → θ₂ → axe z → valeur RSS 2. Nous allons déterminer visuellement la combinaison (θ₁, θ₂) qui minimise la valeur RSS. Sans la pénalité L2, nous obtenons le premier graphique dans l'image ci-dessous. Remarquez-vous quelque chose ? Le graphique 3D a une vallée. Il existe plusieurs combinaisons de valeurs de paramètres (θ₁, θ₂) pour lesquelles RSS est minimum. Avec la pénalité L2, nous obtenons le deuxième graphique dans l'image ci-dessous. Remarquez-vous quelque chose de différent cette fois ? L'utilisation de la régularisation L2 a éliminé la vallée que nous avons vue précédemment. Cela fournit un minimum global à l'erreur RSS. Et c'est ainsi que la régularisation L2 nous a aidés à éliminer la multicolinéarité. 👉 À vous : Saviez-vous cela sur la régularisation L2 ?

En fait, c'est ici que "la régression ridge" tire également son nom : L'utilisation d'une pénalité L2 élimine le RIDGE dans la fonction de vraisemblance d'un modèle linéaire. Vérifiez cela👇