L2正則化について知られている人はほとんどいません: (ヒント:これは単なる正則化技術ではありません) ほとんどのモデルはL2正則化を一つの目的にのみ用いることを意図しています: ↳ 過学習を削減する。 しかし、L2正則化は多重共線性の優れた解決策です。 多重共線性は以下の場合に生じます: → 2つ(またはそれ以上)の特徴は高度に関連しています。または、 → 2つ(またはそれ以上)の特徴が別の特徴を予測することができます。 L2正則化が多重共線性をどのように扱うかを理解するために、2つの特徴と従属変数(y)を持つデータセットを考えます。 →特徴A → featureB → featureAと高度に関連しています。 → y = 特徴Aと特徴Bの線形結合。 切片項を無視すると、線形モデルは2つのパラメータ(θ₁, θ₂)を持ちます。 目的は残差二乗和(RSS)を最小化する特定のパラメータを見つけることです。 では、次のことをやってみよう ↓ 1. (θ₁, θ₂)パラメータのさまざまな組み合わせに対してRSS値をプロットします。これにより3Dプロットが作成されます: → x軸 → θ₁ → y軸 → θ₂ → z軸 → RSS値 2. RSS値を最小化する(θ₁, θ₂)の組み合わせを視覚的に決定します。 L2ペナルティがなければ、下の画像の最初のプロットが得られます。 何か気づいた? 3Dプロットには谷があります。 RSSが最小となるパラメータ値(θ₁、θ₂)の組み合わせは複数存在します。 L2ペナルティを加えると、下の画像の2番目のプロットが得られます。 今回は何か違うものに気づきましたか? L2正則化を用いることで、先に見た谷は除去されました。 これによりRSSエラーのグローバルな最小値が得られます。 これがL2正則化が多重共線性を排除するのに役立った方法です。 👉 次はあなたにお任せします:L2正則化について知っていましたか?

実際、「リッジ回帰」という名前もここから来ています。 L2ペナルティを用いることで、線形モデルの尤度関数におけるRIDGEは除外されます。 これ👇を見て