L2正則化について知られている人はほとんどいません: これは単なる正則化技術ではありません。 多くの人がL2正則化を使いますのは、過学習を減らすことです。しかし、この作品が驚くほどうまくやっているもう一つの点があります。 L2正則化は多重共線性の優れた解決策です。 多重共線性は、2つ以上の特徴が高度に相関している場合や、ある特徴が別の特徴を予測できる場合に起こります。これは線形モデルにとって悪夢のような状況です。 その理由は以下の通りです: 2つの高度に相関した特徴(特徴Aと特徴B)とターゲット変数(y)を持つデータセットを考えます。 線形モデルは2つのパラメータ(θ₁、θ₂)を持ち、残差二乗和(RSS)を最小化する値を見つけることが目標です。 では、これをイメージしてみましょう。 (θ₁, θ₂)の多くの組み合わせに対してRSS値をプロットします。3次元曲面が得られますが、次のようになります: → x軸はθ₁です → y軸はθ₂です z軸→RSS値です L2正則化がなければ谷ができてしまう。 複数のパラメータの組み合わせで最低RSSは同じです。モデルはどちらを選ぶべきか決められません。この不安定性は多重共線性の呪いです。 L2正則化により谷は消滅します。 グローバルな最小限は一つだけです。モデルには今や一つの明確な答えがあります。 これは多くのチュートリアルが省略しているL2正則化の隠れた超能力です。単に過学習を防ぐだけではありません。特徴が相関しているときにモデルの安定性を与えることが大切です。 👉 次はあなたにお任せします:L2正則化について知っていましたか?

実際、「リッジ回帰」という名前もここから来ています。 L2ペナルティを用いることで、線形モデルの尤度関数におけるRIDGEは除外されます。 これ👇を見て