很少有人知道 L2 正則化的這一點： （提示：它不僅僅是一種正則化技術） 大多數模型打算使用 L2 正則化僅僅是為了一個目的： ↳ 減少過擬合。 然而，L2 正則化是解決多重共線性的好方法。 多重共線性出現於： → 兩個（或更多）特徵高度相關，或者， → 兩個（或更多）特徵可以預測另一個特徵。 要理解 L2 正則化如何解決多重共線性，考慮一個包含兩個特徵和一個因變量 (y) 的數據集： → featureA → featureB → 與 featureA 高度相關。 → y = featureA 和 featureB 的某種線性組合。 忽略截距項，我們的線性模型將有兩個參數 (θ₁, θ₂)。 目標是找到那些特定的參數，以最小化殘差平方和 (RSS)。 那麼，我們來做以下事情 ↓ 1. 我們將為 (θ₁, θ₂) 參數的許多不同組合繪製 RSS 值。這將創建一個 3D 圖： → x 軸 → θ₁ → y 軸 → θ₂ → z 軸 → RSS 值 2. 我們將直觀地確定最小化 RSS 值的 (θ₁, θ₂) 組合。 在沒有 L2 懲罰的情況下，我們在下面的圖像中獲得第一個圖。 你注意到了什麼嗎？ 3D 圖有一個山谷。 有多個參數值組合 (θ₁, θ₂) 使得 RSS 最小。 有了 L2 懲罰，我們在下面的圖像中獲得第二個圖。 這次你注意到了什麼不同的地方嗎？ 使用 L2 正則化消除了我們之前看到的山谷。 這為 RSS 錯誤提供了全局最小值。 這就是 L2 正則化幫助我們消除多重共線性的方法。 👉 請告訴我：你知道這一點關於 L2 正則化嗎？

事實上，這就是「脊迴歸」名稱的由來： 使用 L2 懲罰消除了線性模型的似然函數中的 RIDGE。 查看這個👇