關於 L2 正則化，少數人知道這一點： 它不僅僅是一種正則化技術。 大多數人使用 L2 正則化的唯一目的：減少過擬合。但它還有其他非常出色的功能。 L2 正則化是解決多重共線性的絕佳良方。 多重共線性發生在兩個或多個特徵高度相關，或當一個特徵可以預測另一個特徵時。這對於線性模型來說是一場噩夢。 原因如下： 考慮一個包含兩個高度相關特徵（featureA 和 featureB）和一個目標變量（y）的數據集。 你的線性模型有兩個參數（θ₁，θ₂），目標是找到最小化殘差平方和（RSS）的值。 現在，讓我們來可視化一下： 繪製多組 (θ₁，θ₂) 的 RSS 值。你會得到一個 3D 表面，其中： → x 軸是 θ₁ → y 軸是 θ₂ → z 軸是 RSS 值 沒有 L2 正則化時，你會得到一個山谷。 多個參數組合給你相同的最小 RSS。模型無法決定選擇哪一個。這種不穩定性就是多重共線性的詛咒。 有了 L2 正則化，山谷消失了。 你得到一個單一的全局最小值。模型現在有了一個明確的答案。 這就是 L2 正則化的隱藏超能力，大多數教程都忽略了這一點。它不僅僅是防止過擬合。它還是當特徵相關時，為你的模型提供穩定性。 👉 現在輪到你了：你知道這一點關於 L2 正則化嗎？

事實上，這就是「脊迴歸」名稱的由來： 使用 L2 懲罰消除了線性模型的似然函數中的 RIDGE。 查看這個👇