关于L2正则化，少有人知： 它不仅仅是一种正则化技术。 大多数人使用L2正则化的目的只有一个：减少过拟合。但它还有其他显著的作用。 L2正则化是解决多重共线性的绝佳方法。 多重共线性发生在两个或多个特征高度相关，或者一个特征可以预测另一个特征时。这对线性模型来说是个噩梦。 原因如下： 考虑一个包含两个高度相关特征（featureA和featureB）和一个目标变量（y）的数据集。 你的线性模型有两个参数（θ₁，θ₂），目标是找到最小化残差平方和（RSS）的值。 现在，让我们可视化一下： 绘制许多（θ₁，θ₂）组合的RSS值。你会得到一个3D表面，其中： → x轴是θ₁ → y轴是θ₂ → z轴是RSS值 没有L2正则化时，你会得到一个山谷。 多个参数组合给你相同的最小RSS。模型无法决定选择哪个。这种不稳定性就是多重共线性的诅咒。 有了L2正则化，山谷消失了。 你得到了一个单一的全局最小值。模型现在有了一个明确的答案。 这就是L2正则化的隐藏超能力，大多数教程都忽略了这一点。它不仅仅是为了防止过拟合。它是为了在特征相关时给你的模型提供稳定性。 👉 轮到你了：你知道关于L2正则化的这些吗？

实际上，这就是“岭回归”得名的地方： 使用L2惩罚消除了线性模型的似然函数中的岭。 查看这个👇