关于L2正则化，少有人知： （提示：它不仅仅是一种正则化技术） 大多数模型使用L2正则化的目的只有一个： ↳ 减少过拟合。 然而，L2正则化是解决多重共线性的绝佳方法。 多重共线性出现的情况是： → 两个（或更多）特征高度相关，或者， → 两个（或更多）特征可以预测另一个特征。 要理解L2正则化如何解决多重共线性，考虑一个包含两个特征和一个因变量（y）的数据集： → featureA → featureB → 与featureA高度相关。 → y = featureA和featureB的某种线性组合。 忽略截距项，我们的线性模型将有两个参数（θ₁，θ₂）。 目标是找到那些特定的参数，以最小化残差平方和（RSS）。 那么，我们来做以下事情 ↓ 1. 我们将绘制许多不同组合的（θ₁，θ₂）参数的RSS值。这将创建一个3D图： → x轴 → θ₁ → y轴 → θ₂ → z轴 → RSS值 2. 我们将直观地确定最小化RSS值的（θ₁，θ₂）组合。 没有L2惩罚时，我们得到下图中的第一个图。 你注意到什么了吗？ 这个3D图有一个谷底。 有多个参数值组合（θ₁，θ₂）使得RSS最小。 有了L2惩罚，我们在下图中得到了第二个图。 这次你注意到什么不同吗？ 使用L2正则化消除了我们之前看到的谷底。 这为RSS误差提供了全局最小值。 这就是L2正则化如何帮助我们消除多重共线性。 👉 轮到你了：你知道关于L2正则化的这些吗？

实际上，这就是“岭回归”得名的地方： 使用L2惩罚消除了线性模型的似然函数中的岭。 查看这个👇