Jen málo lidí ví toto o regularizaci L2: (Nápověda: nejde jen o techniku regularizace) Většina modelů hodlá použít L2 regularizaci jen na jednu věc: ↳ Snižte přetížení. Regularizace L2 je však skvělým lékem na multikolinearitu. Multikolinearnost vzniká, když: → Dvě (nebo více) charakteristiky jsou silně korelované, NEBO → Dvě (nebo více) vlastnosti mohou předpovědět další vlastnost. Abychom pochopili, jak regularizace L2 řeší multikolinearnitu, uvažujme datovou sadu se dvěma rysy a závislou proměnnou (y): → vlastnostA → vlastnost B → Silně korelovaná s vlastností A. → y = nějaká lineární kombinace prvkuA a prvku B. Pokud ignorujeme průsečník, náš lineární model bude mít dva parametry (θ₁, θ₂). Cílem je najít ty konkrétní parametry, které minimalizují zbytkový součet čtverců (RSS). Tak co kdybychom udělali toto ↓ 1. Vykreslíme hodnotu RSS pro mnoho různých kombinací parametrů (θ₁, θ₂). Tím vznikne 3D zápletka: → osa x → θ₁ → osa y → θ₂ → osa z → RSS hodnota 2. Vizuálně určíme kombinaci (θ₁, θ₂), která minimalizuje hodnotu RSS. Bez penalizace L2 dostaneme první graf na obrázku níže. Všiml sis něčeho? 3D děj má údolí. Existuje několik kombinací hodnot parametrů (θ₁, θ₂), pro které je RSS minimální. S penalizací L2 dostáváme druhý graf na obrázku níže. Všiml sis tentokrát něčeho jiného? Použitím L2 regularizace bylo odstraněno údolí, které jsme viděli dříve. To poskytuje globální minimum chyby RSS. A takto nám regularizace L2 pomohla eliminovat multikolinearitu. 👉 Předání slov vám: Věděli jste něco o regularizaci L2?

Právě zde pochází název "ridge regresse": Použití penalizace L2 eliminuje RIDGE v pravděpodobnostní funkci lineárního modelu. Podívej se na to👇