Jen málo lidí ví toto o regularizaci L2: Není to jen technika regularizace. Většina lidí používá L2 regularizaci na jednu věc: snížit přemíru. Ale je tu ještě něco, co zvládá pozoruhodně dobře. Regularizace L2 je skvělým lékem na multikolinearnitu. Multikolinearnost nastává, když jsou dvě nebo více vlastností silně korelované, nebo když jedna vlastnost dokáže předpovědět jinou. To je noční můra pro lineární modely. Tady je důvod: Uvažujme datovou sadu se dvěma vysoce korelovanými rysy (rys A a rys B) a cílovou proměnnou (y). Váš lineární model má dva parametry (θ₁, θ₂) a cílem je najít hodnoty, které minimalizují zbytkový součet čtverců (RSS). Teď si to představme: Zobrazit hodnotu RSS pro mnoho kombinací (θ₁, θ₂). Dostanete 3D povrch, kde: → osa x je θ₁ → osa y je θ₂ → osa z je hodnota RSS Bez regularizace L2 dostanete údolí. Kombinace více parametrů vám dá stejný minimální RSS. Model se nemůže rozhodnout, kterou si vybrat. Tato nestabilita je prokletím multikolinearity. S regularizací L2 údolí mizí. Dostanete jedno globální minimum. Model má nyní jednu jasnou odpověď. To je skrytá superschopnost regularizace na úrovni 2, kterou většina tutoriálů přeskočí. Nejde jen o prevenci přemíry. Jde o to, aby byl model stabilní, když jsou funkce propojené. 👉 Předání slov vám: Věděli jste něco o regularizaci L2?

Právě zde pochází název "ridge regresse": Použití penalizace L2 eliminuje RIDGE v pravděpodobnostní funkci lineárního modelu. Podívej se na to👇