Hanya sedikit orang yang tahu ini tentang regularisasi L2: (Petunjuk: ini BUKAN hanya teknik regularisasi) Sebagian besar model bermaksud menggunakan Regularisasi L2 hanya untuk satu hal: ↳ Kurangi overfitting. Namun, regularisasi L2 adalah obat yang bagus untuk multikolinearitas. Multikolinearitas muncul ketika: → Dua (atau lebih) fitur sangat berkorelasi, ATAU, → Dua (atau lebih) fitur dapat memprediksi fitur lain. Untuk memahami bagaimana regularisasi L2 menangani multikolinearitas, pertimbangkan kumpulan data dengan dua fitur dan variabel dependen (y): → fiturA → fiturB → Sangat berkorelasi dengan fiturA. → y = beberapa kombinasi linier dari fiturA dan fiturB. Mengabaikan istilah intersepsi, model linier kita akan memiliki dua parameter (θ₁, θ₂). Tujuannya adalah untuk menemukan parameter spesifik yang meminimalkan jumlah sisa kuadrat (RSS). Jadi, bagaimana kalau kita melakukan yang berikut ini ↓ 1. Kami akan memplot nilai RSS untuk banyak kombinasi parameter (θ₁, θ₂) yang berbeda. Ini akan membuat plot 3D: → sumbu x → θ₁ → sumbu y → θ₂ → sumbu z → nilai RSS 2. Kami akan menentukan secara visual kombinasi (θ₁, θ₂) yang meminimalkan nilai RSS. Tanpa penalti L2, kita mendapatkan plot pertama pada gambar di bawah ini. Apakah Anda memperhatikan sesuatu? Plot 3D memiliki lembah. Ada beberapa kombinasi nilai parameter (θ₁, θ₂) yang RSS minimum. Dengan penalti L2, kita mendapatkan plot kedua pada gambar di bawah ini. Apakah Anda melihat sesuatu yang berbeda kali ini? Menggunakan regularisasi L2 menghilangkan lembah yang kita lihat sebelumnya. Ini memberikan minima global untuk kesalahan RSS. Dan beginilah cara regularisasi L2 membantu kami menghilangkan multikolinearitas. 👉 Terserah Anda: Apakah Anda tahu ini tentang regularisasi L2?

Faktanya, dari sinilah "regresi punggungan" juga mendapatkan namanya: Menggunakan penalti L2 menghilangkan RIDGE dalam fungsi kemungkinan model linier. Periksa ini👇