Tradeoff bias-varians memiliki detail yang hilang! Tidak banyak insinyur ML yang mengetahuinya. Pertimbangkan untuk memasang model regresi polinomial pada beberapa kumpulan data dummy, katakanlah, y=sin(x) + noise. Seperti yang ditunjukkan pada plot pertama pada gambar, saat kita meningkatkan derajat (m): - Kehilangan pelatihan akan turun menjadi nol. - Kerugian pengujian (atau validasi) akan berkurang dan kemudian meningkat. Tetapi perhatikan apa yang terjadi saat kita terus meningkatkan derajat (m): ↳ Kehilangan tes berkurang lagi (ditunjukkan pada plot kedua) Ini disebut "fenomena keturunan ganda" dan biasanya diamati dalam model pembelajaran mendalam. Ini berlawanan dengan intuisi karena menunjukkan bahwa meningkatkan kompleksitas model dapat meningkatkan kinerja generalisasi. Sepengetahuan saya, ini masih merupakan pertanyaan terbuka. Tidak sepenuhnya jelas mengapa jaringan saraf menunjukkan perilaku ini. Namun, ada beberapa teori seputar regularisasi, seperti ini: Bisa jadi model tersebut menerapkan semacam regularisasi implisit. Akibatnya, ia dapat secara tepat fokus pada sejumlah parameter yang tepat untuk generalisasi. Bahkan, Anda sebenarnya bisa mencobanya sendiri: - Buat himpunan data tiruan kecil berukuran n. - Latih regresi polinomial derajat m, mulai dari 1 hingga nilai yang lebih besar dari n. - Plot kerugian tes dan kerugian pelatihan untuk setiap m. 👉 Kepada Anda: Pernahkah Anda mendengar tentang keturunan ganda sebelumnya?

Berikut adalah stempel waktu yang tepat di mana Ilya Sutskever membicarakannya di podcast Lex Fridman: