偏差-方差權衡有一個缺失的細節！ 並不是很多機器學習工程師知道這一點。 考慮在某個虛擬數據集上擬合一個多項式回歸模型，比如，y=sin(x) + 噪聲。 如圖像中的第一個圖所示，隨著我們增加多項式的階數 (m)： - 訓練損失將降至零。 - 測試（或驗證）損失將先下降然後上升。 但注意當我們繼續增加階數 (m) 時會發生什麼： ↳ 測試損失再次下降（如第二個圖所示） 這被稱為「雙重下降現象」，在深度學習模型中常見。 這是反直覺的，因為它顯示增加模型的複雜性可以改善泛化性能。 據我所知，這仍然是一個未解的問題。尚不清楚為什麼神經網絡會表現出這種行為。 不過，有一些關於正則化的理論，例如這個： 可能是模型應用了一種隱式正則化。因此，它可以精確地專注於適合的參數數量以進行泛化。 事實上，你可以自己嘗試： - 創建一個大小為 n 的小虛擬數據集。 - 訓練一個階數為 m 的多項式回歸，從 1 開始到大於 n 的值。 - 繪製每個 m 的測試損失和訓練損失。 👉 請告訴我：你之前聽說過雙重下降嗎？

這是 Ilya Sutskever 在 Lex Fridman 的播客中談論此事的確切時間戳：