Торговля между смещением и дисперсией имеет недостающую деталь! Не многие инженеры по машинному обучению знают об этом. Рассмотрим подгонку модели полиномиальной регрессии на некотором фиктивном наборе данных, скажем, y=sin(x) + шум. Как показано на первом графике на изображении, по мере увеличения степени (m): - Ошибка на обучающей выборке будет стремиться к нулю. - Ошибка на тестовой (или валидационной) выборке будет уменьшаться, а затем увеличиваться. Но обратите внимание, что происходит, когда мы продолжаем увеличивать степень (m): ↳ Ошибка на тестовой выборке снова уменьшается (показано на втором графике) Это называется "феноменом двойного спада", и он часто наблюдается в моделях глубокого обучения. Это противоречит интуиции, поскольку показывает, что увеличение сложности модели может улучшить обобщающую способность. Насколько мне известно, это все еще открытый вопрос. Не совсем ясно, почему нейронные сети проявляют такое поведение. Существуют некоторые теории относительно регуляризации, однако, такие как эта: Возможно, модель применяет своего рода неявную регуляризацию. В результате она может точно сосредоточиться на подходящем количестве параметров для обобщения. На самом деле, вы можете попробовать это сами: - Создайте небольшой фиктивный набор данных размером n. - Обучите полиномиальную регрессию степени m, начиная с 1 до значения больше n. - Постройте график ошибки на тестовой выборке и ошибки на обучающей выборке для каждого m. 👉 Ваш ход: Слышали ли вы о двойном спаде раньше?

Вот точное время, когда Илья Сутскевер говорит об этом в подкасте Лекса Фридмана: