¡El equilibrio entre sesgo y varianza tiene un detalle que falta! No muchos ingenieros de ML lo conocen. Considera ajustar un modelo de regresión polinómica en algún conjunto de datos ficticio, por ejemplo, y=sin(x) + ruido. Como se muestra en el primer gráfico de la imagen, a medida que aumentamos el grado (m): - La pérdida de entrenamiento bajará a cero. - La pérdida de prueba (o validación) disminuirá y luego aumentará. Pero fíjate en lo que ocurre a medida que seguimos aumentando el grado (m): ↳ La pérdida en test disminuye de nuevo (mostrado en el segundo gráfico) Esto se denomina el "fenómeno de doble descenso" y se observa comúnmente en modelos de aprendizaje profundo. Es contraintuitivo, ya que muestra que aumentar la complejidad del modelo puede mejorar el rendimiento de la generalización. Hasta donde yo sé, esta sigue siendo una pregunta abierta. No está del todo claro por qué las redes neuronales presentan este comportamiento. Sin embargo, existen algunas teorías sobre la regularización, como esta: Podría ser que el modelo aplique algún tipo de regularización implícita. Como resultado, puede enfocarse con precisión en un número adecuado de parámetros para la generalización. De hecho, puedes intentarlo tú mismo: - Crear un pequeño conjunto de datos ficticio de tamaño n. - Entrenar una regresión polinómica de grado m, partiendo de 1 a un valor mayor que n. - Graficar la pérdida en pruebas y la pérdida de entrenamiento para cada m. 👉 Te lo toca: ¿Habías oído hablar de doble descendencia antes?

Aquí está la fecha exacta en la que Ilya Sutskever habla de ello en el podcast de Lex Fridman: