Sobreajuste: cuando un modelo memoriza

Dos estudiantes preparan un examen de matemáticas. Una trabaja las ideas que hay detrás de los problemas. La otra memoriza palabra por palabra las respuestas de todos los exámenes anteriores. Con los exámenes anteriores, la segunda es impecable. Luego llega el examen real, con números nuevos. ¿Por quién apostarías? Los modelos se enfrentan exactamente a esta elección y, si los dejas solos, un modelo flexible se convertirá encantado en la segunda estudiante. Pruébalo tú mismo antes de leer la explicación.

Prueba esto

• Empieza en el grado 1 y anota los dos errores. Luego sube el control del grado de uno en uno y observa cómo baja el error de entrenamiento.
• Sigue subiendo y fíjate en el error de prueba. Encuentra el grado en el que es más bajo: ese es el punto óptimo para esta muestra.
• Lleva el control del grado al máximo. Mira la curva entre los puntos: ¿sigue pareciendo una descripción sensata de la relación entre el IMC y la progresión?
• Compara la diferencia entre el error de entrenamiento y el de prueba en el grado más bajo y en el más alto. Una diferencia que crece es la huella dactilar del sobreajuste.

La idea en pocas palabras

En la lección 3 ajustamos una recta. Una recta es rígida: no puede doblarse para seguir una curva, aunque los datos se curven claramente. Un polinomio es una familia de curvas más flexible:

ŷ = w₀ + w₁x + w₂x² + … + w_d·x^d

El grado d controla la flexibilidad. El grado 1 es la recta; el grado 2 puede hacer una curva; los grados más altos pueden ondular cada vez más. Con el grado suficiente, un polinomio puede pasar por cada uno de los puntos de entrenamiento.

Suena a éxito, pero los datos reales contienen ruido: variación aleatoria que ninguna característica explica. Dos pacientes con el mismo IMC no progresan igual. Un modelo lo bastante flexible para tocar cada punto no solo aprende la tendencia; también aprende el ruido, los accidentes de esta muestra concreta. Eso es el sobreajuste (overfitting): el modelo se ajusta cada vez mejor a los datos de entrenamiento mientras sus predicciones para datos nuevos empeoran. El fallo opuesto, un modelo demasiado rígido para captar el patrón real, es el subajuste (underfitting).

Por qué funciona

Tomemos una pequeña muestra aleatoria de los pacientes con diabetes de la lección 3 y dividámosla en puntos de entrenamiento y de prueba. Una muestra pequeña hace que el efecto se vea con facilidad, porque unos pocos puntos raros pueden arrastrar muy lejos una curva flexible.

Sigamos lo que les pasa a los dos errores cuando sube el grado. El error de entrenamiento no deja de bajar: una curva más flexible siempre puede hacerlo al menos igual de bien con los puntos a los que se ajusta, porque puede imitar cualquier curva más simple. El error de prueba se comporta de otra forma. Al principio también baja, porque la flexibilidad extra capta estructura real. Luego, a partir de cierto grado, empieza a subir, porque la curva se dobla para perseguir puntos de entrenamiento concretos, y esas curvas están mal para todos los demás. El resultado es la famosa forma de U del error de prueba.

La razón tiene nombre: el compromiso sesgo-varianza. Un modelo rígido tiene un sesgo alto: se equivoca de forma sistemática, vea la muestra que vea. Un modelo muy flexible tiene una varianza alta: toma una muestra un poco distinta y obtendrás una curva completamente diferente. El mejor modelo está en medio, lo bastante flexible para seguir la señal y lo bastante rígido para ignorar el ruido. Dónde está ese punto depende de cuántos datos tengas: con más datos, el ruido se promedia y más flexibilidad se vuelve segura.

Error frecuente

El error fundamental es elegir la complejidad del modelo por el error de entrenamiento. El error de entrenamiento siempre premia la flexibilidad, así que siempre votará por el modelo más complejo: la estudiante que memoriza. El segundo error es creer que el sobreajuste es raro o exótico. Es el comportamiento por defecto de cualquier modelo flexible con datos limitados, lo que incluye árboles de decisión, redes neuronales y casi todo lo que vas a construir. La solución no es evitar los modelos flexibles, sino controlarlos: modelos más simples, más datos o regularización, que penaliza los pesos extremos.

En este razonamiento hay una trampa escondida: elegimos el mejor grado mirando el error de prueba, justo lo que la lección 2 advertía que no hiciéramos. En la próxima lección aprendemos a elegir ajustes de forma honesta, con validación y validación cruzada.

import numpy as np
from sklearn.datasets import load_diabetes

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
x, y = X["bmi"].to_numpy(), y.to_numpy()
perm = np.random.default_rng(0).permutation(len(x))
tr, te = perm[:30], perm[30:]
te = te[(x[te] >= x[tr].min()) & (x[te] <= x[tr].max())]  # quedarse dentro del rango de entrenamiento
rmse = lambda i, p: np.sqrt(np.mean((y[i] - p(x[i])) ** 2))
for deg in (1, 3, 10):
    p = np.polynomial.Polynomial.fit(x[tr], y[tr], deg)  # ajusta sobre una x reescalada, así que el grado 10 es estable
    print(f"degree {deg:2d}: train RMSE {rmse(tr, p):6.1f}, test RMSE {rmse(te, p):6.1f}")

degree  1: train RMSE   61.6, test RMSE   63.5
degree  3: train RMSE   60.9, test RMSE   63.8
degree 10: train RMSE   54.7, test RMSE  199.5