Descenso de gradiente: aprender a pequeños pasos

En la lección anterior, una fórmula nos dio la mejor recta de una sola vez. Pero una red neuronal con millones de pesos no tiene una fórmula así. ¿Cómo puede una computadora encontrar buenos valores para millones de botones de ajuste si nadie puede decirle dónde está el mejor ajuste? La respuesta es casi vergonzosamente sencilla: nota hacia dónde baja el terreno y da un pequeño paso. Luego lo vuelve a hacer. Pruébalo tú mismo antes de leer la explicación.

Prueba esto

• Elige una tasa de aprendizaje pequeña y pulsa Paso unas cuantas veces. Mira cómo la recta se mueve un poco en cada paso y la curva de pérdida baja despacio.
• Pulsa Ejecutar y déjalo correr. ¿La recta acaba cerca de la recta de mínimos cuadrados de la lección anterior?
• Empieza de nuevo con la tasa de aprendizaje más grande y vuelve a pulsar Paso. Observa la curva de pérdida: en vez de bajar, sube, y la recta oscila sin control. Eso es la divergencia.
• Prueba las tasas intermedias y encuentra la más grande con la que la pérdida todavía baja de forma constante.

La idea en pocas palabras

Imagina que estás en la ladera de una montaña con una niebla espesa. Quieres llegar al valle, pero solo ves un metro a tu alrededor. Una estrategia sensata: tantear el suelo con los pies, encontrar la dirección en la que baja con más pendiente, dar un paso hacia allí y repetir. Nunca ves el paisaje completo y, sin embargo, paso a paso vas bajando.

En el aprendizaje automático, el «paisaje» es el error del modelo. Cada par posible de pendiente y ordenada en el origen es una posición en el mapa, y la altura en esa posición es el error cuadrático medio de la lección 3. El fondo del valle es la mejor recta. El descenso de gradiente es ese paseo entre la niebla: empezar en algún sitio, medir hacia dónde disminuye el error, mover un poco los parámetros en esa dirección y repetir hasta que el error deje de bajar.

Por qué funciona

La dirección de máximo ascenso de una función la da su gradiente: una lista de derivadas, una por parámetro, que dice cuánto crecería el error si ese parámetro subiera un poquito. Ve en sentido contrario y el error baja. Para cada parámetro w, un paso es:

w ← w − η · ∂L/∂w

Aquí L es la pérdida (el error que minimizamos), ∂L/∂w indica con cuánta fuerza reacciona la pérdida a w, y η (la letra griega eta) es la tasa de aprendizaje, que fija el tamaño del paso. Donde la pendiente es fuerte, los pasos son grandes; cerca del fondo la pendiente se suaviza y los pasos se acortan solos.

Todo depende de la tasa de aprendizaje. Si es demasiado pequeña, cada paso es minúsculo y el paseo dura una eternidad. Si es la adecuada, el error baja rápido y se asienta cerca del mínimo. Si es demasiado grande, cada paso se pasa del valle y aterriza más arriba en la ladera opuesta; el siguiente se pasa todavía más, y el error crece sin límite. Esto se llama divergencia, y es la causa más común de que un entrenamiento «explote».

La belleza del método es que solo necesita una cosa: poder calcular el gradiente en la posición actual. No necesita una fórmula para la respuesta, y funciona igual con dos parámetros que con dos mil millones. Por eso es el motor de casi todas las redes neuronales, incluidos los modelos de lenguaje de la lección 12. En la práctica, el gradiente suele estimarse con un pequeño lote aleatorio de ejemplos en lugar de con todos, lo que hace cada paso más barato y más ruidoso, pero funciona notablemente bien.

Error frecuente

Cuando la pérdida se dispara de repente o se convierte en «NaN» (not a number, «no es un número»), quien empieza suele sospechar de un fallo en su código. Mucho más a menudo, la tasa de aprendizaje es simplemente demasiado grande. La solución es bajarla, no reescribir el modelo. El error opuesto se ve menos: una tasa tan pequeña que la pérdida sigue bajando cuando se detiene el entrenamiento, así que el modelo parece peor de lo que podría ser. Una trampa relacionada son las características en escalas muy distintas —por ejemplo, la edad en años junto a los ingresos en euros—, que convierten el valle en un cañón largo y estrecho donde ninguna tasa de aprendizaje sirve para todas las direcciones. Escalar antes las características facilita mucho el paseo.

Ya tenemos las dos mitades de la receta del aprendizaje: una puntuación y una forma de mejorarla. En la próxima lección las usamos para un nuevo tipo de pregunta: no «¿cuánto?», sino «¿cuál?».

import numpy as np
from sklearn.datasets import load_diabetes

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
bmi = X["bmi"].to_numpy()
z = (bmi - bmi.mean()) / bmi.std()  # IMC estandarizado, como en el lab
mse = lambda w, b: np.mean((y - (b + w * z)) ** 2)
for lr in [0.01, 0.1, 0.8, 1.1]:
    w, b = 0.0, 0.0  # empezar en el origen
    for _ in range(5):  # cinco pasos con todo el conjunto
        r = y - (b + w * z)
        w, b = w + lr * 2 * np.mean(r * z), b + lr * 2 * np.mean(r)
    print(f"lr {lr}: loss after 5 steps {mse(w, b):.0f}")
w_best, b_best = np.polyfit(z, y, 1)
print(f"minimum: {mse(w_best, b_best):.0f}")

lr 0.01: loss after 5 steps 24468
lr 0.1: loss after 5 steps 6595
lr 0.8: loss after 5 steps 4043
lr 1.1: loss after 5 steps 159823
minimum: 3890