Regresión lineal: ajustar una recta

¿Dice algo el peso corporal sobre lo rápido que empeora una enfermedad? Los médicos tienen muchas corazonadas así. El aprendizaje automático permite convertir una corazonada en un número: trazar la mejor recta a través de los datos y leer cuánto se inclina. La única pregunta es qué significa «mejor», y la respuesta a esa pregunta es la semilla de todo lo que viene en este curso. Pruébalo tú mismo antes de leer la explicación.

Prueba esto

• Mueve el control de la pendiente y observa cómo se inclina la recta y cambia el MSE. Luego mueve el de la ordenada en el origen. Intenta bajar el MSE todo lo que puedas a mano.
• Pulsa Mejor ajuste y compara la recta de mínimos cuadrados con la tuya. ¿Cuánto te acercaste?
• Pon la pendiente en cero, para que la recta quede plana, y mueve solo la ordenada en el origen hasta que el MSE sea lo más bajo posible. Acabas de encontrar la progresión media: sin ninguna característica, la mejor apuesta para todos es la media.
• Compara el MSE de esa recta plana con el del mejor ajuste. La diferencia es lo que vale conocer el IMC.

La idea en pocas palabras

En la lección 1 el modelo respondía «sí» o «no». Ahora responde con un número, y eso se llama regresión. El modelo de regresión más sencillo es una recta:

predicción = pendiente × característica + ordenada en el origen

La pendiente dice cuánto cambia la predicción cuando la característica aumenta una unidad. La ordenada en el origen sube o baja toda la recta. Aprender significa encontrar los dos números que hacen que la recta pase lo más cerca posible de los puntos.

Imagina a un vendedor de autos usados que fija precios según la antigüedad. Su regla práctica es una recta: parte del precio de un auto nuevo (la ordenada en el origen) y resta una cantidad fija por cada año (la pendiente). Ningún auto real se vende exactamente a ese precio, pero la recta capta la tendencia y es fácil de explicar.

En esta lección usamos datos de un estudio médico clásico con 442 pacientes con diabetes. De cada uno conocemos el índice de masa corporal (IMC) y una medida de cuánto avanzó la enfermedad un año después de la primera consulta. Así, cada paciente es un par de números, es decir, un punto: el IMC en horizontal y la progresión en vertical.

Por qué funciona

Para cada paciente la recta hace una predicción, y la diferencia entre el valor real y la predicción se llama residuo: la distancia vertical del punto a la recta. Para puntuar una recta hay que convertir cientos de residuos en un solo número. La opción estándar es el error cuadrático medio:

MSE = (1/n) · Σ (yᵢ − ŷᵢ)²

donde yᵢ es el valor real del paciente i, ŷᵢ es la predicción de la recta y n es el número de pacientes. Elevar al cuadrado cumple dos funciones. Hace positivo cada fallo, para que los fallos por encima y por debajo de la recta no se compensen. Y castiga los fallos grandes mucho más que los pequeños: un punto el doble de lejos de la recta cuesta cuatro veces más. Una recta que se equivoca un poco con todos suele ganar a una que es perfecta para la mayoría y desastrosa para unos pocos.

La recta con el MSE más bajo se llama ajuste por mínimos cuadrados. Para una recta ni siquiera hace falta buscarla: una fórmula breve, conocida desde principios del siglo XIX, da la pendiente y la ordenada en el origen óptimas exactas. Fíjate en lo que esto significa. Aprender es la misma receta de antes —una familia de reglas (todas las rectas posibles), una puntuación (el MSE) y la regla con la mejor puntuación—, solo que ahora la familia es infinita y la puntuación es continua.

Hay algo más que conviene notar: incluso la mejor recta deja residuos grandes en estos datos. El IMC está relacionado con la progresión, pero dista mucho de explicarla entera. Un modelo solo puede ser tan bueno como la información que contienen sus características.

Error frecuente

Una recta ajustada no es una ley de la naturaleza. De olvidarlo salen dos errores clásicos. El primero es leer la pendiente como causa: en estos datos, los pacientes con un IMC más alto progresan más rápido en promedio, pero la recta por sí sola no puede decir si el peso causa la progresión o si ambas cosas se deben a otra. El segundo es la extrapolación: usar la recta muy lejos del rango de los datos. Los pacientes de este estudio tienen IMC dentro de un rango limitado; la recta no dice nada fiable sobre valores que nunca ha visto.

Encontrar la mejor recta con una fórmula es un lujo que la mayoría de los modelos no tiene. En la próxima lección encontramos la misma recta de otra manera, dando pequeños pasos cuesta abajo, que es como aprenden las redes neuronales.

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
bmi = X[["bmi"]]  # una variable, conservada como tabla (sklearn espera una entrada 2-D)
model = LinearRegression().fit(bmi, y)
pred = model.predict(bmi)

print(f"slope {model.coef_[0]:.2f}, intercept {model.intercept_:.1f}")
print(f"MSE of the line: {mean_squared_error(y, pred):.0f}")
print(f"MSE of the mean: {mean_squared_error(y, [y.mean()] * len(y)):.0f}")
print(f"R2: {r2_score(y, pred):.2f}")

slope 10.23, intercept -117.8
MSE of the line: 3890
MSE of the mean: 5930
R2: 0.34