Categorías y escalado

En la lección 1.4 kNN acertaba el 76,7% de los pingüinos sin escalado y el 96,1% tras estandarizar, porque la masa en gramos ahogaba las demás medidas. Hoy, dos cosas que estropean un modelo antes de que empiece a aprender. La primera son variables en escalas muy distintas; el escalado las lleva a un rango comparable. La segunda son las categorías, nombres en lugar de números, como la isla de la que viene un pingüino. La codificación de categorías las convierte en números, y se puede hacer mal.

Prueba

• Empieza por los vinos sin escalado. ¿Qué medida ocupa casi toda la altura del gráfico?
• Cambia a min-max, estandarización y escalado robusto. ¿Cuánto gana kNN y cuánto se diferencian los tres?
• Ve a los pingüinos. Compara los códigos 0, 1, 2 en orden alfabético y en el orden del archivo. ¿Debería un modelo depender del orden en que escribes las islas?
• Elige one-hot. ¿Dónde quedan ahora las líneas de predicción respecto a los puntos?

Cuando lo hayas comprobado en el lab, pongamos nombre a lo que ves.

La idea en palabras sencillas

kNN considera parecidos dos vinos cuando están cerca en las 13 medidas a la vez. La prolina tiene una desviación típica de 314 y la medida menos variable solo 0,124, así que en la suma de diferencias la prolina tapa todo lo demás. El escalado iguala esos rangos. Min-max lleva cada medida al intervalo de 0 a 1, la estandarización a media 0 y desviación típica 1, el escalado robusto resta la mediana y divide por el rango intercuartílico, así que los valores extremos sueltos lo mueven menos. Con los vinos kNN acierta 0,958, 0,963 y 0,946 en vez de 0,695. Elegir el método importa menos que escalar.

Las categorías tienen otro problema. Una isla es Biscoe, Dream o Torgersen, y una regresión lineal necesita números. La idea más simple son los códigos 0, 1, 2. Pero un número lleva un orden y una distancia: un modelo con un solo peso supondrá que la isla con código 1 está justo a medio camino entre las otras dos. En el lab una regresión predice la masa de un pingüino a partir de su isla y su sexo. Con códigos alfabéticos el R² en validación cruzada es 0,469. Los mismos códigos en el orden del archivo dan 0,193, aunque los datos sean idénticos. One-hot da a cada isla su propia columna 0/1 y su propio peso: R² 0,546, y el error medio baja de 476 a 411 g.

Jak to policzono

• Vinos: Wine (Aeberhard y Forina, 1992; UCI, licencia CC BY 4.0), 178 vinos, 13 medidas químicas, 3 variedades. kNN con k = 5, validación cruzada en 5 partes, repetida 10 veces con otra mezcla. El escalador se ajusta solo con la parte de entrenamiento de cada división.
• Pingüinos: Palmer Penguins (Gorman, Williams y Fraser, 2014; paquete palmerpenguins: Horst, Hill y Gorman, 2020), licencia CC0. 333 de 344 pingüinos: 11 no tienen el sexo anotado. Regresión lineal: masa a partir de isla y sexo (una columna 0/1), validación cruzada en 5 partes, 10 repeticiones. Líneas del gráfico: el modelo ajustado con los 333.
• R²: la parte de la variación de la masa explicada en las partes de validación (1 = toda, 0 = lo mismo que la media). Error medio: la diferencia absoluta media en gramos.

Por qué funciona

La distancia en kNN es la raíz cuadrada de la suma de las diferencias al cuadrado. Una medida con mucha dispersión da diferencias grandes, y son ellas las que mandan en la suma. Estandarizar divide cada medida por su desviación típica, así que una diferencia típica tiene un tamaño parecido en todas las medidas. Las medias, desviaciones, mínimos y máximos del escalador se calculan con datos, igual que los pesos de un modelo. Por eso el escalador se ajusta solo con la parte de entrenamiento: en el código de abajo, un escalador ajustado con todos los vinos antes de la validación cruzada da 0,965 en vez de 0,962. Aquí la diferencia es pequeña, pero ese resultado ha visto la parte de validación, así que no es una estimación honesta.

Con códigos de isla, la regresión lineal tiene un solo peso para toda la columna. Así que del código 0 al 1 y del 1 al 2 la masa predicha cambia lo mismo. Con códigos alfabéticos el modelo predice que los pingüinos de Dream pesan 625 g menos que los de Biscoe, y los de Torgersen otros 625 g menos. En los datos los pingüinos de Dream y de Torgersen pesan casi lo mismo (3719 y 3709 g), y los de Biscoe 4719 g. En el orden del archivo Biscoe recibe el código del medio, y la recta de las tres islas casi se aplana: 243 g por paso. One-hot no supone ningún orden: el modelo predice para Dream y para Torgersen 997 g menos que para Biscoe, igual que en los datos.

Error frecuente

Verdadero o falso: «codifica las categorías como 1, 2, 3, el modelo se las arreglará». Falso. Un número lleva un orden y distancias iguales que no existen entre las islas. En el lab basta con reordenar las islas para que el R² pase de 0,469 a 0,193, aunque los datos sean los mismos. One-hot da 0,546 con cualquier orden. En el código de abajo one-hot gana a los códigos alfabéticos en 49 de 50 pliegues de validación.

La excepción es el sexo: con dos categorías basta una columna 0/1, porque no hay un medio en el que algo pueda quedar. El problema empieza con tres categorías sin un orden natural.

import numpy as np
import pandas as pd
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score, RepeatedStratifiedKFold, RepeatedKFold
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LinearRegression

X, y = load_wine(return_X_y=True)
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=10, random_state=0)
acc = {}
for name, scaler in [("no scaling", None), ("min-max", MinMaxScaler()), ("standardised", StandardScaler()), ("robust", RobustScaler())]:
    model = make_pipeline(scaler, KNeighborsClassifier(5)) if scaler else KNeighborsClassifier(5)  # el escalador en un pipeline: se ajusta en cada división
    acc[name] = cross_val_score(model, X, y, cv=cv)
print("kNN on 178 wines, 10 x 5 CV: " + ", ".join(f"{k} {v.mean():.3f}" for k, v in acc.items()))
print(f"standardised beats no scaling in {(acc['standardised'] > acc['no scaling']).sum()} of 50 folds")
leaky = cross_val_score(KNeighborsClassifier(5), StandardScaler().fit_transform(X), y, cv=cv)  # este escalador también ha visto las partes de validación
print(f"scaler fitted on all wines before the CV: {leaky.mean():.3f}")
df = pd.read_csv("data/raw/penguins.csv").dropna(subset=["sex", "body_mass_g"])
male = (df.sex == "MALE").to_numpy(float)[:, None]
codings = {
    "codes alphabetical": df.island.map({"Biscoe": 0, "Dream": 1, "Torgersen": 2}).to_numpy(float)[:, None],
    "codes in file order": df.island.map({"Torgersen": 0, "Biscoe": 1, "Dream": 2}).to_numpy(float)[:, None],
    "one-hot": pd.get_dummies(df.island).to_numpy(float),
}
cv2 = RepeatedKFold(n_splits=5, n_repeats=10, random_state=0)
r2 = {}
for name, isl in codings.items():
    Xe = np.hstack([isl, male])
    r2[name] = cross_val_score(LinearRegression(), Xe, df.body_mass_g, cv=cv2, scoring="r2")
    mae = -cross_val_score(LinearRegression(), Xe, df.body_mass_g, cv=cv2, scoring="neg_mean_absolute_error").mean()
    print(f"{len(df)} penguins, body mass from island + sex, {name}: R2 {r2[name].mean():.3f}, mean error {mae:.0f} g")
print(f"one-hot beats the alphabetical codes in {(r2['one-hot'] > r2['codes alphabetical']).sum()} of 50 folds")

kNN on 178 wines, 10 x 5 CV: no scaling 0.706, min-max 0.963, standardised 0.962, robust 0.952
standardised beats no scaling in 50 of 50 folds
scaler fitted on all wines before the CV: 0.965
333 penguins, body mass from island + sex, codes alphabetical: R2 0.464, mean error 477 g
333 penguins, body mass from island + sex, codes in file order: R2 0.179, mean error 618 g
333 penguins, body mass from island + sex, one-hot: R2 0.542, mean error 412 g
one-hot beats the alphabetical codes in 49 of 50 folds