Ingeniería de características

En la lección 4.3 cambiamos cómo se escriben las variables: la escala de los números y el código de las categorías. Hoy creamos variables nuevas a partir de las que ya tenemos. La ingeniería de características consiste en añadir columnas que muestran al modelo con más claridad lo que busca: un cuadrado, un cociente, una diferencia, los días desde un suceso. Una buena variable puede convertir un problema difícil en uno fácil. Muchas variables débiles pueden estropear un modelo que funcionaba.

Pruébalo

• Empieza solo con x. ¿Dónde predice el modelo la variedad 2? ¿Cuál es la exactitud de prueba y de dónde sale?
• Añade la columna x². ¿Cómo es la frontera en el plano (x, x²) y cómo en el eje de flavonoides?
• Pasa al ruido. Baja el deslizador desde 200 columnas. ¿Cuándo reconoce kNN mejor los vinos apartados?
• Mira el contraste de distancias. ¿Qué pasa con la diferencia entre el vino más cercano y el más lejano cuando se acumulan columnas?

Cuando lo hayas comprobado en el lab, pongamos nombre a lo que ves.

La idea en palabras sencillas

Un modelo lineal sobre un eje solo sabe hacer una cosa: poner un umbral. La variedad 2 está en el centro del eje de flavonoides, así que un umbral no puede recortarla por ningún lado: como mucho separa una de las variedades vecinas. El mejor umbral así separa la variedad 3 y acierta un 61,6% en entrenamiento, mientras que decir «otra variedad» para cada vino acierta un 60,0%. La ganancia es mínima, y en la prueba desaparece. La SVM lineal del lab no predice la variedad 2 en ningún sitio y obtiene un 60,4%, la proporción de las otras variedades entre los 53 vinos de prueba. Añadamos la columna x², el cuadrado de los flavonoides estandarizados. Los vinos de ambos extremos del eje tienen un x² grande; los del centro, pequeño. El mismo modelo lineal traza ahora una recta en el plano (x, x²). En el eje de flavonoides son dos umbrales, un intervalo de 1,11 a 2,82. La exactitud sube al 77,4%. El modelo no cambió; cambió lo que recibe.

Pero más variables no significa mejor. kNN (k = 5) con 13 medidas químicas reconoce el 98,1% de los vinos apartados. Añadimos columnas de ruido puro, números aleatorios en la misma escala. Con 200 columnas así, la exactitud baja al 77,4%. Cada columna de ruido aporta a la distancia tanto como una medida real, así que los vinos «más cercanos» dejan de parecerse. Es la maldición de la dimensionalidad: en muchas dimensiones todos los puntos están casi igual de lejos unos de otros.

Jak to policzono

• Vinos: Wine (Aeberhard y Forina, 1992; UCI, licencia CC BY 4.0), 178 vinos, 13 medidas químicas, 3 variedades. Partición estratificada: 125 vinos para aprender, 53 para la prueba.
• Variable nueva: un modelo lineal (una máquina de vectores de soporte lineal, C = 1) sobre los flavonoides estandarizados, variedad 2 contra el resto. Flavonoides medios calculados con los 178 vinos.
• Ruido: kNN con k = 5 sobre las 13 medidas estandarizadas y de 0 a 200 columnas de números de una distribución normal (media 0, desviación estándar 1), generados con una semilla fija.

Por qué funciona

Un modelo lineal divide el espacio con una recta (con un plano en más dimensiones). Sobre un eje, una recta es un punto: un umbral. La columna x² añade un segundo eje. Los vinos de ambos extremos del eje de flavonoides quedan arriba en la parábola; los del centro, abajo. Ahora una recta puede cortar a la variedad 2 desde arriba. En otras 20 particiones de los vinos, sin x² la SVM lineal no predice ni una vez la variedad 2, y el mejor umbral único del entrenamiento solo supera a «siempre otra» en la prueba en 1 de 20. Con x² siempre recorta un intervalo: del 67,9 al 84,9% en la prueba.

Con el ruido pasa lo contrario. La distancia en kNN es una suma de diferencias al cuadrado de todas las columnas. Con 13 medidas, el vino de entrenamiento más lejano está de media un 296,5% más lejos que el más cercano. Con 200 columnas de ruido, solo un 25,7%. Las diferencias del ruido son aleatorias y hay muchas, así que ahogan las 13 diferencias reales. En 20 sorteos del ruido, 200 columnas dan del 64,2 al 83,0%, siempre por debajo del 98,1% sin ruido.

Un error frecuente

Verdadero o falso: «más variables dan un modelo mejor». Falso. Una variable ayuda cuando lleva información con una forma que el modelo sabe usar, como x² para la variedad 2. Las columnas sin información perjudican: 200 columnas de ruido bajan kNN del 98,1% al 77,4%. En el código de abajo la exactitud de kNN baja de 0,962 sin ruido a 0,689 con 200 columnas.

Una buena variable nueva suele salir de entender el problema: qué debería importar y con qué forma. Echar todo lo que se pueda es una invitación al ruido.

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score, RepeatedStratifiedKFold
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier

wine = load_wine(as_frame=True)
x, is2 = wine.data[["flavanoids"]], (wine.target == 1).astype(int)
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=10, random_state=0)
line = make_pipeline(StandardScaler(), SVC(kernel="linear", C=1))
squared = make_pipeline(StandardScaler(), PolynomialFeatures(2, include_bias=False), StandardScaler(), SVC(kernel="linear", C=1))  # la columna nueva x²
a, b = cross_val_score(line, x, is2, cv=cv), cross_val_score(squared, x, is2, cv=cv)
print(f"cultivar 2 vs the rest from flavanoids, 10 x 5 CV: x only {a.mean():.3f}, x and x^2 {b.mean():.3f}; always 'other' {1 - is2.mean():.3f}")
print(f"x only predicts cultivar 2 for {line.fit(x, is2).predict(x).sum()} of {len(x)} wines; x and x^2 wins in {(b > a).sum()} of 50 folds")
X, y = wine.data.to_numpy(), wine.target.to_numpy()
noise = np.random.default_rng(0).normal(size=(len(X), 200))  # columnas de ruido puro
for m in [0, 10, 50, 200]:
    acc = cross_val_score(make_pipeline(StandardScaler(), KNeighborsClassifier(5)), np.hstack([X, noise[:, :m]]), y, cv=cv)
    print(f"kNN on 13 measurements + {m} noise columns: {acc.mean():.3f}")

cultivar 2 vs the rest from flavanoids, 10 x 5 CV: x only 0.601, x and x^2 0.755; always 'other' 0.601
x only predicts cultivar 2 for 0 of 178 wines; x and x^2 wins in 49 of 50 folds
kNN on 13 measurements + 0 noise columns: 0.962
kNN on 13 measurements + 10 noise columns: 0.940
kNN on 13 measurements + 50 noise columns: 0.842
kNN on 13 measurements + 200 noise columns: 0.689