Datos, características, etiquetas y particiones

Si un profesor le da a la clase exactamente las preguntas que saldrán en el examen final y todo el mundo saca la nota máxima, ¿qué ha medido el examen? La memoria de esas preguntas, nada más. El aprendizaje automático se enfrenta a este mismo problema cada vez, y la forma de resolverlo es sorprendentemente sencilla: guardar parte de las preguntas bajo llave en un cajón. Pruébalo tú mismo antes de leer la explicación.

Prueba esto

• Pon el control de proporción de prueba en un valor pequeño y luego mueve el control de semilla por varias posiciones. Observa cuánto cambia la exactitud de prueba aunque el modelo y los datos sigan siendo los mismos.
• Ahora pon la proporción de prueba en un valor grande y repite el proceso con la semilla. ¿La exactitud de prueba salta más o menos que antes?
• Deja la semilla fija y mueve la proporción de prueba de un extremo a otro. Fíjate en cómo se reduce el número de filas de entrenamiento a medida que crece el conjunto de prueba.
• Busca la semilla que da la mejor exactitud de prueba y luego pregúntate si te estaría permitido publicar esa cifra.

La idea en pocas palabras

Casi todos los conjuntos de datos de este curso son una tabla. Cada fila es un ejemplo: un tumor, un paciente, un pasajero, un vino. Cada columna es una característica: una propiedad medida, como un radio, una presión arterial, una edad o un grado alcohólico. Una columna especial contiene la etiqueta, la respuesta que queremos que el modelo prediga, como «maligno» o «sobrevivió». Un modelo es una regla que lleva de las características de una fila a su etiqueta.

Antes de aprender nada, las filas se barajan y se dividen. La parte grande, el conjunto de entrenamiento, es de donde aprende el modelo. La parte pequeña, el conjunto de prueba, se guarda bajo llave y se usa una sola vez, al final, para estimar cómo le irá al modelo con filas que nunca ha visto. Hace el papel de las preguntas del cajón.

Piensa en una cocinera que crea una sopa nueva. La prueba constantemente mientras cocina: eso es el entrenamiento. Pero para saber si a los clientes les gustará, se la sirve a unas cuantas personas que nunca la han probado y no tienen ningún motivo para ser amables. Su veredicto es la puntuación de prueba. Si solo se preguntara a sí misma, siempre pensaría que la sopa es perfecta.

Por qué funciona

El conjunto de prueba solo sirve porque el modelo nunca lo vio. Mientras las filas de entrenamiento y de prueba vengan de la misma fuente y se hayan separado al azar, las filas de prueba se comportan como casos futuros, y la exactitud de prueba es una estimación justa de la exactitud futura.

Pero es solo una estimación, y esta es la parte que casi nadie le cuenta a quien empieza. La puntuación de prueba depende de qué filas cayeron en el conjunto de prueba. Baraja los datos con otra semilla aleatoria y obtendrás otro conjunto de prueba y otra puntuación, con exactamente el mismo modelo y los mismos datos. Con un conjunto de prueba pequeño, la puntuación puede saltar bastante, porque un puñado de filas raras pesa mucho en el porcentaje. La estadística da un tamaño aproximado para ese vaivén. Para una exactitud p medida en n filas de prueba, el error estándar es aproximadamente

EE ≈ √(p · (1 − p) / n)

así que cuadruplicar las filas de prueba solo reduce el vaivén a la mitad. Por eso una sola puntuación de prueba nunca es toda la verdad.

También hay un compromiso. Cada fila que pones en el conjunto de prueba es una fila de la que el modelo no puede aprender. Un conjunto de prueba enorme da una nota fiable a un modelo que aprendió de muy poco; uno diminuto da una nota poco fiable a un modelo bien entrenado. Lo habitual es dejar en el conjunto de prueba entre una quinta y una tercera parte de las filas, y las próximas lecciones mostrarán formas más ingeniosas de esquivar el dilema.

Error frecuente

El error más tentador es probar muchas particiones y quedarse con la que da la puntuación de prueba más bonita. El conjunto de prueba se ha usado entonces para tomar una decisión, y la puntuación publicada es optimista. Una versión más discreta del mismo error se llama fuga de datos: información de las filas de prueba se cuela en el entrenamiento, por ejemplo cuando calculas promedios para escalar o rellenar valores faltantes sobre toda la tabla antes de dividirla. La regla es estricta: primero divide y después haz todo lo demás usando solo las filas de entrenamiento.

Con una partición limpia en la mano por fin podemos construir un modelo de verdad. En la próxima lección ajustamos el más sencillo que existe: una recta que atraviesa una nube de puntos.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # las 10 variables "mean", como en el lab
accs = []
for seed in range(20):  # mismo modelo, 20 particiones distintas
    Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=seed)
    model = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr)
    accs.append(model.score(Xte, yte))
n, p = len(yte), float(np.mean(accs))
print(f"test rows: {n}")
print(f"test accuracy: min {min(accs):.1%}, max {max(accs):.1%}")
print(f"standard error: {np.sqrt(p * (1 - p) / n):.1%} (n={n}), {np.sqrt(p * (1 - p) / (4 * n)):.1%} (n={4 * n})")

test rows: 171
test accuracy: min 90.6%, max 97.1%
standard error: 1.8% (n=171), 0.9% (n=684)