Evaluar un clasificador: más allá de la exactitud

Una alarma de humo que nunca suena jamás se equivoca con un incendio falso. Una alarma que chilla cada vez que haces tostadas jamás se pierde uno de verdad. ¿Cuál es mejor? Ninguna, y una sola cifra de exactitud ni siquiera te diría cuál de las dos tienes. Esta lección trata de contar los errores de forma que se vea su tipo, no solo su número. Pruébalo tú mismo antes de leer la explicación.

Prueba esto

• Mueve el control del umbral hacia la izquierda. Observa cómo disminuyen los falsos negativos en la matriz de confusión y aumentan los falsos positivos, y cómo el recall y la precisión se mueven en sentidos opuestos.
• Mueve el control del umbral hacia la derecha y observa lo contrario. No pierdas de vista la exactitud: ¿te dice qué tipo de error estás cometiendo?
• Encuentra el umbral más alto con el que no se pierde ningún tumor maligno. Lee cuántos tumores benignos se marcan por error en ese punto.
• Elige el umbral que usarías para una prueba de cribado y explica en una frase por qué.

La idea en pocas palabras

Volvamos a los 569 tumores de mama de la lección 1. Un modelo da a cada tumor una puntuación: cuanto más alta, más probable es que sea maligno. Un umbral convierte la puntuación en una decisión. Cada decisión cae entonces en una de cuatro casillas:

Esta tabla es la matriz de confusión. La diagonal contiene las decisiones correctas. Las otras dos casillas contienen dos tipos de error muy distintos: un falso positivo es una falsa alarma (una paciente sana enviada a más pruebas) y un falso negativo es un caso perdido (un cáncer enviado a casa).

La alarma de humo lo ilustra. La alarma muda no tiene falsos positivos y sí muchos falsos negativos. La alarma de las tostadas tiene lo contrario. Una buena alarma equilibra ambos según lo que cuesta cada error.

Por qué funciona

Dos números resumen la matriz mucho mejor que la exactitud:

precisión = VP / (VP + FP) recall = VP / (VP + FN)

El recall (exhaustividad o sensibilidad) responde: de todos los tumores malignos, ¿qué proporción detectamos? La precisión responde: de todos los tumores que llamamos malignos, ¿qué proporción lo era de verdad? El recall trata de no dejar escapar nada; la precisión, de no dar falsas alarmas.

El umbral controla el equilibrio entre ambos. Si bajas el umbral, más tumores se marcan como malignos: detectas más cánceres (el recall sube), pero también marcas más tumores benignos (la precisión suele bajar). Si lo subes, ocurre lo contrario. Ningún umbral puede maximizar ambos, salvo que el modelo separe las clases a la perfección. Elegir un umbral no es, por tanto, un detalle técnico, sino una decisión de valores: ¿cuántas falsas alarmas estás dispuesto a aceptar para no perder un cáncer?

La exactitud mezcla las cuatro casillas en un solo número y esconde esta elección. También esconde el desequilibrio de clases. Como 357 de los 569 tumores son benignos, un modelo que lo llama todo benigno acierta casi dos tercios sin detectar ni un solo cáncer: recall cero. Es la paradoja de la exactitud: un modelo puede parecer decente por su exactitud y ser inútil para aquello para lo que se construyó.

Error frecuente

El error más común es informar solo la exactitud, sobre todo con datos desequilibrados, en los que una clase es mucho más rara que la otra. El segundo es quedarse con el umbral por defecto de 0,5 sin preguntarse cuánto cuestan los errores. Una prueba de cribado, en la que un caso perdido puede ser mortal y una falsa alarma significa un examen extra, debería tener normalmente un umbral más bajo que una prueba que lleva a una cirugía. Una tercera trampa es confundir precisión y recall; recordar las preguntas que responden —«de los que marqué» frente a «de los que existen»— ayuda más que memorizar fórmulas.

Hasta ahora hemos puntuado modelos con un único conjunto de prueba fijo. Pero un modelo puede brillar con los datos de los que aprendió y fallar con todo lo demás. En la próxima lección lo provocamos a propósito: el sobreajuste.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, b = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # las 10 variables "mean", como en el lab
y = 1 - b  # en sklearn 0 = maligno; se invierte para que 1 = maligno
print(f"tumours {len(y)}, benign {(y == 0).sum()}, always-benign accuracy {(y == 0).mean():.3f}")
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
score = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr).predict_proba(Xte)[:, 1]
for t in (0.5, 0.1):
    flag = score >= t
    tp, fp, fn = (flag & (yte == 1)).sum(), (flag & (yte == 0)).sum(), (~flag & (yte == 1)).sum()
    print(f"t={t}: TP {tp} FN {fn} FP {fp} precision {tp / (tp + fp):.3f} recall {tp / (tp + fn):.3f}")

tumours 569, benign 357, always-benign accuracy 0.627
t=0.5: TP 53 FN 11 FP 2 precision 0.964 recall 0.828
t=0.1: TP 61 FN 3 FP 13 precision 0.824 recall 0.953