Umbral, ROC y PR: todos los umbrales a la vez

En la lección 2.2 movías un umbral y veías cambiar la matriz de confusión. Cada umbral es una decisión distinta, aunque las puntuaciones del modelo sean las mismas. Hoy verás todos los umbrales a la vez, en dos curvas: ROC y precisión–sensibilidad (PR). Comprobarás también cuál de ellas dice la verdad cuando hay pocos enfermos. El modelo es débil a propósito: una regresión logística que solo ve una medida, la textura media del tumor, para que las curvas no se peguen a las esquinas.

Prueba esto

• Empieza con 212 malignas y umbral 0,5. Lee la sensibilidad y la FPR, y luego mueve el umbral a 0,3. ¿Hacia dónde va el punto en las dos curvas?
• Cambia a 19 malignas con umbral 0,3. Hay tantas falsas alarmas como hace un momento. ¿Qué le pasó a la precisión?
• Compara el ROC AUC y el AP con 212, 40 y 19 malignas.

Cuando lo hayas comprobado en el lab, pongamos nombre a lo que ves.

La idea en pocas palabras

El modelo no dice «maligno» o «benigno». Da una puntuación de 0 a 1, y la decisión la toma un umbral. Cada umbral da un par de números distinto: cuántas malignas se detectaron (sensibilidad) y cuántas benignas recibieron una falsa alarma. La curva ROC dibuja esos pares para todos los umbrales a la vez: en horizontal, la proporción de falsas alarmas entre las benignas (FPR); en vertical, la sensibilidad. Un umbral alto es la esquina inferior izquierda (pocas alarmas); uno bajo, la superior derecha (alarma en cada biopsia).

La curva precisión–sensibilidad (PR) muestra los mismos umbrales de otra forma: en horizontal, la sensibilidad; en vertical, la precisión, es decir, qué parte de las alarmas es correcta. El área bajo la curva ROC es el ROC AUC; el área bajo la curva PR, el AP (average precision). Cada uno resume todos los umbrales a la vez, así que no depende del umbral que elijas.

Con las 569 biopsias el modelo tiene un ROC AUC de 0,773 y un AP de 0,591. Adivinar al azar daría un ROC AUC de 0,5 y un AP igual a la proporción de malignas, 0,373. El modelo es claramente mejor que adivinar, pero está lejos del ideal, que es 1.

Jak to policzono

• Biopsias: Breast Cancer Wisconsin (Diagnostic), UCI, licencia CC BY 4.0. 569 biopsias (357 benignas, 212 malignas). El modelo ve una medida: la textura media del tumor.
• Puntuaciones de validación cruzada en 5 partes (StratifiedKFold(5) en scikit-learn): cada biopsia la puntúa un modelo que nunca la vio.
• Clase más rara: se quedan las 357 benignas y 40 o 19 malignas elegidas al azar. El gráfico muestra un sorteo; las medias son de 200 sorteos.
• Modelo: estandarización y regresión logística (C = 1).

Por qué funciona

La ROC cuenta las falsas alarmas frente a las benignas: la FPR es el número de falsas alarmas dividido entre 357. La sensibilidad cuenta los aciertos frente a las malignas. Cuando quitas malignas al azar, las dos fracciones siguen más o menos iguales, así que la curva ROC y su área casi no se mueven. Con umbral 0,3 el modelo da la alarma en 144 de las 357 benignas (FPR 40,3 %), haya 212 malignas o 19.

La precisión cuenta las falsas alarmas frente a todas las alarmas. Con 212 malignas y umbral 0,3 el modelo detecta 177, así que la precisión es del 55,1 %. Con 19 malignas detecta 17, y las 144 falsas alarmas se quedan: la precisión cae al 10,6 %, es decir, 8,5 falsas alarmas por cada correcta. La curva PR cae con la precisión, y el AP pasa de 0,591 a 0,137 de media. La línea de adivinar al azar en la PR también baja, hasta la proporción de malignas: 0,051.

No es suerte de un sorteo ni de una forma de partir los datos. Con 40 malignas (10 %) el ROC AUC es de media 0,773 y el AP 0,232. En el código de abajo, el mismo modelo con otras 20 particiones tiene, con 19 malignas, un AP por debajo de la mitad del obtenido con todos los datos, cada vez.

Error frecuente

Verdadero o falso: «un ROC AUC alto significa pocas falsas alarmas». Falso. El ROC AUC mide lo bien que el modelo ordena: la probabilidad de que una biopsia maligna al azar reciba una puntuación más alta que una benigna al azar. No dice cuántas alarmas serán falsas, porque eso depende de lo rara que sea la clase. En el lab, con 19 malignas el ROC AUC es de media 0,772, casi lo mismo que con 212, y con umbral 0,3 hay 8,5 falsas alarmas por cada correcta. Cuando la clase es rara, mira la curva PR y la precisión en el umbral que de verdad vas a usar.

Un aviso en sentido contrario: el AP tampoco es un número «solo del modelo». Depende de la proporción de la clase en los datos, así que el AP de dos conjuntos con proporciones distintas no se puede comparar directamente. Compáralo con la línea de adivinar al azar en los mismos datos.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import StratifiedKFold, cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, average_precision_score

X, y = load_breast_cancer(return_X_y=True)
X, y = X[:, [1]], 1 - y  # solo la textura media, como en el lab; 1 = maligno
model = make_pipeline(StandardScaler(), LogisticRegression())
def scores(cv):  # puntuaciones de validación: cada biopsia la puntúa un modelo que nunca la vio
    return cross_val_predict(model, X, y, cv=cv, method="predict_proba")[:, 1]
ben, mal = np.flatnonzero(y == 0), np.flatnonzero(y == 1)
def rare(p, keep, draws, seed):  # las 357 benignas + `keep` malignas al azar, media de los sorteos
    rng = np.random.default_rng(seed)
    rows = [np.r_[ben, rng.choice(mal, keep, replace=False)] for _ in range(draws)]
    return np.mean([(roc_auc_score(y[i], p[i]), average_precision_score(y[i], p[i])) for i in rows], axis=0)
p = scores(StratifiedKFold(5))
print(f"212 malignant ({212 / 569:.0%}): ROC AUC {roc_auc_score(y, p):.3f}, AP {average_precision_score(y, p):.3f}")
for keep in (40, 19):
    auc, ap = rare(p, keep, 1000, 0)
    print(f"{keep} malignant ({keep / (357 + keep):.0%}), mean of 1000 draws: ROC AUC {auc:.3f}, AP {ap:.3f}")
r = []
for s in range(20):  # otras 20 formas de partir los datos en 5 partes
    q = scores(StratifiedKFold(5, shuffle=True, random_state=s))
    r.append([roc_auc_score(y, q), average_precision_score(y, q), *rare(q, 19, 200, s)])
r = np.array(r)
print(f"20 other fold splits, 212 -> 19 malignant: ROC AUC {r[:, 0].mean():.3f} -> {r[:, 2].mean():.3f}, AP {r[:, 1].mean():.3f} -> {r[:, 3].mean():.3f}; AP below half in {(r[:, 3] < r[:, 1] / 2).sum()} of 20")

212 malignant (37%): ROC AUC 0.773, AP 0.591
40 malignant (10%), mean of 1000 draws: ROC AUC 0.773, AP 0.231
19 malignant (5%), mean of 1000 draws: ROC AUC 0.774, AP 0.140
20 other fold splits, 212 -> 19 malignant: ROC AUC 0.774 -> 0.775, AP 0.595 -> 0.140; AP below half in 20 of 20