Limiar, ROC e PR: todos os limiares de uma vez

Na aula 2.2 você movia um limiar e via a matriz de confusão mudar. Cada limiar é uma decisão diferente, embora as pontuações do modelo continuem as mesmas. Hoje você vai ver todos os limiares de uma vez, em duas curvas: ROC e precisão–sensibilidade (PR). Também vai conferir qual delas diz a verdade quando há poucos doentes. O modelo é fraco de propósito: uma regressão logística que vê só uma medida, a textura média do tumor, para que as curvas não grudem nos cantos.

Experimente

• Comece com 212 malignas e limiar 0,5. Leia a sensibilidade e a FPR e depois mova o limiar para 0,3. Para onde vai o ponto nas duas curvas?
• Troque para 19 malignas com limiar 0,3. Há tantos alarmes falsos quanto há pouco. O que aconteceu com a precisão?
• Compare o ROC AUC e o AP com 212, 40 e 19 malignas.

Depois de conferir no lab, vamos dar nome ao que você vê.

A ideia em poucas palavras

O modelo não diz “maligno” ou “benigno”. Ele dá uma pontuação de 0 a 1, e quem decide é um limiar. Cada limiar dá um par de números diferente: quantas malignas foram encontradas (sensibilidade) e quantas benignas receberam um alarme falso. A curva ROC desenha esses pares para todos os limiares de uma vez: na horizontal, a parcela de alarmes falsos entre as benignas (FPR); na vertical, a sensibilidade. Um limiar alto é o canto inferior esquerdo (poucos alarmes); um baixo, o canto superior direito (alarme em toda biópsia).

A curva precisão–sensibilidade (PR) mostra os mesmos limiares de outro jeito: na horizontal, a sensibilidade; na vertical, a precisão, ou seja, que parte dos alarmes está certa. A área sob a curva ROC é o ROC AUC; a área sob a curva PR é o AP (average precision). Cada um resume todos os limiares de uma vez, então não depende do limiar que você escolher.

Com as 569 biópsias o modelo tem ROC AUC de 0,773 e AP de 0,591. Chutar ao acaso daria ROC AUC de 0,5 e um AP igual à parcela de malignas, ou seja, 0,373. O modelo é claramente melhor que o acaso, mas está longe do ideal, que é 1.

Jak to policzono

• Biópsias: Breast Cancer Wisconsin (Diagnostic), UCI, licença CC BY 4.0. 569 biópsias (357 benignas, 212 malignas). O modelo vê uma medida: a textura média do tumor.
• Pontuações de validação cruzada em 5 partes (StratifiedKFold(5) no scikit-learn): cada biópsia é pontuada por um modelo que nunca a viu.
• Classe mais rara: ficam as 357 benignas e 40 ou 19 malignas sorteadas. O gráfico mostra um sorteio; as médias são de 200 sorteios.
• Modelo: padronização e regressão logística (C = 1).

Por que funciona

A ROC conta os alarmes falsos em relação às benignas: a FPR é o número de alarmes falsos dividido por 357. A sensibilidade conta os acertos em relação às malignas. Quando você tira malignas ao acaso, as duas frações continuam mais ou menos iguais, então a curva ROC e sua área quase não se mexem. Com limiar 0,3 o modelo dá alarme em 144 de 357 benignas (FPR 40,3%), haja 212 malignas ou 19.

A precisão conta os alarmes falsos em relação a todos os alarmes. Com 212 malignas e limiar 0,3 o modelo encontra 177, então a precisão é de 55,1%. Com 19 malignas ele encontra 17, e os 144 alarmes falsos continuam lá: a precisão cai para 10,6%, ou seja, 8,5 alarmes falsos por alarme certo. A curva PR cai junto com a precisão, e o AP vai de 0,591 para 0,137 em média. A linha do chute ao acaso na PR também desce, até a parcela de malignas: 0,051.

Não é sorte de um sorteio nem de um jeito de dividir os dados. Com 40 malignas (10%) o ROC AUC é 0,773 em média e o AP 0,232. No código abaixo, o mesmo modelo em 20 outras divisões tem, com 19 malignas, um AP abaixo da metade do obtido com todos os dados, todas as vezes.

Erro comum

Verdadeiro ou falso: “um ROC AUC alto significa poucos alarmes falsos”. Falso. O ROC AUC mede quão bem o modelo ordena: a probabilidade de uma biópsia maligna sorteada receber pontuação maior que uma benigna sorteada. Ele não diz quantos alarmes serão falsos, porque isso depende de quão rara é a classe. No lab, com 19 malignas o ROC AUC é 0,772 em média, quase o mesmo que com 212, e com limiar 0,3 há 8,5 alarmes falsos para cada certo. Quando a classe é rara, olhe a curva PR e a precisão no limiar que você vai usar de verdade.

Um aviso no sentido contrário: o AP também não é um número “só do modelo”. Ele depende da parcela da classe nos dados, então o AP de dois conjuntos com proporções diferentes não pode ser comparado diretamente. Compare o AP com a linha do chute ao acaso nos mesmos dados.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import StratifiedKFold, cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, average_precision_score

X, y = load_breast_cancer(return_X_y=True)
X, y = X[:, [1]], 1 - y  # só a textura média, como no lab; 1 = maligno
model = make_pipeline(StandardScaler(), LogisticRegression())
def scores(cv):  # pontuações de validação: cada biópsia é pontuada por um modelo que nunca a viu
    return cross_val_predict(model, X, y, cv=cv, method="predict_proba")[:, 1]
ben, mal = np.flatnonzero(y == 0), np.flatnonzero(y == 1)
def rare(p, keep, draws, seed):  # as 357 benignas + `keep` malignas sorteadas, média dos sorteios
    rng = np.random.default_rng(seed)
    rows = [np.r_[ben, rng.choice(mal, keep, replace=False)] for _ in range(draws)]
    return np.mean([(roc_auc_score(y[i], p[i]), average_precision_score(y[i], p[i])) for i in rows], axis=0)
p = scores(StratifiedKFold(5))
print(f"212 malignant ({212 / 569:.0%}): ROC AUC {roc_auc_score(y, p):.3f}, AP {average_precision_score(y, p):.3f}")
for keep in (40, 19):
    auc, ap = rare(p, keep, 1000, 0)
    print(f"{keep} malignant ({keep / (357 + keep):.0%}), mean of 1000 draws: ROC AUC {auc:.3f}, AP {ap:.3f}")
r = []
for s in range(20):  # 20 outras formas de dividir os dados em 5 partes
    q = scores(StratifiedKFold(5, shuffle=True, random_state=s))
    r.append([roc_auc_score(y, q), average_precision_score(y, q), *rare(q, 19, 200, s)])
r = np.array(r)
print(f"20 other fold splits, 212 -> 19 malignant: ROC AUC {r[:, 0].mean():.3f} -> {r[:, 2].mean():.3f}, AP {r[:, 1].mean():.3f} -> {r[:, 3].mean():.3f}; AP below half in {(r[:, 3] < r[:, 1] / 2).sum()} of 20")

212 malignant (37%): ROC AUC 0.773, AP 0.591
40 malignant (10%), mean of 1000 draws: ROC AUC 0.773, AP 0.231
19 malignant (5%), mean of 1000 draws: ROC AUC 0.774, AP 0.140
20 other fold splits, 212 -> 19 malignant: ROC AUC 0.774 -> 0.775, AP 0.595 -> 0.140; AP below half in 20 of 20