Avaliando um classificador: além da acurácia

Um alarme de fumaça que nunca toca jamais erra com um incêndio falso. Um alarme que dispara toda vez que você faz torrada jamais deixa passar um incêndio de verdade. Qual é o melhor? Nenhum dos dois — e um único número de acurácia nem diria qual deles você tem. Esta lição é sobre contar erros de um jeito que mostre o tipo deles, não só a quantidade.

Experimente

• Mova o controle do limiar para a esquerda. Veja os falsos negativos da matriz de confusão diminuírem e os falsos positivos aumentarem, e o recall e a precisão andarem em sentidos opostos.
• Mova o controle do limiar para a direita e veja o contrário acontecer. Fique de olho na acurácia: ela diz que tipo de erro você está cometendo?
• Encontre o limiar mais alto em que nenhum tumor maligno é perdido. Veja quantos tumores benignos são marcados por engano nesse ponto.
• Escolha o limiar que você usaria num exame de rastreamento e diga numa frase por quê.

A ideia em poucas palavras

Vamos ver agora, em palavras simples, o que você acabou de manipular.

Voltemos aos 569 tumores de mama da lição 1. Um modelo dá a cada tumor uma pontuação: quanto mais alta, maior a chance de ser maligno. Um limiar transforma a pontuação numa decisão. Cada decisão então cai numa de quatro casas:

Essa tabela é a matriz de confusão. A diagonal guarda as decisões corretas. As outras duas casas guardam dois tipos de erro muito diferentes: um falso positivo é um alarme falso (uma paciente saudável encaminhada para mais exames), e um falso negativo é um caso perdido (um câncer mandado para casa).

O alarme de fumaça mostra bem isso. O alarme mudo não tem falsos positivos e tem muitos falsos negativos. O alarme da torrada tem o contrário. Um bom alarme equilibra os dois de acordo com o custo de cada erro.

Por que funciona

Dois números resumem a matriz muito melhor que a acurácia:

precisão = VP / (VP + FP) recall = VP / (VP + FN)

O recall (revocação ou sensibilidade) responde: de todos os tumores malignos, que fração pegamos? A precisão responde: de todos os tumores que chamamos de malignos, que fração realmente era? O recall trata de não deixar escapar; a precisão, de não dar alarme falso.

O limiar controla o equilíbrio entre os dois. Baixe o limiar e mais tumores são marcados como malignos: você pega mais cânceres (o recall sobe), mas também marca mais tumores benignos (a precisão costuma cair). Suba o limiar e acontece o contrário. Nenhum limiar consegue maximizar os dois, a não ser que o modelo separe as classes perfeitamente. Escolher um limiar, portanto, não é um detalhe técnico, mas uma decisão de valores: quantos alarmes falsos você aceita para não perder um câncer?

A acurácia mistura as quatro casas num único número e esconde essa escolha. Ela também esconde o desbalanceamento de classes. Como 357 dos 569 tumores são benignos, um modelo que chama tudo de benigno acerta quase dois terços sem pegar nenhum câncer — recall zero. Esse é o paradoxo da acurácia: um modelo pode parecer razoável pela acurácia e ser inútil para aquilo para que foi construído.

Erro comum

O erro mais comum é relatar só a acurácia, principalmente em dados desbalanceados, em que uma classe é muito mais rara que a outra. O segundo é manter o limiar padrão de 0,5 sem perguntar quanto custam os erros. Um exame de rastreamento, em que um caso perdido pode ser fatal e um alarme falso significa um exame extra, normalmente deve ter um limiar mais baixo que um exame que leva a uma cirurgia. Uma terceira armadilha é confundir precisão e recall; lembrar as perguntas que eles respondem — “dos que eu marquei” versus “dos que existem” — ajuda mais que decorar fórmulas.

Até aqui avaliamos modelos num único conjunto de teste fixo. Mas um modelo pode brilhar nos dados com que aprendeu e ir mal em todo o resto. Na próxima lição provocamos isso de propósito: o overfitting.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, b = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # as 10 variáveis "mean", como no lab
y = 1 - b  # no sklearn 0 = maligno; inverte-se para que 1 = maligno
print(f"tumours {len(y)}, benign {(y == 0).sum()}, always-benign accuracy {(y == 0).mean():.3f}")
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
score = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr).predict_proba(Xte)[:, 1]
for t in (0.5, 0.1):
    flag = score >= t
    tp, fp, fn = (flag & (yte == 1)).sum(), (flag & (yte == 0)).sum(), (~flag & (yte == 1)).sum()
    print(f"t={t}: TP {tp} FN {fn} FP {fp} precision {tp / (tp + fp):.3f} recall {tp / (tp + fn):.3f}")

tumours 569, benign 357, always-benign accuracy 0.627
t=0.5: TP 53 FN 11 FP 2 precision 0.964 recall 0.828
t=0.1: TP 61 FN 3 FP 13 precision 0.824 recall 0.953