Ocena klasyfikatora: więcej niż trafność

Czujnik dymu, który nigdy nie piszczy, nigdy nie podnosi fałszywego alarmu. Czujnik, który wyje przy każdym przypieczonym toście, nigdy nie przegapi prawdziwego pożaru. Który jest lepszy? Żaden — a pojedyncza liczba trafności nie powie ci nawet, który z nich masz. Ta lekcja jest o liczeniu pomyłek tak, żeby było widać ich rodzaj, a nie tylko liczbę.

Spróbuj

• Przesuń suwak progu w lewo. Zobacz, jak w macierzy pomyłek kurczą się fałszywie negatywne, a rosną fałszywie pozytywne, i jak czułość z precyzją idą w przeciwne strony.
• Przesuń suwak progu w prawo i obserwuj odwrotny ruch. Zerkaj na trafność: czy mówi ci, jaki rodzaj pomyłek popełniasz?
• Znajdź najwyższy próg, przy którym żaden guz złośliwy nie zostaje przeoczony. Odczytaj, ile guzów łagodnych jest wtedy fałszywie oznaczonych.
• Wybierz próg dla badania przesiewowego i powiedz w jednym zdaniu, dlaczego ten.

Gdy już sprawdzisz to w labie, zobaczmy, co się tam właściwie działo.

Pomysł w prostych słowach

Wracamy do 569 guzów piersi z lekcji 1. Model daje każdemu guzowi wynik: im wyższy, tym bardziej prawdopodobne, że guz jest złośliwy. Próg zamienia wynik w decyzję. Każda decyzja ląduje w jednej z czterech szufladek:

Ta tabela to macierz pomyłek. Na przekątnej są decyzje trafne. W dwóch pozostałych polach siedzą dwa bardzo różne rodzaje błędów: fałszywie pozytywny to fałszywy alarm (zdrowa pacjentka wysłana na dodatkowe badania), fałszywie negatywny to przeoczenie (nowotwór odesłany do domu).

Czujnik dymu dobrze to pokazuje. Milczący czujnik nie ma fałszywych alarmów, za to ma mnóstwo przeoczeń. Czujnik od tostów — odwrotnie. Dobry czujnik równoważy jedno i drugie według tego, ile kosztuje każda pomyłka. W medycynie te koszty są bardzo nierówne: przeoczony nowotwór może kosztować życie, a fałszywy alarm — stres i dodatkową biopsję. Dlatego ta sama macierz pomyłek może być do przyjęcia w jednym zastosowaniu, a w innym nie.

Dlaczego to działa

Dwie liczby streszczają macierz dużo lepiej niż trafność:

precyzja = TP / (TP + FP) czułość = TP / (TP + FN)

Czułość (ang. recall) odpowiada na pytanie: jaką część wszystkich guzów złośliwych wyłapaliśmy? Precyzja odpowiada: jaka część guzów, które nazwaliśmy złośliwymi, naprawdę taka była? Czułość dotyczy nieprzeoczenia, precyzja — niepodnoszenia fałszywego alarmu.

Próg steruje kompromisem między nimi. Obniż próg, a więcej guzów zostanie oznaczonych jako złośliwe: wyłapiesz więcej nowotworów (czułość rośnie), ale oznaczysz też więcej łagodnych (precyzja zwykle spada). Podnieś go, a stanie się odwrotnie. Żaden próg nie da maksimum obu naraz, chyba że model rozdziela klasy idealnie. Wybór progu nie jest więc techniczną drobnostką, tylko decyzją o wartościach: ile fałszywych alarmów jesteś gotów przyjąć, żeby nie przeoczyć jednego nowotworu?

Trafność miesza wszystkie cztery pola w jedną liczbę i ten wybór ukrywa. Ukrywa też niezrównoważenie klas. Skoro 357 z 569 guzów jest łagodnych, model, który wszystko nazywa łagodnym, ma rację w niemal dwóch trzecich przypadków i nie wyłapuje ani jednego nowotworu — czułość równa zeru. To paradoks trafności: model może wyglądać przyzwoicie pod względem trafności i być bezużyteczny w tym, do czego go zbudowano.

Gdy potrzeba jednej liczby, która nie ukrywa żadnej ze stron, często sięga się po miarę F1, czyli średnią harmoniczną precyzji i czułości. Jest wysoka tylko wtedy, gdy obie są wysokie. Model, który każdy guz nazywa złośliwym, ma pełną czułość, ale marną precyzję — i F1 pokaże to bezlitośnie.

Częsty błąd

Najczęstszy błąd to podawanie samej trafności, zwłaszcza na danych niezrównoważonych, gdzie jedna klasa jest dużo rzadsza od drugiej. Drugi to zostawienie domyślnego progu 0,5 bez pytania, ile kosztują pomyłki. Badanie przesiewowe, w którym przeoczenie może być śmiertelne, a fałszywy alarm oznacza dodatkowe badanie, powinno zwykle mieć niższy próg niż test, po którym idzie się na operację. Trzecia pułapka to mylenie precyzji z czułością; pamiętanie pytań, na które odpowiadają — „spośród tych, które oznaczyłem” kontra „spośród tych, które istnieją” — pomaga bardziej niż wkuwanie wzorów.

Do tej pory ocenialiśmy modele na jednym ustalonym zbiorze testowym. Ale model może błyszczeć na danych, na których się uczył, i zawodzić na wszystkich innych. W następnej lekcji wywołamy to celowo: przeuczenie.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, b = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # 10 cech „mean”, jak w labie
y = 1 - b  # w sklearn 0 = złośliwy; odwracamy, żeby 1 = złośliwy
print(f"tumours {len(y)}, benign {(y == 0).sum()}, always-benign accuracy {(y == 0).mean():.3f}")
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
score = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr).predict_proba(Xte)[:, 1]
for t in (0.5, 0.1):
    flag = score >= t
    tp, fp, fn = (flag & (yte == 1)).sum(), (flag & (yte == 0)).sum(), (~flag & (yte == 1)).sum()
    print(f"t={t}: TP {tp} FN {fn} FP {fp} precision {tp / (tp + fp):.3f} recall {tp / (tp + fn):.3f}")

tumours 569, benign 357, always-benign accuracy 0.627
t=0.5: TP 53 FN 11 FP 2 precision 0.964 recall 0.828
t=0.1: TP 61 FN 3 FP 13 precision 0.824 recall 0.953