Einen Klassifikator bewerten: mehr als Genauigkeit

Ein Rauchmelder, der nie piept, löst nie einen falschen Feueralarm aus. Ein Rauchmelder, der bei jedem Toast losschrillt, verpasst nie ein echtes Feuer. Welcher ist der bessere? Keiner von beiden – und eine einzelne Genauigkeitszahl würde dir nicht einmal verraten, welchen du hast. In dieser Lektion geht es darum, Fehler so zu zählen, dass ihre Art sichtbar wird, nicht nur ihre Anzahl. Probier es zuerst selbst aus, bevor du die Erklärung liest.

Probier es aus

• Schieb den Schwellenwert-Regler nach links. Beobachte, wie die falsch Negativen in der Konfusionsmatrix schrumpfen und die falsch Positiven wachsen, und wie sich Recall und Präzision in entgegengesetzte Richtungen bewegen.
• Schieb den Schwellenwert-Regler nach rechts und sieh zu, wie das Gegenteil passiert. Behalte die Genauigkeit im Blick: Verrät sie dir, welche Art von Fehler du machst?
• Finde den höchsten Schwellenwert, bei dem kein bösartiger Tumor übersehen wird. Lies ab, wie viele gutartige Tumoren dort fälschlich markiert werden.
• Wähl den Schwellenwert, den du für einen Vorsorgetest nehmen würdest, und begründe ihn in einem Satz.

Die Idee in einfachen Worten

Zurück zu den 569 Brusttumoren aus Lektion 1. Ein Modell gibt jedem Tumor eine Punktzahl: Je höher sie ist, desto wahrscheinlicher ist er bösartig. Ein Schwellenwert macht aus der Punktzahl eine Entscheidung. Jede Entscheidung landet dann in einem von vier Feldern:

Diese Tabelle ist die Konfusionsmatrix (Wahrheitsmatrix). Auf der Diagonale stehen die richtigen Entscheidungen. Die beiden anderen Felder enthalten zwei sehr verschiedene Fehlerarten: Ein falsch Positiver ist ein Fehlalarm (eine gesunde Patientin wird zu weiteren Untersuchungen geschickt), ein falsch Negativer ist ein Übersehen (ein Krebs wird nach Hause geschickt).

Der Rauchmelder bringt es auf den Punkt. Der stumme Melder hat keine falsch Positiven und jede Menge falsch Negative. Der Toast-Melder hat es umgekehrt. Ein guter Melder gleicht beides danach aus, was jeder Fehler kostet.

Warum es funktioniert

Zwei Zahlen fassen die Matrix viel besser zusammen als die Genauigkeit:

Präzision = TP / (TP + FP) Recall = TP / (TP + FN)

Der Recall (Sensitivität, Trefferquote) beantwortet: Welchen Anteil aller bösartigen Tumoren haben wir erwischt? Die Präzision beantwortet: Welcher Anteil der Tumoren, die wir bösartig genannt haben, war es wirklich? Beim Recall geht es darum, nichts zu übersehen; bei der Präzision darum, nicht ständig falschen Alarm zu schlagen.

Der Schwellenwert steuert den Zielkonflikt zwischen beiden. Senkst du ihn, werden mehr Tumoren als bösartig markiert: Du erwischst mehr Krebsfälle (der Recall steigt), markierst aber auch mehr gutartige Tumoren (die Präzision sinkt meist). Erhöhst du ihn, passiert das Gegenteil. Kein Schwellenwert kann beide maximieren, es sei denn, das Modell trennt die Klassen perfekt. Einen Schwellenwert zu wählen ist daher kein technisches Detail, sondern eine Wertentscheidung: Wie viele Fehlalarme nimmst du in Kauf, um einen übersehenen Krebs zu vermeiden?

Die Genauigkeit vermischt alle vier Felder zu einer Zahl und verdeckt diese Wahl. Sie verdeckt auch unausgewogene Klassen. Da 357 der 569 Tumoren gutartig sind, liegt ein Modell, das alles für gutartig erklärt, in fast zwei Dritteln der Fälle richtig und erwischt dabei keinen einzigen Krebs – Recall null. Das ist das Genauigkeitsparadoxon: Ein Modell kann nach Genauigkeit ordentlich aussehen und für seinen eigentlichen Zweck nutzlos sein.

Häufiger Fehler

Der häufigste Fehler ist, nur die Genauigkeit zu berichten, besonders bei unausgewogenen Daten, in denen eine Klasse viel seltener ist als die andere. Der zweite ist, den Standard-Schwellenwert von 0,5 zu behalten, ohne zu fragen, was die Fehler kosten. Ein Vorsorgetest, bei dem ein Übersehen tödlich sein kann und ein Fehlalarm eine zusätzliche Untersuchung bedeutet, sollte meist einen niedrigeren Schwellenwert haben als ein Test, der eine Operation auslöst. Eine dritte Falle ist, Präzision und Recall zu verwechseln; sich die Fragen zu merken, die sie beantworten – „von denen, die ich markiert habe“ gegenüber „von denen, die es gibt“ –, hilft mehr als das Auswendiglernen von Formeln.

Bisher haben wir Modelle auf festen Testdaten bewertet. Aber ein Modell kann auf den Daten, aus denen es gelernt hat, glänzen und auf allem anderen versagen. In der nächsten Lektion lassen wir genau das absichtlich geschehen: Überanpassung.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, b = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # die 10 „mean“-Merkmale, wie im Lab
y = 1 - b  # in sklearn gilt 0 = bösartig; umdrehen, sodass 1 = bösartig
print(f"tumours {len(y)}, benign {(y == 0).sum()}, always-benign accuracy {(y == 0).mean():.3f}")
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
score = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr).predict_proba(Xte)[:, 1]
for t in (0.5, 0.1):
    flag = score >= t
    tp, fp, fn = (flag & (yte == 1)).sum(), (flag & (yte == 0)).sum(), (~flag & (yte == 1)).sum()
    print(f"t={t}: TP {tp} FN {fn} FP {fp} precision {tp / (tp + fp):.3f} recall {tp / (tp + fn):.3f}")

tumours 569, benign 357, always-benign accuracy 0.627
t=0.5: TP 53 FN 11 FP 2 precision 0.964 recall 0.828
t=0.1: TP 61 FN 3 FP 13 precision 0.824 recall 0.953