Daten, Merkmale, Labels und Aufteilung

Wenn eine Lehrerin der Klasse genau die Fragen gibt, die in der Abschlussprüfung drankommen, und alle die volle Punktzahl erreichen – was hat die Prüfung dann gemessen? Das Gedächtnis für diese Fragen, sonst nichts. Maschinelles Lernen steht jedes Mal vor demselben Problem, und die Lösung ist überraschend einfach: Ein Teil der Fragen bleibt in der Schublade eingeschlossen. Probier es zuerst selbst aus, bevor du die Erklärung liest.

Probier es aus

• Stell den Regler für den Testanteil auf einen kleinen Wert und schieb dann den Seed-Regler durch mehrere Positionen. Beobachte, wie stark sich die Testgenauigkeit ändert, obwohl Modell und Daten gleich bleiben.
• Stell jetzt den Testanteil auf einen großen Wert und wiederhole das Seed-Experiment. Springt die Testgenauigkeit stärker oder schwächer als vorher?
• Lass den Seed fest und schieb den Testanteil von einem Ende zum anderen. Achte darauf, wie die Zahl der Trainingszeilen schrumpft, während die Testdaten wachsen.
• Such den Seed mit der besten Testgenauigkeit – und frag dich dann, ob du diese Zahl berichten dürftest.

Die Idee in einfachen Worten

Fast jeder Datensatz in diesem Kurs ist eine Tabelle. Jede Zeile ist ein Beispiel: ein Tumor, eine Patientin, ein Passagier, ein Wein. Jede Spalte ist ein Merkmal (Feature): eine gemessene Eigenschaft wie ein Radius, ein Blutdruck, ein Alter oder ein Alkoholgehalt. Eine besondere Spalte enthält das Label – die Antwort, die das Modell vorhersagen soll, etwa „bösartig“ oder „überlebt“. Ein Modell ist eine Regel, die die Merkmale einer Zeile auf ihr Label abbildet.

Bevor gelernt wird, werden die Zeilen gemischt und aufgeteilt. Der größere Teil, die Trainingsdaten, ist das, woraus das Modell lernt. Der kleinere Teil, die Testdaten, wird weggeschlossen und erst ganz am Ende einmal benutzt, um abzuschätzen, wie das Modell bei Zeilen abschneidet, die es nie gesehen hat. Er spielt die Rolle der Fragen in der Schublade.

Stell dir eine Köchin vor, die eine neue Suppe entwickelt. Beim Kochen probiert sie ständig – das ist das Training. Aber um zu wissen, ob die Suppe den Gästen schmeckt, serviert sie sie ein paar Leuten, die sie noch nie probiert haben und keinen Grund haben, höflich zu sein. Deren Urteil ist der Testwert. Würde sie nur sich selbst fragen, fände sie die Suppe immer perfekt.

Warum es funktioniert

Die Testdaten sind nur deshalb nützlich, weil das Modell sie nie gesehen hat. Solange Trainings- und Testzeilen aus derselben Quelle stammen und zufällig aufgeteilt wurden, verhalten sich die Testzeilen wie künftige Fälle, und die Testgenauigkeit ist eine faire Schätzung der künftigen Genauigkeit.

Aber eben nur eine Schätzung – und diesen Teil hören Anfänger selten. Der Testwert hängt davon ab, welche Zeilen zufällig in den Testdaten gelandet sind. Misch die Daten mit einem anderen Zufallsstartwert (Seed), und du bekommst andere Testdaten und einen anderen Wert – mit genau demselben Modell und denselben Daten. Bei kleinen Testdaten kann der Wert spürbar springen, weil eine Handvoll ungewöhnlicher Zeilen den Prozentsatz stark beeinflusst. Die Statistik liefert eine grobe Größe für dieses Wackeln. Für eine Genauigkeit p, gemessen an n Testzeilen, beträgt der Standardfehler etwa

SE ≈ √(p · (1 − p) / n)

Viermal so viele Testzeilen halbieren das Wackeln also nur. Deshalb ist ein einzelner Testwert nie die ganze Wahrheit.

Dazu kommt ein Zielkonflikt. Jede Zeile, die du in die Testdaten steckst, ist eine Zeile, aus der das Modell nicht lernen kann. Sehr große Testdaten geben eine verlässliche Note für ein Modell, das aus zu wenig gelernt hat; winzige Testdaten geben einem gut trainierten Modell eine unzuverlässige Note. Üblich ist, zwischen einem Fünftel und einem Drittel der Zeilen für den Test zu reservieren, und die nächsten Lektionen zeigen geschicktere Auswege aus diesem Dilemma.

Häufiger Fehler

Der verlockendste Fehler ist, viele Aufteilungen auszuprobieren und die mit dem schönsten Testwert zu behalten. Dann wurden die Testdaten für eine Entscheidung benutzt, und der berichtete Wert ist zu optimistisch. Eine leisere Variante desselben Fehlers heißt Data Leakage (Datenleck): Informationen aus den Testzeilen sickern ins Training, etwa wenn man Mittelwerte zum Skalieren oder zum Auffüllen fehlender Werte auf der ganzen Tabelle berechnet, bevor man aufteilt. Die Regel ist streng: zuerst aufteilen, dann alles Weitere nur mit den Trainingszeilen erledigen.

Mit einer sauberen Aufteilung können wir endlich ein echtes Modell bauen. In der nächsten Lektion passen wir das einfachste an, das es gibt – eine Gerade durch eine Punktwolke.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # die 10 „mean“-Merkmale, wie im Lab
accs = []
for seed in range(20):  # dasselbe Modell, 20 verschiedene Aufteilungen
    Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=seed)
    model = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr)
    accs.append(model.score(Xte, yte))
n, p = len(yte), float(np.mean(accs))
print(f"test rows: {n}")
print(f"test accuracy: min {min(accs):.1%}, max {max(accs):.1%}")
print(f"standard error: {np.sqrt(p * (1 - p) / n):.1%} (n={n}), {np.sqrt(p * (1 - p) / (4 * n)):.1%} (n={4 * n})")

test rows: 171
test accuracy: min 90.6%, max 97.1%
standard error: 1.8% (n=171), 0.9% (n=684)