Validierung und Kreuzvalidierung

In der letzten Lektion haben wir den besten Grad des Polynoms gewählt, indem wir in die Testdaten gespäht haben. Das wirkte harmlos, aber überleg, was es bedeutet: Wir haben mehrere Modelle ausprobiert und das behalten, das den Testdaten am besten gefiel. Die Testdaten sind keine ungesehene Prüfung mehr – sie sind zu einer Jury geworden, die wir bei der Vorbereitung befragt haben. Wie wählen wir Einstellungen, ohne unsere einzige ehrliche Messung zu verderben? Probier es zuerst selbst aus, bevor du die Erklärung liest.

Probier es aus

• Stell den k-Regler auf den kleinsten Wert und lies die Genauigkeit jedes Folds ab. Wie verschieden sind die Folds voneinander?
• Erhöhe den k-Regler Schritt für Schritt. Beobachte Mittelwert und Streuung und achte darauf, dass jeder Fold jetzt weniger Weine enthält.
• Such bei einem großen k nach Folds mit ungewöhnlich niedriger oder hoher Genauigkeit. Wenn ein Fold nur eine Handvoll Weine enthält, verschiebt ein einziger Fehler seinen Wert stark.
• Vergleiche die Streuung mit den Unterschieden zwischen Einstellungen, die du vielleicht abstimmen möchtest. Ist ein kleiner Gewinn im Mittelwert größer als die Streuung?

Die Idee in einfachen Worten

Die erste Lösung ist ein dritter Datenstapel. Teile die Zeilen in Trainings-, Validierungs- und Testdaten auf. Trainiere Kandidatenmodelle auf den Trainingsdaten, vergleiche sie auf den Validierungsdaten, wähle den Sieger und öffne erst dann, ein einziges Mal, die Testdaten, um den endgültigen Wert zu berichten. Die Validierungsdaten fangen das ganze Spähen ab, damit die Testdaten es nicht müssen.

Das Problem: Jede Aufteilung kostet Daten. Bei einem kleinen Datensatz bleiben bei Validierungsdaten, die groß genug für einen verlässlichen Wert sind, zu wenige Zeilen fürs Training übrig, und Lektion 2 hat gezeigt, dass kleine Datenmengen einen sprunghaften Wert liefern. Die Kreuzvalidierung löst das, indem sie die Daten geschickt wiederverwendet.

Stell dir vor, du beurteilst eine neue Köchin. Ein einziges Gericht verrät wenig: Vielleicht war es ihr bestes, vielleicht ihr schlechtestes. Also lässt du dir an verschiedenen Tagen mehrere Gerichte kochen und schaust auf den Durchschnitt und darauf, wie stark sie schwanken. Die Kreuzvalidierung macht dasselbe mit einem Modell.

Warum es funktioniert

Bei der k-fachen Kreuzvalidierung werden die Daten (ohne die endgültigen Testdaten) in k gleich große Teile zerlegt, die Folds heißen. Das Modell wird k-mal trainiert. Jedes Mal wird ein Fold zur Validierung zurückgehalten, und die übrigen k − 1 Folds dienen dem Training. Am Ende wurde jede Zeile genau einmal zur Validierung und k − 1-mal zum Training benutzt. Jeder Trainingslauf sieht diesen Anteil der Daten:

Trainingsanteil = (k − 1) / k

Das Ergebnis ist nicht ein Wert, sondern k Werte, einer pro Fold. Ihr Mittelwert ist eine verlässlichere Schätzung als jede einzelne Aufteilung, weil er nicht von einer glücklichen oder unglücklichen Aufteilung der Zeilen abhängt. Ihre Streuung ist genauso wertvoll: Sie zeigt, wie stark der Wert davon abhängt, welche Zeilen das Modell zufällig bekommen hat. Zwei Modelle, deren Mittelwerte sich um weniger als diese Streuung unterscheiden, lassen sich nicht wirklich auseinanderhalten.

Die Wahl von k ist ein Kompromiss. Ein kleines k (etwa 2) trainiert jedes Modell nur auf der Hälfte der Daten, also ist jedes schwächer als das, das du am Ende baust, und die Schätzung fällt pessimistisch aus. Ein großes k trainiert auf fast allen Daten, aber jeder Fold ist klein, sodass die einzelnen Fold-Werte verrauschter werden, und die Rechnung dauert k-mal so lange wie eine einzelne Anpassung. Werte von 5 oder 10 sind ein gängiger Kompromiss.

Das Beispiel in dieser Lektion ist der Wine-Datensatz: 178 Weine aus derselben Region Italiens, gekeltert aus drei verschiedenen Rebsorten und jeweils beschrieben durch 13 Ergebnisse einer chemischen Analyse. Die Aufgabe ist, die drei Rebsorten auseinanderzuhalten.

Häufiger Fehler

Die Kreuzvalidierung schützt dich nur, wenn alles, was aus Daten gelernt wird, innerhalb jedes Folds geschieht. Wenn du Merkmale skalierst oder die „besten“ Merkmale zuerst auf allen Zeilen auswählst und danach kreuzvalidierst, sind Informationen aus den Validierungs-Folds bereits ins Training gesickert, und die Werte sind zu optimistisch. Der zweite Fehler ist, Dutzende Einstellungen per Kreuzvalidierung abzustimmen und den besten kreuzvalidierten Wert als Endergebnis zu berichten. Nach so vielen Vergleichen hat der Sieger teils einfach Glück gehabt; deshalb zählen separate Testdaten, die nur einmal benutzt werden, nach wie vor.

Mit ehrlicher Bewertung im Werkzeugkasten können wir mächtigere Modelle erkunden, ohne uns selbst zu täuschen. In der nächsten Lektion lernen wir das am leichtesten lesbare von ihnen kennen: den Entscheidungsbaum.

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_wine(return_X_y=True)
model = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=5))  # der Scaler wird in jedem Fold neu angepasst
for k in (2, 10):
    runs = [cross_val_score(model, X, y, cv=StratifiedKFold(k, shuffle=True, random_state=s)) for s in range(20)]
    gap = np.mean([a.max() - a.min() for a in runs])
    print(f"k={k:2d}: mean accuracy {np.mean(runs):.3f}, average worst-to-best gap {gap:.3f}")

k= 2: mean accuracy 0.956, average worst-to-best gap 0.020
k=10: mean accuracy 0.966, average worst-to-best gap 0.113