Datenleck

In Lektion 3.2 gab die Kreuzvalidierung eine ehrliche Schätzung des Modells. Ehrlich unter einer Bedingung: Nichts aus dem Testteil darf vorher das Training berühren. Wenn doch, sprechen wir von einem Datenleck. Das Modell sieht in der Validierung großartig aus und versagt im echten Einsatz. Kapoor und Narayanan sammelten Berichte anderer Forschender über Datenlecks in 294 wissenschaftlichen Arbeiten aus 17 Fachgebieten. Fangen wir mit dem saubersten Beispiel an: Daten, in denen es gar nichts zu lernen gibt.

Probier es aus

• Schiebe bei der Merkmalswahl vor dem Aufteilen k von 5 auf 50. Wie hoch steigt der Wert auf reinem Rauschen?
• Wechsle beim gleichen k zur Wahl innerhalb der Validierung. Wo landet der Balken, und wo die Punkte der 20 neuen Rauschdatensätze?
• Finde im zweiten Teil des Labors in jedem der 8 Abläufe den undichten Schritt.

Wenn du es im Labor geprüft hast, benennen wir, was du siehst.

Die Idee in einfachen Worten

Ein Datenleck ist jede Information, die das Modell im Moment einer echten Vorhersage nicht hätte und die trotzdem in sein Training oder seine Bewertung gelangt ist. Die Validierung soll die Zukunft spielen: Daten, die das Modell nie gesehen hat. Das Leck verdirbt dieses Spiel, also steigt der Wert, obwohl das Modell kein bisschen besser ist.

Im Labor gibt es unter 1000 Rauschspalten immer einige, die zufällig zu den Labels passen. Die beste hat eine Korrelation von 0,48 mit dem Label, während für Rauschen etwa 0,13 typisch ist. Die Wahl auf allen 60 Proben passt die Spalten auch an die Proben an, die später den Test spielen. Die Kreuzvalidierung prüft das Modell also auf Daten, die es schon geformt haben, und zeigt 81,7 %. Die Wahl innerhalb eines Folds sieht nur 48 Trainingsproben. Spalten, die zufällig zu ihnen passen, sagen nichts über die 12 Testproben, also fällt der Wert auf 43,3 %, innerhalb eines Münzwurfs.

Kapoor und Narayanan ordneten Datenlecks in 8 Typen in drei Gruppen:

• keine saubere Aufteilung: kein getrennter Testdatensatz, Vorverarbeitung an alle Daten angepasst, Merkmalsauswahl auf allen Daten, Duplikate auf beiden Seiten der Aufteilung;
• ein Merkmal, das du bei der Vorhersage nicht kennst, etwa die Tage im Krankenhaus, wenn das Modell die Aufnahme vorhersagen soll;
• ein Test aus einer anderen Verteilung als der Einsatz: eine zufällige Aufteilung von Zeitdaten, dieselben Personen in Training und Test, ein Test, der anders ausgewählt ist als die Daten, mit denen das Modell arbeiten wird.

Jeden davon findest du im zweiten Teil des Labors.

Jak to policzono

• Rauschen: 60 Proben, 1000 Spalten aus einer Normalverteilung, 30 Labels 0 und 30 Labels 1 in zufälliger Reihenfolge. Der Browser erzeugt es mit dem Seed 1; die Punkte sind 20 weitere Datensätze mit anderen Seeds.
• Modell: die k Spalten mit der größten Korrelation mit dem Label (im Betrag), ein Nächster-Schwerpunkt-Klassifikator, stratifizierte 5-fache Kreuzvalidierung (6 Proben jeder Klasse in jedem Fold).
• Biopsien im „Häufigen Fehler“: Breast Cancer Wisconsin (Diagnostic), UCI, Lizenz CC BY 4.0, 569 Biopsien. Typen von Datenlecks: S. Kapoor, A. Narayanan, „Leakage and the reproducibility crisis in machine-learning-based science“, Patterns, 2023.

Warum es funktioniert

Eine Bewertung ist nur ehrlich, wenn die Testdaten keine Entscheidung über das Modell beeinflusst haben. Merkmalsauswahl ist auch eine Entscheidung, genauso wie das Auffüllen fehlender Werte, das Skalieren, die Wahl einer Schwelle oder die Wahl des besten von mehreren Modellen. Hat eine davon die Test-Labels gesehen, ist der Test nicht mehr unabhängig. Je größer die Auswahl (10 Spalten aus 1000), desto mehr zufällige Anpassung geht in den Wert über.

Ein einzelner Rauschdatensatz könnte zufällig so ausfallen. Aber in keinem der 20 neuen Datensätze im Labor fällt der Wert mit Leck bei k = 10 unter 81,7 %. Im Code unten läuft dasselbe Experiment auf 50 Rauschdatensätzen in scikit-learn: Die Wahl vor dem Aufteilen ergibt im Mittel 86,4 % (mindestens 73,3 %), die Wahl in jedem Fold 50,0 %.

Häufiger Fehler

Richtig oder falsch: „Ein Datenleck ist nur das in den Merkmalen versteckte Label.“ Falsch. Im Labor enthält keine Spalte das Label, und trotzdem zeigt die Validierung 81,7 % auf reinem Rauschen. Was leckt, ist eine Entscheidung, die auf allen Daten getroffen wurde. Bei den Biopsien ergibt das Oversampling der bösartigen vor der Kreuzvalidierung eine Sensitivität von 97,1 %, das Oversampling nur in den Trainingsdaten 92,1 %, in 50 von 50 Aufteilungen. Die Kopien landen auf beiden Seiten der Aufteilung, also erkennt das Modell Biopsien, die es schon gesehen hat. Duplikate in den Daten wirken genauso, und eine zufällige Aufteilung von Zeitdaten bringt die Zukunft ins Training.

Nicht jedes Leck ist gleich gefährlich. Ein auf allen Biopsien angepasster Skalierer ändert die Genauigkeit eines Nächster-Nachbar-Modells im Mittel um 0,08 Prozentpunkte: Er sieht die Labels nicht, also trägt er sehr wenig. Merkmalsauswahl und Oversampling nutzen die Labels, also tragen sie viel. Die Regel ist eine: Passe jeden Schritt, der etwas aus den Daten lernt, nur auf dem Trainingsteil an.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.model_selection import StratifiedKFold, cross_val_score, cross_val_predict
from sklearn.neighbors import NearestCentroid, KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import recall_score

def noise(seed):  # 60 Proben x 1000 Spalten reines Rauschen, Labels 30/30 in zufälliger Reihenfolge
    rng = np.random.default_rng(seed)
    X, y = rng.normal(size=(60, 1000)), rng.permutation(np.repeat([0, 1], 30))
    cv = StratifiedKFold(5, shuffle=True, random_state=seed)
    leak = cross_val_score(NearestCentroid(), SelectKBest(f_classif, k=10).fit_transform(X, y), y, cv=cv).mean()  # 10 Spalten auf allen 60 gewählt
    honest = cross_val_score(make_pipeline(SelectKBest(f_classif, k=10), NearestCentroid()), X, y, cv=cv).mean()  # in jedem Fold gewählt
    return leak, honest
r = np.array([noise(s) for s in range(50)])
print(f"pure noise, 50 datasets: picked before the split {r[:, 0].mean():.1%} (lowest {r[:, 0].min():.1%}), inside CV {r[:, 1].mean():.1%}")

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # 1 = bösartig
knn = lambda: KNeighborsClassifier(1)
scale = []
for s in range(50):
    cv = StratifiedKFold(5, shuffle=True, random_state=s)
    before = cross_val_score(knn(), StandardScaler().fit_transform(X), y, cv=cv).mean()  # Skalierer auf allen Biopsien angepasst
    inside = cross_val_score(make_pipeline(StandardScaler(), knn()), X, y, cv=cv).mean()  # auf jedem Trainingsteil angepasst
    scale.append(abs(before - inside))
print(f"breast cancer, 1-NN, 50 splits: scaling before the split changes accuracy by {np.mean(scale) * 100:.2f} points on average")
def oversample(rows, rng):  # kopiert zufällige bösartige, bis beide Klassen gleich groß sind
    mal, ben = rows[y[rows] == 1], rows[y[rows] == 0]
    return np.r_[rows, rng.choice(mal, len(ben) - len(mal))]
rec = []
for s in range(50):
    rng, cv = np.random.default_rng(s), StratifiedKFold(5, shuffle=True, random_state=s)
    rows = oversample(np.arange(len(y)), rng)  # Kopien VOR dem Aufteilen landen auch in den Test-Folds
    before = recall_score(y[rows], cross_val_predict(make_pipeline(StandardScaler(), knn()), X[rows], y[rows], cv=cv))
    pred = np.empty(len(y))
    for tr, te in cv.split(X, y):  # Kopien nur innerhalb jedes Trainingsteils
        t = oversample(tr, rng)
        pred[te] = make_pipeline(StandardScaler(), knn()).fit(X[t], y[t]).predict(X[te])
    rec.append((before, recall_score(y, pred)))
rec = np.array(rec)
print(f"oversampling malignant before the split: recall {rec[:, 0].mean():.1%}, inside each training part: {rec[:, 1].mean():.1%}; higher before in {(rec[:, 0] > rec[:, 1]).sum()} of 50")

pure noise, 50 datasets: picked before the split 86.4% (lowest 73.3%), inside CV 50.0%
breast cancer, 1-NN, 50 splits: scaling before the split changes accuracy by 0.08 points on average
oversampling malignant before the split: recall 97.1%, inside each training part: 92.1%; higher before in 50 of 50