Lernkurven: mehr Daten oder ein besseres Modell?

In Lektion 3.1 war das Modell zu einfach oder zu komplex, bei gleicher Datenmenge. Heute änderst du die Datenmenge. Das ist eine Alltagsfrage der Praxis: Das Modell ist mittelmäßig, also mehr Beispiele sammeln oder das Modell wechseln? Die Antwort gibt eine Lernkurve: der Wert auf Training und Validierung, gezeichnet für eine immer größere Trainingsmenge.

Probier es aus

• Schiebe beim detaillierten Modell den Regler von 50 auf 1438 Bilder. Welche Kurve ändert sich stärker: Training oder Validierung?
• Wechsle zum Modell der unscharfen Ziffern. Wo treffen sich seine Kurven, und wie hoch?
• Vergleiche das detaillierte Modell mit 100 Bildern und das unscharfe mit 1438. Welches gewinnt?

Wenn du es im Labor geprüft hast, benennen wir, was du siehst.

Die Idee in einfachen Worten

Eine Lernkurve sind zwei Linien: die Genauigkeit auf den Trainingsdaten und auf der Validierung, abhängig von der Zahl der Trainingsbeispiele. Bei ein paar Dutzend Bildern lernt das Modell jedes auswendig: Das Training hat 100 %, die Validierung 82,3 %. Je mehr Daten, desto schwerer ist es, alles auswendig zu lernen: Das Training fällt (auf 98,0 %), die Validierung steigt (auf 95,8 %). Die Lücke zwischen ihnen schrumpft von 17,7 auf 2,2 Prozentpunkte.

Aus der Form dieser Linien liest du die Entscheidung ab:

• Große Lücke, die Validierung steigt noch (hohe Varianz): Das Modell kennt seine Trainingsdaten viel besser als neue Daten. Mehr Daten helfen, ebenso Regularisierung.
• Kleine Lücke, beide Linien niedrig (hoher Bias): Das Modell ist zu einfach. Die Kurven haben sich getroffen, und mehr Daten helfen kaum. Ein reicheres Modell oder bessere Merkmale helfen.

Das Modell der unscharfen Ziffern sieht jede Ziffer als Bild von 4 × 4, also 16 Pixel statt 64. Mit 1438 Bildern hat es 86,9 % im Training und 85,0 % in der Validierung, eine Lücke von nur 1,9 Prozentpunkten. Die Validierung steigt meist nicht über das Training, und das hat nur 86,9 %. Das detaillierte Modell erreicht schon mit 100 Bildern 87,6 %.

Jak to policzono

• Ziffern: Optical Recognition of Handwritten Digits, UCI, Lizenz CC BY 4.0. 1797 Bilder mit 8 × 8 Pixeln, 10 Ziffern.
• Eine stratifizierte 80/20-Aufteilung, dieselbe wie im Atlas-Widget: 1438 Bilder zum Lernen, 359 zur Validierung. Für jede Größe das Mittel aus 5 Ziehungen, welche Bilder zum Lernen dienen.
• Modell: logistische (Softmax-)Regression mit einer Strafe von 0,001 auf große Gewichte. Das unscharfe Modell sieht die Mittelwerte von Blöcken aus 2 × 2 Pixeln.

Warum es funktioniert

Im Training sieht das Modell die Antworten, also kann es sie bei wenig Daten auswendig lernen. Jedes neue Beispiel macht das Auswendiglernen schwerer und das Finden einer Regel leichter, die auch außerhalb des Trainings funktioniert. Darum bewegen sich die Linien aufeinander zu: das Training nach unten, die Validierung nach oben. Sie treffen sich auf dem Niveau, das dieses Modell überhaupt erreichen kann.

Dieses Niveau hängt vom Modell ab, nicht von den Daten. Ein unscharfes Bild verliert die Details, die zum Beispiel eine 3 von einer 8 unterscheiden, und keine Zahl von Beispielen bringt sie zurück. Im Code unten läuft dasselbe Experiment auf 50 verschiedenen Aufteilungen: Mit allen Daten hat das unscharfe Modell 86,4 % im Training und 85,1 % in der Validierung, das detaillierte 96,6 % in der Validierung. Das detaillierte Modell aus 100 Bildern schlägt das unscharfe aus 1437 Bildern in 49 von 50 Aufteilungen.

Häufiger Fehler

Richtig oder falsch: „Mehr Daten helfen immer.“ Falsch. Mehr Daten helfen, wenn das Modell für die Datenmenge zu stark ist: Dann ist die Lücke groß, und die Validierung steigt weiter. Ist das Modell zu einfach, treffen sich die Kurven früh und bleiben flach. Im Labor hat das unscharfe Modell mit 400 Bildern 83,6 % in der Validierung und mit einer fast viermal größeren Menge 85,0 %. Das detaillierte Modell hat mit denselben Daten 95,8 %. Bevor du für das Sammeln von Daten bezahlst, zeichne eine Lernkurve: Wenn schon der Trainingswert niedrig ist, helfen Daten nicht.

Hinweis: Zeichne die Kurven auf der Validierung oder in der Kreuzvalidierung, nicht auf dem Testdatensatz. Der Test bleibt für die Schlussbewertung.

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

X, y = load_digits(return_X_y=True)
X = X / 16  # 8 × 8 = 64 Pixel von 0 bis 1, wie im Labor
X16 = X.reshape(-1, 4, 2, 4, 2).mean(axis=(2, 4)).reshape(len(X), -1)  # dieselbe Ziffer unscharf auf 4 × 4 = 16 Pixel
def run(Z, n, seed):
    Xtr, Xva, ytr, yva = train_test_split(Z, y, test_size=0.2, stratify=y, random_state=seed)
    i = np.random.default_rng(seed).permutation(len(ytr))[:n]  # die ersten n Trainingsbilder nach dem Mischen
    m = LogisticRegression(C=1000 / n, max_iter=5000).fit(Xtr[i], ytr[i])  # C = 1000 / n ist die Strafe 0,001 aus dem Labor
    return m.score(Xtr[i], ytr[i]), m.score(Xva, yva)
for name, Z in (("64 pixels", X), ("16 pixels", X16)):
    for n in (50, 100, 400, 800, 1437):
        tr, va = np.mean([run(Z, n, s) for s in range(50)], axis=0)  # Mittel aus 50 verschiedenen Aufteilungen
        print(f"{name}, {n} images: training {tr:.1%}, validation {va:.1%}, gap {(tr - va) * 100:.1f} points")
wins = sum(run(X, 100, s)[1] > run(X16, 1437, s)[1] for s in range(50))
print(f"64 pixels from 100 images beat 16 pixels from 1437 images in {wins} of 50 splits")

64 pixels, 50 images: training 100.0%, validation 81.2%, gap 18.8 points
64 pixels, 100 images: training 100.0%, validation 89.5%, gap 10.5 points
64 pixels, 400 images: training 99.7%, validation 94.9%, gap 4.8 points
64 pixels, 800 images: training 99.0%, validation 96.0%, gap 2.9 points
64 pixels, 1437 images: training 98.2%, validation 96.6%, gap 1.6 points
16 pixels, 50 images: training 98.5%, validation 72.6%, gap 25.9 points
16 pixels, 100 images: training 94.1%, validation 79.8%, gap 14.4 points
16 pixels, 400 images: training 87.7%, validation 83.8%, gap 3.8 points
16 pixels, 800 images: training 86.9%, validation 84.6%, gap 2.3 points
16 pixels, 1437 images: training 86.4%, validation 85.1%, gap 1.3 points
64 pixels from 100 images beat 16 pixels from 1437 images in 49 of 50 splits