Überanpassung: Wenn ein Modell auswendig lernt

Zwei Schüler bereiten sich auf eine Matheklausur vor. Der eine arbeitet die Ideen hinter den Aufgaben durch. Der andere lernt die Lösungen aller alten Klausuren Wort für Wort auswendig. Bei den alten Klausuren ist der zweite fehlerlos. Dann kommt die echte Klausur mit neuen Zahlen. Auf wen setzt du? Modelle stehen genau vor dieser Wahl, und sich selbst überlassen wird ein flexibles Modell bereitwillig zum zweiten Schüler. Probier es zuerst selbst aus, bevor du die Erklärung liest.

Probier es aus

• Fang bei Grad 1 an und notiere beide Fehler. Erhöhe dann den Grad-Regler Schritt für Schritt und beobachte, wie der Trainingsfehler fällt.
• Mach weiter und behalte den Testfehler im Blick. Finde den Grad, bei dem er am kleinsten ist – das ist der Sweet Spot für diese Stichprobe.
• Schieb den Grad-Regler auf das Maximum. Sieh dir die Kurve zwischen den Punkten an: Beschreibt sie noch sinnvoll, wie der BMI mit dem Krankheitsverlauf zusammenhängt?
• Vergleiche die Lücke zwischen Trainings- und Testfehler beim niedrigsten und beim höchsten Grad. Eine wachsende Lücke ist der Fingerabdruck der Überanpassung.

Die Idee in einfachen Worten

In Lektion 3 haben wir eine Gerade angepasst. Eine Gerade ist steif: Sie kann sich keiner Kurve anschmiegen, selbst wenn die Daten deutlich gekrümmt sind. Ein Polynom ist eine flexiblere Familie von Kurven:

ŷ = w₀ + w₁x + w₂x² + … + w_d·x^d

Der Grad d steuert die Flexibilität. Grad 1 ist die Gerade; Grad 2 kann eine Biegung machen; höhere Grade können sich immer stärker schlängeln. Mit genügend hohem Grad läuft ein Polynom durch jeden einzelnen Trainingspunkt.

Das klingt nach Erfolg, aber echte Daten enthalten Rauschen – zufällige Schwankungen, die kein Merkmal erklärt. Zwei Patienten mit demselben BMI haben nicht denselben Krankheitsverlauf. Ein Modell, das flexibel genug ist, jeden Punkt zu treffen, lernt nicht nur den Trend, sondern auch das Rauschen, also die Zufälle genau dieser Stichprobe. Das ist Überanpassung (Overfitting): Das Modell passt immer besser zu den Trainingsdaten, während seine Vorhersagen für neue Daten schlechter werden. Das umgekehrte Versagen, ein Modell, das zu steif ist, um das echte Muster zu erfassen, heißt Unteranpassung (Underfitting).

Warum es funktioniert

Nehmen wir eine kleine Zufallsstichprobe der Diabetespatienten aus Lektion 3 und teilen sie in Trainings- und Testpunkte auf. Eine kleine Stichprobe macht den Effekt gut sichtbar, weil ein paar ungewöhnliche Punkte eine flexible Kurve weit vom Kurs abbringen können.

Verfolgen wir, was mit den beiden Fehlern passiert, wenn der Grad steigt. Der Trainingsfehler sinkt immer weiter: Eine flexiblere Kurve kann auf den Punkten, an die sie angepasst wird, immer mindestens so gut sein, weil sie jede einfachere Kurve nachahmen kann. Der Testfehler verhält sich anders. Zuerst fällt er ebenfalls, weil die zusätzliche Flexibilität echte Struktur einfängt. Ab einem bestimmten Grad steigt er dann wieder, weil sich die Kurve nun verbiegt, um einzelnen Trainingspunkten nachzujagen, und diese Biegungen für alle anderen falsch sind. Das Ergebnis ist die berühmte U-Form des Testfehlers.

Der Grund hat einen Namen: das Bias-Varianz-Dilemma. Ein steifes Modell hat einen hohen Bias – es liegt systematisch daneben, egal welche Stichprobe es sieht. Ein sehr flexibles Modell hat eine hohe Varianz – zieh eine leicht andere Stichprobe, und du bekommst eine völlig andere Kurve. Das beste Modell liegt dazwischen: flexibel genug, um dem Signal zu folgen, und steif genug, um das Rauschen zu ignorieren. Wo dieser Punkt liegt, hängt davon ab, wie viele Daten du hast: Mit mehr Daten mittelt sich das Rauschen heraus, und mehr Flexibilität wird ungefährlich.

Häufiger Fehler

Der grundlegende Fehler ist, die Komplexität eines Modells nach dem Trainingsfehler zu wählen. Der Trainingsfehler belohnt immer mehr Flexibilität, also stimmt er immer für das komplexeste Modell – den auswendig lernenden Schüler. Der zweite Fehler ist anzunehmen, Überanpassung sei selten oder exotisch. Sie ist das Standardverhalten jedes flexiblen Modells bei begrenzten Daten, und das betrifft Entscheidungsbäume, neuronale Netze und das meiste, was du bauen wirst. Die Abhilfe ist nicht, flexible Modelle zu meiden, sondern sie zu zügeln: einfachere Modelle, mehr Daten oder Regularisierung, die extreme Gewichte bestraft.

In dieser Überlegung steckt ein Haken: Wir haben den besten Grad gewählt, indem wir auf den Testfehler geschaut haben – genau davor hat Lektion 2 gewarnt. In der nächsten Lektion lernen wir, Einstellungen ehrlich zu wählen, mit Validierung und Kreuzvalidierung.

import numpy as np
from sklearn.datasets import load_diabetes

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
x, y = X["bmi"].to_numpy(), y.to_numpy()
perm = np.random.default_rng(0).permutation(len(x))
tr, te = perm[:30], perm[30:]
te = te[(x[te] >= x[tr].min()) & (x[te] <= x[tr].max())]  # innerhalb des Trainingsbereichs bleiben
rmse = lambda i, p: np.sqrt(np.mean((y[i] - p(x[i])) ** 2))
for deg in (1, 3, 10):
    p = np.polynomial.Polynomial.fit(x[tr], y[tr], deg)  # passt auf ein umskaliertes x an, deshalb ist Grad 10 stabil
    print(f"degree {deg:2d}: train RMSE {rmse(tr, p):6.1f}, test RMSE {rmse(te, p):6.1f}")

degree  1: train RMSE   61.6, test RMSE   63.5
degree  3: train RMSE   60.9, test RMSE   63.8
degree 10: train RMSE   54.7, test RMSE  199.5