Lineare Regression: eine Gerade anpassen

Sagt das Körpergewicht etwas darüber aus, wie schnell sich eine Krankheit verschlimmert? Ärztinnen und Ärzte haben viele solche Vermutungen. Maschinelles Lernen macht aus einer Vermutung eine Zahl: Zieh die beste Gerade durch die Daten und lies ab, wie steil sie ist. Die einzige Frage ist, was „beste“ heißt – und die Antwort darauf ist der Keim von allem, was in diesem Kurs folgt. Probier es zuerst selbst aus, bevor du die Erklärung liest.

Probier es aus

• Bewege den Regler für die Steigung und beobachte, wie sich die Gerade neigt und der MSE ändert. Bewege dann den Regler für den Achsenabschnitt. Versuch, den MSE von Hand so weit wie möglich zu senken.
• Drück auf Beste Anpassung und vergleiche die Gerade nach der Methode der kleinsten Quadrate mit deiner. Wie nah bist du herangekommen?
• Stell die Steigung auf null, sodass die Gerade waagerecht liegt, und bewege nur den Achsenabschnitt, bis der MSE so klein wie möglich ist. Du hast gerade den durchschnittlichen Krankheitsverlauf gefunden: Ohne Merkmal ist der Mittelwert die beste Schätzung für alle.
• Vergleiche den MSE dieser waagerechten Geraden mit dem MSE der besten Anpassung. Der Unterschied ist das, was das Wissen um den BMI wert ist.

Die Idee in einfachen Worten

In Lektion 1 hat das Modell mit „ja“ oder „nein“ geantwortet. Jetzt antwortet es mit einer Zahl; das nennt man Regression. Das einfachste Regressionsmodell ist eine Gerade:

Vorhersage = Steigung × Merkmal + Achsenabschnitt

Die Steigung sagt, wie stark sich die Vorhersage ändert, wenn das Merkmal um eine Einheit wächst. Der Achsenabschnitt verschiebt die ganze Gerade nach oben oder unten. Lernen heißt, die beiden Zahlen zu finden, mit denen die Gerade so nah wie möglich an den Datenpunkten vorbeiläuft.

Stell dir einen Gebrauchtwagenhändler vor, der Autos nach ihrem Alter bepreist. Seine Faustregel ist eine Gerade: Er startet bei einem Preis für einen Neuwagen (dem Achsenabschnitt) und zieht für jedes Jahr einen festen Betrag ab (die Steigung). Kein echtes Auto wird genau zu diesem Preis verkauft, aber die Gerade fängt den Trend ein und ist leicht zu erklären.

In dieser Lektion nutzen wir Daten aus einer klassischen medizinischen Studie mit 442 Diabetespatienten. Für jeden kennen wir den Body-Mass-Index (BMI) und ein Maß dafür, wie weit die Krankheit ein Jahr nach dem ersten Besuch fortgeschritten ist. Jeder Patient ist also ein Zahlenpaar und damit ein Punkt: BMI nach rechts, Krankheitsverlauf nach oben.

Warum es funktioniert

Für jeden Patienten macht die Gerade eine Vorhersage, und die Lücke zwischen dem echten Wert und der Vorhersage heißt Residuum – der senkrechte Abstand vom Punkt zur Geraden. Um eine Gerade zu bewerten, müssen wir Hunderte von Residuen zu einer Zahl verdichten. Die Standardwahl ist die mittlere quadratische Abweichung (Mean Squared Error, MSE):

MSE = (1/n) · Σ (yᵢ − ŷᵢ)²

Dabei ist yᵢ der echte Wert für Patient i, ŷᵢ die Vorhersage der Geraden und n die Zahl der Patienten. Das Quadrieren erledigt zwei Aufgaben. Es macht jeden Fehler positiv, sodass sich Abweichungen oberhalb und unterhalb der Geraden nicht gegenseitig aufheben. Und es bestraft große Fehler viel stärker als kleine: Ein Punkt, der doppelt so weit von der Geraden entfernt ist, kostet viermal so viel. Eine Gerade, die bei allen ein wenig danebenliegt, schlägt meist eine Gerade, die bei den meisten perfekt und bei einigen katastrophal falsch ist.

Die Gerade mit dem kleinsten MSE heißt Lösung nach der Methode der kleinsten Quadrate. Bei einer Geraden muss man sie nicht einmal suchen: Eine kurze Formel, bekannt seit dem frühen 19. Jahrhundert, liefert die exakt beste Steigung und den besten Achsenabschnitt. Beachte, was das bedeutet. Lernen folgt demselben Rezept wie vorher – eine Familie von Regeln (alle möglichen Geraden), eine Bewertung (der MSE) und die Regel mit der besten Bewertung –, nur ist die Familie jetzt unendlich groß und die Bewertung stetig.

Noch etwas fällt auf: Selbst die beste Gerade lässt in diesen Daten große Residuen übrig. Der BMI hängt mit dem Krankheitsverlauf zusammen, erzählt aber bei Weitem nicht die ganze Geschichte. Ein Modell kann nur so gut sein wie die Information in seinen Merkmalen.

Häufiger Fehler

Eine angepasste Gerade ist kein Naturgesetz. Wer das vergisst, macht zwei klassische Fehler. Der erste ist, die Steigung als Ursache zu lesen: Patienten mit höherem BMI haben in diesen Daten im Schnitt einen schnelleren Verlauf, aber die Gerade allein kann nicht sagen, ob das Gewicht den Verlauf verursacht oder ob beides von etwas Drittem abhängt. Der zweite ist die Extrapolation – die Gerade weit außerhalb des Datenbereichs zu benutzen. Die Patienten dieser Studie haben BMI-Werte in einem begrenzten Bereich; über Werte, die sie nie gesehen hat, sagt die Gerade nichts Verlässliches.

Die beste Gerade per Formel zu finden, ist ein Luxus, den die meisten Modelle nicht haben. In der nächsten Lektion finden wir dieselbe Gerade auf anderem Weg – mit kleinen Schritten bergab –, und genau so lernen neuronale Netze.

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
bmi = X[["bmi"]]  # ein Merkmal, als Tabelle belassen (sklearn erwartet 2-D-Eingabe)
model = LinearRegression().fit(bmi, y)
pred = model.predict(bmi)

print(f"slope {model.coef_[0]:.2f}, intercept {model.intercept_:.1f}")
print(f"MSE of the line: {mean_squared_error(y, pred):.0f}")
print(f"MSE of the mean: {mean_squared_error(y, [y.mean()] * len(y)):.0f}")
print(f"R2: {r2_score(y, pred):.2f}")

slope 10.23, intercept -117.8
MSE of the line: 3890
MSE of the mean: 5930
R2: 0.34