Fehlende Daten

In Lektion 4.1 haben wir die Daten angeschaut, bevor ein Modell entstand. Heute geht es um das, was in den Daten fehlt. Fehlende Daten sind eine leere Zelle in der Tabelle: Jemand hat nicht gemessen, nichts notiert oder wollte es nicht sagen. Die meisten Modelle nehmen keine leere Zelle an, also musst du etwas damit tun. Es gibt zwei einfache Auswege: die Zeile löschen oder einen Wert in die Lücke schreiben, was man Imputation fehlender Werte nennt.

Probier es aus

• Fang mit den Pinguinen an. Wie vielen fehlt das Geschlecht, wie vielen die Messungen? Sind es dieselben Zeilen?
• Das Modell soll die Körpermasse aus den drei anderen Messungen vorhersagen. Braucht es das Geschlecht? Wie viele Pinguine bleiben, wenn du nur die Zeilen ohne die Spalten des Modells löschst?
• Wechsle zu Diabetes. Hier fehlt der BMI bei den schwersten Patienten. Setze den Mittelwert in die Lücke: Wird der Zusammenhang zwischen BMI und Krankheitsverlauf schwächer oder stärker?
• Füge die Spalte „fehlt“ hinzu und vergleiche R² in der Kreuzvalidierung. Wechsle dann zu zufälligen Patienten. Was ändert sich?

Wenn du es im Lab geprüft hast, geben wir dem, was du siehst, einen Namen.

Die Idee in einfachen Worten

Eine Zeile mit Lücke zu löschen ist einfach, aber es kostet. Bei den Pinguinen sind die Zeilen mit irgendeiner Lücke 11 von 344, also bleiben 333. Ein Modell, das die Körpermasse aus Schnabel- und Flossenmaßen vorhersagt, liest das Geschlecht nie. Löschst du nur die Zeilen, denen Spalten des Modells fehlen, bleiben 342. Lösche Zeilen wegen der Spalten, die du wirklich nutzt.

Wichtiger ist die Frage, bei wem die Daten fehlen. Im Diabetes-Datensatz hat jeder der 442 Patienten einen BMI, also versteckt das Lab ihn absichtlich bei 110 von ihnen. Einmal zufällig, einmal bei den 110 schwersten, also bei allen mit einem BMI von mindestens 29,4. Eine solche Lücke ist nicht zufällig. Die Patienten ohne BMI haben einen mittleren Krankheitsverlauf von 209, die übrigen 133. Schon die Tatsache, dass der BMI fehlt, sagt etwas über den Patienten.

Wenn du den Mittelwert der anderen Patienten (24,3) in die Lücke schreibst, landen die 110 Menschen mit dem stärksten Verlauf bei einem durchschnittlichen BMI. Die Korrelation von BMI und Krankheitsverlauf fällt von 0,586 auf 0,352: Der Zusammenhang wird schwächer. Die Gerade des Modells wird dabei nicht flacher, denn sie wird von den Patienten mit BMI bestimmt; schlechter wird die Anpassung, weil die 110 eingesetzten Punkte weit von der Geraden liegen. Das R² einer linearen Regression in der Kreuzvalidierung fällt von 0,328 auf 0,106. Eine zusätzliche 0/1-Spalte „BMI fehlte“ hilft. Das Modell gibt dann der Lücke selbst ein Gewicht von 76 Punkten Verlauf, und R² steigt wieder auf 0,284. Bei zufälligen Lücken bringt diese Spalte nichts: 0,264 gegen 0,267 mit dem Mittelwert allein.

Jak to policzono

• Pinguine: Palmer Penguins (Gorman, Williams und Fraser, 2014; Paket palmerpenguins: Horst, Hill und Gorman, 2020), Lizenz CC0. 344 Zeilen, echte Lücken: Geschlecht bei 11 (Adelie 6, Gentoo 5), die vier Messungen bei denselben 2 Pinguinen.
• Diabetes: Diabetes (Efron, Hastie, Johnstone und Tibshirani, 2004), mit scikit-learn unter der Lizenz BSD-3-Clause verteilt. 442 Patienten, Krankheitsverlauf nach einem Jahr. Der BMI ist in den Daten bei allen vorhanden; die Lücken bei 110 Patienten haben wir selbst gemacht: zufällig oder bei den 110 mit dem höchsten BMI.
• Modell: lineare Regression des Krankheitsverlaufs auf den BMI (mit der Lückenspalte auf den BMI und diese Spalte), Kreuzvalidierung mit 5 Teilen, 10-mal wiederholt. Der einzusetzende Mittelwert wird aus den Patienten mit BMI berechnet, in der Kreuzvalidierung in jeder Aufteilung nur aus dem Trainingsteil, wie SimpleImputer in einer Pipeline.

Warum das funktioniert

Der eingesetzte Mittelwert liegt in der Mitte der BMI-Achse, gehört aber zu Patienten von ihrem rechten Ende. Ihr Krankheitsverlauf ist stark, also entsteht beim Einsetzen ein senkrechter Stapel hoher Punkte über einem durchschnittlichen BMI. Ein solcher Stapel trägt nichts zur gemeinsamen Streuung von BMI und Verlauf bei. Verglichen mit den Patienten mit BMI (Korrelation 0,459) fügt er nur dem Verlauf Streuung hinzu, also fällt die Korrelation auf 0,352. Verglichen mit den vollständigen Daten (0,586) verlieren diese 110 Patienten ihren Anteil an der gemeinsamen Streuung: Sie hatten einen hohen BMI und einen starken Verlauf und stehen jetzt in der Mitte der Achse. Die Standardabweichung des BMI schrumpft von 4,4 auf 2,3, weil 110 Werte in einem Punkt sitzen.

Diese Patienten zu löschen, rettet die Sache auch nicht. Übrig bleibt eine Wolke ohne ihr rechtes Ende, und die Korrelation bei den restlichen 332 beträgt 0,459 statt 0,586. Außerdem gibt das Modell für 110 Patienten gar keine Antwort. Die Lückenspalte wirkt, weil sie dem Modell ein eigenes Gewicht für die Gruppe gibt, deren BMI wir nicht kennen. Diese Gruppe unterscheidet sich im Krankheitsverlauf, also trägt das Gewicht den Unterschied in die Vorhersagen. Ist die Lücke zufällig, unterscheidet sich die Gruppe ohne BMI nicht vom Rest (156 gegen 151), und das Gewicht hat nichts zu tragen.

Ein häufiger Fehler

Wahr oder falsch: „Fülle die Lücken mit dem Mittelwert, und fertig.“ Falsch. Der Mittelwert verkleinert die Streuung der Spalte und tut so, als hätte es die Lücke nie gegeben. Hängt die Lücke vom Wert selbst ab, wie hier bei den Schwersten, verbiegt der Mittelwert den Zusammenhang: Die Korrelation fällt von 0,586 auf 0,352 und R² von 0,328 auf 0,106. Die Spalte „fehlt“ bringt R² zurück auf 0,284. Im Code unten schlägt sie den Mittelwert allein in 48 von 50 Validierungsteilen.

Mittelwert und Löschen von Zeilen sind in Ordnung, wenn Lücken selten und zufällig sind. Prüfe aber zuerst, ob sich die Zeilen mit Lücke vom Rest unterscheiden.

import numpy as np
import pandas as pd
from sklearn.datasets import load_diabetes
from sklearn.model_selection import cross_val_score, RepeatedKFold
from sklearn.linear_model import LinearRegression
from sklearn.impute import SimpleImputer
from sklearn.pipeline import make_pipeline

df = pd.read_csv("data/raw/penguins.csv")
gaps = df.isna().sum()
print(f"{len(df)} penguins; missing: " + ", ".join(f"{c} {n}" for c, n in gaps[gaps > 0].items()))
measured = df.dropna(subset=["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"])  # nur Zeilen ohne die Spalten des Modells löschen
print(f"dropna() leaves {len(df.dropna())}; dropping only rows without measurements leaves {len(measured)}")
X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
bmi, y = X.bmi.to_numpy(), y.to_numpy()
heavy = bmi >= np.sort(bmi)[-110]  # die 110 schwersten: BMI von mindestens 29,4
rnd = np.zeros(len(bmi), bool)
rnd[np.random.default_rng(0).choice(len(bmi), 110, replace=False)] = True  # 110 zufällige
cv = RepeatedKFold(n_splits=5, n_repeats=10, random_state=0)
r2 = lambda model, Z: cross_val_score(model, Z, y, cv=cv, scoring="r2")
print(f"{len(bmi)} patients, BMI vs progression: r {np.corrcoef(bmi, y)[0, 1]:.3f}, CV R2 {r2(LinearRegression(), bmi[:, None]).mean():.3f}")
for name, miss in [("random", rnd), ("heaviest", heavy)]:
    hidden = np.where(miss, np.nan, bmi)[:, None]
    filled = np.where(miss, bmi[~miss].mean(), bmi)  # der Mittelwert nur der Patienten mit BMI
    mean_r2 = r2(make_pipeline(SimpleImputer(), LinearRegression()), hidden)  # der Mittelwert wird in jeder Aufteilung nur aus ihrem Trainingsteil gelernt
    flag_r2 = r2(make_pipeline(SimpleImputer(add_indicator=True), LinearRegression()), hidden)  # zweite Spalte: 1 = BMI fehlte
    print(f"BMI hidden for 110 {name}: progression {y[miss].mean():.0f} vs {y[~miss].mean():.0f}; mean fill: r {np.corrcoef(filled, y)[0, 1]:.3f}, CV R2 {mean_r2.mean():.3f}; mean + flag: CV R2 {flag_r2.mean():.3f}")
print(f"heaviest: mean + flag beats the mean alone in {(flag_r2 > mean_r2).sum()} of 50 folds")

344 penguins; missing: bill_length_mm 2, bill_depth_mm 2, flipper_length_mm 2, body_mass_g 2, sex 11
dropna() leaves 333; dropping only rows without measurements leaves 342
442 patients, BMI vs progression: r 0.586, CV R2 0.332
BMI hidden for 110 random: progression 159 vs 150; mean fill: r 0.503, CV R2 0.241; mean + flag: CV R2 0.239
BMI hidden for 110 heaviest: progression 209 vs 133; mean fill: r 0.352, CV R2 0.112; mean + flag: CV R2 0.289
heaviest: mean + flag beats the mean alone in 48 of 50 folds