Braki danych

W lekcji 4.1 patrzyliśmy na dane, zanim powstał model. Dziś to, czego w danych nie ma. Brak danych to pusta komórka w tabeli: ktoś nie zmierzył, nie zapisał albo nie chciał podać. Większość modeli nie przyjmie pustej komórki, więc trzeba coś z nią zrobić. Są dwa proste wyjścia: usunąć wiersz albo wpisać w lukę jakąś wartość, co nazywa się uzupełnianiem braków.

Spróbuj

• Zacznij od pingwinów. Ilu pingwinom brakuje płci, a ilu pomiarów? Czy to te same wiersze?
• Model ma przewidywać masę z trzech pozostałych pomiarów. Czy płeć jest mu potrzebna? Ile pingwinów zostanie, jeśli usuniesz tylko wiersze bez kolumn modelu?
• Przejdź do cukrzycy. BMI brakuje tu u najcięższych pacjentów. Wpisz w lukę średnią: czy związek BMI z postępem choroby osłabnie, czy się wzmocni?
• Dodaj kolumnę „brak” i porównaj R² w walidacji krzyżowej. Potem przełącz na losowych pacjentów. Co się zmienia?

Gdy już sprawdzisz to w labie, nazwijmy, co widzisz.

Pomysł w prostych słowach

Usunięcie wiersza z brakiem jest proste, ale kosztuje. W pingwinach wiersze z jakimkolwiek brakiem to 11 z 344, więc zostaje 333. Model przewidujący masę z pomiarów dzioba i płetwy nie czyta płci. Jeśli usuniesz tylko wiersze, którym brakuje kolumn modelu, zostaje 342. Usuwaj z powodu kolumn, których naprawdę używasz.

Ważniejsze jest pytanie, komu brakuje danych. W zbiorze cukrzycy BMI ma każdy z 442 pacjentów, więc lab ukrywa je celowo u 110 z nich. Raz losowo, raz u 110 najcięższych, czyli u wszystkich z BMI co najmniej 29,4. Taki brak nie jest przypadkowy. Pacjenci bez BMI mają średni postęp choroby 209, a pozostali 133. Sam fakt, że BMI brakuje, mówi więc coś o pacjencie.

Gdy w lukę wpiszesz średnią z pozostałych pacjentów (24,3), 110 osób z największym postępem ląduje przy przeciętnym BMI. Korelacja BMI z postępem choroby spada z 0,586 do 0,352: związek słabnie. Prosta modelu wcale nie robi się płaska, bo wyznaczają ją pacjenci z BMI; słabnie dopasowanie, bo 110 wpisanych punktów leży daleko od prostej. R² regresji liniowej w walidacji krzyżowej spada z 0,328 do 0,106. Pomaga dodatkowa kolumna 0/1 „BMI brakowało”. Model dostaje wtedy wagę 76 punktów postępu za sam brak, a R² wraca do 0,284. Przy brakach losowych ta kolumna nic nie daje: 0,264 wobec 0,267 przy samej średniej.

Jak to policzono

• Pingwiny: Palmer Penguins (Gorman, Williams i Fraser, 2014; pakiet palmerpenguins: Horst, Hill i Gorman, 2020), licencja CC0. 344 wiersze, braki prawdziwe: płeć u 11 (Adelie 6, Gentoo 5), cztery pomiary u 2 tych samych pingwinów.
• Cukrzyca: Diabetes (Efron, Hastie, Johnstone i Tibshirani, 2004), w scikit-learn na licencji BSD-3-Clause. 442 pacjentów, postęp choroby po roku. BMI jest w danych u wszystkich, a braki u 110 pacjentów zrobiliśmy sami: losowo albo u 110 o największym BMI.
• Model: regresja liniowa postępu choroby na BMI (przy kolumnie braku na BMI i tej kolumnie), walidacja krzyżowa na 5 części powtórzona 10 razy. Średnia do wpisania liczona z pacjentów z BMI; w walidacji krzyżowej w każdym podziale tylko z części treningowej, jak SimpleImputer w pipeline'ie.

Dlaczego to działa

Wpisana średnia leży w środku osi BMI, a należy do pacjentów z jej prawego końca. Ich postęp choroby jest wysoki, więc po wpisaniu powstaje pionowy słupek wysokich punktów nad przeciętnym BMI. Taki słupek nie dodaje nic do wspólnej zmienności BMI i postępu. W porównaniu z samymi pacjentami z BMI (korelacja 0,459) dokłada tylko zmienności postępowi, więc korelacja spada do 0,352. W porównaniu z pełnymi danymi (0,586) tych 110 pacjentów traci swój wkład do wspólnej zmienności: mieli wysokie BMI i wysoki postęp, a teraz stoją w środku osi. Odchylenie standardowe BMI maleje z 4,4 do 2,3, bo 110 wartości siedzi w jednym punkcie.

Usunięcie tych pacjentów też nie ratuje sprawy. Zostaje chmura bez prawego końca, a korelacja na pozostałych 332 to 0,459 zamiast 0,586. Do tego dla 110 pacjentów model nie da żadnej odpowiedzi. Kolumna braku działa, bo daje modelowi osobną wagę dla grupy, której BMI nie znamy. Ta grupa różni się postępem choroby, więc waga przenosi tę różnicę do przewidywań. Gdy brak jest losowy, grupa bez BMI nie różni się od reszty (156 wobec 151) i waga nie ma czego przenieść.

Częsty błąd

Prawda czy fałsz: „braki wypełnij średnią i po sprawie”. Fałsz. Średnia zaniża rozrzut kolumny i udaje, że braku nie było. Gdy brak zależy od samej wartości, jak tu u najcięższych, średnia wykrzywia związek: korelacja spada z 0,586 do 0,352, a R² z 0,328 do 0,106. Kolumna „brak” przywraca R² do 0,284. W kodzie niżej wygrywa z samą średnią w 48 z 50 części walidacyjnych.

Średnia i usuwanie wierszy są w porządku, gdy braki są nieliczne i losowe. Najpierw jednak sprawdź, czy wiersze z brakiem różnią się od reszty.

import numpy as np
import pandas as pd
from sklearn.datasets import load_diabetes
from sklearn.model_selection import cross_val_score, RepeatedKFold
from sklearn.linear_model import LinearRegression
from sklearn.impute import SimpleImputer
from sklearn.pipeline import make_pipeline

df = pd.read_csv("data/raw/penguins.csv")
gaps = df.isna().sum()
print(f"{len(df)} penguins; missing: " + ", ".join(f"{c} {n}" for c, n in gaps[gaps > 0].items()))
measured = df.dropna(subset=["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"])  # usuń tylko wiersze bez kolumn modelu
print(f"dropna() leaves {len(df.dropna())}; dropping only rows without measurements leaves {len(measured)}")
X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
bmi, y = X.bmi.to_numpy(), y.to_numpy()
heavy = bmi >= np.sort(bmi)[-110]  # 110 najcięższych: BMI co najmniej 29,4
rnd = np.zeros(len(bmi), bool)
rnd[np.random.default_rng(0).choice(len(bmi), 110, replace=False)] = True  # 110 losowych
cv = RepeatedKFold(n_splits=5, n_repeats=10, random_state=0)
r2 = lambda model, Z: cross_val_score(model, Z, y, cv=cv, scoring="r2")
print(f"{len(bmi)} patients, BMI vs progression: r {np.corrcoef(bmi, y)[0, 1]:.3f}, CV R2 {r2(LinearRegression(), bmi[:, None]).mean():.3f}")
for name, miss in [("random", rnd), ("heaviest", heavy)]:
    hidden = np.where(miss, np.nan, bmi)[:, None]
    filled = np.where(miss, bmi[~miss].mean(), bmi)  # średnia liczona tylko z pacjentów z BMI
    mean_r2 = r2(make_pipeline(SimpleImputer(), LinearRegression()), hidden)  # średnia liczona w każdym podziale tylko z jego części treningowej
    flag_r2 = r2(make_pipeline(SimpleImputer(add_indicator=True), LinearRegression()), hidden)  # druga kolumna: 1 = BMI brakowało
    print(f"BMI hidden for 110 {name}: progression {y[miss].mean():.0f} vs {y[~miss].mean():.0f}; mean fill: r {np.corrcoef(filled, y)[0, 1]:.3f}, CV R2 {mean_r2.mean():.3f}; mean + flag: CV R2 {flag_r2.mean():.3f}")
print(f"heaviest: mean + flag beats the mean alone in {(flag_r2 > mean_r2).sum()} of 50 folds")

344 penguins; missing: bill_length_mm 2, bill_depth_mm 2, flipper_length_mm 2, body_mass_g 2, sex 11
dropna() leaves 333; dropping only rows without measurements leaves 342
442 patients, BMI vs progression: r 0.586, CV R2 0.332
BMI hidden for 110 random: progression 159 vs 150; mean fill: r 0.503, CV R2 0.241; mean + flag: CV R2 0.239
BMI hidden for 110 heaviest: progression 209 vs 133; mean fill: r 0.352, CV R2 0.112; mean + flag: CV R2 0.289
heaviest: mean + flag beats the mean alone in 48 of 50 folds