Regresja liniowa: dopasowanie prostej

Czy masa ciała mówi coś o tym, jak szybko postępuje choroba? Lekarze mają mnóstwo takich przeczuć. Uczenie maszynowe pozwala zamienić przeczucie w liczbę: narysować najlepszą prostą przez dane i odczytać, jak bardzo jest nachylona. Zostaje tylko pytanie, co znaczy „najlepsza” — a odpowiedź na nie to zalążek wszystkiego, co dalej w tym kursie.

Spróbuj

• Przesuń suwak nachylenia i patrz, jak prosta się przechyla, a MSE zmienia. Potem przesuń suwak wyrazu wolnego. Spróbuj ręcznie zejść z MSE jak najniżej.
• Naciśnij Najlepsze dopasowanie i porównaj prostą najmniejszych kwadratów ze swoją. Jak blisko byłeś?
• Ustaw suwak nachylenia na zero, żeby prosta była pozioma, i ruszaj tylko wyrazem wolnym, aż MSE będzie najmniejsze. Właśnie znalazłeś średni postęp choroby: bez żadnej cechy najlepszym strzałem dla każdego jest średnia.
• Porównaj MSE tej poziomej prostej z MSE najlepszego dopasowania. Różnica to tyle, ile jest warta wiedza o BMI.

Gdy już sprawdzisz to w labie, zobaczmy, co się tam właściwie działo.

Pomysł w prostych słowach

W lekcji 1 model odpowiadał „tak” albo „nie”. Teraz odpowiada liczbą i to nazywamy regresją. Najprostszy model regresji to prosta:

przewidywanie = nachylenie × cecha + wyraz wolny

Nachylenie mówi, o ile zmienia się przewidywanie, gdy cecha rośnie o jedną jednostkę. Wyraz wolny przesuwa całą prostą w górę albo w dół. Uczenie polega na znalezieniu dwóch liczb, przy których prosta przechodzi jak najbliżej punktów.

Pomyśl o handlarzu używanymi samochodami, który wycenia auta według wieku. Jego reguła na oko to prosta: zaczyna od ceny nowego auta (wyraz wolny) i za każdy rok odejmuje stałą kwotę (nachylenie). Żadne prawdziwe auto nie sprzedaje się dokładnie za tyle, ale prosta łapie trend i łatwo ją wytłumaczyć.

W tej lekcji korzystamy z danych z klasycznego badania 442 pacjentów z cukrzycą. Dla każdego znamy wskaźnik masy ciała (BMI) i miarę tego, jak bardzo choroba postąpiła rok po pierwszej wizycie. Każdy pacjent to więc para liczb, czyli jeden punkt: BMI w poziomie, postęp choroby w pionie.

Dlaczego to działa

Dla każdego pacjenta prosta daje przewidywanie, a różnicę między prawdziwą wartością a przewidywaną nazywamy resztą — to pionowa odległość punktu od prostej. Żeby ocenić prostą, trzeba zamienić setki reszt w jedną liczbę. Standardowo używa się błędu średniokwadratowego:

MSE = (1/n) · Σ (yᵢ − ŷᵢ)²

gdzie yᵢ to prawdziwa wartość dla pacjenta i, ŷᵢ to przewidywanie prostej, a n to liczba pacjentów. Podnoszenie do kwadratu załatwia dwie sprawy. Każde pudło staje się dodatnie, więc chybienia nad prostą i pod nią nie mogą się znosić. I duże pudła kosztują dużo więcej niż małe: punkt dwa razy dalej od prostej kosztuje cztery razy więcej. Prosta, która trochę myli się dla wszystkich, zwykle wygrywa z taką, która dla większości jest idealna, a dla kilku osób fatalna.

Prostą o najmniejszym MSE nazywamy dopasowaniem metodą najmniejszych kwadratów. Dla prostej nie trzeba jej nawet szukać: krótki wzór, znany od początku XIX wieku, daje dokładnie najlepsze nachylenie i wyraz wolny. Zauważ, co to oznacza. Uczenie to ten sam przepis co wcześniej — rodzina reguł (wszystkie możliwe proste), ocena (MSE) i reguła z najlepszą oceną — tylko teraz rodzina jest nieskończona, a ocena ciągła.

I jeszcze jedno: nawet najlepsza prosta zostawia w tych danych duże reszty. BMI wiąże się z postępem choroby, ale daleko mu do pełnej historii. Model może być najwyżej tak dobry jak informacja zawarta w jego cechach.

Częsty błąd

Dopasowana prosta to nie prawo natury. Z zapominania o tym biorą się dwa klasyczne błędy. Pierwszy to czytanie nachylenia jako przyczyny: w tych danych pacjenci z wyższym BMI przeciętnie szybciej się pogarszają, ale sama prosta nie powie, czy to masa ciała powoduje postęp choroby, czy oba zjawiska wynikają z czegoś trzeciego. Drugi to ekstrapolacja — używanie prostej daleko poza zakresem danych. Pacjenci w tym badaniu mają BMI w ograniczonym przedziale; o wartościach, których nie widziała, prosta nie mówi nic wiarygodnego.

Znalezienie najlepszej prostej ze wzoru to luksus, na który większość modeli nie może sobie pozwolić. W następnej lekcji znajdziemy tę samą prostą inaczej — małymi krokami w dół — i właśnie tak uczą się sieci neuronowe.

from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
bmi = X[["bmi"]]  # jedna cecha, ale jako tabela (sklearn chce danych 2-D)
model = LinearRegression().fit(bmi, y)
pred = model.predict(bmi)

print(f"slope {model.coef_[0]:.2f}, intercept {model.intercept_:.1f}")
print(f"MSE of the line: {mean_squared_error(y, pred):.0f}")
print(f"MSE of the mean: {mean_squared_error(y, [y.mean()] * len(y)):.0f}")
print(f"R2: {r2_score(y, pred):.2f}")

slope 10.23, intercept -117.8
MSE of the line: 3890
MSE of the mean: 5930
R2: 0.34