Przeuczenie: gdy model uczy się na pamięć

Dwoje uczniów szykuje się do matury z matematyki. Jedna przerabia idee stojące za zadaniami. Drugi wkuwa na pamięć odpowiedzi do wszystkich arkuszy z poprzednich lat, słowo w słowo. Na starych arkuszach drugi jest bezbłędny. Potem przychodzi prawdziwy egzamin z nowymi liczbami. Na kogo stawiasz? Modele stoją przed dokładnie tym wyborem, a zostawiony sam sobie elastyczny model chętnie zostanie tym drugim uczniem.

Spróbuj

• Zacznij od stopnia 1 i zanotuj oba błędy. Potem podnoś suwak stopnia o jeden krok i patrz, jak spada błąd treningowy.
• Idź dalej i obserwuj błąd testowy. Znajdź stopień, przy którym jest najmniejszy — to najlepsze miejsce dla tej próbki.
• Przesuń suwak stopnia na maksimum. Spójrz na krzywą między punktami: czy to wciąż rozsądny opis tego, jak BMI wiąże się z postępem choroby?
• Porównaj różnicę między błędem treningowym a testowym przy najniższym i najwyższym stopniu. Rosnąca różnica to odcisk palca przeuczenia.

Gdy już sprawdzisz to w labie, zobaczmy, co się tam właściwie działo.

Pomysł w prostych słowach

W lekcji 3 dopasowaliśmy prostą. Prosta jest sztywna: nie wygnie się za krzywą, nawet gdy dane wyraźnie się wyginają. Wielomian to bardziej elastyczna rodzina krzywych:

ŷ = w₀ + w₁x + w₂x² + … + w_d·x^d

Stopień d steruje elastycznością. Stopień 1 to prosta; stopień 2 może się raz wygiąć; wyższe stopnie mogą falować coraz bardziej. Przy wystarczająco wysokim stopniu wielomian przejdzie przez każdy punkt treningowy.

Brzmi jak sukces, ale prawdziwe dane zawierają szum — przypadkową zmienność, której nie wyjaśnia żadna cecha. Dwoje pacjentów z tym samym BMI nie choruje identycznie. Model na tyle giętki, żeby trafić w każdy punkt, uczy się nie tylko trendu, ale też szumu, czyli przypadków tej konkretnej próbki. To jest przeuczenie: model coraz lepiej pasuje do danych treningowych, a jego przewidywania dla nowych danych się pogarszają. Odwrotna porażka, model zbyt sztywny, żeby uchwycić prawdziwy wzorzec, to niedouczenie.

Przykład spoza medycyny: model kredytowy „odkrywa” w danych treningowych, że klienci z jednego konkretnego kodu pocztowego zawsze spłacają raty — bo akurat trafiło się ich trzech i wszyscy spłacili. To nie jest wiedza o świecie, tylko przypadek, który elastyczny model wziął za regułę. Na nowych klientach z tego kodu reguła nie ma żadnej mocy.

Dlaczego to działa

Weźmy małą losową próbkę pacjentów z cukrzycą z lekcji 3 i podzielmy ją na punkty treningowe i testowe. Mała próbka ułatwia zobaczenie efektu, bo kilka nietypowych punktów potrafi mocno zepchnąć giętką krzywą z kursu.

Prześledźmy, co dzieje się z dwoma błędami, gdy stopień rośnie. Błąd treningowy ciągle spada: bardziej giętka krzywa zawsze poradzi sobie co najmniej tak samo dobrze z punktami, do których ją dopasowano, bo może naśladować każdą prostszą krzywą. Błąd testowy zachowuje się inaczej. Najpierw też spada, bo dodatkowa elastyczność łapie prawdziwą strukturę. Potem, od pewnego stopnia, zaczyna rosnąć, bo krzywa wygina się już za pojedynczymi punktami treningowymi, a te wygięcia są złe dla wszystkich innych. Wychodzi słynny kształt litery U.

Ten mechanizm ma nazwę: kompromis między obciążeniem a wariancją. Sztywny model ma duże obciążenie — myli się systematycznie, jakąkolwiek próbkę zobaczy. Bardzo giętki model ma dużą wariancję — wylosuj trochę inną próbkę, a dostaniesz zupełnie inną krzywą. Najlepszy model leży pośrodku: na tyle giętki, żeby iść za sygnałem, i na tyle sztywny, żeby ignorować szum. Gdzie leży ten punkt, zależy od ilości danych: przy większej liczbie punktów szum się uśrednia i większa elastyczność staje się bezpieczna.

Częsty błąd

Podstawowy błąd to wybieranie złożoności modelu według błędu treningowego. Błąd treningowy zawsze nagradza elastyczność, więc zawsze zagłosuje za najbardziej złożonym modelem — za uczniem, który wkuwa. Drugi błąd to przekonanie, że przeuczenie jest rzadkie albo egzotyczne. To domyślne zachowanie każdego elastycznego modelu na ograniczonych danych, a to obejmuje drzewa decyzyjne, sieci neuronowe i większość tego, co zbudujesz. Lekarstwem nie jest unikanie elastycznych modeli, tylko ich kontrolowanie: prostsze modele, więcej danych albo regularyzacja, która karze skrajne wagi.

W tym rozumowaniu kryje się haczyk: najlepszy stopień wskazaliśmy, patrząc na błąd testowy, a przed tym właśnie ostrzegała lekcja 2. W następnej lekcji nauczymy się uczciwie wybierać ustawienia — za pomocą walidacji i walidacji krzyżowej.

import numpy as np
from sklearn.datasets import load_diabetes

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
x, y = X["bmi"].to_numpy(), y.to_numpy()
perm = np.random.default_rng(0).permutation(len(x))
tr, te = perm[:30], perm[30:]
te = te[(x[te] >= x[tr].min()) & (x[te] <= x[tr].max())]  # zostajemy w zakresie danych treningowych
rmse = lambda i, p: np.sqrt(np.mean((y[i] - p(x[i])) ** 2))
for deg in (1, 3, 10):
    p = np.polynomial.Polynomial.fit(x[tr], y[tr], deg)  # dopasowanie na przeskalowanym x, więc stopień 10 jest stabilny
    print(f"degree {deg:2d}: train RMSE {rmse(tr, p):6.1f}, test RMSE {rmse(te, p):6.1f}")

degree  1: train RMSE   61.6, test RMSE   63.5
degree  3: train RMSE   60.9, test RMSE   63.8
degree 10: train RMSE   54.7, test RMSE  199.5