Dane, cechy, etykiety i podział zbioru

Jeśli nauczycielka da klasie dokładnie te pytania, które pojawią się na sprawdzianie, i wszyscy dostaną szóstki, to co właściwie zmierzyła? Pamięć do tych pytań i nic więcej. Uczenie maszynowe ma ten sam problem za każdym razem, a rozwiązuje go zaskakująco prosto: część pytań trzyma zamkniętą w szufladzie.

Spróbuj

• Ustaw suwak udziału testu na małą wartość, a potem przesuwaj suwak ziarna przez kilka pozycji. Zobacz, jak bardzo zmienia się trafność na teście, choć model i dane są te same.
• Teraz ustaw suwak udziału testu na dużą wartość i powtórz zabawę z ziarnem. Trafność skacze bardziej czy mniej niż poprzednio?
• Zostaw ziarno w spokoju i przesuń suwak udziału testu od jednego końca do drugiego. Zauważ, jak kurczy się liczba wierszy treningowych, gdy rośnie zbiór testowy.
• Znajdź ziarno, przy którym trafność na teście jest najwyższa — i zapytaj siebie, czy wolno ci ten wynik podać.

Gdy już sprawdzisz to w labie, zobaczmy, co się tam właściwie działo.

Pomysł w prostych słowach

Prawie każdy zbiór danych w tym kursie to tabela. Każdy wiersz to jeden przykład: jeden guz, jeden pacjent, jeden pasażer, jedno wino. Każda kolumna to cecha: zmierzona właściwość, na przykład promień, ciśnienie krwi, wiek albo zawartość alkoholu. Jedna wyjątkowa kolumna zawiera etykietę — odpowiedź, którą model ma przewidzieć, na przykład „złośliwy” albo „przeżył”. Model to reguła, która z cech wiersza wyprowadza jego etykietę.

Zanim zacznie się nauka, wiersze się tasuje i dzieli. Większa część, zbiór treningowy, służy modelowi do nauki. Mniejsza, zbiór testowy, zostaje zamknięta i użyta raz, na końcu, żeby oszacować, jak model poradzi sobie z wierszami, których nigdy nie widział. To właśnie pytania w szufladzie. Ważne, żeby tasowanie było naprawdę losowe: gdyby do testu trafiły na przykład same ostatnie wiersze tabeli, a dane były posortowane według daty albo diagnozy, test sprawdzałby zupełnie inne przypadki niż te, na których model się uczył.

Wyobraź sobie kucharkę, która wymyśla nową zupę. Próbuje jej co chwilę w trakcie gotowania — to trening. Ale żeby wiedzieć, czy zupa posmakuje gościom, podaje ją kilku osobom, które jej wcześniej nie jadły i nie mają powodu być uprzejme. Ich werdykt to wynik testu. Gdyby pytała tylko siebie, zupa zawsze byłaby doskonała.

Dlaczego to działa

Zbiór testowy jest coś wart tylko dlatego, że model go nie widział. Dopóki wiersze treningowe i testowe pochodzą z tego samego źródła i zostały podzielone losowo, wiersze testowe zachowują się jak przyszłe przypadki, a trafność na teście jest uczciwym oszacowaniem przyszłej trafności.

To jednak tylko oszacowanie — i tę część początkujący słyszą rzadko. Wynik testu zależy od tego, które wiersze akurat trafiły do zbioru testowego. Potasuj dane z innym ziarnem losowania, a dostaniesz inny zbiór testowy i inny wynik — przy dokładnie tym samym modelu i tych samych danych. Przy małym zbiorze testowym wynik potrafi wyraźnie skakać, bo garstka nietypowych wierszy mocno rusza procentem. Statystyka podaje przybliżoną skalę tego chwiania. Dla trafności p zmierzonej na n wierszach testowych błąd standardowy wynosi około

SE ≈ √(p · (1 − p) / n)

więc czterokrotnie większy zbiór testowy zmniejsza chwianie tylko o połowę. Dlatego pojedynczy wynik testu nigdy nie jest całą prawdą.

Jest też kompromis. Każdy wiersz włożony do zbioru testowego to wiersz, z którego model nie może się uczyć. Ogromny zbiór testowy daje wiarygodną ocenę modelowi, który nauczył się za mało; malutki daje dobrze wyuczonemu modelowi ocenę niepewną. Zwykle do testu trafia od jednej piątej do jednej trzeciej wierszy, a następne lekcje pokażą sprytniejsze wyjścia z tego dylematu.

Częsty błąd

Najbardziej kuszący błąd to wypróbować wiele podziałów i zostawić ten z najładniejszym wynikiem. Zbiór testowy posłużył wtedy do podjęcia decyzji, więc podany wynik jest zbyt optymistyczny. Cichsza odmiana tego samego błędu to wyciek danych: informacja z wierszy testowych przedostaje się do treningu, na przykład gdy średnie do skalowania albo uzupełniania braków liczysz na całej tabeli przed podziałem. Zasada jest twarda: najpierw podział, potem wszystko inne, wyłącznie na wierszach treningowych.

Mając czysty podział, możemy wreszcie zbudować prawdziwy model. W następnej lekcji dopasujemy najprostszy z możliwych — prostą linię przez chmurę punktów.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # 10 cech „mean”, jak w labie
accs = []
for seed in range(20):  # ten sam model, 20 różnych podziałów
    Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=seed)
    model = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr)
    accs.append(model.score(Xte, yte))
n, p = len(yte), float(np.mean(accs))
print(f"test rows: {n}")
print(f"test accuracy: min {min(accs):.1%}, max {max(accs):.1%}")
print(f"standard error: {np.sqrt(p * (1 - p) / n):.1%} (n={n}), {np.sqrt(p * (1 - p) / (4 * n)):.1%} (n={4 * n})")

test rows: 171
test accuracy: min 90.6%, max 97.1%
standard error: 1.8% (n=171), 0.9% (n=684)