Walidacja i walidacja krzyżowa

W poprzedniej lekcji wybraliśmy najlepszy stopień wielomianu, zerkając na zbiór testowy. Wydawało się to niewinne, ale pomyśl, co to znaczy: wypróbowaliśmy kilka modeli i zostawiliśmy ten, który zbiór testowy lubił najbardziej. Zbiór testowy nie jest już nieznanym egzaminem — stał się sędzią, którego radziliśmy się w trakcie przygotowań. Jak wybierać ustawienia, nie psując jedynego uczciwego pomiaru?

Spróbuj

• Ustaw suwak k na najmniejszą wartość i odczytaj trafność każdego foldu. Jak bardzo foldy różnią się między sobą?
• Podnoś suwak k krok po kroku. Obserwuj średnią i rozrzut i zauważ, że w każdym foldzie jest teraz mniej win.
• Przy dużym k poszukaj foldów z wyjątkowo niską albo wysoką trafnością. Gdy w foldzie jest tylko garstka win, jedna pomyłka mocno rusza jego wynikiem.
• Porównaj rozrzut z różnicami między ustawieniami, które chciałbyś stroić. Czy mały zysk w średniej jest większy niż rozrzut?

Gdy już sprawdzisz to w labie, zobaczmy, co się tam właściwie działo.

Pomysł w prostych słowach

Pierwsze rozwiązanie to trzecia kupka danych. Dzielimy wiersze na zbiór treningowy, walidacyjny i testowy. Kandydatów trenujemy na treningowym, porównujemy na walidacyjnym, wybieramy zwycięzcę i dopiero wtedy otwieramy zbiór testowy, raz, żeby podać końcowy wynik. Zbiór walidacyjny przyjmuje na siebie całe zerkanie, więc testowy nie musi.

Kłopot w tym, że każdy podział kosztuje dane. Przy małym zbiorze zbiór walidacyjny na tyle duży, żeby był wiarygodny, zostawia za mało do nauki, a lekcja 2 pokazała, że mały zbiór daje rozchwiany wynik. Walidacja krzyżowa rozwiązuje to, sprytnie używając tych samych danych wiele razy.

Wyobraź sobie ocenianie nowej kucharki. Jedno danie mówi niewiele: może było jej najlepsze, może najgorsze. Prosisz więc o kilka dań w różne dni i patrzysz na średnią i na to, jak bardzo się różnią. Walidacja krzyżowa robi to samo z modelem: zamiast jednego egzaminu urządza kilka, za każdym razem na innych pytaniach, i dopiero z całej serii wyciąga wniosek.

Dlaczego to działa

W k-krotnej walidacji krzyżowej dane (bez końcowego zbioru testowego) tnie się na k równych części, zwanych foldami. Model trenuje się k razy. Za każdym razem jeden fold odkłada się do walidacji, a pozostałe k − 1 służą do treningu. Na koniec każdy wiersz był w walidacji dokładnie raz, a w treningu k − 1 razy. Każdy trening widzi taką część danych:

część treningowa = (k − 1) / k

Wynikiem nie jest jedna ocena, tylko k ocen, po jednej na fold. Ich średnia jest pewniejszym oszacowaniem niż pojedynczy podział, bo nie zależy od jednego szczęśliwego albo pechowego podziału wierszy. Ich rozrzut jest równie cenny: pokazuje, jak bardzo wynik zależy od tego, które wiersze model akurat dostał. Dwóch modeli, których średnie różnią się mniej niż ten rozrzut, nie da się naprawdę odróżnić.

Wybór k to kompromis. Przy małym k (powiedzmy 2) każdy model uczy się tylko na połowie danych, więc jest słabszy od tego, który na koniec zbudujesz, a oszacowanie jest pesymistyczne. Przy dużym k model uczy się prawie na wszystkim, ale każdy fold jest mały, więc oceny poszczególnych foldów są bardziej rozchwiane, a obliczenia trwają k razy dłużej niż jedno dopasowanie. Częstym kompromisem jest 5 albo 10.

Przykładem w tej lekcji jest zbiór Wine: 178 win z tego samego regionu Włoch, zrobionych z trzech różnych odmian winorośli, każde opisane 13 wynikami analizy chemicznej. Zadanie polega na rozróżnieniu tych trzech odmian.

Częsty błąd

Walidacja krzyżowa chroni cię tylko wtedy, gdy wszystko, czego uczysz się z danych, dzieje się wewnątrz każdego foldu. Jeśli najpierw skalujesz cechy albo wybierasz „najlepsze” cechy na wszystkich wierszach, a dopiero potem robisz walidację krzyżową, informacja z foldów walidacyjnych już przeciekła do treningu i wyniki są zbyt optymistyczne. Drugi błąd to strojenie dziesiątek ustawień walidacją krzyżową i podanie najlepszego wyniku jako końcowego. Po tylu porównaniach zwycięzca miał też trochę szczęścia; dlatego osobny zbiór testowy, użyty raz, wciąż ma znaczenie.

Z uczciwą oceną w zestawie narzędzi możemy badać mocniejsze modele, nie oszukując samych siebie. W następnej lekcji poznamy najbardziej czytelny z nich: drzewo decyzyjne.

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_wine(return_X_y=True)
model = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=5))  # skaler jest dopasowywany od nowa w każdym foldzie
for k in (2, 10):
    runs = [cross_val_score(model, X, y, cv=StratifiedKFold(k, shuffle=True, random_state=s)) for s in range(20)]
    gap = np.mean([a.max() - a.min() for a in runs])
    print(f"k={k:2d}: mean accuracy {np.mean(runs):.3f}, average worst-to-best gap {gap:.3f}")

k= 2: mean accuracy 0.956, average worst-to-best gap 0.020
k=10: mean accuracy 0.966, average worst-to-best gap 0.113