Wczesne zatrzymanie

Sieć neuronowa uczy się w epokach: jedna epoka to jedno przejście przez wszystkie przykłady treningowe. Po każdej epoce strata treningowa zwykle spada. Pytanie z lekcji 3.1 wraca w nowej postaci: ile epok to za dużo? Wczesne zatrzymanie odpowiada na nie zbiorem walidacyjnym: trening staje, gdy strata walidacyjna przestaje spadać, a model wraca do najlepszej epoki.

Spróbuj

• Lab startuje od etykiet czystych. Przełącz na losowe etykiety i zostaw cierpliwość 5. W której epoce trening staje, które wagi zostają i czy to najlepsza epoka całego przebiegu?
• Zwiększ cierpliwość do 10. Co zmienia się w zachowanej epoce i w trafności na teście?
• Wróć do etykiet czystych. Ile teraz kosztuje trening do końca?

Gdy już sprawdzisz to w labie, nazwijmy, co widzisz.

Pomysł w prostych słowach

Na początku treningu sieć uczy się tego, co wspólne dla wielu obrazków: kształtu zera, ósemki, siódemki. Strata treningowa i walidacyjna spadają razem. Potem sieć zaczyna dopasowywać pojedyncze przykłady, także te z błędną etykietą. Strata treningowa dalej spada, a walidacyjna zaczyna rosnąć. To przeuczenie z lekcji 3.1, tylko w osi epok zamiast liczby parametrów.

Wczesne zatrzymanie pilnuje straty walidacyjnej. Zapamiętuje epokę z najniższą stratą i liczy epoki bez poprawy. Gdy jest ich tyle, ile wynosi cierpliwość, trening staje, a sieć wraca do wag z najlepszej epoki. W labie przy cierpliwości 10 trening staje w epoce 38, a zostają wagi z epoki 28: 86,1% na teście zamiast 76,3% po 100 epokach.

Za mała cierpliwość też szkodzi. Krzywa walidacyjna drga od epoki do epoki. Przy cierpliwości 5 trening staje już w epoce 23 i zostają wagi z epoki 18 (85,0% na teście), choć najlepsza była epoka 28.

Jak to policzono

• Cyfry: Optical Recognition of Handwritten Digits, UCI, licencja CC BY 4.0. 1797 obrazków 8×8 pikseli.
• Podział warstwowy: 299 obrazków do nauki, 501 do walidacji, 997 do testu. W wersji z szumem każda etykieta treningowa z prawdopodobieństwem 20% zamieniona na losową cyfrę: zmieniło się 51 etykiet (losowa cyfra czasem trafia w prawdziwą).
• Sieć 64 → 32 → 10, ReLU, entropia krzyżowa, SGD z momentum 0,9, krok 0,05, paczki po 32 obrazki, 100 epok. Strata walidacyjna liczona po każdej epoce.
• Walidacja i test mają prawdziwe etykiety. Szum jest tylko w danych treningowych.

Dlaczego to działa

Przykład z błędną etykietą jest dla sieci trudny: obrazek wygląda jak trójka, a etykieta mówi „siedem”. Żeby zmniejszyć stratę na takim przykładzie, sieć musi nauczyć się reguły, która pasuje tylko do niego. Zwykle robi to późno, gdy łatwe, wspólne wzorce są już opanowane. W labie w epoce 28 sieć powtarza 10 z 51 błędnych etykiet, a po 100 epokach wszystkie 51. Na własnych danych treningowych ma wtedy 99,7% trafności, czyli zgadza się nawet z etykietami, które są nieprawdziwe.

Reguły dopasowane do błędnych etykiet psują odpowiedzi na nowych obrazkach. Zbiór walidacyjny ma prawdziwe etykiety, więc jego strata rośnie dokładnie wtedy, gdy sieć zaczyna uczyć się szumu. Dlatego to ona, a nie strata treningowa, mówi, kiedy przestać.

To nie jest przypadek jednego przebiegu. W kodzie niżej ten sam eksperyment idzie na 10 innych podziałach i losowaniach szumu w scikit-learn: najlepsza epoka wypada między 13 a 23, a trening do 100 epok obniża trafność testową w każdym z 10 przebiegów, średnio z 87,2% do 76,4%. Najlepsza epoka labu (28) leży poza tym zakresem, bo zależy też od wag startowych i kolejności paczek: ta sama sieć z labu z 9 innymi ziarnami losowymi wypada najlepiej między epoką 12 a 25, a trening do 100 epok za każdym razem obniża trafność testową.

Częsty błąd

Prawda czy fałsz: „dłuższy trening zawsze daje lepszy model”. Fałsz. Dłuższy trening zawsze lepiej dopasowuje dane treningowe, ale nie nowe dane. Przy losowych etykietach 100 epok daje 99,7% trafności na treningu i 76,3% na teście, podczas gdy zatrzymanie w epoce 28 daje 86,1% na teście.

Uwaga w drugą stronę: przy czystych etykietach trening do końca prawie nic nie psuje. Najlepsza strata walidacyjna przypada na epokę 30 (93,9% na teście), a po 100 epokach trafność wynosi 94,5%. Wczesne zatrzymanie nie zawsze ratuje trafność, ale zawsze oszczędza czas i chroni przed sytuacją, w której dane są gorsze, niż myślisz.

import copy
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import log_loss

X, y = load_digits(return_X_y=True)
X = X / 16
def run(seed):  # 300 cyfr do nauki, 500 do walidacji, pozostałe 997 do testu
    used, te = train_test_split(np.arange(len(y)), train_size=800, stratify=y, random_state=seed)
    tr, va = train_test_split(used, test_size=500, stratify=y[used], random_state=seed)
    rng = np.random.default_rng(seed)
    noisy = y[tr].copy()
    flip = rng.random(len(tr)) < 0.2  # 20% etykiet treningowych zamienionych na losową cyfrę
    noisy[flip] = rng.integers(0, 10, flip.sum())
    net = MLPClassifier(hidden_layer_sizes=(32,), solver="sgd", learning_rate_init=0.05, momentum=0.9, batch_size=32, alpha=0, random_state=seed)
    best, best_loss = None, np.inf
    for epoch in range(1, 101):
        net.partial_fit(X[tr], noisy, classes=np.arange(10))
        loss = log_loss(y[va], net.predict_proba(X[va]), labels=np.arange(10))
        if loss < best_loss:
            best, best_loss, best_epoch = copy.deepcopy(net), loss, epoch  # wczesne zatrzymanie zachowuje wagi z najlepszej epoki
    return best_epoch, best.score(X[te], y[te]), net.score(X[te], y[te])
r = np.array([run(s) for s in range(10)])
print(f"10 splits and noise draws: lowest validation loss at epoch {r[:, 0].min():.0f} to {r[:, 0].max():.0f}; test at that epoch {r[:, 1].mean():.1%}, after 100 epochs {r[:, 2].mean():.1%}; lower after 100 in {(r[:, 2] < r[:, 1]).sum()} of 10")

10 splits and noise draws: lowest validation loss at epoch 13 to 23; test at that epoch 87.2%, after 100 epochs 76.4%; lower after 100 in 10 of 10