Przeuczenie w sieciach: dropout i wczesne zatrzymanie

W kursie ML przeuczenie wyglądało tak: model zna dane treningowe lepiej niż nowe. Sieć ma tyle wag, że potrafi zapamiętać każdy przykład. Dwa najczęstsze hamulce w sieciach to dropout i wczesne zatrzymanie. Oba należą do regularyzacji: ograniczają dopasowanie do treningu w nadziei, że wynik na nowych danych wzrośnie. Ta nadzieja wymaga sprawdzenia.

Spróbuj

• Lab startuje bez dropoutu: trening 100,0%, test 93,3%, luka 6,7 pkt proc. Klikaj kolejne p. Cel: po 30 epokach znajdź p z najmniejszą luką i sprawdź, co się stało z testem.
• Porównaj w tabeli kolumnę „test”. Między p = 0, 0,2 i 0,5 różnice to pojedyncze cyfry.
• Przesuń suwak epok w lewo. Zobacz, kiedy trening odrywa się od testu.

Pomysł w prostych słowach

Dropout w każdym kroku treningu wyłącza losowo ułamek p neuronów ukrytych. Za każdym razem uczy się więc trochę inna, cieńsza sieć. Żaden neuron nie może liczyć na to, że sąsiad zawsze będzie obecny, więc wiedza rozkłada się na wiele neuronów. Przy ocenie działają wszystkie.

Żeby sygnał w treningu i przy ocenie miał tę samą skalę, ocalałe neurony mnoży się w treningu przez 1/(1 − p). To odwrócony dropout: w kodzie średnia po wszystkich maskach daje dokładnie te same aktywacje co sieć bez dropoutu.

Dlaczego to działa

Sieć z 64 neuronami ukrytymi ma 2⁶⁴ możliwych masek. Dropout przypomina uczenie wielu cieńszych sieci ze wspólnymi wagami i uśrednianie ich przy ocenie. Uśrednienie wielu modeli zwykle uogólnia lepiej niż jeden, jak las losowy z kursu ML.

Dropout nie dodaje jednak informacji o cyfrach. Zmienia tylko to, jak sieć uczy się tych samych 299 przykładów. W labie najlepsze p daje 1 cyfrę więcej. Na pięciu startach wag najlepszy dropout wygrywa z brakiem dropoutu najwyżej o 4 cyfry z 359.

Wczesne zatrzymanie znasz z kursu ML (lekcja 3.6) i z rozgrzewki: przy 20% błędnych etykiet trening do 100 epok obniża test z 86,1% do 76,3%. Sieć zatrzymana po stracie walidacyjnej wraca do najlepszych wag. W sieciach działa to tak samo, bo to ten sam spadek gradientu, epoka po epoce.

Dla ciekawych

Luka nie zawsze rośnie z wielkością sieci. Bardzo duże sieci potrafią mieć 100% na treningu i mimo to dobrze uogólniać, a błąd testowy bywa niemonotoniczny względem liczby wag. To podwójne zejście, opisane w haśle Atlasu.

import numpy as np
from itertools import product

# odwrócony dropout na 4 neuronach ukrytych: każdy wyłączony z prawdopodobieństwem p, ocalałe razy 1/(1-p)
h, p = np.array([0.8, 0.0, 1.5, 0.3]), 0.5
masks = np.array(list(product([0, 1], repeat=4)))  # wszystkie 16 masek, każda równie prawdopodobna przy p = 0.5
outs = masks * h / (1 - p)
print("one mask (1, 0, 1, 0):", " ".join(f"{v:.2f}" for v in outs[10]))
print("mean over 16 masks:   ", " ".join(f"{v:.2f}" for v in outs.mean(axis=0)))
print("without dropout:      ", " ".join(f"{v:.2f}" for v in h))

# wyniki labu po 30 epokach: trafione cyfry z 299 treningowych i z 359 testowych
ps = np.array([0, 0.2, 0.5, 0.8])
train = np.array([299, 299, 298, 281]) / 299
test = np.array([335, 335, 336, 324]) / 359
gap = train - test
for q, g, t in zip(ps, gap, test):
    print(f"p = {q:.1f}: gap {100 * g:3.1f} pp, test {100 * t:.1f}%")
print(f"smallest gap: p = {ps[gap.argmin()]:.1f}, best test: p = {ps[test.argmax()]:.1f}")

one mask (1, 0, 1, 0): 1.60 0.00 3.00 0.00
mean over 16 masks:    0.80 0.00 1.50 0.30
without dropout:       0.80 0.00 1.50 0.30
p = 0.0: gap 6.7 pp, test 93.3%
p = 0.2: gap 6.7 pp, test 93.3%
p = 0.5: gap 6.1 pp, test 93.6%
p = 0.8: gap 3.7 pp, test 90.3%
smallest gap: p = 0.8, best test: p = 0.5