Funkcje aktywacji: po co zginać

Jeden neuron rysuje jedną prostą. Sieć ma ich wiele, ułożonych w warstwy, więc powinna umieć więcej. Umie, ale pod jednym warunkiem: każdy neuron musi przepuścić swoją sumę przez funkcję aktywacji. Która funkcja, ma znaczenie, i to nie tylko dla kształtu granicy, ale też dla tempa nauki.

Spróbuj

• Ustaw „Epoki treningu” na 1000 i przełączaj aktywacje. Znajdź taką, z którą strata spada poniżej 0,1. To cel labu.
• Przełącz „Co rysować” na pochodną i porównaj szczyty: sigmoida ma 0,25, tanh 1.
• Wybierz ReLU i przeczytaj pod wykresami, ile neuronów jest martwych po 1000 epokach.
• Cofnij suwak epok do 10: wszystkie pięć aktywacji mają jeszcze stratę powyżej 0,3. Różnice rosną dopiero z czasem.

Pomysł w prostych słowach

Funkcja aktywacji to krzywa, przez którą neuron przepuszcza swoją ważoną sumę. Sigmoida ściska ją do przedziału od 0 do 1, tanh do przedziału od −1 do 1. ReLU przepuszcza dodatnie bez zmian i zeruje ujemne. GELU to gładka wersja ReLU, używana w transformerach.

Po co ta krzywa? Warstwa bez aktywacji liczy przekształcenie liniowe: mnoży przez macierz wag i dodaje bias. Druga taka warstwa na wyjściu pierwszej to znowu jedno przekształcenie liniowe. Dziesięć warstw bez aktywacji daje więc to samo co jedna, a granica zostaje prostą. Aktywacja zgina wynik każdego neuronu. Dopiero wtedy warstwa ukryta składa kilka prostych w jedną zakrzywioną granicę, taką jak między dwoma księżycami.

Dlaczego to działa

Sieć uczy się spadkiem gradientu, tym samym co w kursie ML. Gradient płynie od straty wstecz przez każdy neuron i po drodze mnoży się przez pochodną jego aktywacji. Pochodna sigmoidy nigdy nie przekracza 0,25, a przy dużych wejściach prawie znika. Pochodna ReLU dla dodatnich wejść wynosi 1. Ten sam krok przy sigmoidzie przesuwa więc wagi słabiej: w labie już w pierwszym kroku gradient wag warstwy ukrytej ma normę 0,213 przy sigmoidzie, a 0,725 przy tanh.

W głębokiej sieci ten efekt się mnoży. Przez 10 warstw sigmoidy same pochodne aktywacji dają razem czynnik najwyżej 0,25 do potęgi 10, czyli około 9,5·10⁻⁷. Gradient mnoży się jednak także przez wagi. W łańcuchu pojedynczych neuronów z wagami nie większymi niż 1 cały gradient traci co najmniej tyle. Duże wagi mogą spadek odwrócić: 10 sigmoid z wagą 6 i biasem −3 mnoży gradient przez 57,7. To nie lekarstwo, bo duże wagi grożą wybuchającym gradientem albo wpychają sigmoidę w płaskie końce, gdzie pochodna prawie znika. Do obu zjawisk, zanikającego i wybuchającego gradientu, wrócimy w lekcji 7.

ReLU ma swoją cenę. Neuron, który dla każdego przykładu dostaje ujemne wejście, zawsze daje 0, a jego pochodna też jest zerem. Taki martwy neuron przestaje się uczyć. W labie po 1000 epokach martwy jest 1 z 8 neuronów ReLU. Leaky ReLU zamiast zera mnoży ujemne wejścia przez 0,01, więc gradient słabnie, ale nie znika.

import numpy as np

relu = lambda x: np.maximum(0, x)
sigmoid = lambda x: 1 / (1 + np.exp(-x))

# XOR: cztery punkty, dwa neurony ukryte z wagami ustawionymi ręcznie
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
W1, b1 = np.array([[1, 1], [1, 1]]), np.array([0, -1])
w2 = np.array([1, -2])
print("with ReLU:   ", relu(X @ W1 + b1) @ w2)  # XOR: 0 1 1 0
print("without ReLU:", (X @ W1 + b1) @ w2)       # prosta: nie da XOR

# dziesięć warstw liniowych to jedna macierz
rng = np.random.default_rng(0)
Ws = [rng.normal(size=(2, 2)) for _ in range(10)]
x = rng.normal(size=2)
h = x
for W in Ws:
    h = W @ h
M = np.linalg.multi_dot(Ws[::-1])
print("10 layers = one matrix:", np.allclose(h, M @ x))

# pochodna sigmoidy nigdy nie przekracza 0,25
z = np.linspace(-10, 10, 2001)
d = sigmoid(z) * (1 - sigmoid(z))
print(f"max sigmoid'(z) = {d.max():.2f} at z = {z[d.argmax()]:.1f}; 0.25 ** 10 = {0.25 ** 10:.1e}")

with ReLU:    [0 1 1 0]
without ReLU: [2 1 1 0]
10 layers = one matrix: True
max sigmoid'(z) = 0.25 at z = 0.0; 0.25 ** 10 = 9.5e-07