Głęboka sieć: gdy sygnał nie dociera

Skalarny szkic zanikającego gradientu w numpy: jeden sygnał przez 10 warstw z tanh, z jednym wzmocnieniem w na każdej warstwie. Do tego granica dla pochodnych sigmoidy, trzy łańcuchy sigmoid z różnymi wagami i wariancja sygnału przy Xavierze i He:

import numpy as np

# jeden sygnał przez 10 warstw: zwykła h <- tanh(w*h), ze skrótem h <- h + tanh(w*h)
w, depth = 0.58, 10  # 0.58 ≈ sqrt(1/3): typowe wzmocnienie warstwy po inicjalizacji jak w PyTorch
for name, skip in [("plain", False), ("residual", True)]:
    h, grad = 1.0, 1.0
    for _ in range(depth):
        local = w * (1 - np.tanh(w * h) ** 2)   # pochodna tanh(w*h) po h
        grad *= 1 + local if skip else local    # reguła łańcuchowa: mnożymy lokalne pochodne
        h = h + np.tanh(w * h) if skip else np.tanh(w * h)
    print(f"{name:8s}: signal {h:.3g}, gradient dh10/dh0 = {grad:.3g}")

# pochodne sigmoidy dają razem najwyżej 0.25 ** 20; cały gradient mnoży się jeszcze przez wagi
print(f"sigmoid, 20 layers: derivative factor at most x{0.25 ** 20:.2g}")
sigmoid = lambda z: 1 / (1 + np.exp(-z))
for w, b in [(1, 0), (6, -3), (6, 0)]:  # 10 warstw h <- sigmoid(w*h + b), start h = 0.5
    h, grad = 0.5, 1.0
    for _ in range(10):
        s = sigmoid(w * h + b)
        grad *= w * s * (1 - s)                 # waga razy pochodna sigmoidy
        h = s
    print(f"sigmoid, 10 layers, w={w}, b={b}: dh10/dh0 = {grad:.3g}, signal {h:.3g}")

# wariancja sygnału w 20 warstwach ReLU po 32 neurony: ReLU zeruje połowę, więc warstwa mnoży ją przez n * var_w / 2
n = 32
for name, var_w in [("Xavier", 2 / (n + n)), ("He", 2 / n)]:
    print(f"{name:6s}: x{n * var_w / 2:.2f} per layer, x{(n * var_w / 2) ** 20:.2g} after 20 layers")

Wynik

plain   : signal 0.00371, gradient dh10/dh0 = 0.00274
residual: signal 10, gradient dh10/dh0 = 2.31
sigmoid, 20 layers: derivative factor at most x9.1e-13
sigmoid, 10 layers, w=1, b=0: dh10/dh0 = 3.48e-07, signal 0.659
sigmoid, 10 layers, w=6, b=-3: dh10/dh0 = 57.7, signal 0.5
sigmoid, 10 layers, w=6, b=0: dh10/dh0 = 1.39e-17, signal 0.997
Xavier: x0.50 per layer, x9.5e-07 after 20 layers
He    : x1.00 per layer, x1 after 20 layers

Szkic na jednej liczbie daje ten sam rząd wielkości co prawdziwa sieć w labie: gradient warstwy 1 bez skrótów rzędu 10⁻³, ze skrótami powyżej 1. Ze skrótem sygnał w przód rośnie, bo każda warstwa coś do niego dodaje. Dlatego w praktyce skróty idą w parze z normalizacją. Granica 0,25²⁰ dotyczy samych pochodnych. Łańcuch sigmoid z wagą 1 traci jeszcze więcej niż 0,25¹⁰. Z wagą 6 i biasem −3 sygnał siedzi w środku sigmoidy i gradient rośnie 57,7 razy. Z wagą 6 bez biasu sigmoida się nasyca i zostaje 1,4·10⁻¹⁷. Uruchomione w numpy 2.1.3.

Pobierz notebook (.ipynb). Otwórz go w Jupyterze albo wgraj do Google Colab; brakujące dane pobierze sam.