Wyjście i strata: softmax i entropia krzyżowa

Ostatnia warstwa sieci daje po jednej liczbie na klasę. Mogą być ujemne, mogą być ogromne i nie sumują się do niczego konkretnego. Żeby je czytać jak prawdopodobieństwa i żeby sieć miała się z czego uczyć, potrzebne są dwa klocki: softmax na wyjściu i entropia krzyżowa jako strata.

Spróbuj

• Obejrzyj wszystkie trzy cechy i zostań przy tej, której log-loss na walidacji jest poniżej 0,25. To cel labu. Liczy go na 5 częściach zbioru treningowego (398 biopsji), bez zaglądania w 171 testowych.
• Przesuń próg z 0,5 na 0,1, a potem na 0,9. Trafność się zmienia, log-loss stoi w miejscu, bo liczy się z prawdopodobieństw, zanim jakikolwiek próg je przetnie.
• Porównaj teksturę z wklęsłymi punktami: krzywa tekstury rośnie łagodnie, więc model rzadko jest pewny i często się myli.

Pomysł w prostych słowach

Surowe wyniki ostatniej warstwy to logity. Softmax robi z nich prawdopodobieństwa w dwóch ruchach: każdy logit podnosi do potęgi e, co daje liczby dodatnie, a potem dzieli przez ich sumę, więc wszystko sumuje się do 1. Kolejność zostaje: największy logit dostaje największe prawdopodobieństwo. Przy dwóch klasach softmax to dokładnie sigmoida z regresji logistycznej, którą widzisz w labie.

Entropia krzyżowa ocenia jeden przykład jedną liczbą: minus logarytm prawdopodobieństwa, które model dał prawdziwej klasie. Pewna i trafna odpowiedź (0,99) kosztuje 0,01. Niepewna (0,4) kosztuje 0,92. Pewna i błędna (0,01) kosztuje 4,61. Log-loss z kursu ML to ta sama strata dla dwóch klas.

Softmax ma też pokrętło, temperaturę: dzieli logity przez T przed potęgowaniem. W widżecie hasła Softmax dla zdania „Kot siedzi na …” słowo „parapecie” ma przy T = 1 prawdopodobieństwo 35%, a przy T = 0,1 już 95%. Niska temperatura wyostrza rozkład, wysoka go spłaszcza.

Dlaczego to działa

Spadek gradientu potrzebuje odpowiedzi na pytanie: w którą stronę przesunąć wagę, żeby strata spadła? Trafność tej odpowiedzi nie daje. Zmienia się skokami: mała zmiana wagi zwykle nie przestawia żadnej decyzji, więc trafność stoi w miejscu, a jej nachylenie wynosi zero prawie wszędzie. W kodzie niżej nachylenie trafności to 0,0, a entropii krzyżowej 0,059.

Entropia krzyżowa zmienia się płynnie przy każdej zmianie prawdopodobieństw, więc gradient jest zawsze. Do tego ma prostą postać: po logitach to po prostu prawdopodobieństwo minus prawdziwa etykieta. Im bardziej pewna pomyłka, tym większy gradient, a tym mocniej sieć poprawia wagi. Kara rośnie bez końca, gdy prawdopodobieństwo prawdziwej klasy dąży do zera, więc sieć uczy się nie być pewna bez powodu.

import numpy as np

def softmax(z, T=1.0):
    e = np.exp((z - z.max()) / T)  # odjęcie maksimum nie zmienia wyniku, chroni przed przepełnieniem
    return e / e.sum()

# entropia krzyżowa jednego przykładu: −ln(prawdopodobieństwo prawdziwej klasy)
for p in [0.99, 0.4, 0.01]:
    print(f"p(true class) = {p}: cross-entropy {-np.log(p):.2f}")

# logity „Kot siedzi na …” z widżetu softmax-temperature
z = np.array([3.1, 2.8, 2.2, 1.9, 1.5, 0.9, 0.6, -0.4])
for T in [1.0, 0.1]:
    print(f"T = {T}: top word {softmax(z, T)[0]:.0%}")

# trafność a entropia krzyżowa przy małej zmianie wagi w
x, y = np.array([-2.0, -1.0, 0.5, 1.0, 2.0]), np.array([0, 1, 0, 1, 1])
p = lambda w: 1 / (1 + np.exp(-w * x))  # neuron z sigmoidą
accuracy = lambda w: np.mean((p(w) > 0.5) == y)
cross_entropy = lambda w: -np.mean(y * np.log(p(w)) + (1 - y) * np.log(1 - p(w)))
h = 1e-3
print(f"accuracy {accuracy(1.0):.1f}, slope {(accuracy(1 + h) - accuracy(1 - h)) / (2 * h):.1f}")
print(f"cross-entropy {cross_entropy(1.0):.3f}, slope {(cross_entropy(1 + h) - cross_entropy(1 - h)) / (2 * h):.3f}")

p(true class) = 0.99: cross-entropy 0.01
p(true class) = 0.4: cross-entropy 0.92
p(true class) = 0.01: cross-entropy 4.61
T = 1.0: top word 35%
T = 0.1: top word 95%
accuracy 0.6, slope 0.0
cross-entropy 0.571, slope 0.059