Sieci neuronowe: wiele prostych elementów razem

Regresja logistyczna z lekcji 5 umie narysować tylko prostą granicę. Drzewa rysują tylko prostokąty. A co, jeśli klasy owijają się wokół siebie? Można by próbować wymyślać właściwą krzywą ręcznie przy każdym problemie — albo zbudować model z elementów tak prostych, że każdy umie narysować tylko prostą, i pozwolić, żeby ich połączenie narysowało cokolwiek. Na tym zakładzie opierają się sieci neuronowe.

Spróbuj

• Ustaw suwak neuronów ukrytych na najmniejszą wartość i naciśnij Trenuj. Spójrz na obszary decyzji: ile prostych krawędzi widzisz?
• Zwiększ liczbę neuronów ukrytych i znowu naciśnij Trenuj. Patrz, jak granice się wyginają, i porównaj trafność.
• Ustaw suwak neuronów ukrytych na największą wartość i wytrenuj sieć. Czy obszary zaczynają się wyginać wokół pojedynczych kwiatów? Zastanów się, czy nowy kwiat w takiej zatoczce naprawdę należałby do tego gatunku.
• Spójrz na kwiaty, w których dwa gatunki na siebie zachodzą. Czy jakakolwiek granica rozdzieli je tylko na podstawie tych dwóch pomiarów?

Gdy już sprawdzisz to w labie, zobaczmy, co się tam właściwie działo.

Pomysł w prostych słowach

Sieć neuronowa składa się z małych elementów zwanych neuronami. Każdy neuron robi coś, co już znamy: liczy ważoną sumę wejść, dodaje wyraz wolny i przepuszcza wynik przez prostą funkcję zginającą, zwaną funkcją aktywacji. Pojedynczy neuron to prawie regresja logistyczna; dzieli płaszczyznę jedną prostą.

Neurony układa się w warstwy. Wejścia (tutaj dwa pomiary kwiatu) trafiają do warstwy ukrytej, w której każdy neuron rysuje własną prostą i melduje, jak daleko i po której stronie leży punkt. Warstwa wyjściowa łączy te meldunki w ostateczną decyzję. Ponieważ każdy neuron ukryty zagina swój sygnał, ich połączenie daje granice z narożnikami i łukami.

Wyobraź sobie drużynę bardzo prostych wartowników pilnujących pola. Każdy umie powiedzieć tylko „intruz jest po lewej” albo „po prawej” od jednego prostego płotu. Jeden wartownik na wiele się nie zda. Ale dowódca, który słucha wielu wartowników, każdego z płotem w innym miejscu, potrafi wskazać obszar niemal dowolnego kształtu.

Dlaczego to działa

Jeden neuron liczy

wyjście = f(w · x + b)

gdzie x to lista wejść, w to wagi, b to wyraz wolny, a f to funkcja aktywacji. Bez f układanie warstw nie miałoby sensu: ważona suma ważonych sum to wciąż jedna ważona suma, więc cała sieć rysowałaby jedną prostą. Aktywacja to zagięcie, które zostaje. Dzięki niej każdy neuron ukryty dokłada jedno zgięcie, a odpowiednio wiele zgięć przybliży każdą rozsądną granicę. Więcej neuronów ukrytych to więcej możliwych zgięć — więcej elastyczności, która, jak nauczyła nas lekcja 7, działa w obie strony.

Wagi uczy się narzędziami z lekcji 4 i 5. Sieć przewiduje, strata logarytmiczna mierzy, jak bardzo się myli, a spadek gradientu przesuwa każdą wagę w dół. Jedyna nowa sztuczka dotyczy tego, jak znaleźć gradient dla wag ukrytych głęboko w sieci: algorytm propagacji wstecznej stosuje regułę łańcuchową z rachunku różniczkowego od wyjścia wstecz, warstwa po warstwie, i mówi każdej wadze, ile dołożyła do błędu.

Przykładem w tej lekcji jest zbiór Iris: 150 kwiatów trzech gatunków, po 50 z każdego, rozsławiony przez artykuł Ronalda Fishera z 1936 roku. Bierzemy dwa z czterech pomiarów, więc każdy kwiat to punkt na płaszczyźnie, a nauczona sieć przypisuje przewidywany gatunek każdemu miejscu tej płaszczyzny.

Pomysł jest stary — Frank Rosenblatt zbudował perceptron, pojedynczy uczący się neuron, w 1958 roku — ale sieci zdominowały dziedzinę dopiero wtedy, gdy dane, moc obliczeniowa i sztuczki treningowe urosły na tyle, żeby trenować wiele warstw.

Częsty błąd

„Neuronowa” sugeruje mózg i ta sugestia wprowadza w błąd. Sztuczny neuron to ważona suma ze zgięciem, a nie model biologicznej komórki, a sieć nie rozumie kwiatów; dopasowuje funkcję do przykładów. Praktyczny błąd to założenie, że większa sieć jest zawsze lepsza. Sieć z wieloma neuronami ukrytymi na małym zbiorze potrafi uczyć się na pamięć dokładnie tak jak głębokie drzewo albo wielomian wysokiego stopnia. Jej rozmiar trzeba dobierać na danych walidacyjnych, a w czasie treningu pilnować tej samej różnicy między wynikiem treningowym a testowym, którą poznaliśmy w lekcji 7.

Ułóż dość warstw, nakarm je dość dużą ilością tekstu, a jedno zadanie przewidywania zamieni się w coś, co pisze. W ostatniej lekcji zobaczymy, jak sieć uczy się języka, zgadując następne słowo.

Chcesz głębiej? Kurs NN zaczyna od jednego neuronu.

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_iris(return_X_y=True)
X = X[:, :2]  # długość i szerokość działki kielicha, jak w labie
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.5, stratify=y, random_state=1)
for h in (2, 32):
    net = make_pipeline(StandardScaler(), MLPClassifier(hidden_layer_sizes=(h,), activation="tanh", solver="lbfgs", max_iter=5000, random_state=0))
    net.fit(X_tr, y_tr)
    print(f"{h:2d} hidden units: train {net.score(X_tr, y_tr):.1%}, test {net.score(X_te, y_te):.1%}")

 2 hidden units: train 84.0%, test 74.7%
32 hidden units: train 96.0%, test 66.7%