Neuron: jedna prosta

Sieć neuronowa to wiele neuronów połączonych w warstwy. Zanim je połączymy, sprawdźmy, co potrafi jeden. Znasz go już prawie cały: regresja logistyczna z kursu ML liczyła ważoną sumę cech i dopiero potem zamieniała ją w odpowiedź. Neuron robi to samo. Pytanie brzmi: czego jedna ważona suma nigdy nie zrobi?

Spróbuj

• Zostań przy zadaniu „setosa czy nie” i przesuwaj suwaki, aż Twoja prosta trafi wszystkie 150 kwiatów. To cel labu.
• Kliknij trzy razy „1 epoka” i patrz na przerywaną linię perceptronu: po każdej pomyłce przesuwa się w stronę źle ocenionego kwiatu.
• Przełącz na „versicolor czy virginica” i klikaj „10 epok”. Słupki poprawek nie znikają. Suwaki mają tylko 9 wartości, co 0,5 od −2 do 2, więc najlepsza prosta z suwaków trafia tu 96 ze 100 kwiatów. Najlepsza możliwa prosta, bez tej siatki, trafia 97 (o tym niżej), nigdy wszystkie.

Pomysł w prostych słowach

Neuron dostaje pomiary kwiatu, na przykład długość i szerokość działki kielicha. Każdy pomiar mnoży przez jego wagę, sumuje, dodaje bias i patrzy na znak wyniku: dodatni znaczy „setosa”, ujemny „inny gatunek”. Waga mówi, jak mocno liczy się dany pomiar, a bias przesuwa próg.

Punkty, dla których suma wychodzi dokładnie zero, leżą na jednej prostej. To granica decyzji neuronu: po jednej stronie odpowiedź „tak”, po drugiej „nie”. Zmiana wag obraca tę prostą, zmiana biasu ją przesuwa. Niczego innego jeden neuron nie narysuje.

Dlaczego to działa

Perceptron Rosenblatta (1958) uczy się na pomyłkach. Bierze kwiaty po kolei. Gdy odpowiada dobrze, nic nie zmienia. Gdy się myli, dodaje pomiary tego kwiatu do wag albo je odejmuje, a prosta przesuwa się tak, żeby ten kwiat trafił na właściwą stronę. Jedno przejście przez wszystkie kwiaty to epoka.

Twierdzenie Novikoffa (1962) mówi: jeśli istnieje prosta, która rozdziela obie klasy bez błędu, perceptron znajdzie jakąś taką prostą po skończonej liczbie poprawek. Setosa ma krótsze i szersze działki niż reszta, więc taka prosta istnieje. Versicolor i virginica nakładają się w kilku kwiatach: nawet najlepsza możliwa prosta trafia 97 ze 100. Zawsze zostaje kwiat do poprawienia, więc reguła nigdy się nie zatrzymuje, a prosta skacze tam i z powrotem.

Neuron to prawie regresja logistyczna: ta sama ważona suma. Perceptron ma jednak twardy próg i uczy się tylko na pomyłkach. Regresja logistyczna daje prawdopodobieństwo i uczy się spadkiem gradientu na wszystkich przykładach. Dzisiejsze sieci idą drugą drogą: ich neurony mają gładkie funkcje aktywacji (lekcja 3) i uczą się na entropii krzyżowej (lekcja 4).

import numpy as np

url = "https://raw.githubusercontent.com/scikit-learn/scikit-learn/1.5.2/sklearn/datasets/data/iris.csv"
data = np.loadtxt(url, delimiter=",", skiprows=1)
X, species = data[:, :4], data[:, 4].astype(int)  # 0 setosa, 1 versicolor, 2 virginica

def zscore(A):
    return (A - A.mean(axis=0)) / A.std(axis=0)

def perceptron(Z, y, max_epochs=100):
    w, b, corrections = np.zeros(2), 0.0, []
    for epoch in range(max_epochs):
        mistakes = 0
        for z, target in zip(Z, y):  # kwiaty w kolejności z pliku, bez tasowania
            d = target - int(z @ w + b > 0)
            if d != 0:
                w, b, mistakes = w + d * z, b + d, mistakes + 1
        corrections.append(mistakes)
        if mistakes == 0:
            break
    return corrections

c = perceptron(zscore(X[:, [0, 1]]), (species == 0).astype(int))
print(f"setosa vs rest: {len(c)} epochs, corrections {c}, total {sum(c)}")
m = species > 0
c = perceptron(zscore(X[m][:, [2, 3]]), (species[m] == 2).astype(int))
print(f"versicolor vs virginica: {len(c)} epochs, corrections per epoch {min(c)} to {max(c)}, zero in {c.count(0)} epochs")

setosa vs rest: 7 epochs, corrections [4, 2, 2, 5, 2, 2, 0], total 17
versicolor vs virginica: 100 epochs, corrections per epoch 1 to 4, zero in 0 epochs