Konwolucja: ten sam filtr w każdym miejscu

MLP z lekcji 2 traktuje 64 piksele cyfry jak 64 osobne liczby. Każdy piksel ma własne wagi, a sieć nie wie, które piksele leżą obok siebie. Konwolucja (splot) działa inaczej. Małe jądro (filtr) 3×3 przesuwa się po obrazie. W każdym położeniu mnoży 9 pikseli przez te same 9 wag i sumuje. Wyniki składają się w mapę cech: obraz tego, gdzie jądro znalazło swój wzorzec.

Spróbuj

• Lab startuje na zerze z jądrem krawędzi pionowych. Najsilniejsza odpowiedź, 55, ma żółtą ramkę na obrazie i na mapie.
• Cel: wybierz cyfrę 7 i znajdź jądro, które najmocniej reaguje na jej poziomą kreskę.
• Przełącz padding. Bez niego mapa ma 6×6, bo okno 3×3 mieści się w 6 położeniach na 8 pikselach. Z paddingiem 1 obraz dostaje ramkę zer, a mapa ma 8×8.

Pomysł w prostych słowach

Jądro to mały wzorzec do szukania. Jądro krawędzi pionowych ma po lewej wagi −1, −2, −1, a po prawej 1, 2, 1. Gdzie po prawej jest jaśniej niż po lewej, wynik jest duży i dodatni. Gdzie obie strony są tak samo jasne, wynik to 0. To samo jądro sprawdza każde miejsce obrazu, więc znajdzie kreskę wszędzie, także tam, gdzie w treningu jej nie było.

W sieci splotowej (CNN) wag jądra nikt nie ustawia ręcznie. Sieć uczy się ich propagacją wsteczną, tak jak wag MLP. Warstwa ma kilka jąder: każde szuka innego wzorca i daje własną mapę.

Dlaczego to działa

Splot wbudowuje w sieć dwie właściwości obrazów. Piksele obok siebie są ze sobą powiązane, więc wystarczy małe okno. Ten sam wzorzec może być w dowolnym miejscu, więc jedno jądro obsługuje wszystkie miejsca. To współdzielenie wag: filtr 3×3 ma 9 wag i 1 wyraz wolny bez względu na rozmiar obrazu. 8 filtrów to 80 liczb. Warstwa gęsta 64 → 32 ma 64 · 32 + 32 = 2080.

Druga ilustracja uczy dwie sieci na tych samych cyfrach. MLP 64 → 32 → 10 ma 2410 wag. Sieć splotowa (8 filtrów 3×3, max pooling 2×2, warstwa 128 → 10) ma ich 1370. Po 15 epokach sieć splotowa rozpoznaje 97,2% cyfr testowych, a MLP 96,7%: różnica to 2 cyfry z 359. Na wyśrodkowanych cyfrach 8×8 splot nie bije MLP wyraźnie. Daje podobną trafność mniejszą liczbą wag.

Ten interaktywny eksperyment działa w przeglądarce z włączonym JavaScriptem. Tekst wokół opisuje, co w nim widać.

Teraz przesuń cyfry testowe o 1 piksel w prawo. Sieć splotowa spada do 50,4%, MLP do 43,5%. Przy 2 pikselach obie są bliżej zgadywania (10%) niż dobrego wyniku: 15,0% i 18,4%. Filtr przesuwa mapę cech razem z cyfrą, ale warstwa gęsta na końcu ma osobną wagę dla każdego miejsca mapy. Sam splot daje więc tylko część odporności na przesunięcie.

import numpy as np

def conv2d(img, k, pad=0):
    # the same 3×3 kernel in every position (cross-correlation, as CNN layers compute it)
    img = np.pad(img, pad)
    n = img.shape[0] - 2
    return np.array([[np.sum(img[r:r + 3, c:c + 3] * k) for c in range(n)] for r in range(n)])

img = np.zeros((8, 8))
img[1:7, 2:6] = [8, 16, 16, 8]  # a vertical stroke, brighter in the middle
sobel = np.array([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]])  # vertical edges

m = conv2d(img, sobel)
print("map", m.shape, "values", m.min(), "to", m.max())
print("row 2 of the map:", m[2])
print("with padding 1:", conv2d(img, sobel, pad=1).shape)

moved = np.roll(img, 1, axis=1)  # the stroke 1 pixel to the right
print("the map moves with the stroke:", np.array_equal(conv2d(moved, sobel)[:, 1:], m[:, :-1]))
print("8 filters 3x3:", 8 * (3 * 3 + 1), "numbers; dense 64 -> 32:", 64 * 32 + 32)

map (6, 6) values -64.0 to 64.0
row 2 of the map: [ 32.  64.  32. -32. -64. -32.]
with padding 1: (8, 8)
the map moves with the stroke: True
8 filters 3x3: 80 numbers; dense 64 -> 32: 2080