Co sieć naprawdę widzi: skróty i ataki

Test z odłożonych danych mówi, jak sieć radzi sobie z przykładami podobnymi do treningowych. Nie mówi, na co patrzy. Są dwa proste sprawdziany. Atak szuka najmniejszej zmiany wejścia, która myli sieć. Test, w którym podejrzaną zależność zrywasz albo odwracasz, sprawdza, czy model nie nauczył się skrótu: cechy, która w danych przypadkiem towarzyszy klasie.

Spróbuj

• Lab startuje bez ataku: 97,5%. Przesuwaj suwak ε. Cel: najmniejsza siła ataku, przy której trafność spada poniżej 80%.
• Przy każdej sile porównaj dwie linie wykresu: atak i losowy szum ±ε. Szum prawie nie szkodzi, atak tak.
• Kliknij „inna cyfra testowa” i spójrz na środkowy obrazek. Zmiana wygląda jak szum, ale nim nie jest.

Pomysł w prostych słowach

Atak FGSM to propagacja wsteczna z lekcji 5 z jedną zmianą: gradient straty liczy się względem pikseli, nie wag. Mówi, w którą stronę przesunąć każdy piksel, żeby błąd rósł najszybciej. Atak przesuwa każdy piksel o ε w tę stronę. Każdy piksel dokłada mało, ale wszystkie 64 dokładają w tę samą stronę. Losowy szum przesuwa piksele w przypadkowe strony, więc większość zmian się znosi.

Skrót działa inaczej. Model uczy się każdej zależności, która obniża stratę. Jeśli w treningu prawie każda trójka ma w rogu pieczątkę, pieczątka jest łatwiejsza do nauczenia niż kształt trójki.

Dlaczego to działa

Weź liniowy wynik z = w·x. Atak zmienia go o ε · Σ|wᵢ|, bo każdy składnik dokłada się z tym samym znakiem. Losowe znaki dają typowo tylko ε · √(Σwᵢ²). Stosunek rośnie jak pierwiastek z liczby pikseli. W kodzie atak jest 7,2 raza silniejszy od szumu przy 64 pikselach, 25,2 raza przy obrazku 28×28 i 349,3 raza przy zdjęciu 224×224×3. Duże obrazy dają atakowi więcej miejsca.

Skrót pokazuje widżet ze znakiem wodnym z działu „Prawa”. To regresja logistyczna, nie sieć, ale mechanizm jest ten sam: model nie wie, która zależność jest zamierzona. Kwadrat 2×2 w rogu ma 90% treningowych trójek i żadna inna cyfra. Na teście z tą samą zależnością model ma 96,4%. Gdy znak trafia na inne cyfry, trafność spada do 71,9%, a 84 z 322 cyfr model bierze za „3”.

import numpy as np

# liniowy wynik z = w·x: atak przesuwa każdy piksel o eps w stronę znaku jego wagi, szum w losowe strony
eps = 2 / 16  # 2 poziomy jasności z 16
for n in [64, 784, 150528]:  # cyfra 8×8, obrazek 28×28, zdjęcie 224×224×3
    w = np.cos(np.arange(n))  # wagi bez losowania, każda między −1 a 1
    attack = eps * np.abs(w).sum()  # zmiana z po ataku: w·(eps·sign(w))
    noise = eps * np.sqrt((w ** 2).sum())  # typowa zmiana z przy losowych znakach (odchylenie standardowe)
    print(f"n = {n:6d}: attack {attack:8.1f}, noise {noise:6.2f}, ratio {attack / noise:5.1f}")

n =     64: attack      5.1, noise   0.71, ratio   7.2
n =    784: attack     62.4, noise   2.48, ratio  25.2
n = 150528: attack  11978.7, noise  34.29, ratio 349.3