Mądry Hans: koń, który „liczył”, i modele, które oszukują

Koń, który znał arytmetykę

Na początku XX wieku w Berlinie słynny był koń Hans, własność emerytowanego nauczyciela matematyki Wilhelma von Ostena. Hans odpowiadał na pytania o dodawanie, czytanie liczb czy daty, wystukując wynik kopytem. 12 września 1904 roku trzynastoosobowa komisja, w której zasiadali m.in. dyrektor cyrku, dyrektor berlińskiego zoo, emerytowani oficerowie, nauczyciel i psycholog Carl Stumpf, podpisała raport. Stwierdzała w nim jednogłośnie, że nie wykryła żadnych sztuczek ani sygnałów od osoby zadającej pytania.

Sprawę rozwiązał dopiero psycholog Oskar Pfungst, który badał konia razem ze Stumpfem i Erichem von Hornbostelem. Jego książka ukazała się po niemiecku w 1907 roku, a po angielsku w 1911 jako „Clever Hans (The Horse of Mr. von Osten)”. Pełny tekst jest dostępny w Projekcie Gutenberg. Pfungst zrobił to, co dziś nazwalibyśmy ablacją: zmieniał po jednym warunku i patrzył, kiedy „inteligencja” znika.

Czy pytający zna odpowiedź? Hansowi pokazywano karty z liczbami. Gdy pytający znał liczbę, koń odpowiadał dobrze w 98% z 42 prób. Gdy nikt z obecnych jej nie znał, tylko w 8% z 49 prób.
Czy koń widzi pytającego? W próbach z dużymi klapkami na oczach Hans miał 89% poprawnych odpowiedzi, gdy widział pytającego (56 prób), i 6% (2 z 35), gdy go nie widział.

Wniosek z raportu z 9 grudnia 1904 był taki, że Hans nie liczył. Reagował na drobne, nieświadome zmiany postawy pytającego. Pfungst opisał m.in. lekkie uniesienie głowy w chwili, gdy koń dostukał do właściwej liczby. Nikt go nie oszukiwał celowo. Pfungst i inni po krótkim treningu też dostawali poprawne odpowiedzi, nie zdając sobie sprawy, że dają jakiś sygnał.

Koń, który rozpoznawał konie po podpisie

W 2019 roku Sebastian Lapuschkin, Klaus-Robert Müller i współpracownicy opublikowali w Nature Communications pracę „Unmasking Clever Hans Predictors and Assessing What Machines Really Learn”. Nazwa nie jest przypadkowa. Autorzy cytują książkę Pfungsta i nazywają „efektem Mądrego Hansa” sytuację, w której model osiąga dobry wynik z niewłaściwych powodów.

Najbardziej znany przykład dotyczy klasyfikatora opartego na wektorach Fishera, trenowanego na zbiorze PASCAL VOC 2007 (9963 obrazy). Model świetnie rozpoznawał klasę „koń”. Mapa istotności pikseli pokazała jednak, że patrzy głównie w lewy dolny róg zdjęcia, gdzie znajdował się podpis źródła (ang. source tag, znaczek z informacją, skąd pochodzi zdjęcie). Taki tag widniał na mniej więcej jednej piątej zdjęć koni. Wycięcie tagu osłabiało decyzję „koń”, a doklejenie go do zdjęcia Ferrari zmieniało predykcję z „samochód” na „koń”. Sieć głęboka trenowana na tych samych danych patrzyła na konia i jeźdźca.

W tej samej pracy agent grający w Atari Pinball nauczył się zdobywać punkty, „szturchając” wirtualny stół tak, by nie wywołać blokady (tilt), i całkiem ignorował łapki. Autorzy zauważają, że w prawdziwym flipperze taka strategia szybko by zawiodła, bo maszyna blokuje się już po kilku mocniejszych szturchnięciach.

Wspólna lekcja

W obu historiach metryka była wysoka i w obu przypadkach mierzyła coś innego, niż sądzili badacze. Hans zdawał test, bo w warunkach testu pytający znał odpowiedź. Klasyfikator zdawał test, bo zbiór testowy pochodził z tego samego źródła co treningowy, więc tag działał też na teście. W Atlasie opisujemy to zjawisko jako uczenie się na skróty i korelację pozorną.

Recepta Pfungsta działa do dziś. Usuń podejrzaną wskazówkę i zobacz, czy wynik się trzyma: wytnij tag, zamaskuj róg obrazu, przetestuj na danych z innego szpitala albo innego aparatu. Pomagają też narzędzia wyjaśniające, takie jak mapy istotności czy wartości SHAP. Lapuschkin i in. zaproponowali metodę SpRAy, która grupuje takie mapy dla całego zbioru i półautomatycznie wykrywa odrębne „strategie” modelu.

Źródła

Pfungst O., „Clever Hans (The Horse of Mr. von Osten)”, przeł. C. L. Rahn, Henry Holt, 1911 (oryg. niem. 1907); zawiera raporty komisji z 12.09.1904 i 9.12.1904: https://www.gutenberg.org/ebooks/33936
Lapuschkin S., Wäldchen S., Binder A., Montavon G., Samek W., Müller K.-R., „Unmasking Clever Hans Predictors and Assessing What Machines Really Learn”, Nature Communications 10, 1096 (2019); preprint: https://arxiv.org/abs/1902.10178
Wikipedia (niem.), „Kluger Hans”, bibliografia wydania z 1907: https://de.wikipedia.org/wiki/Kluger_Hans