Król − mężczyzna + kobieta = królowa? Drobny druk analogii

Równanie, które obiegło świat

W czerwcu 2013 roku na konferencji NAACL w Atlancie Tomas Mikolov, Wen-tau Yih i Geoffrey Zweig z Microsoft Research przedstawili pracę „Linguistic Regularities in Continuous Space Word Representations”. Badali wektory słów, których rekurencyjna sieć neuronowa uczyła się przy okazji przewidywania następnego słowa. Zauważyli, że podobne relacje między słowami odpowiadają podobnym przesunięciom w przestrzeni. Wektor „apple” minus „apples” jest bliski wektorowi „car” minus „cars”. W streszczeniu podali przykład, który stał się ikoną: „King − Man + Woman” daje wektor bardzo bliski „Queen”.

Metoda odpowiadania na analogię „a ma się do b jak c do ?” jest prosta. Liczysz wektor b − a + c i szukasz słowa, którego wektor ma z nim największe podobieństwo kosinusowe. Na własnym zbiorze 8000 pytań składniowych (np. „see : saw jak return : ?”) najlepszy zestaw wektorów odpowiadał poprawnie na 39,6% pytań.

W tym samym roku Mikolov, Kai Chen, Greg Corrado i Jeffrey Dean opisali w „Efficient Estimation of Word Representations in Vector Space” architektury znane dziś jako word2vec. Przygotowali nowy zbiór testowy: 8869 pytań semantycznych (np. stolica i państwo) i 10 675 składniowych. Wektory trenowali m.in. na korpusie Google News liczącym około 6 mld tokenów. Test analogii na lata stał się standardowym sposobem pokazywania, że osadzenia słów „rozumieją” relacje.

Drobny druk w nawiasie

W pracy o word2vec jest zdanie w nawiasie, które łatwo przeoczyć: podczas szukania najbliższego słowa autorzy pomijają słowa z pytania. Odpowiedzią na „man : king jak woman : ?” nie może więc być ani „man”, ani „king”, ani „woman”. Ten sam filtr ma domyślnie oryginalny kod word2vec, biblioteka gensim i kod pracy Bolukbasiego, o której niżej.

Dlaczego to ważne? Tal Linzen w pracy z 2016 roku sprawdził, co się dzieje bez filtra. W jego eksperymentach najbliższym słowem wektora b − a + c było w 93% przypadków słowo c, a w 5% słowo b. Gdy przesunięcie b − a jest małe, wynik ląduje tuż obok słowa wejściowego.

Linzen porównał też metodę z bardzo prostym punktem odniesienia: zignoruj a i b i zwróć po prostu najbliższego sąsiada słowa c. W kategorii „liczba pojedyncza → mnoga” taki prymitywny sposób miał w jego eksperymentach 70% trafień. Wysoki wynik na analogiach nie dowodzi więc, że w przestrzeni istnieje „kierunek liczby mnogiej”. Może znaczyć tylko tyle, że „cars” leży blisko „car”. To dobry przykład, po co porównywać model z modelem bazowym.

Malvina Nissim, Rik van Noord i Rob van der Goot policzyli efekt filtra na wektorach Google News i oryginalnym zbiorze testowym Mikolova. Ich praca ukazała się w 2020 roku w „Computational Linguistics”. Klasyczna metoda (nazywana 3CosAdd) miała 74% trafień z filtrem i 21% bez niego. Bez filtra na wektorach Google News najczęściej wraca drugie słowo pytania: mężczyzna ma się do króla tak, jak kobieta do… króla. Które ze słów wejściowych wygrywa, zależy od przestrzeni.

Gdy filtr wygląda jak uprzedzenie

Analogie posłużyły też do pokazywania stereotypów zapisanych w osadzeniach. Najbardziej znana jest praca Bolukbasiego i współautorów z NeurIPS 2016, której tytuł brzmi „Man is to Computer Programmer as Woman is to Homemaker?”. Autorzy pokazali, że nawet wektory trenowane na artykułach Google News zawierają stereotypy płciowe, i zaproponowali metody ich osłabiania.

Nissim i współautorzy zwracają uwagę na skutek filtra. Pytanie „mężczyzna : lekarz jak kobieta : ?” nie może zwrócić odpowiedzi „lekarz”, bo to słowo z pytania. Model musi wskazać coś innego. Oto wyniki dla wektorów Google News i metody 3CosAdd:

Bez filtra odpowiedzią jest za każdym razem słowo z pytania. Autorzy dodają, że wśród 10 najlepszych odpowiedzi na pierwsze pytanie są specjalności, których pacjentkami są kobiety (ginekolog, położnik, położna). Nie wiadomo więc nawet, o jaką relację „pyta” analogia: zawód czy pacjentów.

To nie znaczy, że problemu nie ma. Nissim i współautorzy piszą wprost, że osadzenia zawierają ludzkie uprzedzenia i trzeba się nimi zajmować. Twierdzą tylko, że analogie są do tego złym narzędziem. Wynik zależy od filtra, od ucięcia słownika do najczęstszych słów, od progów i od tego, które z odpowiedzi badacz zdecyduje się pokazać. Więcej o mierzeniu takich zjawisk piszemy w haśle o sprawiedliwości i stronniczości modeli.

Lekcja na dziś

1. Czytaj procedurę ewaluacji, nie tylko wynik. Jedna linijka, która wyklucza słowa z pytania, zmienia trafność z 74% na 21%.
2. Porównuj z najprostszym rozwiązaniem. Jeśli „najbliższy sąsiad c” daje 70%, to wynik metody rzędu 80% znaczy dużo mniej, niż się wydaje.
3. Pytanie kształtuje odpowiedź. Gdy zabronisz odpowiedzi neutralnej, każda inna wygląda na stronniczą. Geometria przestrzeni wektorowych jest prawdziwa, ale to, co z niej odczytujemy, zależy od tego, jak zadamy pytanie.

Źródła

• Mikolov T., Yih W., Zweig G., „Linguistic Regularities in Continuous Space Word Representations”, Proceedings of NAACL-HLT 2013, Atlanta, s. 746–751, 2013: https://aclanthology.org/N13-1090/
• Mikolov T., Chen K., Corrado G., Dean J., „Efficient Estimation of Word Representations in Vector Space”, Workshop at ICLR 2013; arXiv:1301.3781: https://arxiv.org/abs/1301.3781
• Linzen T., „Issues in evaluating semantic spaces using word analogies”, Proceedings of the 1st Workshop on Evaluating Vector-Space Representations for NLP (RepEval), Berlin, s. 13–18, 2016: https://doi.org/10.18653/v1/W16-2503
• Bolukbasi T., Chang K.-W., Zou J., Saligrama V., Kalai A., „Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings”, Advances in Neural Information Processing Systems 29 (NeurIPS 2016), s. 4349–4357; arXiv:1607.06520: https://arxiv.org/abs/1607.06520
• Nissim M., van Noord R., van der Goot R., „Fair Is Better than Sensational: Man Is to Doctor as Woman Is to Doctor”, Computational Linguistics 46(2), 487–497, 2020: https://doi.org/10.1162/coli_a_00379