Tokeny: jak model językowy kroi tekst

Gdy piszesz do czatu AI, on nie widzi liter ani całych słów. Zanim cokolwiek policzy, tnie tekst na tokeny: kawałki słów z ustalonego słownika. Od tego, jak tnie, zależy więcej, niż się wydaje: ile tekstu zmieści się w jego pamięci, ile kosztuje odpowiedź i dlaczego czasem myli się przy liczeniu liter.

Spróbuj

• Wybierz „kot siedzi na kanapie” i przesuwaj suwak scaleń od 0 do 80. Patrz, jak litery sklejają się w coraz dłuższe kawałki.
• Wybierz „psy siedzą na podłodze”. Słowa „siedzą” nie było w nauce, a jednak nie rozpada się na litery. Z jakich kawałków się składa?
• Wybierz „żółw pływa w akwarium” i sprawdź, czy jakakolwiek liczba scaleń coś zmienia.

Pomysł w prostych słowach

Tokenizator BPE (od angielskiego byte-pair encoding) zaczyna od pojedynczych liter. W każdym kroku szuka pary sąsiednich kawałków, która w tekście do nauki pojawia się najczęściej, i skleja ją w nowy token. Po wielu krokach częste słowa są jednym tokenem, rzadkie dzielą się na kilka kawałków, a zupełnie obce rozpadają się aż do liter.

Dzięki temu model poradzi sobie z każdym tekstem, nawet ze słowem, którego nigdy nie widział: zawsze może złożyć je z mniejszych kawałków. W eksperymencie nowe słowo „siedzą” po 80 scaleniach to „siedz” i „ą”: kawałek znany z „siedzi” plus końcówka.

Dlaczego to ma znaczenie

Duże modele mają słowniki z dziesiątkami tysięcy tokenów, uczone na ogromnych tekstach, ale zasada jest ta sama. Tekst częsty w danych do nauki kroi się oszczędnie, a tekst rzadszy na więcej kawałków. Więcej tokenów oznacza, że ten sam tekst zajmuje więcej miejsca w oknie kontekstu (lekcja 4) i zwykle więcej kosztuje, bo usługi AI liczą opłaty za tokeny.