Od sieci neuronowych do dużych modeli językowych

Klawiatura w telefonie podpowiada następne słowo, kiedy piszesz. Czatbot pisze całe wypracowania, odpowiada na pytania i tłumaczy wiersze. Czy to ten sam rodzaj maszyny? W sercu obu leży jedno zaskakująco skromne zadanie: mając dotychczasowy tekst, zgadnij, co będzie dalej. Ta ostatnia lekcja pokazuje, jak daleko może zaprowadzić to jedno pytanie i gdzie leżą jego granice.

Spróbuj

• Wpisz w pole tekstowe częste słowo i przeczytaj listę prawdopodobnych następnych słów z ich prawdopodobieństwami. Czy mają sens przy tym, co wiesz o tekście?
• Przesuń suwak temperatury w lewo i patrz, jak najczęstsze słowo zgarnia prawie całe prawdopodobieństwo. Potem przesuń go w prawo i zobacz, jak prawdopodobieństwa się wyrównują.
• Spróbuj słowa, które w krótkim tekście jest pewnie rzadkie. Skoro jest tak mało przykładów do policzenia, na ile można ufać pokazanym prawdopodobieństwom?
• Przejdź łańcuch ręcznie: wpisz najbardziej prawdopodobne następne słowo, potem najbardziej prawdopodobne po nim i tak dalej. Czy powstałe zdanie brzmi płynnie? Czy dokądś prowadzi?

Gdy już sprawdzisz to w labie, zobaczmy, co się tam właściwie działo.

Pomysł w prostych słowach

Model językowy przypisuje prawdopodobieństwa temu, co pojawi się dalej w tekście. Po „Poproszę filiżankę” prawdopodobna jest „herbaty”, „kawy” też, „żwiru” raczej nie. Mając takie prawdopodobieństwa, można generować tekst: wybrać następne słowo, dopisać je i zapytać znowu.

Najprostszy możliwy model językowy to model bigramowy. Czyta zbiór tekstów (korpus) i po prostu liczy, jakie słowo pojawia się po jakim. W tej lekcji przyglądamy się takiemu modelowi, zbudowanemu na krótkim tekście napisanym specjalnie dla tego kursu. Dla każdego słowa model zna słowa, które pojawiały się po nim w korpusie, razem z ich prawdopodobieństwami.

Pomyśl o kimś, kto przeczytał w życiu tylko jedną książkę, za to wiele razy, i którego jedyną umiejętnością jest pamiętanie, jakie słowo szło po jakim. Poproś go o dokończenie zdania, a wyprodukuje coś, co brzmi trochę jak ta książka — płynnie na krótkim odcinku, bez celu w całości. Ta osoba to model bigramowy.

Dlaczego to działa

Model bigramowy szacuje prawdopodobieństwo następnego słowa b po słowie a z liczności:

P(następne = b | bieżące = a) = liczba(a b) / liczba(a)

Jeśli słowo „filiżankę” występuje w korpusie dziesięć razy, a siedem razy idzie po niej „herbaty”, model daje słowu „herbaty” prawdopodobieństwo 0,7 po „filiżankę”. To wszystko — liczenie i dzielenie. Uczenie znów oznacza dopasowanie modelu do przykładów, a ocena to to, jak dobrze przewiduje następne słowo prawdziwego tekstu.

Żeby generować tekst, model musi wybrać spośród kandydatów i tu wkracza temperatura. Niska temperatura wyostrza rozkład: najbardziej prawdopodobne słowo wygrywa prawie zawsze, a tekst robi się powtarzalny i bezpieczny. Wysoka temperatura go spłaszcza: rzadsze słowa dostają realną szansę, a tekst staje się bardziej różnorodny i bardziej chaotyczny. Temperatura nie zmienia tego, co model wie, tylko to, jak śmiało losuje.

Duży model językowy (LLM) robi to samo zadanie z trzema wielkimi ulepszeniami. Po pierwsze, przewiduje tokeny — kawałki słów — więc poradzi sobie z każdym słowem, nawet takim, którego nigdy nie widział w całości. Po drugie, zamiast patrzeć tylko na poprzednie słowo, jest siecią neuronową, zwykle transformerem (zaproponowanym w 2017 roku), którego mechanizm uwagi pozwala każdej pozycji spojrzeć wstecz na tysiące poprzednich tokenów i zdecydować, które są ważne. Po trzecie, jego prawdopodobieństwa to nie liczności, tylko wyjścia sieci z miliardami wag, trenowanej dokładnie narzędziami z tego kursu: stratą logarytmiczną z lekcji 5 na następnym tokenie, minimalizowaną spadkiem gradientu z lekcji 4, z propagacją wsteczną z lekcji 11. Przy treningu na ogromnej ilości tekstu zadanie zgadywania zmusza sieć do przyswojenia gramatyki, faktów i schematów rozumowania, bo wszystko to pomaga przewidzieć, co będzie dalej.

Częsty błąd

Największe nieporozumienie wokół modeli językowych to myślenie, że wyszukują odpowiedzi. Nie zaglądają do bazy danych; produkują ciąg dalszy, który ich trening uczynił prawdopodobnym. Najczęściej jest on też prawdziwy, ale nie zawsze — gdy prawdopodobne i prawdziwe się rozchodzą, model płynnie wygłasza nieprawdę, co nazywamy halucynacją. Drugi błąd to traktowanie temperatury jak pokrętła jakości. Niska temperatura nie jest „bardziej poprawna”, tylko bardziej przewidywalna; pasuje do odpowiedzi rzeczowych, a wyższa do burzy mózgów.

To cała podróż: od jednego progu na jednym pomiarze guza do sieci przewidującej następne słowo wszystkiego, co kiedykolwiek napisano. Przepis się nie zmienił — rodzina modeli, ocena, poszukiwanie i uczciwy test na danych, których model nie widział. Hasła z Atlasu poniżej to miejsce, gdzie można zgłębić każdy krok.

import re
from collections import Counter

src = open("site-src/course/labs/next-token.corpus.js", encoding="utf-8").read()
text = re.search(r"en: `(.*?)`", src, re.S).group(1)  # angielskie zdania laba
words = re.findall(r"[a-z']+", text.lower())
after_the = Counter(b for a, b in zip(words, words[1:]) if a == "the")
counts = after_the.most_common()
print(f'"the" seen {sum(after_the.values())} times, {len(after_the)} different next words, top: {counts[:3]}')
for t in (1, 0.5, 0.1, 3):
    w = {b: c ** (1 / t) for b, c in counts}
    print(f"temperature {t}: P(morning | the) = {w['morning'] / sum(w.values()):.1%}")

"the" seen 42 times, 26 different next words, top: [('morning', 4), ('cup', 3), ('garden', 3)]
temperature 1: P(morning | the) = 9.5%
temperature 0.5: P(morning | the) = 18.6%
temperature 0.1: P(morning | the) = 85.0%
temperature 3: P(morning | the) = 5.3%