Jak czat AI tworzy odpowiedź?

Dopisuje po jednym tokenie, za każdym razem zgadując dalej

Perpleksja modelu spadła z 23,20 do 8,01. Co to znaczy?

Model waha się mniej: jakby wybierał z 8, a nie z 23

Po co duży model uczy się zgadywać następny token w ogromnej ilości tekstu?

Bo żeby dobrze zgadywać, musi wychwycić gramatykę i fakty

Następny token: jedno zadanie, które robi wszystko

W skrócie

Czat AI pisze odpowiedź token po tokenie, za każdym razem zgadując, co będzie dalej. Zobacz, jak model uczony na dłuższym tekście zgaduje coraz lepiej.

Odpowiedź czatu AI wygląda jak tekst napisany od razu w całości. W rzeczywistości powstaje kawałek po kawałku: model patrzy na wszystko, co już jest (Twoje pytanie i początek odpowiedzi), i ocenia, jaki token powinien być następny. Dopisuje go i pyta znowu. Tak aż do końca odpowiedzi.

Przewidź, potem sprawdź Mały model uczy się przewidywać następną literę polskiego tekstu, patrząc na 3 poprzednie litery. Dajemy mu coraz więcej tekstu do nauki: od 100 znaków do 5775. Co dzieje się z jego niepewnością (perpleksją) na tekście, którego nie widział? Rośnie, bo więcej tekstu to więcej możliwości do wyboru Nie zmienia się, bo zadanie przez cały czas jest to samo Spada, bo z większej liczby przykładów lepiej zgaduje

Jak bardzo jesteś pewny(-a)? Jestem pewny(-a) Nie jestem pewny(-a)

Pokaż odpowiedź

Poprawna odpowiedź: Spada, bo z większej liczby przykładów lepiej zgaduje

Perpleksja spada z 23,20 do 8,01: model waha się już nie tak, jakby wybierał spośród 23 znaków, tylko jakby spośród 8. W losowej próbce przybywa prawdziwych słów: z 13,9% do 29,8%.

Spróbuj

Wybierz kontekst 3 liter i przesuwaj suwak ilości tekstu od lewej do prawej. Czytaj próbkę: kiedy zaczynają się w niej pojawiać prawdziwe słowa?
Porównaj kontekst 1 litery i 3 liter przy najmniejszej ilości tekstu. Który wypada lepiej i dlaczego?

Pomysł w prostych słowach

Perpleksja mówi, jak bardzo model się waha. Perpleksja 23 znaczy: model jest tak niepewny, jakby losował spośród 23 równie prawdopodobnych znaków. Na ślepo, bez żadnej wiedzy, wybierałby spośród 34. Im więcej tekstu przeczytał, tym lepiej wie, co zwykle idzie po czym, i tym mniej się waha.

Duży model językowy robi dokładnie to samo zadanie, tylko na tokenach zamiast liter, na ogromnej ilości tekstu i siecią neuronową zamiast prostego liczenia. Ten etap nazywa się pretreningiem. Żeby dobrze zgadywać następny token w książkach, artykułach i kodzie, model musi wychwycić gramatykę, fakty i typowe schematy rozumowania: wszystko to pomaga przewidzieć, co będzie dalej.

Skąd się bierze rozmowa

Po pretreningu model umie ciągnąć dowolny tekst. Żeby odpowiadał na pytania jak asystent, dostraja się go dalej na przykładach rozmów i ocenach ludzi. Mechanizm pisania się jednak nie zmienia: odpowiedź to nadal ciąg tokenów, z których każdy jest najlepszym zgadnięciem modelu w danej chwili.

Częsty błąd

„Czat wyszukuje odpowiedź w bazie danych.” Nie: model nie ma w środku tabeli gotowych odpowiedzi. Składa odpowiedź token po tokenie z tego, co jest prawdopodobne po Twoim pytaniu. Najczęściej prawdopodobne jest też prawdziwe, ale nie zawsze, i o tym jest lekcja 5. Niektóre czaty najpierw szukają w internecie albo w dokumentach i wklejają znalezione fragmenty do tekstu, który widzi model, ale odpowiedź i tak pisze model, token po tokenie.

Najważniejsze wnioski

Czat AI pisze odpowiedź token po tokenie: każdy token to zgadnięcie, co będzie dalej.
Perpleksja mierzy, jak bardzo model się waha; więcej tekstu do nauki ją obniża.
Z jednego zadania, przewidywania następnego tokenu, wyrastają gramatyka, fakty i styl.
Model nie wyszukuje odpowiedzi w bazie, tylko składa ją z tego, co prawdopodobne.

Następny token: jedno zadanie, które robi wszystko

Spróbuj

Pomysł w prostych słowach

Skąd się bierze rozmowa

Quiz

Najważniejsze wnioski

Więcej w Atlasie