ML Atlas

Jak działa AI, której używasz · Lekcja 3 z 6 · 8 min

Temperatura: pewność kontra różnorodność

W skrócie

Ten sam model raz pisze przewidywalnie, a raz zaskakująco. Decyduje o tym temperatura losowania. Zobacz, co robi z szansami kolejnego słowa.

Model zna prawdopodobieństwa wielu możliwych następnych tokenów, ale musi wybrać jeden. Sposób wyboru reguluje temperatura: niska każe prawie zawsze brać najbardziej prawdopodobny token, wysoka daje szansę rzadszym. Dlatego to samo pytanie zadane dwa razy może dostać dwie różne odpowiedzi.

Przewidź, potem sprawdź Model kończy zdanie „Kot siedzi na …”. Przy temperaturze 1 słowo „parapecie” ma 35%. Obniżasz temperaturę do 0,1. Jaką szansę dostanie „parapecie”?
Jak bardzo jesteś pewny(-a)?

Eksperyment

Ten interaktywny eksperyment działa w przeglądarce z włączonym JavaScriptem. Tekst wokół opisuje, co w nim widać. W eksperymencie: dla zdania „Kot siedzi na …” suwak temperatury zmienia rozkład prawdopodobieństw następnego słowa: przy T = 1 „parapecie” ma 35%, przy T = 0,1 już 95%.

Pokaż odpowiedź

Poprawna odpowiedź: Około 95%, bo najczęstsze słowo zabiera prawie wszystko

Przy temperaturze 0,1 „parapecie” ma 95%, a „kanapie”, które przy temperaturze 1 miało 26%, spada do 5%. Przy temperaturze 5 jest odwrotnie: „parapecie” ma już tylko 17%, a najmniej pasujące „rowerze” rośnie z 1,1% do 8,2%.

Spróbuj

  • Przesuń suwak temperatury w lewo, do 0,1, i policz, ile różnych słów wypada w 20 losowaniach.
  • Przesuń go w prawo, do 5. Czy „rowerze” wypada choć raz? Czy zdanie nadal ma sens?

Pomysł w prostych słowach

Model nie daje od razu słowa, tylko surowe wyniki dla każdego kandydata. Funkcja softmax zamienia je na prawdopodobieństwa, a temperatura działa tuż przed nią: wyniki dzieli się przez temperaturę. Mała temperatura powiększa różnice, więc faworyt rośnie w siłę. Duża temperatura je zmniejsza, więc szanse się wyrównują. Potem następuje losowanie zgodnie z tymi prawdopodobieństwami.

Temperatura nie zmienia tego, co model wie. Zmienia tylko to, jak śmiało losuje. Niska pasuje do odpowiedzi rzeczowych i powtarzalnych, wyższa do burzy mózgów albo wymyślania nazw.

Częsty błąd

„Temperatura 0 daje prawdziwą odpowiedź.” Nie: daje odpowiedź najbardziej prawdopodobną, a to nie to samo co prawdziwa. Jeśli model nauczył się czegoś błędnie, przy niskiej temperaturze powtórzy ten błąd za każdym razem, tylko pewniej i bardziej przewidywalnie.

Quiz

Trzy pytania na sprawdzenie się. Wybierz odpowiedź albo rozwiń odpowiedź pod pytaniem. Z klawiatury: strzałki wybierają, Enter albo spacja zatwierdza.

1. Obniżasz temperaturę losowania. Co dzieje się z odpowiedziami?
Pokaż odpowiedź

Poprawna odpowiedź: Są przewidywalne, bo wygrywa najpewniejszy token

Niska temperatura wyostrza rozkład: faworyt zabiera prawie całe prawdopodobieństwo.

2. Co temperatura zmienia w modelu językowym?
Pokaż odpowiedź

Poprawna odpowiedź: Tylko sposób losowania, a nie wiedzę zapisaną w modelu

Temperatura działa w chwili wyboru tokenu; wiedza modelu zostaje taka sama.

3. Czat przy temperaturze bliskiej 0 prawie zawsze daje tę samą odpowiedź. Co to oznacza?
Pokaż odpowiedź

Poprawna odpowiedź: Że to odpowiedź najbardziej prawdopodobna, nie pewna

Najbardziej prawdopodobne nie znaczy prawdziwe: błąd też da się powtarzać za każdym razem.

Najważniejsze wnioski

  • Temperatura reguluje, jak śmiało model losuje następny token.
  • Niska wyostrza rozkład („parapecie” z 35% do 95%), wysoka go spłaszcza i daje szansę rzadkim słowom.
  • Temperatura nie zmienia wiedzy modelu, tylko sposób wyboru.
  • Najbardziej prawdopodobne to nie to samo co prawdziwe, także przy temperaturze 0.

Więcej w Atlasie

Hasła encyklopedii o pojęciach z tej lekcji: