ML Atlas

Jak działa AI, której używasz · Lekcja 4 z 6 · 9 min

Okno kontekstu: co model „pamięta”

W skrócie

Model widzi tylko ostatni fragment tekstu, który mieści się w jego oknie kontekstu. Zobacz, co się dzieje, gdy ważne słowo wypadnie poza to okno.

Rozmawiasz z czatem od godziny i nagle odpowiada tak, jakby zapomniał, co ustaliliście na początku. To nie kaprys. Model nie ma pamięci w ludzkim sensie: za każdym razem widzi tylko tekst, który mieści się w jego oknie kontekstu. Co wypadło poza okno, dla modelu nie istnieje.

Przewidź, potem sprawdź Mały model przewiduje następną literę i widzi tylko 4 ostatnie znaki. Dostaje dwa zdania: „anna wczoraj wieczorem posz…” i „piotr wczoraj wieczorem posz…”. O końcówce (poszła czy poszedł) decyduje imię, które kończy się 24 znaki wcześniej. Co poda model?
Jak bardzo jesteś pewny(-a)?

Eksperyment

Ten interaktywny eksperyment działa w przeglądarce z włączonym JavaScriptem. Tekst wokół opisuje, co w nim widać. W eksperymencie: Model literowy widzi tylko c ostatnich znaków: perpleksja na odłożonym tekście spada z 21,56 (bez kontekstu) do 8,02 przy oknie 4 znaków, a słowo stojące 24 znaki wcześniej jest dla modelu niewidoczne.

Pokaż odpowiedź

Poprawna odpowiedź: W obu zdaniach to samo, bo imienia w ogóle nie widzi

Model widzi w obu zdaniach te same 4 znaki, więc daje te same prawdopodobieństwa: „ł” 50%, „e” 12%. Piotr też „poszła”. A jednak tam, gdzie wystarczy bliski kontekst, zgaduje dobrze: perpleksja spada z 21,56 bez kontekstu do 8,02 przy oknie 4 znaków.

Spróbuj

  • Przesuń suwak okna od 0 do 4 i patrz, jak spada perpleksja.
  • Ustaw okno 12 znaków. Czy imię już mieści się w oknie? Czy dłuższe okno w ogóle pomaga temu małemu modelowi?

Pomysł w prostych słowach

Model ma stałą liczbę miejsc na tekst. W eksperymencie to kilka znaków, w dużych modelach tysiące, a nawet setki tysięcy tokenów. Do okna trafia wszystko naraz: instrukcje, cała dotychczasowa rozmowa, wklejone dokumenty i odpowiedź, którą model właśnie pisze. Gdy tekstu jest więcej, niż mieści okno, najstarsza część zostaje ucięta albo streszczona przez aplikację.

Dłuższe okno to nie wszystko. W eksperymencie okno 12 znaków wypada gorzej niż okno 4 (perpleksja 8,47 wobec 8,02), bo 96,9% tak długich kontekstów z tekstu do sprawdzenia nie wystąpiło ani razu w 5775 znakach nauki. Duże modele radzą sobie z długim kontekstem znacznie lepiej, ale i one potrafią przeoczyć szczegół zakopany w środku bardzo długiego tekstu.

Częsty błąd

„Czat pamięta całą naszą historię.” Widzi tylko to, co aplikacja włoży do okna. Niektóre aplikacje mają osobną „pamięć”: zapisują notatki o Tobie i dokładają je do okna w kolejnych rozmowach. To jednak dalej tekst w oknie, a nie wspomnienie. Ważne ustalenia z początku długiej rozmowy warto powtórzyć albo zacząć nową rozmowę od krótkiego podsumowania.

Quiz

Trzy pytania na sprawdzenie się. Wybierz odpowiedź albo rozwiń odpowiedź pod pytaniem. Z klawiatury: strzałki wybierają, Enter albo spacja zatwierdza.

1. Co model językowy widzi, gdy pisze kolejny token odpowiedzi?
Pokaż odpowiedź

Poprawna odpowiedź: Tylko tekst, który mieści się w jego oknie kontekstu

Do okna trafiają instrukcje, rozmowa i dokumenty; tego, co poza nim, model nie widzi wcale.

2. Model widzi 4 ostatnie znaki, a imię stoi 24 znaki wcześniej. Co poda dla Anny i Piotra?
Pokaż odpowiedź

Poprawna odpowiedź: Te same prawdopodobieństwa, bo imienia nie widzi

W obu zdaniach okno zawiera te same 4 znaki, więc „ł” ma 50%, a „e” 12%, także dla Piotra.

3. Aplikacja czatu ma funkcję „pamięci”. Jak ona zwykle działa?
Pokaż odpowiedź

Poprawna odpowiedź: Zapisuje notatki o Tobie i dokłada je do okna kontekstu

Taka pamięć to dalej tekst wkładany do okna, a nie wspomnienie w środku modelu.

Najważniejsze wnioski

  • Model widzi tylko tekst w oknie kontekstu; tego, co poza nim, dla modelu nie ma.
  • Do okna trafia wszystko naraz: instrukcje, rozmowa, dokumenty i odpowiedź.
  • „Pamięć” aplikacji to notatki dokładane do okna, a nie wspomnienia modelu.
  • Ważne ustalenia z długiej rozmowy powtórz albo zacznij nową od podsumowania.

Więcej w Atlasie

Hasła encyklopedii o pojęciach z tej lekcji: