Czy ChatGPT to uczenie maszynowe? Jak działa, w 5 krokach

Krótka odpowiedź

Tak, ChatGPT to uczenie maszynowe. Pod spodem jest duży model językowy: sieć neuronowa, która z ogromnej ilości tekstu nauczyła się jednej rzeczy, zgadywać następny kawałek tekstu. Potem ludzie dostroili ją do rozmowy, pokazując przykłady dobrych odpowiedzi i oceniając jej odpowiedzi. Nikt nie wpisał jej reguł gramatyki ani faktów o świecie. Wszystko, co „umie”, wyciągnęła z przykładów, a to jest właśnie definicja uczenia maszynowego.

Poniżej pięć kroków. Każdy ma krótką lekcję z eksperymentem w ścieżce Jak działa AI, której używasz.

Krok 1. Tekst zamienia się w tokeny

Model nie czyta liter ani całych słów, tylko tokeny, czyli kawałki słów. Częste słowa są jednym tokenem, rzadkie tną się na kilka kawałków. W naszym małym tokenizatorze zdanie „kot siedzi na kanapie” ma 18 liter, ale tylko 4 tokeny, bo każde z tych słów było w tekście, na którym tokenizator się uczył.

Dlaczego to ważne? Model liczy i „pamięta” w tokenach, nie w słowach. Lekcja: Tokeny: jak model językowy kroi tekst.

Krok 2. Model uczy się zgadywać następny token

Najdłuższy etap nauki wygląda zaskakująco prosto: model dostaje początek tekstu i ma zgadnąć, jaki token będzie dalej. Za każdym razem, gdy się pomyli, jego liczby (parametry) przesuwają się odrobinę w stronę lepszej odpowiedzi. Powtórz to na ogromnej ilości tekstu, a żeby dobrze zgadywać, model musi wyłapać gramatykę, styl i wiele faktów.

Sieć, która to robi, to transformer, opisany w 2017 roku w pracy „Attention Is All You Need”. Lekcja: Następny token: jedno zadanie, które robi wszystko.

Krok 3. Ludzie uczą go rozmawiać

Sam model od zgadywania tekstu nie jest jeszcze pomocnym rozmówcą: potrafi ciągnąć tekst w dowolną stronę. Dlatego dostraja się go na przykładach rozmów pisanych przez ludzi, a potem ludzie porównują i oceniają jego odpowiedzi, a model uczy się dawać takie, które oceniono wyżej. To uczenie przez wzmacnianie z ludzką informacją zwrotną (RLHF).

Jak bardzo to pomaga? W pracy o modelach InstructGPT (Ouyang i in., 2022) ludzie oceniający wyżej stawiali odpowiedzi modelu z 1,3 mld parametrów, dostrojonego w ten sposób, niż odpowiedzi GPT-3 ze 175 mld parametrów, choć model był 100 razy mniejszy. OpenAI, przedstawiając ChatGPT 30 listopada 2022, napisało, że wytrenowało go tą samą metodą co InstructGPT, z niewielkimi zmianami w zbieraniu danych. Więcej w haśle RLHF i DPO.

Krok 4. Odpowiedź powstaje token po tokenie, z odrobiną losowania

Gdy piszesz pytanie, model liczy szanse dla każdego możliwego następnego tokenu, wybiera jeden, dopisuje go i liczy od nowa. Wybór jest losowaniem, a temperatura ustawia, jak bardzo: w naszym przykładzie najbardziej prawdopodobne słowo ma 35% szans przy temperaturze 1, a przy temperaturze 0,1 już 95%. Dlatego to samo pytanie może dać różne odpowiedzi. Lekcja: Temperatura: pewność kontra różnorodność.

Model widzi przy tym tylko tyle tekstu, ile mieści jego okno kontekstu. To, co z niego wypadnie, dla modelu nie istnieje. Lekcja: Okno kontekstu: co model „pamięta”.

Krok 5. Płynnie nie znaczy prawdziwie

Model został nauczony pisać tekst, który brzmi jak dobra odpowiedź. Zwykle brzmieć dobrze i być prawdą idzie w parze, ale nie zawsze. Gdy model czegoś nie wie, nadal napisze gładkie zdanie, czasem z wymyśloną datą albo źródłem. To halucynacje. Pomaga podanie modelowi źródeł do przeczytania, ale tylko wtedy, gdy właściwe źródło się znajdzie. Lekcje: Halucynacje: płynnie nie znaczy prawdziwie i Jak sprawdzić odpowiedź AI.

Co z tego wynika dla Ciebie

ChatGPT to nie wyszukiwarka ani baza faktów, tylko bardzo dobry przewidywacz tekstu. Ważne fakty sprawdzaj w źródle.
Te same idee (dane, nauka na przykładach, ocena na nowych przypadkach) stoją za każdym modelem uczenia maszynowego, od filtra spamu po rozpoznawanie gatunków pingwinów. Jeśli chcesz zrozumieć je od podstaw, zacznij od klasycznego uczenia maszynowego.

Co dalej

Jak działa AI, której używasz: krótka ścieżka, w której każdy z tych kroków sprawdzisz sam.
Start tutaj: trzy pytania, które wskażą Ci wejście.
Kurs ML od zera: lekcja Od sieci neuronowych do dużych modeli językowych łączy oba światy.
Newsletter „ML jak dziecku”: jedno pojęcie w mailu.

Źródła

Ouyang L., Wu J., Jiang X. i in., „Training language models to follow instructions with human feedback”, 2022 (abstrakt: 1.3B InstructGPT vs 175B GPT-3, „100x fewer parameters”), sprawdzone 25.10.2026: https://arxiv.org/abs/2203.02155
OpenAI, „Introducing ChatGPT”, 30.11.2022 (sekcja „Methods”: RLHF, te same metody co InstructGPT), sprawdzone 25.10.2026: https://openai.com/index/chatgpt/
Vaswani A., Shazeer N., Parmar N. i in., „Attention Is All You Need”, NeurIPS 2017, sprawdzone 25.10.2026: https://arxiv.org/abs/1706.03762
Liczby z tokenizatora i temperatury pochodzą z eksperymentów w lekcjach ścieżki AI ML Atlas (ten sam kod, który działa na stronie).