ML Atlas

Kurs · 3 z 12 lekcji gotowych

Kurs: modele językowe od środka

Po kursie wiesz, z czego składa się droga od tekstu do odpowiedzi czatu, i umiesz przewidzieć, co zmieni temperatura, okno, dostrajanie czy wyszukiwanie. W każdej lekcji najpierw przewidujesz wynik, potem sprawdzasz go w eksperymencie z celem do osiągnięcia. Eksperymenty to zabawki, nie prawdziwe modele: liczby o prawdziwych modelach mają źródło z datą.

Zacznij lekcję 1 Kurs NN

Dla osób po kursie NN (albo z tą samą wiedzą) i dla programistów, którzy budują aplikacje z modelami językowymi i chcą rozumieć, co mierzą. Kurs nie uczy żadnego API ani frameworka: warstwa „W kodzie” to numpy.

Nie programujesz i chcesz tylko rozumieć czat? Ścieżka AI, 6 lekcji po 8–10 min.

Czy jesteś gotowy?

Sześć pytań o to, czego ten kurs potrzebuje z kursu NN i kursu ML. Przy błędzie albo „Nie wiem” zobaczysz lekcję do powtórki. Nic się nie zapisuje.

1. Model daje prawdziwemu tokenowi prawdopodobieństwo 0,01. Ile wynosi strata entropii krzyżowej dla tego tokenu?
Pokaż odpowiedź

Odpowiedź: Około 4,6

Entropia krzyżowa to −ln p prawdziwego tokenu: −ln 0,01 ≈ 4,6. Model pewny złej odpowiedzi płaci dużo. Perpleksja w tym kursie to e do potęgi średniej tej straty.

Powtórz: lekcja 4 „Wyjście i strata: softmax i entropia krzyżowa” w kursie NN

2. Co liczy propagacja wsteczna?
Pokaż odpowiedź

Odpowiedź: Gradient straty względem każdej wagi

Propagacja wsteczna tylko liczy gradient: jak zmieni się strata, gdy ruszysz każdą wagą. Wagi przesuwa dopiero optymalizator.

Powtórz: lekcja 5 „Propagacja wsteczna krok po kroku” w kursie NN

3. W samouwadze słowo 1 i słowo 50 tego samego tekstu: jak idzie sygnał między nimi?
Pokaż odpowiedź

Odpowiedź: Wprost, jednym krokiem

Każde słowo liczy wagę uwagi dla każdego innego wprost, więc droga ma jeden krok. Przez 49 kroków szedłby stan sieci rekurencyjnej.

Powtórz: lekcja 11 „Sekwencje: od pamięci RNN do uwagi” w kursie NN

4. Model, który pisze tekst, ma maskę przyczynową. Które tokeny widzi token na pozycji 5?
Pokaż odpowiedź

Odpowiedź: Tokeny 1–5

Maska zeruje uwagę na tokeny z przyszłości, więc token 5 widzi siebie i wszystkie wcześniejsze. Dzięki temu model w nauce nie podgląda słowa, które ma przewidzieć.

Powtórz: lekcja 12 „Transformer: klocki, które już znasz” w kursie NN

5. Wybierasz ustawienie modelu po wyniku na zbiorze testowym. Co z tym wynikiem?
Pokaż odpowiedź

Odpowiedź: Przestaje być uczciwą oceną nowych danych

Spośród wielu ustawień wygrywa to, któremu test akurat sprzyjał, więc jego wynik jest zawyżony. Ustawienia wybiera się na walidacji, a test ogląda raz, na końcu.

Powtórz: lekcja 3.2 „Walidacja i walidacja krzyżowa” w kursie ML

6. Tokenizator dostaje słowo, którego nie widział w nauce. Co z nim robi?
Pokaż odpowiedź

Odpowiedź: Tnie je na kilka kawałków

BPE składa nowe słowo ze znanych kawałków, w skrajnym razie z pojedynczych liter. Nic nie ginie i nic nie jest podmieniane.

Skrót: lekcja 1 „Tokeny: jak model językowy kroi tekst” w ścieżce AI

Lekcje

Cztery moduły, od tokenów do oceny modelu. Pozycje bez linku dopiero powstają.

Moduł 1 · Jak powstaje model językowy

Co model widzi i czego uczy się z samego tekstu?

  1. 1Tokeny: jak BPE buduje słownikModel nie czyta liter, tylko numery tokenów. Zobacz, jak BPE skleja najczęstsze pary w słownik i ile to kosztuje: krótsze ciągi, większa macierz osadzeń.13 min · Interaktywne
  2. 2Pretrening: tekst sam jest etykietąW pretreningu etykietą jest następny token (w labie: znak), a jakość mierzy perpleksja. Kiedy dłuższy kontekst pomaga, a kiedy na małych danych przegrywa?14 min · Interaktywne
  3. 3Mały GPT: blok z N12, który się uczyJeden blok transformera z maską uczy się przewidywać następny znak. Jedno przejście daje stratę 16 pozycji, a pisanie idzie znak po znaku.15 min · Interaktywne

Moduł 2 · Generowanie i koszt

Co model robi z rozkładem, ile widzi i ile to kosztuje?

  1. Dekodowanie: temperatura, top-k, top-pWkrótce
  2. Okno kontekstu i koszt uwagiWkrótce
  3. Ile kosztuje model: bity, parametry, daneWkrótce

Moduł 3 · Z modelu tekstu asystent

Jak zmienić model, który dokańcza tekst, i co przy tym psujemy?

  1. Dostrajanie i zapominanieWkrótce
  2. LoRA: zmiana wag niskiego rzęduWkrótce
  3. Preferencje: RLHF i DPOWkrótce

Moduł 4 · Wiedza, narzędzia, ocena

Skąd model bierze fakty, jak działa z narzędziami i jak wiedzieć, że jest dobry?

  1. RAG: wyszukiwanie decydujeWkrótce
  2. Agenci: pętla i niezawodnośćWkrótce
  3. Ocena LLM: benchmark, przeciek, sędziaWkrótce
  4. Projekt: wyszukiwarka do RAG na hasłach AtlasuProjekt · Wkrótce