ML Atlas

Jak działa AI, której używasz · Lekcja 5 z 6 · 10 min

Halucynacje: płynnie nie znaczy prawdziwie

W skrócie

Czat AI potrafi pewnym tonem podać nieprawdę. Zobacz, skąd się to bierze i dlaczego wyszukanie źródła pomaga, ale tylko wtedy, gdy źródło się znajdzie.

Czat AI pisze płynnie i pewnym tonem, także wtedy, gdy się myli. Zmyślona data, nieistniejący artykuł, liczba wzięta znikąd: takie płynne, ale fałszywe odpowiedzi nazywamy halucynacjami. Biorą się z tego, co już wiesz z lekcji 2: model pisze to, co prawdopodobne, a nie to, co sprawdzone.

Jednym ze sposobów ograniczania halucynacji jest RAG (retrieval-augmented generation): zanim model odpowie, wyszukiwarka znajduje fragmenty dokumentów pasujące do pytania i wkleja je do okna kontekstu. Model ma wtedy podstawę. Ale co, jeśli wyszukiwarka nic nie znajdzie?

Przewidź, potem sprawdź Wyszukiwarka w eksperymencie przeszukuje 25 krótkich fragmentów o uczeniu maszynowym. Pytanie brzmi: „Czemu chatbot pewnym tonem podaje nieprawdziwe dane?”. Fragment z odpowiedzią mówi o tym samym, ale innymi słowami („model językowy”, „zmyśla fakty”). Gdzie wyszukiwarka go umieści?
Jak bardzo jesteś pewny(-a)?

Eksperyment

Ten interaktywny eksperyment działa w przeglądarce z włączonym JavaScriptem. Tekst wokół opisuje, co w nim widać. W eksperymencie: zabawkowy RAG: dla 5 pytań wyszukiwanie po słowach (TF-IDF lub BM25) umieszcza fragment z odpowiedzią w top 5 w 4 przypadkach, a pytanie sformułowane synonimami nie znajduje go wcale (wynik 0).

Pokaż odpowiedź

Poprawna odpowiedź: Daleko, bo nie ma w nim ani jednego słowa z pytania

Fragment „Halucynacje” dostaje wynik 0: nie dzieli z pytaniem ani jednego rdzenia słowa, więc nie trafia do pierwszej piątki, którą zobaczyłby model. Pozostałe pytania znajdują swój fragment w pierwszej piątce, razem 4 z 5. Model bez właściwego fragmentu ma tylko prawdopodobną kontynuację, bez dowodu.

Spróbuj

  • Wybierz pytanie o chatbota i zobacz, które fragmenty wygrały zamiast fragmentu z odpowiedzią.
  • Wybierz pytanie o dropout i porównaj: tu pytanie i fragment dzielą słowa, więc odpowiedź jest na 1. miejscu.
  • Zmieniaj liczbę fragmentów podawanych modelowi (1, 3 albo 5). Przy której model dostałby odpowiedź na najwięcej pytań?

Pomysł w prostych słowach

Model językowy uczy się pisać tekst, który brzmi jak prawdziwy. Gdy w danych do nauki dana informacja pojawiała się często i zgodnie, prawdopodobne i prawdziwe się pokrywają. Gdy pojawiała się rzadko, sprzecznie albo wcale, model i tak napisze coś prawdopodobnego: datę w dobrym formacie, nazwisko, które pasuje, tytuł artykułu, który brzmi wiarygodnie. Ton zostaje tak samo pewny, bo pewny ton jest po prostu częsty w tekstach.

RAG pomaga, bo daje modelowi tekst źródłowy w oknie kontekstu. Ma jednak dwa słabe punkty. Wyszukiwarka może nie znaleźć właściwego fragmentu, tak jak w eksperymencie, gdzie prosta wyszukiwarka po słowach przegrywa z synonimami (lepiej radzą sobie wyszukiwarki po znaczeniu, oparte na embeddingach). A nawet ze źródłem w oknie model może je źle streścić.

Częsty błąd

„Pewny ton oznacza poprawną odpowiedź.” Nie: model pisze tym samym pewnym tonem, gdy wie i gdy zgaduje. Pewność w głosie nie mówi nic o prawdziwości. Czaty coraz częściej mówią „nie wiem”, ale nie licz na to: sprawdzaj, zwłaszcza liczby, daty, nazwiska i cytaty. Jak to robić, pokazuje lekcja 6.

Quiz

Trzy pytania na sprawdzenie się. Wybierz odpowiedź albo rozwiń odpowiedź pod pytaniem. Z klawiatury: strzałki wybierają, Enter albo spacja zatwierdza.

1. Skąd biorą się halucynacje modeli językowych?
Pokaż odpowiedź

Poprawna odpowiedź: Z tego, że model pisze to, co prawdopodobne, a nie sprawdzone

Model nie ma w środku bazy faktów; gdy prawdopodobne i prawdziwe się rozchodzą, płynnie pisze nieprawdę.

2. Na czym polega RAG?
Pokaż odpowiedź

Poprawna odpowiedź: Wyszukiwarka wkleja pasujące fragmenty do okna kontekstu

Najpierw wyszukiwanie fragmentów, potem odpowiedź modelu, który ma je w oknie kontekstu.

3. Czat odpowiada bardzo pewnym tonem. Co to mówi o prawdziwości odpowiedzi?
Pokaż odpowiedź

Poprawna odpowiedź: Nic, bo model pisze tak samo pewnie, gdy wie i gdy zgaduje

Pewność w głosie nie jest sygnałem prawdy; liczby, daty i cytaty trzeba sprawdzić.

Najważniejsze wnioski

  • Halucynacja to płynna, pewna siebie, ale fałszywa odpowiedź.
  • Model pisze to, co prawdopodobne; gdy to rozchodzi się z prawdą, zmyśla tym samym tonem.
  • RAG wkleja źródła do okna kontekstu, ale pomaga tylko wtedy, gdy wyszukiwarka je znajdzie.
  • Pewny ton nie jest dowodem: sprawdzaj liczby, daty, nazwiska i cytaty.

Więcej w Atlasie

Hasła encyklopedii o pojęciach z tej lekcji: