Przeuczenie — kurs mailowy „ML w 10 dni”, dzień 7

1. Haczyk

Uczeń wkuł na pamięć odpowiedzi z zeszłorocznego testu, słowo w słowo. Na starych arkuszach jest bezbłędny. Potem przychodzi nowy test, z innymi liczbami w zadaniach. Co się stanie?

2. Przewidź

Dopasowujesz krzywe, czyli wielomiany coraz wyższego stopnia, do danych 30 pacjentów: BMI i postęp cukrzycy. Wyższy stopień to bardziej giętka krzywa. Który stopień da najmniejszy błąd na nowych pacjentach: 1 (zwykła prosta), 3, 6 czy 10?

Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.

3. Wyjaśnienie

Prawdziwe dane mają szum: przypadkową zmienność, której nie wyjaśnia żadna cecha. Dwoje pacjentów z tym samym BMI nie choruje identycznie. Krzywa na tyle giętka, żeby przejść przez każdy punkt, uczy się nie tylko trendu, ale też szumu. To jest przeuczenie: model coraz lepiej pasuje do danych treningowych, a coraz gorzej przewiduje nowe.

Rozwiązanie: stopień 1. Jego błąd na nowych pacjentach wynosi 64,1. Stopień 3 ma 65,2, stopień 6 ma 70,3, a stopień 10 aż 132,6. A na danych treningowych błąd przez cały czas spada: z 60,2 przy prostej do 51,1 przy stopniu 10. Najbardziej giętka krzywa wygrała trening i przegrała z kretesem na nowych danych.

Błąd testowy zwykle układa się w literę U. Po lewej stronie jest niedouczenie: model za sztywny, żeby złapać wzór. Po prawej przeuczenie. Najlepszy model leży gdzieś pośrodku, a gdzie dokładnie, zależy od ilości danych.

Sprawdź sam. W lekcji przesuwasz suwak stopnia wielomianu i patrzysz, jak krzywa zaczyna falować między punktami.

4. Częsty błąd

Wybieranie złożoności modelu według błędu treningowego. Ten błąd zawsze nagradza elastyczność, więc zawsze zagłosuje za najbardziej złożonym modelem, czyli za uczniem, który wkuwa. Wybieraj według danych, na których model się nie uczył.

5. Gdzie ta analogia się psuje

Uczeń wie, że wkuwa, i może zmienić sposób nauki. Model nie ma takiej świadomości. Przeuczenie wychodzi na jaw dopiero wtedy, gdy porównasz wynik na treningu z wynikiem na danych odłożonych na bok.

6. Dlaczego to ważne w pracy

Przy każdym modelu porównuj wynik treningowy z walidacyjnym. Mały błąd treningowy przy dużym walidacyjnym to przeuczenie. Leczy się je prostszym modelem, większą ilością danych albo regularyzacją, która karze skrajne wagi.

7. Pytanie powtórkowe

Odpowiedź na pytanie z poprzedniego dnia

Strata rośnie zamiast spadać. Po 5 krokach wynosi 159823 przy kroku 1,1 wobec 4043 przy kroku 0,8, bo za długi krok za każdym razem przeskakuje dolinę.

Nowe pytanie

Wracamy do dnia 5. Model ma domyślny próg decyzji 0,5. Czy to zawsze najlepszy wybór?

Odpowiedź w następnym dniu kursu.

Uczeń, który wykuł zeszłoroczne odpowiedzi