Newsletter · kurs „ML w 10 dni” · dzień 6 z 10 · ok. 2 min czytania
Trafność kłamie, gdy jedna klasa jest rzadka
W skrócie
Dzień 6 kursu mailowego „ML w 10 dni”: dlaczego sama trafność bywa myląca i co mówią macierz pomyłek, czułość oraz precyzja, na przykładzie biopsji guzów.
Pojęcie: Ocena klasyfikatora ·
1. Haczyk
Wróżka codziennie przepowiada: „jutro nie będzie trzęsienia ziemi”. Prawie zawsze ma rację. Mimo to nikt rozsądny nie zatrudni jej w służbie ostrzegania. Wysoki odsetek trafień nic nie znaczy, jeśli przegapia jedyne dni, które się liczą.
2. Przewidź
Model ocenia biopsje guzów. Chcesz wykryć co najmniej 95% złośliwych guzów. Jaki jest najwyższy próg, który to zapewnia: 0,5; 0,3; 0,2 czy 0,1?
Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.
3. Wyjaśnienie
Trafność to odsetek wszystkich dobrych odpowiedzi. Brzmi uczciwie, ale miesza dwa rodzaje błędów: fałszywy alarm (zdrowa biopsja oznaczona jako złośliwa) i przeoczenie (złośliwa uznana za łagodną). Macierz pomyłek rozdziela je na cztery pola. Z niej liczy się czułość, czyli jaką część złośliwych guzów model wykrył, i precyzję, czyli jaka część alarmów była prawdziwa.
Rozwiązanie: 0,1. Przy tym progu czułość wynosi 96,9%: model wykrywa 62 z 64 złośliwych guzów. Przy progu 0,2 czułość to już tylko 92,2%, a przy 0,5 82,8%. Płacisz fałszywymi alarmami: przy progu 0,1 jest ich 20, a przy 0,5 tylko 3.
A trafność? Przy progu 0,5 wynosi 91,8%, czyli wygląda świetnie, choć model przeocza 11 z 64 złośliwych guzów. Jedna liczba ukryła to, co najważniejsze.
Sprawdź sam. W lekcji przesuwasz próg i patrzysz, jak zmieniają się trafność, czułość i precyzja.
4. Częsty błąd
„Bardzo wysoka trafność to świetny model.” Przy rzadkiej chorobie model, który każdemu mówi „zdrowy”, też ma bardzo wysoką trafność i nie wykrywa nikogo. Zanim pochwalisz model, sprawdź, jak radzi sobie z rzadszą klasą.
5. Gdzie ta analogia się psuje
Wróżka zawsze mówi to samo, więc łatwo ją przejrzeć. Prawdziwy model coś wykrywa i ma sensowną trafność, więc problem jest mniej widoczny. Pojawia się wtedy, gdy oceniasz go jedną liczbą.
6. Dlaczego to ważne w pracy
Raportuj czułość i precyzję albo zrównoważoną trafność, a miarę wybierz przed treningiem, razem z osobami, które znają koszt każdego błędu. W scikit-learn pomaga classification_report.
7. Pytanie powtórkowe
Odpowiedź na pytanie z poprzedniego dnia
BMI tłumaczy około jednej trzeciej zmienności postępu choroby, czyli 34%. Pozostałe 66% zależy od innych rzeczy, których prosta nie widzi.
Nowe pytanie
Wracamy do dnia 4. Zwiększasz współczynnik uczenia z 0,8 do 1,1. Co dzieje się ze stratą?
Odpowiedź w następnym dniu kursu.