99% trafności i ani jednego wykrycia

1. Haczyk

Synoptyk chwali się, że jego prognozy deszczu prawie zawsze się sprawdzają. Mieszka na pustyni. Gdyby codziennie mówił „nie będzie padać”, bez żadnych przyrządów, trafiałby tak samo często.

2. Przewidź

Model ocenia biopsje guzów piersi. W teście zostawiamy 107 łagodnych biopsji i tylko 1 złośliwą. „Model” na każdą biopsję odpowiada „łagodny”, niczego nie liczy. Jaką ma trafność: około 50%, około 75% czy około 99%? I ile złośliwych wykryje?

Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.

3. Wyjaśnienie

Rozwiązanie. Około 99%: 107 ze 108 biopsji to 99,1% trafności, a jedyna złośliwa przechodzi niezauważona. Wyuczona reguła, która patrzy na jeden pomiar i jeden próg, ma na tym samym teście tylko 90,7%. Za to tę jedną złośliwą wykrywa.

Odpowiedź „zawsze łagodny” to punkt odniesienia (ang. baseline): wynik, jaki da się osiągnąć bez żadnego uczenia. W klasyfikacji to zwykle najczęstsza klasa. Wśród 398 biopsji do nauki łagodnych jest 250, więc odpowiedź brzmi zawsze „łagodny”. Jej trafność nie mówi nic o biopsjach. Mówi tylko, jak rzadka jest druga klasa.

Na pełnym teście, ze wszystkimi 64 złośliwymi, ta sama odpowiedź ma już tylko 62,6%. Reguła ma 91,2% i wykrywa 59 złośliwych. Dopiero obok punktu odniesienia widać, ile model naprawdę umie, bo wynik reguły porównujesz z wynikiem odpowiedzi bez uczenia na tych samych biopsjach.

W przewidywaniu liczb punktem odniesienia jest średnia: każdy dostaje tę samą wartość. Dla postępu cukrzycy rok później sama średnia ma błąd średniokwadratowy 5076. Model, który widzi 10 pomiarów pacjenta, ma 2827, czyli błąd o 44,3% mniejszy. Prosta na samym BMI zmniejsza błąd tylko o 19,3%.

Sprawdź sam. W lekcji o punkcie odniesienia zabierasz z testu kolejne złośliwe biopsje i patrzysz, jak trafność „zawsze łagodny” rośnie, a liczba wykrytych stoi w miejscu.

• Ćwiczenie w kursie: punkt odniesienia
• Hasło z ilustracją: modele bazowe

4. Częsty błąd

„Wysoka trafność znaczy dobry model.” Sama liczba tego nie mówi. Przy 5 złośliwych w teście „zawsze łagodny” ma 95,5%, a reguła 91,1%, choć tylko reguła wykrywa wszystkie 5. Obok trafności podawaj więc punkt odniesienia i drugą liczbę: ile przypadków rzadkiej klasy model naprawdę wykrył (paradoks dokładności).

5. Gdzie ta analogia się psuje

Synoptyk przynajmniej wie, że mieszka na pustyni. Model z wysoką trafnością tego nie wie i nie powie ci, że pobił tylko odpowiedź „zawsze łagodny”. Do tego punkt odniesienia to dolna granica, a nie cel. Pobicie go o włos zwykle nic nie znaczy, bo inny podział danych może odwrócić wynik.

6. Dlaczego to ważne w pracy

Pierwsze pytanie o każdy wynik modelu brzmi: ile ma punkt odniesienia na tych samych danych testowych? W scikit-learn liczy go DummyClassifier albo DummyRegressor. Raport bez tej liczby trudno ocenić, nawet jeśli trafność wygląda imponująco.

7. Pytanie powtórkowe

Odpowiedź na pytanie z poprzedniego numeru

Zmienił się udział działów. Więcej ocen przyszło z działu, w którym klienci zawsze oceniają niżej. W każdym dziale jest lepiej, ale suma waży działy inaczej niż wcześniej. To paradoks Simpsona, ten sam mechanizm co w Berkeley: trzecia zmienna, tu dział, wpływa i na to, skąd są oceny, i na ich wysokość.

Nowe pytanie

Wracamy do częstości bazowej. Model wykrywa oszustwa w płatnościach kartą. Oszustwa są bardzo rzadkie, a model wykrywa większość z nich i rzadko myli się na uczciwych płatnościach. Dlaczego mimo to większość jego alarmów może być fałszywa?

Odpowiedź w następnym numerze.