Częstość bazowa — newsletter „ML jak dziecku”, nr 4

1. Haczyk

Na parkingu wyje alarm samochodowy. Nikt nie podnosi głowy. Każdy wie, że alarmy dużo częściej włączają się przez wiatr albo kota niż przez złodzieja. Z testami medycznymi i z modelami jest tak samo, tylko intuicja podpowiada nam to dużo rzadziej.

2. Przewidź

Choroba dotyka 1% ludzi. Test wykrywa 90% chorych i daje poprawny, ujemny wynik u 90% zdrowych. Twój wynik jest dodatni. Jaka jest szansa, że naprawdę chorujesz: około 90%, około 50% czy około 8%?

Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.

3. Wyjaśnienie

Rozwiązanie: około 8%. Najłatwiej zobaczyć to na konkretnych ludziach. Weźmy 1000 osób. Chorych jest wśród nich 10, a zdrowych 990. Test wykrywa 9 chorych. Myli się jednak także u 99 zdrowych, bo nawet mały odsetek z dużej grupy to dużo osób. Wyników dodatnich jest razem 108, a chorych wśród nich tylko 9. To 8,3%.

To jest błąd częstości bazowej: patrzymy na jakość testu, a zapominamy, jak rzadka jest sama choroba. Gdy zdrowych jest dużo więcej niż chorych, nawet rzadkie pomyłki u zdrowych zalewają prawdziwe wykrycia.

Lepszy test pomaga, ale mniej, niż się wydaje. Test, który myli się tylko u 1% chorych i 1% zdrowych, przy tej samej rzadkości choroby daje 20 wyników dodatnich, z czego 10 to chorzy. Nawet wtedy dodatni wynik to rzut monetą.

Sprawdź sam. W haśle zmieniasz częstość choroby i jakość testu i patrzysz, ile dodatnich wyników to prawdziwi chorzy.

4. Częsty błąd

Mylenie dwóch pytań. Pierwsze: jaka jest szansa na dodatni wynik, jeśli choruję? Tu odpowiedź to 90%. Drugie: jaka jest szansa, że choruję, jeśli wynik jest dodatni? Tu odpowiedź to 8,3%. Zamiana tych pytań ma nawet własną nazwę z sal sądowych (błąd prokuratora).

5. Gdzie ta analogia się psuje

Alarm samochodowy albo wyje, albo milczy. Model zwykle daje ocenę na skali, a próg, od którego wynik jest „dodatni”, wybierasz ty (próg decyzyjny). Przesuwając próg, wymieniasz fałszywe alarmy na przeoczenia. Częstości choroby progiem nie zmienisz.

6. Dlaczego to ważne w pracy

Przy rzadkich zdarzeniach, takich jak oszustwa, awarie czy rzadkie choroby, pytaj o precyzję: jaka część alarmów modelu jest prawdziwa. Model z „wysoką trafnością” może zalewać zespół fałszywymi alarmami (precyzja i czułość).

7. Pytanie powtórkowe

Odpowiedź na pytanie z poprzedniego numeru

Średnia do skalowania powstała także z danych testowych, więc informacja o teście przeciekła do treningu. To wyciek danych. Skaler dopasowuje się tylko na części treningowej, a najwygodniej robi to Pipeline, który powtarza ten krok w każdym podziale walidacji.

Nowe pytanie

Wracamy do paradoksu Simpsona. Średnia ocena klientów sklepu spadła, choć w każdym dziale osobno wzrosła. Co mogło się stać?

Odpowiedź w następnym numerze.

Test jest dodatni. Czy to znaczy, że chorujesz?