Próg pod koszt pomyłek — newsletter „ML jak dziecku”, nr 8

1. Haczyk

Czujnik dymu w kuchni czasem wyje przy przypalonej grzance. To irytuje, ale nikt rozsądny nie ustawia go tak, żeby włączał się dopiero przy pełnym pożarze. Przeoczony pożar kosztuje nieporównanie więcej niż kilka fałszywych alarmów.

2. Przewidź

Model ocenia biopsje guzów piersi i każdej daje ryzyko złośliwości. Przeoczenie guza złośliwego kosztuje 10 razy więcej niż fałszywy alarm, czyli niepotrzebne dalsze badanie. Model jest dobrze skalibrowany. Od jakiego ryzyka najtaniej jest podnosić alarm: od około 0,9, od zwykłego 0,5 czy od około 0,1?

Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.

3. Wyjaśnienie

Każda pomyłka ma cenę. Przeoczony guz złośliwy to choroba wykryta za późno. Fałszywy alarm to niepotrzebne badanie i stres. Gdy znasz ceny, koszt progu to zwykła suma: przeoczenia razy cena przeoczenia plus fałszywe alarmy razy cena alarmu. Najlepszy próg to ten z najmniejszą sumą.

Rozwiązanie. Od około 0,1. Bierzemy 569 biopsji, każdą ocenioną przez model, który jej nie widział. Próg 0,5 daje 24 przeoczenia i 14 fałszywych alarmów. Przy cenach 10 i 1 to koszt 254. Najtańszy próg na tych danych to 0,06: 2 przeoczenia i 91 alarmów, koszt 111. Ale ten próg wybrano i wyceniono na tych samych biopsjach, więc 111 to wynik za optymistyczny.

Przy skalibrowanym modelu próg da się też policzyć bez szukania. Alarm opłaca się, gdy ryzyko razy cena przeoczenia jest większe niż reszta razy cena alarmu. Przy cenach 10 i 1 wychodzi ryzyko powyżej 1/11, czyli około 0,09. Na tych biopsjach taki próg kosztuje 125, mniej niż połowa kosztu progu 0,5. A gdy „najtańszy” próg wybierzesz na części biopsji i wycenisz na pozostałych, kosztuje 141, więcej niż próg z teorii, którego nikt nie stroił.

Uczciwie: ceny 10 i 1 to przykład, a nie wycena medyczna. Ważny jest kierunek. Im droższe przeoczenie, tym niższy próg. Im droższy fałszywy alarm, tym wyższy.

Sprawdź sam. W lekcji o metryce i progu ustawiasz ceny obu pomyłek, przesuwasz próg i widzisz koszt każdego progu na wykresie.

4. Częsty błąd

„Próg 0,5 jest neutralny, więc najbezpieczniejszy.” Jest najtańszy tylko wtedy, gdy obie pomyłki kosztują tyle samo, a model jest skalibrowany. Tu, przy cenach 10 i 1, kosztuje ponad dwa razy więcej niż próg z teorii.

Drugi błąd: wybór progu pod ulubioną miarę. Próg najlepszy dla miary F1 to 0,65, a przy tych cenach kosztuje 276, więcej nawet niż 0,5. Miara nie zna twoich cen.

5. Gdzie ta analogia się psuje

Czujnik dymu ma jedno ustawienie z fabryki. Model daje wynik na skali, a próg wybierasz ty, osobno dla każdego zastosowania. Ten sam model może mieć niski próg w badaniu przesiewowym i wysoki tam, gdzie fałszywy alarm jest drogi, na przykład gdy blokuje komuś kartę.

6. Dlaczego to ważne w pracy

W firmie to pytanie brzmi zwykle: ile kosztuje przeoczone oszustwo, a ile zablokowana uczciwa płatność? Rozmowa o tych cenach należy do pracy z modelem tak samo jak samo uczenie. Próg wybieraj na walidacji, a test zostaw na ocenę końcową.

7. Pytanie powtórkowe

Odpowiedź na pytanie z poprzedniego numeru

Więcej danych. Duża luka i rosnąca walidacja to znak, że model zapamiętuje trening, czyli wysoka wariancja. W lekcji o krzywych uczenia luka modelu szczegółowego spada z 17,7 punktu przy 50 obrazkach do 2,2 przy 1438. Gdyby obie linie stały nisko i blisko siebie, pomógłby dopiero bogatszy model.

Nowe pytanie

Wracamy do kalibracji. Model prawie każdemu przypadkowi daje wynik bliski zera albo jedynki, a myli się częściej, niż te wyniki obiecują. Czy temperatura poprawi jego trafność? A co poprawi?

Odpowiedź w następnym numerze.

Dlaczego próg 0,5 bywa najdroższy