Kalibracja — newsletter „ML jak dziecku”, nr 7

1. Haczyk

Znajomy przed każdym meczem mówi, że jest „absolutnie pewny” wyniku. Po kilku miesiącach wiesz, że jego pewność znaczy dużo mniej, niż brzmi. Nie przestajesz go słuchać, bo zwykle wskazuje lepszą drużynę. Po prostu nie bierzesz jego pewności dosłownie.

2. Przewidź

Prosty model, naiwny Bayes, ocenia 171 biopsji guzów piersi, których nie widział. Przy każdej podaje, jak bardzo jest pewny swojej odpowiedzi. Średnio deklaruje 98% pewności. W jakiej części biopsji naprawdę ma rację: około 98%, około 88% czy około 50%?

Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.

3. Wyjaśnienie

Rozwiązanie. Około 88%. Model deklaruje średnio 98,3%, a ma rację przy 88,3% biopsji, czyli o 10,0 punktu procentowego rzadziej, niż obiecuje. Pewność powyżej 99% dostaje 149 ze 171 biopsji, a 5 z nich to pomyłki.

Model jest skalibrowany, gdy jego liczby można brać dosłownie: wśród biopsji, którym daje 0,8, złośliwych jest mniej więcej 80%. Naiwny Bayes skalibrowany nie jest. Zakłada, że pomiary guza są od siebie niezależne, a promień, obwód i pole guza mówią prawie to samo. Model liczy więc ten sam dowód kilka razy, aż pewność rośnie ponad miarę. Kolejność biopsji zostaje sensowna, bo większy guz nadal dostaje wyższy wynik. Przesadzone są tylko procenty.

Naprawa bywa prosta. Temperatura dzieli wynik modelu przez jedną liczbę, tu 4,12, dobraną na osobnych 132 biopsjach. Średnia pewność spada do 91,1%, a pewność powyżej 99% dostają już tylko 34 biopsje i żadna z nich nie jest pomyłką. Żadna decyzja przy progu 0,5 się nie zmienia, bo dzielenie przez liczbę dodatnią nie zmienia kolejności.

Sprawdź sam. W lekcji o kalibracji wybierasz model i sposób kalibracji i patrzysz na diagram, który porównuje obiecane procenty z tym, co się naprawdę stało.

4. Częsty błąd

„Wynik 0,8 z modelu to 80% szansy.” Dopiero po sprawdzeniu. Model podaje liczbę między zerem a jedynką, ale nic nie gwarantuje, że to prawdopodobieństwo w zwykłym sensie. Sprawdza się to na danych, których model nie widział.

Drugi błąd, w drugą stronę: „kalibracja poprawi trafność”. Nie poprawi. Zmienia tylko procenty, a nie kolejność i nie decyzje. Regresja logistyczna deklaruje 92,5% i ma rację przy 91,2% biopsji, więc temperatura nic jej nie daje.

5. Gdzie ta analogia się psuje

Znajomego oceniasz po całym sezonie, jedną średnią. Model sprawdza się dokładniej: osobno biopsje z niskim wynikiem, osobno ze średnim, osobno z wysokim. Ten obrazek to diagram niezawodności. Jedna średnia mogłaby ukryć, że model przesadza tylko przy najwyższych wynikach.

6. Dlaczego to ważne w pracy

Kalibracja ma znaczenie, gdy liczba z modelu idzie dalej niż do decyzji „tak” albo „nie”: do progu ustawionego pod koszt pomyłek, do sumowania ryzyka wielu kredytów, do rozmowy z pacjentem. Wtedy procent z modelu musi znaczyć to, co mówi (próg decyzji).

7. Pytanie powtórkowe

Odpowiedź na pytanie z poprzedniego numeru

Ze średnią ceną mieszkań z danych do nauki, podaną każdemu mieszkaniu. To punkt odniesienia przy przewidywaniu liczb: żadna jedna stała odpowiedź nie daje mniejszego błędu średniokwadratowego. W lekcji o punkcie odniesienia model z 10 pomiarami miał błąd o 44,3% mniejszy niż średnia. Dopiero taka liczba mówi, ile model umie.

Nowe pytanie

Wracamy do krzywych uczenia. Trening ma prawie pełną trafność, walidacja jest dużo niżej i wciąż rośnie, gdy dokładasz dane. Co najpewniej pomoże: więcej danych czy bogatszy model?

Odpowiedź w następnym numerze.

Model jest pewny na 99%. Czy można mu wierzyć?