Newsletter · kurs „ML w 10 dni” · dzień 5 z 10 · ok. 2 min czytania
Rysowanie granicy między „tak” i „nie”
W skrócie
Dzień 5 kursu mailowego „ML w 10 dni”: klasyfikacja i regresja logistyczna, czyli granica między klasami, i dlaczego domyślny próg 0,5 nie jest święty.
Pojęcie: Klasyfikacja ·
1. Haczyk
Bramkarz w klubie patrzy na datę urodzenia w dowodzie. Za młody? Nie wchodzisz. To klasyfikator z jedną cechą i jednym progiem. Modele robią to samo, tylko z wieloma cechami naraz.
2. Przewidź
Model odróżnia pingwiny Adelie od pingwinów Chinstrap. Domyślny próg decyzji to 0,5. Który próg da najwyższą trafność: 0,1; 0,3; 0,5 czy 0,9?
Zapamiętaj swoją odpowiedź. Rozwiązanie jest niżej.
3. Wyjaśnienie
Klasyfikacja to przewidywanie kategorii, na przykład gatunku albo diagnozy. Regresja logistyczna liczy z cech jedną liczbę i przepuszcza ją przez krzywą w kształcie litery S. Wychodzi ocena, którą czytamy jak szansę, że to Chinstrap. Próg zamienia tę szansę na decyzję. Granica między klasami to linia w przestrzeni cech, na której szansa jest równa progowi.
Rozwiązanie: 0,3. Przy tym progu trafność wynosi 98,6% (3 pomyłki), przy 0,5 tylko 96,8% (7 pomyłek), przy 0,9 92,2%, a przy 0,1 90,4%. Najlepszy próg zależy od proporcji klas i od tego, który błąd kosztuje więcej.
Sprawdź sam. W lekcji przesuwasz próg i patrzysz, jak granica przesuwa się między pingwinami.
4. Częsty błąd
„Próg 0,5 jest jedynym słusznym.” To tylko ustawienie domyślne. Przy badaniu przesiewowym lepiej obniżyć próg i złapać więcej chorych kosztem fałszywych alarmów. Przy filtrze spamu lepiej go podnieść, żeby nie wyrzucać ważnych maili.
5. Gdzie ta analogia się psuje
Bramkarz ma twardą regułę i zero wątpliwości. Model daje stopień pewności, a ta pewność bywa przesadzona albo zaniżona. Czy „szansa 0,9” naprawdę oznacza, że model ma rację w dziewięciu przypadkach na dziesięć, sprawdza się osobno (kalibracja).
6. Dlaczego to ważne w pracy
W scikit-learn LogisticRegression daje szanse przez predict_proba, a predict po cichu używa progu 0,5. Wybór progu to decyzja o kosztach błędów, którą warto podjąć świadomie, razem z ludźmi, którzy będą z modelu korzystać.
7. Pytanie powtórkowe
Odpowiedź na pytanie z poprzedniego dnia
Nie. W lekcji „Dane, cechy, etykiety i podział zbioru” ten sam model miał na teście od 90,1% do 96,5%, zależnie od tego, które biopsje trafiły do testu. Jeden wynik testowy ma w sobie los.
Nowe pytanie
Wracamy do dnia 3. Najlepsza prosta między BMI a postępem cukrzycy ma R² = 0,34. Co to znaczy po ludzku?
Odpowiedź w następnym dniu kursu.