Projekt A: badanie przesiewowe

Zadanie

Budujesz pierwsze sito: model ocenia biopsję i decyduje, kogo skierować na dalsze badania. Przeoczony nowotwór złośliwy (FN) kosztuje tyle co 10 fałszywych alarmów (FP).

1. Wybierz model: regresję logistyczną, drzewo decyzyjne albo kNN, i jego jedno ustawienie.
2. Wybierz próg: od jakiego wyniku model mówi „na biopsję”.
3. Napisz jedno zdanie uzasadnienia: dlaczego ten model i ten próg.

Wszystko wybierasz na walidacji. Ukryty test sprawdza wybór na końcu, tak jak nowi pacjenci sprawdzają model po wdrożeniu.

Dane i podział

Breast Cancer Wisconsin (Diagnostic), UCI Machine Learning Repository, licencja CC BY 4.0: 569 biopsji, w tym 212 złośliwych. Model widzi 10 pomiarów „mean” jąder komórkowych z obrazu biopsji (np. promień, teksturę, wklęsłości). UCI

• Nauka: 427 biopsji (159 złośliwych). Walidacja krzyżowa w 5 częściach: każda część raz jest walidacją, a model uczy się na pozostałych. Stąd koszt CV.
• Ukryty test: 142 biopsji (53 złośliwych), odłożonych raz, losowo, z zachowaniem proporcji klas (ziarno 1). Model uczy się na wszystkich 427 i dopiero wtedy ocenia test.

„Ukryty” znaczy tu „niepokazywany na stronie”, a nie zabezpieczony. Kod strony jest publiczny i każdy może go przeczytać. Limit wysyłek liczy Twoja przeglądarka, więc wyczyszczenie danych strony go zeruje. To ćwiczenie dyscypliny, nie egzamin.

Jak zaliczyć

Koszt liczymy na 100 osób: (10 × przeoczenia + fałszywe alarmy) × 100 / liczba osób. Zaliczenie jest automatyczne, według dwóch zasad:

• koszt na ukrytym teście jest niższy niż koszt obu prostych reguł: „wszyscy na biopsję” (62,7 na 100 osób na teście) i „nikt na biopsję” (373,2);
• liczy się pierwsza wysyłka. Masz 3 wysyłki, ale kolejne są „po fakcie”: pokazują koszt na teście, a wyniku nie zmieniają.

Dlaczego tak. Narzędzie samo liczy koszt CV, więc walidacji nie da się oszukać. Da się za to dopasować wybór do testu: wysłać, zobaczyć wynik i poprawić. Dlatego liczy się tylko pierwsza wysyłka.

Na ukrytym teście (142 biopsji) jedno przeoczenie kosztuje 7,0 na 100 osób, więc wynik testu skacze. Przed wysyłką narzędzie pokazuje zwykły przedział: od CV − 25 do CV + 25. Tyle wynosił rozrzut testu wokół CV dla przykładowych rozwiązań z lekcji na 200 innych losowych podziałach (95% przypadków). Przykład: regresja logistyczna przy progu 0,30 ma w CV 18,7, a na teście 48,6, czyli poza przedziałem. To pech podziału, nie błąd, a wybór i tak zalicza, bo jest tańszy niż obie reguły.

Przykładowe rozwiązania zaliczają na co najmniej 98% z tych 200 podziałów. Nie ma rankingu: wynik widzisz tylko Ty.

Twój wybór

Karta ukończenia

Po zaliczeniu możesz pobrać kartę (PNG). Imię wpisujesz na tej stronie, karta powstaje w Twojej przeglądarce, a imię nie trafia do adresu strony ani na serwer. „Udostępnij na LinkedIn” przekazuje tylko adres tej strony.

Dla kodujących: notebook

Notebook robi to samo w scikit-learn: ten sam zbiór, te same 142 wiersze ukrytego testu (podane numerami wierszy), walidacja krzyżowa w 5 częściach, koszt na 100 osób, zwykły przedział wokół CV i warunek zaliczenia. Komórkę z testem uruchom raz, po wyborze: liczy się pierwsze uruchomienie. Drzewo i kNN mogą dać tam inne pojedyncze przypadki niż strona, bo scikit-learn inaczej rozstrzyga remisy.

Pobierz notebook (.ipynb)

Szablon README do GitHuba

Notatnik przepisany z tutorialu mało mówi o Tobie. README z własnymi decyzjami i granicami mówi więcej. Skopiuj szablon i wypełnij każdą sekcję własnymi słowami.

# Badanie przesiewowe: model i próg przy koszcie pomyłek

Projekt A kursu ML Atlas: https://mlatlas.org/pl/kurs/ml/projekt-a/

## Problem
Kogo skierować na biopsję? Przeoczenie nowotworu złośliwego kosztuje tyle co 10 fałszywych alarmów. <Twoimi słowami: kto korzysta z modelu i co dzieje się po jego decyzji.>

## Dane i licencja
Breast Cancer Wisconsin (Diagnostic), UCI Machine Learning Repository, CC BY 4.0, https://doi.org/10.24432/C5DW2B. 569 biopsji, 212 złośliwych, 10 pomiarów „mean”.

## Walidacja
<Jak podzieliłeś dane, ile części ma walidacja krzyżowa, ile razy sprawdzałeś ukryty test.>

## Wynik ± rozrzut
<Model, ustawienie, próg. Koszt na 100 osób w CV i jego rozrzut między częściami; koszt na teście.>

## Baseline
<Koszt reguł „wszyscy na biopsję” i „nikt” na tych samych danych.>

## Czego model nie umie
<Granice: ile jest danych, skąd pochodzą, co się zmieni przy innych cenach pomyłek.>

## Co dalej
<Co sprawdziłbyś następnie i dlaczego.>

Pobierz README.md