Niezrównoważone klasy

W lekcji 1.3 „zawsze łagodny” miał wysoką trafność i nie wykrywał nikogo. Tam rzadka klasa była tylko w teście. Dziś jest rzadka w danych do nauki, tak jak w prawdziwych badaniach przesiewowych, oszustwach czy awariach. Zobaczysz, co to robi z modelem, jak to zmierzyć i co da się naprawić bez nowych danych.

Spróbuj

• Bez wag przesuwaj suwak od 159 do 8 złośliwych. Która linia spada szybciej: czułość czy trafność?
• Przy 8 złośliwych włącz wagi klas. Ile czułości wraca, a ile wciąż brakuje do pełnych danych?
• Spójrz na średnie przewidywane P(złośliwy). Jak zmienia się, gdy złośliwych ubywa?

Gdy już sprawdzisz to w labie, nazwijmy, co widzisz.

Pomysł w prostych słowach

Klasy są niezrównoważone, gdy jednej jest dużo mniej niż drugiej. Model uczy się wtedy dwóch rzeczy naraz: jak wyglądają złośliwe biopsje i jak rzadko się zdarzają. Ta druga lekcja działa jak uprzedzenie: przy niejasnych pomiarach model coraz częściej wybiera „łagodny”. Średnie przewidywane P(złośliwy) spada z 0,36 do 0,24, gdy w nauce zostaje 8 złośliwych zamiast 159.

Trafność tego prawie nie widzi. Czułość spada z 83,0% do 61,5%, a trafność tylko z 91,5% do 85,6%. Dlatego przy rzadkiej klasie podaje się czułość klasy rzadkiej albo zbalansowaną trafność, czyli średnią czułości obu klas. „Zawsze łagodny” ma zbalansowaną trafność 0,5, bez względu na proporcje.

Pierwsza korekta jest prosta: wagi klas. Pomyłka na rzadkiej klasie kosztuje w nauce tyle razy więcej, ile razy ta klasa jest rzadsza (class_weight='balanced'). Przy 8 złośliwych wagi podnoszą czułość z 61,5% do 80,0%, a trafność nawet rośnie, do 91,4%. Do pełnych danych z wagami (86,8%) wciąż brakuje: wagi zmieniają proporcje, ale nie dodają przykładów.

Jak to policzono

• Biopsje: Breast Cancer Wisconsin (Diagnostic), UCI, licencja CC BY 4.0. 569 biopsji, 10 pomiarów „mean”.
• Część walidacyjna: 25% biopsji, stratyfikowana (142: 53 złośliwe, 89 łagodnych), taka sama we wszystkich ustawieniach. W nauce 268 łagodnych i od 159 do 8 złośliwych; przy mniej niż 159 to średnia z 5 losowań, które złośliwe zostają.
• Model: standaryzacja na danych do nauki i regresja logistyczna (C = 1), z wagami klas albo bez; próg 0,5.

Dlaczego to działa

Regresja logistyczna szuka modelu, który średnio najmniej się myli na danych do nauki. Gdy łagodnych jest 268, a złośliwych 8, złośliwe biopsje to tylko 2,9% całej kary. Model przesuwa granicę w stronę złośliwych: oddaje kilka złośliwych, żeby rzadziej mylić łagodne. Wagi klas wyrównują karę: 8 złośliwych waży razem tyle samo co 268 łagodnych.

Jeden podział mógłby wypaść tak przypadkiem. W kodzie niżej ten sam eksperyment idzie na 50 różnych podziałach: czułość spada średnio z 89,3% do 67,3%, trafność z 93,5% do 87,7%, a wagi przy 8 złośliwych dają 84,0%. Czułość spada bardziej niż trafność w 50 podziałach na 50, a wagi podnoszą ją w każdym z nich.

Trafność potrafi nawet rosnąć, gdy model w ogóle się nie zmienia. W widżecie Atlasu o zbalansowanej trafności słaby model na dwóch pomiarach ocenia te same biopsje, a złośliwych ubywa z 212 do 20. Jego trafność rośnie z 75,9% do 83,8%, a zbalansowana trafność stoi: 0,728 i 0,726. „Zawsze łagodny” przy 20 złośliwych ma aż 94,7% trafności.

Częsty błąd

Prawda czy fałsz: „SMOTE zawsze pomaga”. Fałsz. SMOTE dorabia syntetyczne przykłady rzadkiej klasy na odcinkach między prawdziwymi przykładami a ich najbliższymi sąsiadami, aż obu klas jest tyle samo. To przesuwa granicę decyzji tak jak wagi klas: model częściej mówi „złośliwy”. W widżecie Atlasu o SMOTE (357 łagodnych, 30 złośliwych, dwa pomiary, walidacja krzyżowa 5 × 5) bez korekty model wykrywa 60,0% złośliwych przy precyzji 90,0%. SMOTE podnosi wykrywalność do 86,7%, ale precyzja spada do 42,9%. Wagi klas dają tę samą czułość przy precyzji 40,2%, a zwykłe powielanie przy 39,6%. To jedno losowanie 30 złośliwych, akurat z największym spadkiem: średnio z 20 losowań wykrywalność rośnie z 68,7% do 91,9%, a precyzja spada z 91,0% do 54,7%. Spada w każdym z nich. SMOTE nie dodaje wiedzy, tylko zmienia proporcje. Czy to pomaga, zależy od kosztu pomyłek: więcej wykrytych za cenę wielu fałszywych alarmów.

Uwaga: korektę stosuje się tylko do danych do nauki. Syntetyczne albo powielone przykłady w walidacji czy teście dałyby wynik, który nic nie znaczy.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import recall_score, accuracy_score

X, y = load_breast_cancer(return_X_y=True)
X, y = X[:, :10], 1 - y  # 10 pomiarów „mean”, jak w labie; 1 = złośliwy
def run(seed, m, weights):
    tr, va = train_test_split(np.arange(len(y)), test_size=0.25, stratify=y, random_state=seed)
    mal = np.random.default_rng(seed).choice(tr[y[tr] == 1], m, replace=False)
    keep = np.r_[tr[y[tr] == 0], mal]  # wszystkie łagodne + m złośliwych do nauki
    clf = make_pipeline(StandardScaler(), LogisticRegression(class_weight="balanced" if weights else None))
    pred = clf.fit(X[keep], y[keep]).predict(X[va])  # część walidacyjna się nie zmienia
    return recall_score(y[va], pred), accuracy_score(y[va], pred)
for m, w in ((159, False), (8, False), (8, True)):
    rec, acc = np.mean([run(s, m, w) for s in range(50)], axis=0)
    print(f"{m} malignant{' + class weights' if w else ''}: recall {rec:.1%}, accuracy {acc:.1%} (mean of 50 splits)")
drop = np.array([np.subtract(run(s, 159, False), run(s, 8, False)) for s in range(50)])
gain = np.array([run(s, 8, True)[0] - run(s, 8, False)[0] for s in range(50)])
print(f"recall fell more than accuracy in {(drop[:, 0] > drop[:, 1]).sum()} of 50 splits; weights raised recall in {(gain > 0).sum()}")

159 malignant: recall 89.3%, accuracy 93.5% (mean of 50 splits)
8 malignant: recall 67.3%, accuracy 87.7% (mean of 50 splits)
8 malignant + class weights: recall 84.0%, accuracy 91.0% (mean of 50 splits)
recall fell more than accuracy in 50 of 50 splits; weights raised recall in 50