Inżynieria cech

W lekcji 4.3 zmienialiśmy zapis cech: skalę liczb i kod kategorii. Dziś robimy nowe cechy z tych, które już są. Inżynieria cech to dodawanie kolumn, które lepiej pokazują modelowi to, czego szuka: kwadratu, ilorazu, różnicy, liczby dni od zdarzenia. Jedna dobra cecha potrafi z trudnego problemu zrobić łatwy. Wiele słabych potrafi zepsuć model, który działał.

Spróbuj

• Zacznij od samego x. Gdzie model przewiduje odmianę 2? Ile wynosi trafność na teście i skąd się bierze?
• Dodaj kolumnę x². Jak wygląda granica w płaszczyźnie (x, x²), a jak na samej osi flawonoidów?
• Przejdź do szumu. Przesuń suwak od 200 kolumn w dół. Kiedy kNN rozpoznaje odłożone wina najlepiej?
• Patrz na kontrast odległości. Co się dzieje z różnicą między najbliższym a najdalszym winem, gdy kolumn przybywa?

Gdy już sprawdzisz to w labie, nazwijmy, co widzisz.

Pomysł w prostych słowach

Model liniowy na jednej osi umie tylko jedno: postawić próg. Odmiana 2 leży pośrodku osi flawonoidów, więc próg nie wytnie jej z żadnej strony: odetnie najwyżej jedną z sąsiednich odmian. Najlepszy taki próg odcina odmianę 3 i trafia na treningu 61,6%, a mówienie „inna odmiana” o każdym winie 60,0%. Zysk jest znikomy, a na teście znika. Liniowy SVM z labu nie wskazuje odmiany 2 nigdzie i ma trafność 60,4%, tyle, ile udział pozostałych odmian wśród 53 win testowych. Dodajmy kolumnę x², czyli kwadrat flawonoidów po standaryzacji. Wina z obu końców osi mają duże x², wina ze środka małe. Ten sam model liniowy kładzie teraz prostą w płaszczyźnie (x, x²). Na osi flawonoidów to dwa progi, czyli przedział od 1,11 do 2,82. Trafność rośnie do 77,4%. Model się nie zmienił, zmieniło się to, co dostaje.

Więcej cech nie znaczy jednak lepiej. kNN (k = 5) na 13 pomiarach chemicznych rozpoznaje 98,1% odłożonych win. Dokładamy kolumny czystego szumu, liczb losowych w tej samej skali. Przy 200 takich kolumnach trafność spada do 77,4%. Każda kolumna szumu dokłada do odległości tyle samo co prawdziwy pomiar, więc „najbliższe” wina przestają być podobne. To przekleństwo wymiarowości: w wielu wymiarach wszystkie punkty leżą prawie tak samo daleko od siebie.

Jak to policzono

• Wina: Wine (Aeberhard i Forina, 1992; UCI, licencja CC BY 4.0), 178 win, 13 pomiarów chemicznych, 3 odmiany. Podział stratyfikowany: 125 win do nauki, 53 do testu.
• Nowa cecha: model liniowy (liniowa maszyna wektorów nośnych, C = 1) na flawonoidach po standaryzacji, odmiana 2 przeciw pozostałym. Średnie flawonoidów liczone na wszystkich 178 winach.
• Szum: kNN z k = 5 na 13 pomiarach po standaryzacji i 0 do 200 kolumnach liczb z rozkładu normalnego (średnia 0, odchylenie 1), losowanych z ustalonym ziarnem.

Dlaczego to działa

Model liniowy dzieli przestrzeń prostą (w wyższych wymiarach płaszczyzną). Na jednej osi prosta to jeden punkt, czyli próg. Kolumna x² dodaje drugą oś. Wina z obu końców osi flawonoidów lądują wysoko na paraboli, a wina ze środka nisko. Teraz odmianę 2 da się odciąć prostą od góry. Na 20 innych podziałach win bez x² liniowy SVM nie wskazuje odmiany 2 ani razu, a najlepszy pojedynczy próg z treningu bije na teście „zawsze inna” tylko w 1 z 20. Z x² zawsze wycina jeden przedział: na teście od 67,9 do 84,9%.

Z szumem jest odwrotnie. Odległość w kNN to suma kwadratów różnic ze wszystkich kolumn. Przy 13 pomiarach najdalsze wino treningowe leży średnio o 296,5% dalej niż najbliższe. Przy 200 kolumnach szumu już tylko o 25,7%. Różnice w szumie są przypadkowe, a jest ich dużo, więc przykrywają 13 prawdziwych różnic. Na 20 losowaniach szumu 200 kolumn daje od 64,2 do 83,0%, zawsze mniej niż 98,1% bez szumu.

Częsty błąd

Prawda czy fałsz: „więcej cech to lepszy model”. Fałsz. Cecha pomaga, gdy niesie informację w kształcie, który model umie użyć, jak x² dla odmiany 2. Kolumny bez informacji szkodzą: 200 kolumn szumu obniża kNN z 98,1% do 77,4%. W kodzie niżej trafność kNN spada z 0,962 bez szumu do 0,689 przy 200 kolumnach.

Dobra nowa cecha zwykle wynika ze zrozumienia problemu: co powinno mieć znaczenie i w jakim kształcie. Dokładanie wszystkiego, co się da, to zaproszenie dla szumu.

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score, RepeatedStratifiedKFold
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier

wine = load_wine(as_frame=True)
x, is2 = wine.data[["flavanoids"]], (wine.target == 1).astype(int)
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=10, random_state=0)
line = make_pipeline(StandardScaler(), SVC(kernel="linear", C=1))
squared = make_pipeline(StandardScaler(), PolynomialFeatures(2, include_bias=False), StandardScaler(), SVC(kernel="linear", C=1))  # nowa kolumna x²
a, b = cross_val_score(line, x, is2, cv=cv), cross_val_score(squared, x, is2, cv=cv)
print(f"cultivar 2 vs the rest from flavanoids, 10 x 5 CV: x only {a.mean():.3f}, x and x^2 {b.mean():.3f}; always 'other' {1 - is2.mean():.3f}")
print(f"x only predicts cultivar 2 for {line.fit(x, is2).predict(x).sum()} of {len(x)} wines; x and x^2 wins in {(b > a).sum()} of 50 folds")
X, y = wine.data.to_numpy(), wine.target.to_numpy()
noise = np.random.default_rng(0).normal(size=(len(X), 200))  # kolumny czystego szumu
for m in [0, 10, 50, 200]:
    acc = cross_val_score(make_pipeline(StandardScaler(), KNeighborsClassifier(5)), np.hstack([X, noise[:, :m]]), y, cv=cv)
    print(f"kNN on 13 measurements + {m} noise columns: {acc.mean():.3f}")

cultivar 2 vs the rest from flavanoids, 10 x 5 CV: x only 0.601, x and x^2 0.755; always 'other' 0.601
x only predicts cultivar 2 for 0 of 178 wines; x and x^2 wins in 49 of 50 folds
kNN on 13 measurements + 0 noise columns: 0.962
kNN on 13 measurements + 10 noise columns: 0.940
kNN on 13 measurements + 50 noise columns: 0.842
kNN on 13 measurements + 200 noise columns: 0.689