Cały proces w 15 minut, od pytania do oceny

Zanim poznasz części, zobacz całą grę. Tak uczy się piłki nożnej: najpierw mecz, potem ćwiczenie podań. W tej lekcji przejdziesz cały projekt uczenia maszynowego w kwadrans, na jednym zbiorze danych: pingwinach trzech gatunków, które badacze zmierzyli na wyspach u wybrzeży Antarktydy. Każdy następny moduł kursu otwiera jeden z sześciu kroków, które tu zobaczysz naraz.

Spróbuj

• Ustaw 0 pytań. To zgadywanie bez modelu: ilu pingwinom pasuje odpowiedź „zawsze Adelie”?
• Przejdź na 1, potem na 2 pytania. Przeczytaj pytania drzewa pod wykresem: o które wymiary pyta?
• Przy 2 pytaniach przesuwaj suwak podziału. Czy na którymś podziale przewaga nad zgadywaniem znika?
• Wróć do podziału 1 i ustaw 3 pytania. Czy dodatkowe pytanie zawsze pomaga?

Gdy już sprawdzisz to w labie, nazwijmy kroki, które właśnie przeszedłeś.

Pomysł w prostych słowach

Każdy projekt uczenia maszynowego, od pingwinów po wykrywanie oszustw w banku, idzie przez te same sześć kroków:

1. Pytanie. Co dokładnie przewidujesz i z czego? Tu: gatunek pingwina z czterech wymiarów ciała. Dobre pytanie da się sprawdzić, bo prawdziwe gatunki znamy.
2. Dane. Plik ma 344 pingwiny, ale 2 nie mają żadnego pomiaru, więc zostają 342. Płci brakuje w 11 wierszach. Gdybyśmy wyrzucili każdy wiersz z jakimkolwiek brakiem, zostałoby 333, ale płci tu nie używamy, więc tracimy tylko te 2.
3. Podział. 103 pingwiny, czyli 30%, chowamy przed modelem. Model uczy się na pozostałych 239, a sprawdzamy go tylko na schowanych. Część do nauki to zbiór treningowy, schowana część to zbiór testowy.
4. Punkt odniesienia. Zanim zbudujesz model, policz, ile daje odpowiedź bez myślenia. Wśród pingwinów do nauki najczęstszy jest Adelie, więc „zawsze Adelie” trafia 45 ze 103 testowych: 43,7%.
5. Model. Drzewo decyzyjne to ciąg pytań tak/nie. Z dwoma pytaniami najpierw pyta o płetwę (do 207 mm czy dłuższa), a potem o długość albo wysokość dzioba.
6. Ocena. Drzewo trafia 98 ze 103, czyli 95,1%: o 51,5 pkt proc. więcej niż zgadywanie.

Kolejne moduły kursu otwierają te kroki po kolei: jak model uczy się z przykładów i z czym go porównać (moduł 1), jak mierzyć wynik (moduł 2), czy wynik przetrwa nowe dane (moduł 3), co psuje dane (moduł 4), jakie modele wybierać (moduł 5) i co dzieje się z modelem w świecie (moduł 6).

Jak to policzono

• Dane: Palmer Penguins (Gorman, Williams i Fraser, 2014; pakiet palmerpenguins: Horst, Hill i Gorman, 2020), licencja CC0. W pliku 344 pingwiny, 342 z kompletem czterech pomiarów.
• Podział: 70/30, w obu częściach te same proporcje gatunków; podział 1 to ten sam podział co train_test_split(test_size=0.3, stratify=y, random_state=1) w scikit-learn.
• Model: drzewo decyzyjne (CART, indeks Giniego), najwyżej 1, 2 albo 3 pytania na każdej ścieżce.
• Punkt odniesienia: najczęstszy gatunek wśród pingwinów do nauki.

Dlaczego to działa

Wynik na schowanych pingwinach coś znaczy, bo model ich nie widział. Gdyby sprawdzać go na pingwinach do nauki, mógłby po prostu zapamiętać odpowiedzi. Dlatego drzewo z trzema pytaniami ma 97,5% na pingwinach do nauki, a na schowanych tylko 93,2%, mniej niż drzewo z dwoma pytaniami. Trzecie pytanie zaczęło uczyć się pojedynczych pingwinów zamiast reguły. To przeuczenie, temat modułu 3.

Drzewo radzi sobie tak dobrze, bo gatunki naprawdę różnią się budową. Gentoo mają długie płetwy, więc pierwsze pytanie prawie je oddziela: wśród pingwinów do nauki z płetwą dłuższą niż 207 mm 85 z 91 to Gentoo. Wśród krótszych płetw długi dziób zdradza Chinstrapa, a krótki Adelie: w grupie z płetwą do 207 mm i dziobem do 43,4 mm 101 ze 103 pingwinów do nauki to Adelie.

Punkt odniesienia jest potrzebny, bo trafność zależy od zadania. Przy trzech gatunkach losowy rzut kością trafiłby co trzeci raz, a „zawsze najczęstszy gatunek” trafia 43,7%. Model ma sens dopiero wtedy, gdy wyraźnie bije tę prostą odpowiedź.

Jeden podział to jedno losowanie. Na 20 podziałach w labie dwa pytania trafiają od 94 do 100 ze 103 pingwinów (od 91,3% do 97,1%), a zgadywanie za każdym razem 43,7%. Przewaga zostaje, choć dokładna liczba się zmienia.

Częsty błąd

Prawda czy fałsz: „95% trafności to świetny wynik”. To nieprawda, a raczej: sama liczba tego nie mówi. Trafność zależy od proporcji klas i od tego, jak łatwe jest zadanie. Tu zgadywanie daje 43,7%, więc 95,1% to ogromna poprawa. Ale gdy 95 na 100 maili to zwykłe wiadomości, filtr, który nic nie robi i każdy mail przepuszcza, też ma 95% trafności i nie łapie ani jednego spamu. Najpierw punkt odniesienia, potem zachwyt.

Gdzie ta analogia się psuje: w piłce mecz ma koniec, a projekt rzadko idzie po prostej. Po ocenie często wracasz do pytania albo do danych, bo wynik pokazał, czego brakuje.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

df = pd.read_csv("data/raw/penguins.csv")
cols = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
d = df.dropna(subset=cols)  # tylko pingwiny z kompletem pomiarów
print(f"penguins {len(df)}, with measurements {len(d)}, without any gap {len(df.dropna())}")
X, y = d[cols], d["species"]
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
guess = ytr.value_counts().idxmax()  # punkt odniesienia: najczęstszy gatunek w części do nauki
print(f"train {len(Xtr)}, test {len(Xte)}; always {guess}: {(yte == guess).sum()} of {len(yte)} = {(yte == guess).mean():.3f}")
for depth in (1, 2, 3):
    tree = DecisionTreeClassifier(max_depth=depth, random_state=0).fit(Xtr, ytr)
    print(f"depth {depth}: {(tree.predict(Xte) == yte).sum()} of {len(yte)} = {tree.score(Xte, yte):.3f} (train {tree.score(Xtr, ytr):.3f})")
scores = []
for seed in range(100):  # 100 różnych losowań podziału
    a, b, c, e = train_test_split(X, y, test_size=0.3, stratify=y, random_state=seed)
    scores.append(DecisionTreeClassifier(max_depth=2, random_state=0).fit(a, c).score(b, e))
print(f"depth 2 on 100 splits: mean {sum(scores) / 100:.3f}, min {min(scores):.3f}, max {max(scores):.3f}")

penguins 344, with measurements 342, without any gap 333
train 239, test 103; always Adelie: 45 of 103 = 0.437
depth 1: 81 of 103 = 0.786 (train 0.791)
depth 2: 98 of 103 = 0.951 (train 0.967)
depth 3: 96 of 103 = 0.932 (train 0.975)
depth 2 on 100 splits: mean 0.949, min 0.883, max 0.990