Tout le processus en 15 minutes, du début à la fin

Avant d’apprendre les morceaux, regardez la partie entière. C’est ainsi qu’on apprend le football : d’abord un match, ensuite les exercices de passe. Dans cette leçon, vous parcourez un projet complet de machine learning en un quart d’heure, sur un seul jeu de données : des manchots de trois espèces, mesurés par des chercheurs sur des îles au large de l’Antarctique. Chaque module suivant du cours ouvre l’une des six étapes que vous voyez ici d’un coup.

À vous de jouer

• Choisissez 0 question. C’est deviner sans modèle : à combien de manchots « toujours Adelie » convient-il ?
• Passez à 1, puis à 2 questions. Lisez les questions de l’arbre sous le graphique : sur quelles mensurations porte-t-il ?
• Avec 2 questions, déplacez le curseur du découpage. Y a-t-il un découpage où l’avance sur le hasard disparaît ?
• Revenez au découpage 1 et choisissez 3 questions. Une question de plus aide-t-elle toujours ?

Une fois que vous l’avez vérifié dans le lab, nommons les étapes que vous venez de parcourir.

L’idée en quelques mots

Tout projet de machine learning, des manchots à la détection de fraude dans une banque, passe par les mêmes six étapes :

1. Question. Que prédisez-vous exactement, et à partir de quoi ? Ici : l’espèce d’un manchot à partir de quatre mensurations. Une bonne question se vérifie, car nous connaissons la vraie espèce.
2. Données. Le fichier contient 344 manchots, mais 2 n’ont aucune mesure, il en reste donc 342. Le sexe manque dans 11 lignes. Si l’on supprimait toute ligne ayant un trou, il en resterait 333, mais nous n’utilisons pas le sexe ici, donc nous ne perdons que ces 2.
3. Découpage. 103 manchots, soit 30 %, sont cachés au modèle. Le modèle apprend sur les 239 autres, et on ne le teste que sur les manchots cachés. La partie pour apprendre est le jeu d’entraînement, la partie cachée le jeu de test.
4. Référence. Avant de construire un modèle, comptez ce que donne une réponse sans réfléchir. Parmi les manchots d’apprentissage, Adelie est le plus fréquent, donc « toujours Adelie » trouve 45 des 103 manchots de test : 43,7 %.
5. Modèle. Un arbre de décision est une suite de questions oui/non. Avec deux questions, il interroge d’abord la nageoire (jusqu’à 207 mm ou plus longue), puis la longueur ou la hauteur du bec.
6. Évaluation. L’arbre en reconnaît 98 sur 103, soit 95,1 % : 51,5 points de plus que deviner.

Les modules suivants du cours ouvrent ces étapes une à une : comment un modèle apprend à partir d’exemples et à quoi le comparer (module 1), comment mesurer un résultat (module 2), si le résultat résiste à de nouvelles données (module 3), ce qui abîme les données (module 4), quels modèles choisir (module 5) et ce qui arrive à un modèle dans le monde réel (module 6).

Jak to policzono

• Données : Palmer Penguins (Gorman, Williams et Fraser, 2014 ; paquet palmerpenguins : Horst, Hill et Gorman, 2020), licence CC0. 344 manchots dans le fichier, 342 avec les quatre mesures.
• Découpage : 70/30 avec le même mélange d’espèces dans les deux parties ; le découpage 1 est le même que train_test_split(test_size=0.3, stratify=y, random_state=1) dans scikit-learn.
• Modèle : arbre de décision (CART, indice de Gini), au plus 1, 2 ou 3 questions sur chaque chemin.
• Référence : l’espèce la plus fréquente parmi les manchots d’apprentissage.

Pourquoi ça marche

Le score sur les manchots cachés a un sens parce que le modèle ne les a pas vus. Testé sur les manchots d’apprentissage, il pourrait simplement se souvenir des réponses. C’est pourquoi l’arbre à trois questions obtient 97,5 % sur les manchots d’apprentissage, mais seulement 93,2 % sur les cachés, moins que l’arbre à deux questions. La troisième question a commencé à apprendre des manchots individuels au lieu d’une règle. C’est le surapprentissage, le sujet du module 3.

L’arbre réussit si bien parce que les espèces ont vraiment des corps différents. Les Gentoo ont de longues nageoires, donc la première question les sépare presque : parmi les manchots d’apprentissage dont la nageoire dépasse 207 mm, 85 sur 91 sont des Gentoo. Parmi les nageoires plus courtes, un long bec trahit un Chinstrap et un bec court un Adelie : dans le groupe à nageoire jusqu’à 207 mm et bec jusqu’à 43,4 mm, 101 manchots d’apprentissage sur 103 sont des Adelie.

Une référence est nécessaire parce que l’exactitude dépend de la tâche. Avec trois espèces, lancer un dé tomberait juste une fois sur trois, et « toujours l’espèce la plus fréquente » réussit 43,7 % du temps. Un modèle n’a de sens que s’il bat nettement cette réponse simple.

Un découpage est un tirage. Sur 20 découpages dans le lab, deux questions reconnaissent entre 94 et 100 des 103 manchots (de 91,3 % à 97,1 %), et deviner obtient 43,7 % à chaque fois. L’avance reste, même si le nombre exact change.

Erreur fréquente

Vrai ou faux : « 95 % d’exactitude, c’est un excellent résultat ». Faux, ou plutôt : le nombre seul ne le dit pas. L’exactitude dépend des proportions des classes et de la facilité de la tâche. Ici, deviner donne 43,7 %, donc 95,1 % est une énorme amélioration. Mais quand 95 courriels sur 100 sont des messages ordinaires, un filtre qui ne fait rien et laisse passer tous les courriels a lui aussi 95 % d’exactitude et n’attrape aucun spam. D’abord la référence, ensuite l’enthousiasme.

Là où l’analogie s’arrête : un match de football a une fin, et un projet va rarement en ligne droite. Après l’évaluation, on revient souvent à la question ou aux données, parce que le score a montré ce qui manque.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

df = pd.read_csv("data/raw/penguins.csv")
cols = ["bill_length_mm", "bill_depth_mm", "flipper_length_mm", "body_mass_g"]
d = df.dropna(subset=cols)  # seulement les manchots avec toutes les mesures
print(f"penguins {len(df)}, with measurements {len(d)}, without any gap {len(df.dropna())}")
X, y = d[cols], d["species"]
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
guess = ytr.value_counts().idxmax()  # référence : l'espèce la plus fréquente à l'apprentissage
print(f"train {len(Xtr)}, test {len(Xte)}; always {guess}: {(yte == guess).sum()} of {len(yte)} = {(yte == guess).mean():.3f}")
for depth in (1, 2, 3):
    tree = DecisionTreeClassifier(max_depth=depth, random_state=0).fit(Xtr, ytr)
    print(f"depth {depth}: {(tree.predict(Xte) == yte).sum()} of {len(yte)} = {tree.score(Xte, yte):.3f} (train {tree.score(Xtr, ytr):.3f})")
scores = []
for seed in range(100):  # 100 découpages aléatoires différents
    a, b, c, e = train_test_split(X, y, test_size=0.3, stratify=y, random_state=seed)
    scores.append(DecisionTreeClassifier(max_depth=2, random_state=0).fit(a, c).score(b, e))
print(f"depth 2 on 100 splits: mean {sum(scores) / 100:.3f}, min {min(scores):.3f}, max {max(scores):.3f}")

penguins 344, with measurements 342, without any gap 333
train 239, test 103; always Adelie: 45 of 103 = 0.437
depth 1: 81 of 103 = 0.786 (train 0.791)
depth 2: 98 of 103 = 0.951 (train 0.967)
depth 3: 96 of 103 = 0.932 (train 0.975)
depth 2 on 100 splits: mean 0.949, min 0.883, max 0.990