Classification : tracer une frontière

En Antarctique, une biologiste mesure le bec et les nageoires d’un manchot. De quelle espèce s’agit-il ? C’est une autre sorte de question que « de combien la maladie va-t-elle progresser ? ». La réponse n’est pas un nombre sur une échelle, mais un choix entre des catégories. Les droites et les petits pas vers le bas des leçons précédentes peuvent-ils s’en charger ? Oui, avec une astuce bien trouvée.

À vous de jouer

• Regardez d’abord la frontière. Repérez les manchots situés du mauvais côté : ce sont les cas où le modèle se trompe même avec sa meilleure droite.
• Déplacez le curseur du seuil de probabilité vers une extrémité et regardez la frontière glisser vers l’une des espèces. Remarquez que la droite se déplace mais garde sa direction.
• Placez le seuil près d’un extrême et comptez comment les erreurs changent : une espèce n’est maintenant presque jamais manquée, au détriment de l’autre.
• Trouvez des manchots proches de la frontière et comparez-les avec des manchots éloignés. Lesquels vérifieriez-vous à la main ?

L’idée en quelques mots

Voyons maintenant ce que vous venez de manipuler, en termes simples.

Prédire une catégorie s’appelle la classification. Dans cette leçon, nous utilisons le jeu de données Palmer Penguins : 344 manchots de trois espèces, venant d’îles proches de la station Palmer en Antarctique, chacun avec des mesures du bec, des nageoires et du corps. Pour que tout tienne sur un plan, nous prenons deux espèces et deux mesures, si bien que chaque manchot est un point sur un plan – une mesure à l’horizontale, l’autre à la verticale – dont on connaît l’espèce.

Un classifieur doit couper ce plan en deux régions : « espèce A ici, espèce B là ». La ligne entre les régions est la frontière de décision. La régression logistique, malgré son nom, est un modèle de classification, et sa frontière est une droite.

L’astuce, c’est que la régression logistique ne répond pas seulement « A » ou « B ». Elle répond par une probabilité : « ce manchot appartient à l’espèce B avec une probabilité de 0,9 ». Pensez à la météo. La prévisionniste annonce « 80 % de risque de pluie », et c’est vous qui décidez si cela suffit pour prendre un parapluie. Le modèle joue la prévisionniste ; le seuil est votre règle du parapluie.

Pourquoi ça marche

Le modèle calcule d’abord un score, exactement comme la régression linéaire : une somme pondérée des variables plus une ordonnée à l’origine, z = w₁x₁ + w₂x₂ + b. Ce score peut prendre n’importe quelle valeur, alors on le comprime dans l’intervalle de 0 à 1 grâce à la fonction sigmoïde :

p = 1 / (1 + e^(−z))

Un grand score positif donne une probabilité proche de 1, un grand score négatif une probabilité proche de 0, et un score d’exactement zéro donne 0,5. Les manchots loin de la frontière reçoivent des probabilités assurées ; ceux qui en sont proches reçoivent des probabilités voisines de un demi – le modèle hésite, et il le dit.

Les poids sont appris par descente de gradient, comme dans la leçon 4, mais avec une autre perte. Au lieu de l’erreur quadratique, le modèle utilise la perte logistique (log loss, aussi appelée entropie croisée). Elle punit à peine une réponse juste et assurée, et punit très durement une réponse fausse et assurée. Cela pousse le modèle à n’être sûr de lui que lorsque les données le justifient.

Enfin, le seuil transforme la probabilité en décision : probabilité au-dessus du seuil → espèce B, en dessous → espèce A. La valeur habituelle est 0,5, mais rien ne l’impose. Déplacer le seuil déplace la frontière. Comme la probabilité dépend de la somme pondérée, chaque seuil correspond à une droite de même direction, simplement décalée : l’avis du modèle sur la direction dans laquelle les espèces diffèrent reste le même, seule change votre exigence de certitude.

Erreur fréquente

Deux erreurs sont courantes. La première consiste à prendre 0,5 pour une loi. Le seuil est une décision sur les coûts, pas une partie du modèle ; en médecine, on peut accepter beaucoup de fausses alertes pour manquer moins de cancers. La seconde consiste à lire la probabilité comme une certitude. Une probabilité de 0,97 signifie que le modèle s’attend à se tromper dans environ trois cas semblables sur cent – et seulement si les nouvelles données ressemblent aux données d’entraînement. Un manchot d’une population que le modèle n’a jamais vue peut recevoir une réponse assurée et fausse.

Une frontière qui classe correctement la plupart des manchots, cela semble bien, mais « la plupart » cache beaucoup de choses : quelles erreurs, combien, et de quelle gravité ? Dans la prochaine leçon, nous ouvrons la boîte des erreurs et apprenons à les compter correctement.

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

df = pd.read_csv("data/raw/penguins.csv")
df = df[df["species"].isin(["Adelie", "Chinstrap"])].dropna(subset=["bill_length_mm", "bill_depth_mm"])
X, y = df[["bill_length_mm", "bill_depth_mm"]], df["species"] == "Chinstrap"
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(X, y)
p = model.predict_proba(X)[:, 1]  # probabilité de manchot à jugulaire
for t in [0.1, 0.3, 0.5, 0.9]:
    wrong = int(((p >= t) != y).sum())  # manchot à jugulaire quand p >= t
    print(f"threshold {t}: {wrong} mistakes, accuracy {1 - wrong / len(y):.1%}")

threshold 0.1: 21 mistakes, accuracy 90.4%
threshold 0.3: 3 mistakes, accuracy 98.6%
threshold 0.5: 7 mistakes, accuracy 96.8%
threshold 0.9: 17 mistakes, accuracy 92.2%