Évaluer un classifieur : au-delà de l’exactitude

Un détecteur de fumée qui ne sonne jamais ne se trompe jamais sur un faux incendie. Un détecteur qui hurle chaque fois que vous faites griller du pain ne rate jamais un vrai feu. Lequel est le meilleur ? Aucun des deux – et un seul chiffre d’exactitude ne vous dirait même pas lequel vous avez. Cette leçon apprend à compter les erreurs de façon à montrer leur nature, pas seulement leur nombre.

À vous de jouer

• Déplacez le curseur du seuil vers la gauche. Regardez les faux négatifs de la matrice de confusion diminuer et les faux positifs augmenter, et le rappel et la précision partir dans des directions opposées.
• Déplacez le curseur du seuil vers la droite et observez l’inverse. Gardez un œil sur l’exactitude : vous dit-elle quel type d’erreur vous commettez ?
• Trouvez le seuil le plus élevé auquel aucune tumeur maligne n’est manquée. Lisez combien de tumeurs bénignes sont alors signalées à tort.
• Choisissez le seuil que vous prendriez pour un test de dépistage, et dites en une phrase pourquoi.

L’idée en quelques mots

Voyons maintenant ce que vous venez de manipuler, en termes simples.

Revenons aux 569 tumeurs du sein de la leçon 1. Un modèle attribue un score à chaque tumeur : plus le score est élevé, plus la tumeur a de chances d’être maligne. Un seuil transforme le score en décision. Chaque décision tombe alors dans l’une de quatre cases :

Ce tableau est la matrice de confusion. La diagonale contient les décisions correctes. Les deux autres cases contiennent deux sortes d’erreurs très différentes : un faux positif est une fausse alerte (une patiente en bonne santé envoyée faire d’autres examens), un faux négatif est un oubli (un cancer renvoyé à la maison).

Le détecteur de fumée résume tout. Le détecteur muet n’a aucun faux positif et une foule de faux négatifs. Le détecteur à tartines, c’est l’inverse. Un bon détecteur équilibre les deux selon ce que coûte chaque erreur.

Pourquoi ça marche

Deux nombres résument la matrice bien mieux que l’exactitude :

précision = VP / (VP + FP) rappel = VP / (VP + FN)

Le rappel (sensibilité) répond à la question : parmi toutes les tumeurs malignes, quelle part avons-nous détectée ? La précision répond : parmi toutes les tumeurs que nous avons déclarées malignes, quelle part l’était vraiment ? Le rappel, c’est ne rien manquer ; la précision, c’est ne pas crier au loup.

Le seuil règle le compromis entre les deux. Baissez-le et davantage de tumeurs sont signalées comme malignes : vous détectez plus de cancers (le rappel monte), mais vous signalez aussi plus de tumeurs bénignes (la précision baisse en général). Montez-le et c’est l’inverse. Aucun seuil ne peut maximiser les deux, à moins que le modèle ne sépare parfaitement les classes. Choisir un seuil n’est donc pas un détail technique, mais une décision de valeurs : combien de fausses alertes êtes-vous prêt à accepter pour éviter un cancer manqué ?

L’exactitude mélange les quatre cases en un seul nombre et masque ce choix. Elle masque aussi le déséquilibre des classes. Comme 357 des 569 tumeurs sont bénignes, un modèle qui déclare tout bénin a raison dans près des deux tiers des cas tout en ne détectant aucun cancer – un rappel de zéro. C’est le paradoxe de l’exactitude : un modèle peut paraître correct selon l’exactitude et être inutile pour ce à quoi il était destiné.

Erreur fréquente

L’erreur la plus courante est de ne rapporter que l’exactitude, surtout sur des données déséquilibrées où une classe est bien plus rare que l’autre. La deuxième est de garder le seuil par défaut de 0,5 sans se demander ce que coûtent les erreurs. Un test de dépistage, où un oubli peut être fatal et une fausse alerte signifie un examen de plus, devrait généralement avoir un seuil plus bas qu’un test qui déclenche une opération. Un troisième piège est de confondre précision et rappel ; retenir les questions auxquelles ils répondent – « parmi ceux que j’ai signalés » contre « parmi ceux qui existent » – aide davantage que d’apprendre les formules par cœur.

Jusqu’ici, nous avons noté les modèles sur un jeu de test fixe. Mais un modèle peut briller sur les données dont il a appris et échouer sur tout le reste. Dans la prochaine leçon, nous provoquons cela exprès : le surapprentissage.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, b = load_breast_cancer(return_X_y=True, as_frame=True)
X = X.filter(like="mean ")  # les 10 variables « mean », comme dans le lab
y = 1 - b  # dans sklearn 0 = maligne ; on inverse pour que 1 = maligne
print(f"tumours {len(y)}, benign {(y == 0).sum()}, always-benign accuracy {(y == 0).mean():.3f}")
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, stratify=y, random_state=1)
score = make_pipeline(StandardScaler(), LogisticRegression()).fit(Xtr, ytr).predict_proba(Xte)[:, 1]
for t in (0.5, 0.1):
    flag = score >= t
    tp, fp, fn = (flag & (yte == 1)).sum(), (flag & (yte == 0)).sum(), (~flag & (yte == 1)).sum()
    print(f"t={t}: TP {tp} FN {fn} FP {fp} precision {tp / (tp + fp):.3f} recall {tp / (tp + fn):.3f}")

tumours 569, benign 357, always-benign accuracy 0.627
t=0.5: TP 53 FN 11 FP 2 precision 0.964 recall 0.828
t=0.1: TP 61 FN 3 FP 13 precision 0.824 recall 0.953