Validation et validation croisée

Dans la leçon précédente, nous avons choisi le meilleur degré de polynôme en jetant un œil au jeu de test. Cela semblait anodin, mais réfléchissez à ce que cela signifie : nous avons essayé plusieurs modèles et gardé celui que le jeu de test préférait. Le jeu de test n’est plus un examen inédit – il est devenu un juge que nous avons consulté pendant la préparation. Comment choisir des réglages sans gâcher notre seule mesure honnête ?

À vous de jouer

• Réglez le curseur de k sur sa plus petite valeur et lisez l’exactitude de chaque pli. À quel point les plis diffèrent-ils les uns des autres ?
• Augmentez k cran par cran. Observez la moyenne et la dispersion, et remarquez que chaque pli contient désormais moins de vins.
• Avec un grand k, cherchez des plis à l’exactitude inhabituellement basse ou haute. Avec seulement une poignée de vins dans un pli, une seule erreur fait beaucoup bouger son score.
• Comparez la dispersion aux différences entre les réglages que vous voudriez ajuster. Un petit gain sur la moyenne est-il plus grand que la dispersion ?

L’idée en quelques mots

Voyons maintenant ce que vous venez de manipuler, en termes simples.

La première solution est une troisième pile de données. Répartissez les lignes en jeux d’entraînement, de validation et de test. Entraînez les modèles candidats sur le jeu d’entraînement, comparez-les sur le jeu de validation, choisissez le gagnant, et seulement ensuite ouvrez le jeu de test, une seule fois, pour annoncer le score final. Le jeu de validation absorbe tous les coups d’œil, pour que le jeu de test n’ait pas à le faire.

Le problème : chaque découpage coûte des données. Avec un petit jeu de données, un jeu de validation assez grand pour être fiable laisse trop peu de lignes pour l’entraînement, et la leçon 2 a montré qu’un petit jeu donne un score instable. La validation croisée résout ce problème en réutilisant astucieusement les données.

Imaginez que vous jugiez une nouvelle cuisinière. Goûter un seul plat vous apprend peu de chose : c’était peut-être son meilleur, peut-être son pire. Alors vous lui demandez plusieurs plats, des jours différents, et vous regardez la moyenne et à quel point ils varient. La validation croisée fait la même chose avec un modèle.

Pourquoi ça marche

Dans la validation croisée à k plis (k-fold), les données (hors jeu de test final) sont coupées en k parts égales appelées plis (folds). Le modèle est entraîné k fois. À chaque fois, un pli est réservé à la validation et les k − 1 autres servent à l’entraînement. Au bout du compte, chaque ligne a servi exactement une fois à la validation et k − 1 fois à l’entraînement. Chaque entraînement voit cette part des données :

part d'entraînement = (k − 1) / k

Le résultat n’est pas un score mais k scores, un par pli. Leur moyenne est une estimation plus fiable que n’importe quel découpage unique, car elle ne dépend pas d’une répartition chanceuse ou malchanceuse des lignes. Leur dispersion est tout aussi précieuse : elle montre à quel point le score dépend des lignes que le modèle a reçues par hasard. Deux modèles dont les moyennes diffèrent de moins que cette dispersion ne peuvent pas vraiment être départagés.

Le choix de k est un compromis. Un petit k (disons 2) entraîne chaque modèle sur la moitié des données seulement, si bien que chaque modèle est plus faible que celui que vous construirez au final, et l’estimation est pessimiste. Un grand k entraîne sur presque toutes les données, mais chaque pli est petit, donc les scores de chaque pli deviennent plus bruités, et le calcul prend k fois plus de temps qu’un ajustement unique. Les valeurs 5 ou 10 sont un compromis courant.

L’exemple de cette leçon est le jeu de données Wine : 178 vins d’une même région d’Italie, issus de trois cépages différents, chacun décrit par 13 résultats d’analyse chimique. La tâche consiste à distinguer les trois cépages.

Erreur fréquente

La validation croisée ne vous protège que si tout ce qui est appris à partir des données se passe à l’intérieur de chaque pli. Si vous normalisez les variables ou sélectionnez les « meilleures » variables sur toutes les lignes d’abord, puis faites la validation croisée, des informations des plis de validation ont déjà fui dans l’entraînement, et les scores sont trop optimistes. La seconde erreur est d’ajuster des dizaines de réglages par validation croisée et d’annoncer le meilleur score validé comme résultat final. Après tant de comparaisons, le gagnant a en partie eu de la chance ; c’est pourquoi un jeu de test séparé, utilisé une seule fois, reste important.

Avec une évaluation honnête dans notre boîte à outils, nous pouvons explorer des modèles plus puissants sans nous leurrer. Dans la prochaine leçon, nous rencontrons le plus lisible d’entre eux : l’arbre de décision.

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_wine(return_X_y=True)
model = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=5))  # le scaler est réajusté dans chaque pli
for k in (2, 10):
    runs = [cross_val_score(model, X, y, cv=StratifiedKFold(k, shuffle=True, random_state=s)) for s in range(20)]
    gap = np.mean([a.max() - a.min() for a in runs])
    print(f"k={k:2d}: mean accuracy {np.mean(runs):.3f}, average worst-to-best gap {gap:.3f}")

k= 2: mean accuracy 0.956, average worst-to-best gap 0.020
k=10: mean accuracy 0.966, average worst-to-best gap 0.113