Surapprentissage : quand un modèle apprend par cœur

Deux élèves préparent un examen de maths. L’un travaille les idées derrière les exercices. L’autre apprend par cœur, mot pour mot, les corrigés de toutes les annales. Sur les annales, le second est impeccable. Puis arrive le vrai examen, avec de nouveaux nombres. Sur qui pariez-vous ? Les modèles font exactement face à ce choix, et livré à lui-même, un modèle flexible deviendra volontiers le second élève.

À vous de jouer

• Commencez au degré 1 et notez les deux erreurs. Puis montez le curseur du degré cran par cran et regardez l’erreur d’entraînement baisser.
• Continuez et surveillez l’erreur de test. Trouvez le degré où elle est la plus basse – c’est le point idéal pour cet échantillon.
• Poussez le curseur du degré au maximum. Regardez la courbe entre les points : décrit-elle encore de façon sensée le lien entre l’IMC et la progression ?
• Comparez l’écart entre erreur d’entraînement et erreur de test au degré le plus bas et au plus élevé. Un écart qui grandit est l’empreinte digitale du surapprentissage.

L’idée en quelques mots

Voyons maintenant ce que vous venez de manipuler, en termes simples.

Dans la leçon 3, nous avons ajusté une droite. Une droite est rigide : elle ne peut pas se plier pour suivre une courbe, même quand les données sont clairement courbées. Un polynôme est une famille de courbes plus souple :

ŷ = w₀ + w₁x + w₂x² + … + w_d·x^d

Le degré d règle la souplesse. Le degré 1 est la droite ; le degré 2 peut faire un virage ; les degrés plus élevés peuvent onduler de plus en plus. Avec un degré suffisant, un polynôme peut passer par chacun des points d’entraînement.

Cela ressemble à un succès, mais les vraies données contiennent du bruit – une variation aléatoire qu’aucune variable n’explique. Deux patients au même IMC ne progressent pas de la même façon. Un modèle assez souple pour toucher chaque point n’apprend pas seulement la tendance ; il apprend aussi le bruit, les accidents de cet échantillon particulier. C’est le surapprentissage (overfitting) : le modèle colle de mieux en mieux aux données d’entraînement tandis que ses prédictions sur de nouvelles données empirent. L’échec inverse, un modèle trop rigide pour capter la vraie tendance, s’appelle le sous-apprentissage (underfitting).

Pourquoi ça marche

Prenons un petit échantillon aléatoire des patients diabétiques de la leçon 3 et répartissons-le en points d’entraînement et points de test. Un petit échantillon rend l’effet facile à voir, car quelques points inhabituels peuvent faire dévier loin une courbe souple.

Suivons ce qui arrive aux deux erreurs quand le degré augmente. L’erreur d’entraînement ne cesse de baisser : une courbe plus souple peut toujours faire au moins aussi bien sur les points sur lesquels elle est ajustée, puisqu’elle peut imiter n’importe quelle courbe plus simple. L’erreur de test se comporte autrement. D’abord, elle baisse aussi, parce que la souplesse supplémentaire capte une vraie structure. Puis, au-delà d’un certain degré, elle remonte, parce que la courbe se plie désormais pour courir après des points d’entraînement isolés, et ces plis sont faux pour tous les autres. Le résultat est la fameuse courbe en U de l’erreur de test.

La raison porte un nom : le compromis biais-variance. Un modèle rigide a un biais élevé – il se trompe de façon systématique, quel que soit l’échantillon qu’il voit. Un modèle très souple a une variance élevée – tirez un échantillon légèrement différent et vous obtenez une courbe complètement différente. Le meilleur modèle se situe entre les deux, assez souple pour suivre le signal et assez rigide pour ignorer le bruit. L’emplacement de ce point dépend de la quantité de données : avec plus de données, le bruit se compense et davantage de souplesse devient sans danger.

Erreur fréquente

L’erreur fondamentale consiste à choisir la complexité d’un modèle d’après l’erreur d’entraînement. L’erreur d’entraînement récompense toujours plus de souplesse, donc elle votera toujours pour le modèle le plus complexe – l’élève qui apprend par cœur. La seconde erreur est de croire que le surapprentissage est rare ou exotique. C’est le comportement par défaut de tout modèle souple sur des données limitées, ce qui couvre les arbres de décision, les réseaux de neurones et la plupart de ce que vous construirez. Le remède n’est pas d’éviter les modèles souples, mais de les maîtriser : modèles plus simples, plus de données, ou régularisation, qui pénalise les poids extrêmes.

Ce raisonnement cache un piège : nous avons choisi le meilleur degré en regardant l’erreur de test, exactement ce contre quoi la leçon 2 mettait en garde. Dans la prochaine leçon, nous apprenons à choisir les réglages honnêtement, grâce à la validation et à la validation croisée.

import numpy as np
from sklearn.datasets import load_diabetes

X, y = load_diabetes(return_X_y=True, as_frame=True, scaled=False)
x, y = X["bmi"].to_numpy(), y.to_numpy()
perm = np.random.default_rng(0).permutation(len(x))
tr, te = perm[:30], perm[30:]
te = te[(x[te] >= x[tr].min()) & (x[te] <= x[tr].max())]  # rester dans la plage d'entraînement
rmse = lambda i, p: np.sqrt(np.mean((y[i] - p(x[i])) ** 2))
for deg in (1, 3, 10):
    p = np.polynomial.Polynomial.fit(x[tr], y[tr], deg)  # ajuste sur un x remis à l'échelle, donc le degré 10 est stable
    print(f"degree {deg:2d}: train RMSE {rmse(tr, p):6.1f}, test RMSE {rmse(te, p):6.1f}")

degree  1: train RMSE   61.6, test RMSE   63.5
degree  3: train RMSE   60.9, test RMSE   63.8
degree 10: train RMSE   54.7, test RMSE  199.5