Ingénierie des variables

Dans la leçon 4.3, nous avons changé la façon d’écrire les variables : l’échelle des nombres et le code des catégories. Aujourd’hui, nous fabriquons de nouvelles variables à partir de celles qui existent. L’ingénierie des variables consiste à ajouter des colonnes qui montrent plus clairement au modèle ce qu’il cherche : un carré, un rapport, une différence, le nombre de jours depuis un événement. Une bonne variable peut rendre facile un problème difficile. Beaucoup de variables faibles peuvent gâcher un modèle qui marchait.

À vous

• Commencez avec x seul. Où le modèle prédit-il le cépage 2 ? Quelle est l’exactitude de test, et d’où vient-elle ?
• Ajoutez la colonne x². À quoi ressemble la frontière dans le plan (x, x²), et sur l’axe des flavonoïdes seul ?
• Passez au bruit. Descendez le curseur depuis 200 colonnes. Quand le kNN reconnaît-il le mieux les vins mis de côté ?
• Regardez le contraste des distances. Que devient l’écart entre le vin le plus proche et le plus lointain quand les colonnes s’accumulent ?

Une fois vérifié dans le lab, mettons des mots sur ce que vous voyez.

L’idée en mots simples

Un modèle linéaire sur un axe ne sait faire qu’une chose : poser un seuil. Le cépage 2 est au milieu de l’axe des flavonoïdes, donc un seuil ne peut le découper d’aucun côté : il sépare au plus un des cépages voisins. Le meilleur seuil de ce type sépare le cépage 3 et atteint 61,6 % à l’entraînement, alors que dire « un autre cépage » pour chaque vin donne 60,0 %. Le gain est minime, et au test il disparaît. La SVM linéaire du lab ne prédit le cépage 2 nulle part et obtient 60,4 %, la part des autres cépages parmi les 53 vins de test. Ajoutons la colonne x², le carré des flavonoïdes standardisés. Les vins des deux bouts de l’axe ont un x² grand, ceux du milieu un x² petit. Le même modèle linéaire trace maintenant une droite dans le plan (x, x²). Sur l’axe des flavonoïdes, cela fait deux seuils, un intervalle de 1,11 à 2,82. L’exactitude monte à 77,4 %. Le modèle n’a pas changé ; ce qu’il reçoit, si.

Plus de variables ne veut pas dire mieux, pourtant. Le kNN (k = 5) sur 13 mesures chimiques reconnaît 98,1 % des vins mis de côté. Nous ajoutons des colonnes de bruit pur, des nombres aléatoires à la même échelle. Avec 200 colonnes de ce type, l’exactitude tombe à 77,4 %. Chaque colonne de bruit pèse autant dans la distance qu’une vraie mesure, donc les vins « les plus proches » ne se ressemblent plus. C’est le fléau de la dimension : en grande dimension, tous les points sont presque à la même distance les uns des autres.

Jak to policzono

• Vins : Wine (Aeberhard et Forina, 1992 ; UCI, licence CC BY 4.0), 178 vins, 13 mesures chimiques, 3 cépages. Découpage stratifié : 125 vins pour apprendre, 53 pour le test.
• Nouvelle variable : un modèle linéaire (une machine à vecteurs de support linéaire, C = 1) sur les flavonoïdes standardisés, cépage 2 contre les autres. Flavonoïdes moyens calculés sur les 178 vins.
• Bruit : kNN avec k = 5 sur les 13 mesures standardisées et de 0 à 200 colonnes de nombres tirés d’une loi normale (moyenne 0, écart-type 1), avec une graine fixe.

Pourquoi ça marche

Un modèle linéaire coupe l’espace par une droite (par un plan en plus grande dimension). Sur un axe, une droite est un point : un seuil. La colonne x² ajoute un second axe. Les vins des deux bouts de l’axe des flavonoïdes se retrouvent haut sur la parabole, ceux du milieu en bas. Une droite peut alors couper le cépage 2 par le haut. Sur 20 autres découpages des vins, sans x² la SVM linéaire ne prédit pas une seule fois le cépage 2, et le meilleur seuil unique de l’entraînement ne bat « toujours un autre » au test que dans 1 cas sur 20. Avec x² il découpe toujours un intervalle : de 67,9 à 84,9 % au test.

Avec le bruit, c’est l’inverse. La distance du kNN est une somme de carrés des différences sur toutes les colonnes. Avec 13 mesures, le vin d’entraînement le plus lointain est en moyenne 296,5 % plus loin que le plus proche. Avec 200 colonnes de bruit, seulement 25,7 %. Les différences dans le bruit sont aléatoires, et nombreuses, donc elles noient les 13 vraies différences. Sur 20 tirages du bruit, 200 colonnes donnent de 64,2 à 83,0 %, toujours moins que 98,1 % sans bruit.

Une erreur fréquente

Vrai ou faux : « plus de variables font un meilleur modèle ». Faux. Une variable aide quand elle porte de l’information sous une forme que le modèle sait utiliser, comme x² pour le cépage 2. Les colonnes sans information nuisent : 200 colonnes de bruit font tomber le kNN de 98,1 % à 77,4 %. Dans le code ci-dessous, l’exactitude du kNN tombe de 0,962 sans bruit à 0,689 avec 200 colonnes.

Une bonne variable nouvelle vient en général de la compréhension du problème : ce qui devrait compter, et sous quelle forme. Tout jeter dedans, c’est inviter le bruit.

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score, RepeatedStratifiedKFold
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier

wine = load_wine(as_frame=True)
x, is2 = wine.data[["flavanoids"]], (wine.target == 1).astype(int)
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=10, random_state=0)
line = make_pipeline(StandardScaler(), SVC(kernel="linear", C=1))
squared = make_pipeline(StandardScaler(), PolynomialFeatures(2, include_bias=False), StandardScaler(), SVC(kernel="linear", C=1))  # la nouvelle colonne x²
a, b = cross_val_score(line, x, is2, cv=cv), cross_val_score(squared, x, is2, cv=cv)
print(f"cultivar 2 vs the rest from flavanoids, 10 x 5 CV: x only {a.mean():.3f}, x and x^2 {b.mean():.3f}; always 'other' {1 - is2.mean():.3f}")
print(f"x only predicts cultivar 2 for {line.fit(x, is2).predict(x).sum()} of {len(x)} wines; x and x^2 wins in {(b > a).sum()} of 50 folds")
X, y = wine.data.to_numpy(), wine.target.to_numpy()
noise = np.random.default_rng(0).normal(size=(len(X), 200))  # colonnes de bruit pur
for m in [0, 10, 50, 200]:
    acc = cross_val_score(make_pipeline(StandardScaler(), KNeighborsClassifier(5)), np.hstack([X, noise[:, :m]]), y, cv=cv)
    print(f"kNN on 13 measurements + {m} noise columns: {acc.mean():.3f}")

cultivar 2 vs the rest from flavanoids, 10 x 5 CV: x only 0.601, x and x^2 0.755; always 'other' 0.601
x only predicts cultivar 2 for 0 of 178 wines; x and x^2 wins in 49 of 50 folds
kNN on 13 measurements + 0 noise columns: 0.962
kNN on 13 measurements + 10 noise columns: 0.940
kNN on 13 measurements + 50 noise columns: 0.842
kNN on 13 measurements + 200 noise columns: 0.689