Réseaux de neurones : beaucoup d’unités simples

La régression logistique de la leçon 5 ne sait tracer qu’une frontière droite. Les arbres ne savent dessiner que des boîtes. Mais si les classes s’enroulent l’une autour de l’autre ? Vous pourriez essayer d’inventer à la main la bonne courbe pour chaque problème – ou bien construire un modèle à partir de pièces si simples que chacune ne sait tracer qu’une droite, et laisser leur combinaison dessiner n’importe quoi. C’est le pari des réseaux de neurones.

À vous de jouer

• Réglez le curseur des neurones cachés sur sa plus petite valeur et cliquez sur Entraîner. Regardez les régions de décision : combien de bords droits voyez-vous ?
• Augmentez le nombre de neurones cachés et cliquez de nouveau sur « Entraîner ». Regardez les frontières se courber et comparez l’exactitude.
• Réglez le curseur des neurones cachés sur sa plus grande valeur et entraînez. Les régions commencent-elles à se tordre autour de fleurs isolées ? Demandez-vous si une nouvelle fleur tombant dans une telle poche appartiendrait vraiment à cette espèce.
• Regardez les fleurs là où deux espèces se chevauchent. Une frontière, quelle qu’elle soit, peut-elle les séparer avec seulement ces deux mesures ?

L’idée en quelques mots

Voyons maintenant ce que vous venez de manipuler, en termes simples.

Un réseau de neurones est fait de petites unités appelées neurones. Chaque neurone fait quelque chose que nous connaissons déjà : il calcule une somme pondérée de ses entrées, ajoute une ordonnée à l’origine (le biais) et fait passer le résultat par une fonction de pliage simple, la fonction d’activation. Un neurone seul, c’est presque une régression logistique ; il peut séparer le plan par une droite.

Les neurones sont rangés en couches. Les entrées (ici, deux mesures d’une fleur) alimentent une couche cachée de neurones, dont chacun trace sa propre droite et indique à quelle distance, et de quel côté, se trouve un point. La couche de sortie combine ces indications en une décision finale. Comme chaque neurone caché plie son signal, leur combinaison produit des frontières avec des angles et des courbes.

Imaginez une équipe de guetteurs très simples qui surveillent un champ. Chaque guetteur ne peut dire que « l’intrus est à gauche » ou « à droite » d’une seule clôture droite. Un guetteur seul ne sert pas à grand-chose. Mais une cheffe qui écoute de nombreux guetteurs, avec des clôtures placées à des endroits différents, peut délimiter des zones de presque n’importe quelle forme.

Pourquoi ça marche

Un neurone calcule

sortie = f(w · x + b)

où x est la liste des entrées, w les poids, b l’ordonnée à l’origine et f la fonction d’activation. Sans f, empiler des couches ne servirait à rien : une somme pondérée de sommes pondérées reste une seule somme pondérée, et le réseau entier ne tracerait qu’une seule droite. L’activation, c’est le pli qui reste. Grâce à elle, chaque neurone caché ajoute un coude, et suffisamment de coudes peuvent approcher n’importe quelle frontière raisonnable. Plus de neurones cachés, c’est plus de coudes possibles – plus de souplesse, ce qui, comme l’a montré la leçon 7, est une arme à double tranchant.

Les poids sont appris avec les outils des leçons 4 et 5. Le réseau fait des prédictions, la perte logistique mesure à quel point elles sont fausses, et la descente de gradient pousse chaque poids vers le bas. La seule astuce nouvelle concerne le calcul du gradient pour les poids enfouis au cœur du réseau : un algorithme appelé rétropropagation (backpropagation) applique la règle de dérivation en chaîne à rebours depuis la sortie, couche par couche, et indique à chaque poids dans quelle mesure il a contribué à l’erreur.

L’exemple de cette leçon est le jeu de données Iris : 150 fleurs de trois espèces, 50 de chaque, rendu célèbre par l’article de Ronald Fisher de 1936. Nous prenons deux des quatre mesures, si bien que chaque fleur est un point sur un plan, et le réseau entraîné attribue une espèce prédite à chaque endroit de ce plan.

L’idée est ancienne – Frank Rosenblatt a construit le perceptron, un neurone unique entraînable, en 1958 –, mais les réseaux ne sont devenus dominants que lorsque les données, la puissance de calcul et les astuces d’entraînement ont été suffisantes pour entraîner de nombreuses couches.

Erreur fréquente

« Neurone » fait penser à un cerveau, et cette image induit en erreur. Un neurone artificiel est une somme pondérée avec un pli, pas un modèle de cellule biologique, et un réseau ne comprend pas les fleurs ; il ajuste une fonction à des exemples. L’erreur pratique consiste à croire que plus grand est toujours mieux. Un réseau avec beaucoup de neurones cachés sur un petit jeu de données peut apprendre par cœur exactement comme un arbre profond ou un polynôme de degré élevé. Sa taille doit être choisie avec des données de validation, et son entraînement surveillé pour repérer le même écart entre performance d’entraînement et de test que dans la leçon 7.

Empilez assez de couches, nourrissez-les d’assez de texte, et une tâche de prédiction devient quelque chose qui écrit. Dans la dernière leçon, nous voyons comment un réseau apprend le langage en devinant le mot suivant.

Envie d’aller plus loin ? Le cours de réseaux de neurones commence par un seul neurone (PL).

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_iris(return_X_y=True)
X = X[:, :2]  # longueur et largeur du sépale, comme dans le lab
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.5, stratify=y, random_state=1)
for h in (2, 32):
    net = make_pipeline(StandardScaler(), MLPClassifier(hidden_layer_sizes=(h,), activation="tanh", solver="lbfgs", max_iter=5000, random_state=0))
    net.fit(X_tr, y_tr)
    print(f"{h:2d} hidden units: train {net.score(X_tr, y_tr):.1%}, test {net.score(X_te, y_te):.1%}")

 2 hidden units: train 84.0%, test 74.7%
32 hidden units: train 96.0%, test 66.7%