Retour au blog

Le deep learning expliqué : réseaux de neurones et applications

Ce qui entre, ce qui sort, quel réseau choisir et comment vérifier qu'il marche : la méthode pour appliquer le deep learning à un vrai problème, avec trois exercices corrigés.

Cet article a été rédigé à des fins pédagogiques. Les informations présentées peuvent évoluer. Nous t’invitons à vérifier auprès de sources officielles.

Le deep learning (apprentissage profond) apprend une fonction à partir d'exemples : tu montres à un réseau de neurones des milliers d'entrées avec leur bonne réponse, et il s'ajuste jusqu'à répondre juste sur des cas qu'il n'a jamais vus. Pour l'appliquer, tu fixes ce qui entre, ce qui sort, le type de réseau et la façon de vérifier qu'il marche. En contrôle qualité, par exemple, il entre la photo d'une pièce, il sort la probabilité qu'elle soit défectueuse, un réseau convolutif (fait pour les images) calcule, et on le juge sur des photos qu'il n'a jamais vues.

Le principe : apprendre à partir d'exemples

Un programme classique applique des règles écrites à la main. En deep learning, personne n'écrit la règle « voici à quoi ressemble une rayure » : le réseau la tire de photos déjà triées par un humain. C'est l'apprentissage supervisé : chaque exemple associe une entrée à sa bonne réponse, appelée étiquette.

Le deep learning est une branche du machine learning (apprentissage automatique). Son réseau de neurones empile des couches : chaque neurone additionne ses entrées multipliées par des poids, puis applique une fonction non linéaire, l'activation. L'entraînement corrige les poids pas à pas pour faire baisser la perte, un nombre qui mesure l'erreur sur les exemples.

« Profond » veut dire que les couches sont nombreuses : les premières repèrent des motifs simples, comme des contours, que les suivantes combinent en motifs plus complexes.

Ce qui entre : un tableau de nombres

Un réseau ne calcule que sur des nombres : chaque entrée devient un tableau de nombres de forme fixe, un tenseur.

DonnéeCe que reçoit le réseauExemple
Image$\text{hauteur} \times \text{largeur} \times \text{canaux}$ (1 canal en niveaux de gris, 3 en couleur), valeurs de 0 à 255photo en niveaux de gris de $128 \times 128$ pixels : $16\,384$ nombres
Textesuite de tokens (mots ou morceaux de mots), chacun remplacé par son numéro dans un vocabulaire« le moteur chauffe » : quelques numéros
Mesuresune ligne de nombres par exemple, une colonne par grandeur12 capteurs : 12 nombres

Ramène aussi les valeurs à la même échelle (les pixels divisés par 255, par exemple), sinon une grandeur qui se compte en milliers écrase les autres.

Une catégorie ne se code pas par un numéro : avec 1 pour lundi et 7 pour dimanche, le réseau traiterait dimanche comme « sept fois lundi ». On la code par un vecteur de 0 avec un seul 1, à sa place : c'est l'encodage one-hot.

Ce qui sort : la dernière couche et la perte

La question posée fixe la dernière couche du réseau et la perte que l'entraînement fera baisser.

QuestionExempleDernière couchePerte
Combien ? (régression)consommation d'un bâtiment en kWh1 neurone sans activationerreur quadratique moyenne (moyenne des carrés des écarts)
Oui ou non ? (binaire)pièce défectueuse ou conforme1 neurone et une sigmoïdeentropie croisée binaire
Une classe parmi $K$ ?message client : panne, facture ou livraison$K$ neurones et une softmaxentropie croisée
Plusieurs étiquettes à la fois ?photo de rue : piéton, vélo, voiture$K$ neurones, une sigmoïde chacunentropie croisée binaire par sortie

La sigmoïde $\sigma(z) = \dfrac{1}{1 + e^{-z}}$ change un score réel en probabilité entre 0 et 1 ; la softmax change $K$ scores en $K$ probabilités de somme 1. L'entropie croisée est proche de 0 quand le réseau donne une forte probabilité à la bonne réponse, et grimpe sans limite quand il se trompe avec assurance.

Pour décider, on compare la probabilité à un seuil, 0,5 par défaut. Baisser le seuil fait rater moins de pièces défectueuses, au prix de plus de fausses alertes.

Piège classique : une softmax partage 1 entre les classes, donc une photo avec un piéton et un vélo ne peut pas obtenir deux probabilités proches de 1. Dès que plusieurs étiquettes peuvent être vraies ensemble, mets une sigmoïde par sortie.

Quel réseau pour quelle donnée

L'architecture, c'est-à-dire l'organisation des couches, suit la forme de la donnée.

DonnéeRéseau habituelPourquoiApplications
Imagesréseau convolutif (CNN)un même petit filtre repère un motif partout dans l'imagecontrôle qualité, lecture de plaques d'immatriculation
TexteTransformergrâce à l'attention, chaque token tient compte des autrestraduction, tri de messages
Mesures en tableaupetit réseau, ou modèle à base d'arbresdes colonnes sans ordre ni voisinage à exploiterprévision de ventes, détection de fraude

Pour ces données en tableau, le deep learning n'est pas le choix par défaut. Sur un banc d'essai de 45 jeux de données de taille moyenne (autour de 10 000 exemples), les modèles à base d'arbres de décision (des cascades de tests sur les colonnes) restent devant les réseaux profonds (Grinsztajn, Oyallon et Varoquaux, 2022).

Conseil : peu de photos étiquetées ? Reprends un réseau déjà entraîné sur une grande base d'images et réentraîne seulement ses dernières couches : c'est l'apprentissage par transfert.

Vérifier qu'il marche vraiment

Un réseau assez grand peut apprendre ses exemples par cœur : brillant sur eux, il échoue sur des données neuves. C'est le surapprentissage, d'où une règle : on n'évalue jamais un modèle sur les exemples qui l'ont entraîné (documentation de scikit-learn).

On coupe donc les exemples au hasard en trois jeux : l'entraînement ajuste les poids, la validation règle tes choix (taille du réseau, moment où arrêter), et le test s'ouvre une seule fois, à la fin. Régler tes choix en regardant le test rendrait son score trop optimiste.

Suis la perte de validation à chaque époque (un passage complet sur les données d'entraînement). Quand elle remonte alors que la perte d'entraînement baisse encore, garde les poids de l'époque où elle était la plus basse : c'est l'arrêt précoce (early stopping).

Pour un classifieur, compte les vrais positifs (VP), cas positifs bien signalés, les faux positifs (FP), fausses alertes, et les faux négatifs (FN), cas ratés.

Formule :

$$\text{précision} = \frac{\text{VP}}{\text{VP} + \text{FP}} \qquad \text{rappel} = \frac{\text{VP}}{\text{VP} + \text{FN}}$$

La précision dit si tu peux croire une alerte ; le rappel, quelle part des vrais cas tu attrapes.

Piège classique : quand une classe est rare, l'exactitude (la part de bonnes réponses) trompe. Un réseau qui répond toujours « conforme » a pour exactitude la part de pièces conformes, souvent proche de 100 %, sans trouver un seul défaut : son rappel, nul, le démasque.

Exercices corrigés

Exercice 1 : Pour chaque application, donne le nombre de valeurs en entrée, la dernière couche et la perte.

a) Prévoir le prix de vente d'un appartement, en euros, à partir de 8 caractéristiques chiffrées.

b) Repérer fumée, flammes, les deux ou rien sur une photo couleur de $64 \times 64$ pixels.

Correction :

a) 8 valeurs. On prédit un nombre, le prix en euros : 1 neurone sans activation et l'erreur quadratique moyenne. Données en tableau : essaie aussi un modèle à base d'arbres.

b) $64 \times 64 \times 3 = 12\,288$ valeurs. Fumée et flammes peuvent être présentes ensemble : 2 neurones avec chacun une sigmoïde, et l'entropie croisée binaire sur chaque sortie. « Rien » correspond à deux probabilités sous le seuil.

Exercice 2 : Sur un jeu de test de 1 000 pièces, dont 20 défectueuses (données fictives), le modèle A répond toujours « conforme ». Le modèle B signale 46 pièces, dont 16 vraiment défectueuses. Calcule pour chacun l'exactitude, la précision et le rappel de la classe « défectueuse ». Lequel mettre sur la chaîne ?

Correction :

A : exactitude $\dfrac{980}{1\,000} = 98\,\%$ et rappel $\dfrac{0}{20} = 0$ ; la précision n'est pas définie, car A ne signale rien.

B : $\text{VP} = 16$, $\text{FP} = 46 - 16 = 30$ et $\text{FN} = 20 - 16 = 4$. Il laisse passer $980 - 30 = 950$ pièces conformes, d'où une exactitude de $\dfrac{16 + 950}{1\,000} = 96{,}6\,\%$, une précision de $\dfrac{16}{46} \approx 34{,}8\,\%$ et un rappel de $\dfrac{16}{20} = 80\,\%$.

Il faut B : malgré une exactitude plus basse, il trouve quatre défauts sur cinq, A aucun. Mais près de deux alertes sur trois sont fausses ($\dfrac{30}{46} \approx 65\,\%$).

Exercice 3 : On relève la perte pendant un entraînement (données fictives). Époque 5 : 0,52 en entraînement, 0,55 en validation. Époque 10 : 0,31 et 0,38. Époque 15 : 0,18 et 0,41. Époque 20 : 0,07 et 0,63. Quand le surapprentissage commence-t-il ? Quels poids garder ? Peut-on choisir l'époque d'après le jeu de test ?

Correction :

Entre les époques 10 et 15 : la perte d'entraînement baisse encore (de 0,31 à 0,18), mais celle de validation remonte (de 0,38 à 0,41). Le réseau apprend les particularités de ses exemples, pas ce qui se généralise.

On garde les poids de l'époque 10, la plus basse validation relevée : c'est l'arrêt précoce.

Non : choisir l'époque est un réglage, il se fait sur la validation.

À retenir

À retenir :

  • Poser une application : ce qui entre, ce qui sort, quel réseau, comment vérifier.
  • Sortie : un nombre, 1 neurone sans activation ; oui ou non, une sigmoïde ; une classe parmi $K$, une softmax ; plusieurs étiquettes, une sigmoïde chacune.
  • Images : CNN ; texte : Transformer ; tableau : essaie aussi les arbres.
  • Les choix se règlent sur la validation, le test ne s'ouvre qu'à la fin.
  • Classe rare : précision et rappel, jamais l'exactitude seule.

Sources

  • « Cross-validation: evaluating estimator performance », documentation de scikit-learn.
  • L. Grinsztajn, E. Oyallon et G. Varoquaux, « Why do tree-based models still outperform deep learning on tabular data? », arXiv, 2022.

Tu peux partager cette page librement, en citant ORBITECH AI Academy avec son lien.