Le deep learning (apprentissage profond) apprend une fonction à partir d'exemples : tu montres à un réseau de neurones des milliers d'entrées avec leur bonne réponse, et il s'ajuste jusqu'à répondre juste sur des cas qu'il n'a jamais vus. Pour l'appliquer, tu fixes ce qui entre, ce qui sort, le type de réseau et la façon de vérifier qu'il marche. En contrôle qualité, par exemple, il entre la photo d'une pièce, il sort la probabilité qu'elle soit défectueuse, un réseau convolutif (fait pour les images) calcule, et on le juge sur des photos qu'il n'a jamais vues.
Le principe : apprendre à partir d'exemples
Un programme classique applique des règles écrites à la main. En deep learning, personne n'écrit la règle « voici à quoi ressemble une rayure » : le réseau la tire de photos déjà triées par un humain. C'est l'apprentissage supervisé : chaque exemple associe une entrée à sa bonne réponse, appelée étiquette.
Le deep learning est une branche du machine learning (apprentissage automatique). Son réseau de neurones empile des couches : chaque neurone additionne ses entrées multipliées par des poids, puis applique une fonction non linéaire, l'activation. L'entraînement corrige les poids pas à pas pour faire baisser la perte, un nombre qui mesure l'erreur sur les exemples.
« Profond » veut dire que les couches sont nombreuses : les premières repèrent des motifs simples, comme des contours, que les suivantes combinent en motifs plus complexes.
Ce qui entre : un tableau de nombres
Un réseau ne calcule que sur des nombres : chaque entrée devient un tableau de nombres de forme fixe, un tenseur.
| Donnée | Ce que reçoit le réseau | Exemple |
|---|---|---|
| Image | $\text{hauteur} \times \text{largeur} \times \text{canaux}$ (1 canal en niveaux de gris, 3 en couleur), valeurs de 0 à 255 | photo en niveaux de gris de $128 \times 128$ pixels : $16\,384$ nombres |
| Texte | suite de tokens (mots ou morceaux de mots), chacun remplacé par son numéro dans un vocabulaire | « le moteur chauffe » : quelques numéros |
| Mesures | une ligne de nombres par exemple, une colonne par grandeur | 12 capteurs : 12 nombres |
Ramène aussi les valeurs à la même échelle (les pixels divisés par 255, par exemple), sinon une grandeur qui se compte en milliers écrase les autres.
Une catégorie ne se code pas par un numéro : avec 1 pour lundi et 7 pour dimanche, le réseau traiterait dimanche comme « sept fois lundi ». On la code par un vecteur de 0 avec un seul 1, à sa place : c'est l'encodage one-hot.
Ce qui sort : la dernière couche et la perte
La question posée fixe la dernière couche du réseau et la perte que l'entraînement fera baisser.
| Question | Exemple | Dernière couche | Perte |
|---|---|---|---|
| Combien ? (régression) | consommation d'un bâtiment en kWh | 1 neurone sans activation | erreur quadratique moyenne (moyenne des carrés des écarts) |
| Oui ou non ? (binaire) | pièce défectueuse ou conforme | 1 neurone et une sigmoïde | entropie croisée binaire |
| Une classe parmi $K$ ? | message client : panne, facture ou livraison | $K$ neurones et une softmax | entropie croisée |
| Plusieurs étiquettes à la fois ? | photo de rue : piéton, vélo, voiture | $K$ neurones, une sigmoïde chacun | entropie croisée binaire par sortie |
La sigmoïde $\sigma(z) = \dfrac{1}{1 + e^{-z}}$ change un score réel en probabilité entre 0 et 1 ; la softmax change $K$ scores en $K$ probabilités de somme 1. L'entropie croisée est proche de 0 quand le réseau donne une forte probabilité à la bonne réponse, et grimpe sans limite quand il se trompe avec assurance.
Pour décider, on compare la probabilité à un seuil, 0,5 par défaut. Baisser le seuil fait rater moins de pièces défectueuses, au prix de plus de fausses alertes.
Piège classique : une softmax partage 1 entre les classes, donc une photo avec un piéton et un vélo ne peut pas obtenir deux probabilités proches de 1. Dès que plusieurs étiquettes peuvent être vraies ensemble, mets une sigmoïde par sortie.
Quel réseau pour quelle donnée
L'architecture, c'est-à-dire l'organisation des couches, suit la forme de la donnée.
| Donnée | Réseau habituel | Pourquoi | Applications |
|---|---|---|---|
| Images | réseau convolutif (CNN) | un même petit filtre repère un motif partout dans l'image | contrôle qualité, lecture de plaques d'immatriculation |
| Texte | Transformer | grâce à l'attention, chaque token tient compte des autres | traduction, tri de messages |
| Mesures en tableau | petit réseau, ou modèle à base d'arbres | des colonnes sans ordre ni voisinage à exploiter | prévision de ventes, détection de fraude |
Pour ces données en tableau, le deep learning n'est pas le choix par défaut. Sur un banc d'essai de 45 jeux de données de taille moyenne (autour de 10 000 exemples), les modèles à base d'arbres de décision (des cascades de tests sur les colonnes) restent devant les réseaux profonds (Grinsztajn, Oyallon et Varoquaux, 2022).
Conseil : peu de photos étiquetées ? Reprends un réseau déjà entraîné sur une grande base d'images et réentraîne seulement ses dernières couches : c'est l'apprentissage par transfert.
Vérifier qu'il marche vraiment
Un réseau assez grand peut apprendre ses exemples par cœur : brillant sur eux, il échoue sur des données neuves. C'est le surapprentissage, d'où une règle : on n'évalue jamais un modèle sur les exemples qui l'ont entraîné (documentation de scikit-learn).
On coupe donc les exemples au hasard en trois jeux : l'entraînement ajuste les poids, la validation règle tes choix (taille du réseau, moment où arrêter), et le test s'ouvre une seule fois, à la fin. Régler tes choix en regardant le test rendrait son score trop optimiste.
Suis la perte de validation à chaque époque (un passage complet sur les données d'entraînement). Quand elle remonte alors que la perte d'entraînement baisse encore, garde les poids de l'époque où elle était la plus basse : c'est l'arrêt précoce (early stopping).
Pour un classifieur, compte les vrais positifs (VP), cas positifs bien signalés, les faux positifs (FP), fausses alertes, et les faux négatifs (FN), cas ratés.
Formule :
$$\text{précision} = \frac{\text{VP}}{\text{VP} + \text{FP}} \qquad \text{rappel} = \frac{\text{VP}}{\text{VP} + \text{FN}}$$
La précision dit si tu peux croire une alerte ; le rappel, quelle part des vrais cas tu attrapes.
Piège classique : quand une classe est rare, l'exactitude (la part de bonnes réponses) trompe. Un réseau qui répond toujours « conforme » a pour exactitude la part de pièces conformes, souvent proche de 100 %, sans trouver un seul défaut : son rappel, nul, le démasque.
Exercices corrigés
Exercice 1 : Pour chaque application, donne le nombre de valeurs en entrée, la dernière couche et la perte.
a) Prévoir le prix de vente d'un appartement, en euros, à partir de 8 caractéristiques chiffrées.
b) Repérer fumée, flammes, les deux ou rien sur une photo couleur de $64 \times 64$ pixels.
Correction :
a) 8 valeurs. On prédit un nombre, le prix en euros : 1 neurone sans activation et l'erreur quadratique moyenne. Données en tableau : essaie aussi un modèle à base d'arbres.
b) $64 \times 64 \times 3 = 12\,288$ valeurs. Fumée et flammes peuvent être présentes ensemble : 2 neurones avec chacun une sigmoïde, et l'entropie croisée binaire sur chaque sortie. « Rien » correspond à deux probabilités sous le seuil.
Exercice 2 : Sur un jeu de test de 1 000 pièces, dont 20 défectueuses (données fictives), le modèle A répond toujours « conforme ». Le modèle B signale 46 pièces, dont 16 vraiment défectueuses. Calcule pour chacun l'exactitude, la précision et le rappel de la classe « défectueuse ». Lequel mettre sur la chaîne ?
Correction :
A : exactitude $\dfrac{980}{1\,000} = 98\,\%$ et rappel $\dfrac{0}{20} = 0$ ; la précision n'est pas définie, car A ne signale rien.
B : $\text{VP} = 16$, $\text{FP} = 46 - 16 = 30$ et $\text{FN} = 20 - 16 = 4$. Il laisse passer $980 - 30 = 950$ pièces conformes, d'où une exactitude de $\dfrac{16 + 950}{1\,000} = 96{,}6\,\%$, une précision de $\dfrac{16}{46} \approx 34{,}8\,\%$ et un rappel de $\dfrac{16}{20} = 80\,\%$.
Il faut B : malgré une exactitude plus basse, il trouve quatre défauts sur cinq, A aucun. Mais près de deux alertes sur trois sont fausses ($\dfrac{30}{46} \approx 65\,\%$).
Exercice 3 : On relève la perte pendant un entraînement (données fictives). Époque 5 : 0,52 en entraînement, 0,55 en validation. Époque 10 : 0,31 et 0,38. Époque 15 : 0,18 et 0,41. Époque 20 : 0,07 et 0,63. Quand le surapprentissage commence-t-il ? Quels poids garder ? Peut-on choisir l'époque d'après le jeu de test ?
Correction :
Entre les époques 10 et 15 : la perte d'entraînement baisse encore (de 0,31 à 0,18), mais celle de validation remonte (de 0,38 à 0,41). Le réseau apprend les particularités de ses exemples, pas ce qui se généralise.
On garde les poids de l'époque 10, la plus basse validation relevée : c'est l'arrêt précoce.
Non : choisir l'époque est un réglage, il se fait sur la validation.
À retenir
À retenir :
- Poser une application : ce qui entre, ce qui sort, quel réseau, comment vérifier.
- Sortie : un nombre, 1 neurone sans activation ; oui ou non, une sigmoïde ; une classe parmi $K$, une softmax ; plusieurs étiquettes, une sigmoïde chacune.
- Images : CNN ; texte : Transformer ; tableau : essaie aussi les arbres.
- Les choix se règlent sur la validation, le test ne s'ouvre qu'à la fin.
- Classe rare : précision et rappel, jamais l'exactitude seule.
Sources
- « Cross-validation: evaluating estimator performance », documentation de scikit-learn.
- L. Grinsztajn, E. Oyallon et G. Varoquaux, « Why do tree-based models still outperform deep learning on tabular data? », arXiv, 2022.