Faire du machine learning, c'est laisser un algorithme régler les nombres d'une règle à partir d'exemples dont tu connais la réponse. Exemple : pour savoir quand arroser une plante d'après un capteur d'humidité, tu ne fixes pas le seuil au jugé, tu gardes celui qui se trompe le moins sur des journées déjà jugées. Puis tu le vérifies sur des journées qu'il n'a jamais vues. On fait ici ce chemin une fois, à la main.
Écrire la règle ou la faire apprendre
Note $h$ l'humidité du sol mesurée chaque matin, en pourcentage. En programmation classique, tu écris la règle entière : « arroser si $h < 30$ ». Le 30, c'est toi qui le choisis. Or la bonne valeur dépend de la plante et du capteur.
En machine learning, tu gardes la forme de la règle, « arroser si $h < s$ », et tu laisses le seuil $s$ en blanc : les exemples le fixeront. Le vocabulaire publié au Journal officiel, qui recommande le terme « apprentissage automatique », le précise : un tel algorithme « comporte un modèle dont il modifie les paramètres » (liste du 9 décembre 2018).
Définition : le modèle est la forme de la règle, ici « arroser si $h < s$ ». Ses paramètres sont les nombres que l'apprentissage règle, ici le seul seuil $s$. Entraîner le modèle, c'est régler ces paramètres sur des exemples.
Poser le problème en tableau
Avant tout calcul, la question devient un tableau. Une ligne par exemple, ici une journée. Une colonne par variable, c'est-à-dire par mesure connue au moment de décider, ici $h$. Une dernière colonne pour l'étiquette : la réponse connue pour ces journées passées, arroser ou non. Voici huit journées (données fictives).
| Journée | Humidité $h$ (%) | Arroser |
|---|---|---|
| 1 | 15 | oui |
| 2 | 20 | oui |
| 3 | 24 | oui |
| 4 | 27 | non |
| 5 | 29 | oui |
| 6 | 30 | oui |
| 7 | 34 | non |
| 8 | 40 | non |
L'étiquette est une catégorie : c'est une classification, dite supervisée car chaque exemple porte sa réponse. Prédire un nombre, comme les litres à verser, serait une régression.
Piège classique : ajouter une variable qui contient déjà la réponse. Avec une colonne « eau versée dans la journée », le modèle ne se tromperait presque plus sur tes exemples, mais le matin, quand il faut décider, elle n'existe pas encore. C'est une fuite de données : une information indisponible au moment de prédire sert à construire le modèle, et les scores deviennent trop optimistes (documentation de scikit-learn). Pour chaque colonne, demande-toi si tu la connais avant de décider.
Régler un seuil à la main
La règle répond « oui » quand $h < s$, et chaque journée où elle contredit l'étiquette compte pour une erreur. Inutile d'essayer toutes les valeurs : entre deux humidités voisines du tableau, comme 24 et 27, tous les seuils donnent les mêmes réponses. Un seuil par intervalle suffit.
| Seuil $s$ | Journées mal classées | Erreurs |
|---|---|---|
| 18 | 2, 3, 5, 6 | 4 |
| 22 | 3, 5, 6 | 3 |
| 25 | 5, 6 | 2 |
| 28 | 4, 5, 6 | 3 |
| 29,5 | 4, 6 | 2 |
| 32 | 4 | 1 |
| 37 | 4, 7 | 2 |
Avec un seuil de 15 ou moins, la règle répond « non » partout (5 erreurs) ; au-dessus de 40, « oui » partout (3 erreurs). Le meilleur seuil est donc $s = 32$, avec une erreur sur huit : un taux de réussite de $\dfrac{7}{8} = 0{,}875$, soit 87,5 %. Tout seuil de l'intervalle $]30\,;\,34]$ ferait aussi bien ; le milieu laisse la même marge des deux côtés.
Reste la journée 4, à 27 % et pourtant « non » : la classer juste demanderait $s \leqslant 27$, et ferait rater les journées 5 et 6. Une erreur qui résiste à tous les seuils signale une information absente des variables : ce jour-là, la décision tenait à autre chose que l'humidité.
Un algorithme d'apprentissage fait ce même geste : essayer des paramètres, mesurer l'erreur sur les exemples, garder les meilleurs, avec des méthodes de recherche plus malignes quand les paramètres sont nombreux.
Juger sur des cas neufs
Ces 87,5 % sont flatteurs : ils sont mesurés sur les journées mêmes qui ont servi à choisir $s$. On garde donc de côté des exemples que l'entraînement ne voit jamais, le jeu de test. Voici quatre nouvelles journées (données fictives), jugées avec $s = 32$.
| Journée | Humidité $h$ (%) | Arroser | Réponse de la règle |
|---|---|---|---|
| 9 | 18 | oui | oui |
| 10 | 25 | oui | oui |
| 11 | 31 | non | oui (erreur) |
| 12 | 36 | non | non |
Trois bonnes réponses sur quatre, soit 75 % : c'est ce score qui estime la vraie valeur du seuil. Réussir sur des cas jamais vus s'appelle généraliser, et c'est le vrai but de l'apprentissage.
Piège classique : croire qu'un modèle sans faute sur ses exemples a bien appris. Le modèle « arroser si $h$ vaut 15, 20, 24, 29 ou 30, sinon non » récite le tableau : 100 % sur les huit journées. Sur le test, il ne reconnaît aucune humidité, répond « non » partout et rate les journées 9 et 10 : 50 %, contre 75 % pour le seuil.
Quand s'en passer
Le machine learning a un prix : des exemples à étiqueter, et des erreurs. Il ne sert que si la règle est inconnue ou trop compliquée à écrire. Un prix TTC, par exemple, se calcule sans erreur.
Il faut aussi des exemples qui ressemblent aux cas à venir. Des journées relevées sur une plante grasse, qui supporte la sécheresse, régleraient mal le seuil d'une fougère, qui aime la terre humide.
Les variables doivent contenir l'information : si l'arrosage dépendait de la pluie du lendemain, aucun seuil sur $h$ ne suffirait, même avec mille exemples. Enfin, l'erreur doit rester supportable, ou contrôlée par une personne.
Exercices corrigés
Exercice 1 : Pour chaque cas, le machine learning est-il le bon outil ? Justifie.
a) Calculer des frais d'envoi à partir du barème publié par le transporteur.
b) Repérer les avis négatifs parmi 40 000 avis de clients, dont 3 000 ont déjà été classés à la main.
Correction :
a) Non : la règle existe, c'est le barème. Programmée, elle ne se trompe jamais.
b) Oui : impossible d'écrire toutes les façons de dire du mal d'un produit, et les 3 000 avis classés sont des exemples étiquetés. C'est une classification supervisée.
Exercice 2 : Un restaurant universitaire veut prévoir chaque matin, à 9 h, le nombre de repas servis à midi. Ses relevés donnent, jour par jour : le jour de la semaine, la période (cours, examens ou vacances), la température prévue, les tickets vendus entre 11 h et 14 h, et les repas servis.
a) Qu'est-ce qu'un exemple ? Quelle est l'étiquette ?
b) Classification ou régression ?
c) Quelles colonnes peux-tu prendre comme variables ?
Correction :
a) Un exemple est une journée passée ; l'étiquette, le nombre de repas servis ce jour-là.
b) Régression, puisque l'étiquette est un nombre.
c) Le jour, la période et la température prévue sont connus à 9 h : ce sont tes variables. Les tickets vendus entre 11 h et 14 h, non : inconnus à 9 h, ils donnent presque la réponse. C'est une fuite de données.
Exercice 3 : Un capteur mesure la vibration $v$ de moteurs, en mm/s. Pour huit moteurs, on sait si une panne a suivi dans le mois (données fictives) : 2,5 non ; 3,0 non ; 3,4 oui ; 3,8 non ; 4,1 non ; 4,7 oui ; 5,3 oui ; 6,0 oui. La règle déclenche une alerte si $v > s$.
a) Parmi les seuils 2,8 ; 3,6 ; 4,4 et 5,0 mm/s, lequel fait le moins d'erreurs sur ces huit moteurs ?
b) On teste ce seuil sur cinq autres moteurs : 3,2 non ; 3,9 non ; 4,3 oui ; 4,9 oui ; 5,6 oui. Calcule son taux de réussite.
c) Compare avec la règle « une alerte pour chaque moteur ».
Correction :
a) Une erreur est une alerte sans panne, ou une panne sans alerte. Avec $s = 2{,}8$ : trois fausses alertes (3,0 ; 3,8 ; 4,1). Avec $s = 3{,}6$ : deux fausses alertes (3,8 ; 4,1) et une panne ratée (3,4). Avec $s = 4{,}4$ : une panne ratée (3,4). Avec $s = 5{,}0$ : deux pannes ratées (3,4 ; 4,7). Le meilleur seuil est 4,4 mm/s, avec 1 erreur sur 8.
b) Avec 4,4 mm/s, seul le moteur à 4,3 est mal classé : panne sans alerte. Taux de réussite : $\dfrac{4}{5} = 0{,}8$, soit 80 %.
c) « Une alerte pour chaque moteur » n'a raison que pour les trois pannes : $\dfrac{3}{5} = 0{,}6$, soit 60 %. Le seuil fait mieux ; sans cette comparaison, ses 80 % ne diraient pas grand-chose.
À retenir
À retenir :
- Machine learning : des paramètres réglés sur des exemples dont on connaît la réponse.
- Un exemple par ligne, des variables connues avant de décider, une étiquette.
- Entraîner, c'est garder les paramètres qui se trompent le moins sur les exemples.
- Un modèle se juge sur un jeu de test jamais vu, pas sur ses exemples d'entraînement.
- Règle connue, ou variables sans l'information : pas besoin de machine learning.
Sources
- Vocabulaire de l'intelligence artificielle, Journal officiel du 9 décembre 2018, entrée « apprentissage automatique » : texte sur Légifrance.
- Documentation de scikit-learn, partie « Data leakage » : page en anglais.