Niveau : supérieur, du facile au difficile. Durée estimée : 1 h 30. 8 exercices avec corrections détaillées.
Rappel des notions clés
Pour estimer un paramètre $\theta$ par maximum de vraisemblance, tu écris la probabilité d'obtenir tes observations en fonction de $\theta$, puis tu cherches la valeur de $\theta$ qui la rend la plus grande. Exemple : avec $7$ piles sur $10$ lancers d'une pièce, $L(p) = p^7(1-p)^3$ est maximale en $p = 0{,}7$, qui est l'estimation de la probabilité de pile.
Le cadre : $x_1, \dots, x_n$ sont les valeurs observées d'un échantillon $X_1, \dots, X_n$ i.i.d. (indépendantes et de même loi) de densité $f(x;\theta)$, ou de loi discrète $P_\theta(X = x)$. La vraisemblance $L(\theta)$ est le produit de ces densités ou probabilités : les données sont fixées, c'est $\theta$ qui varie. Comme $\ln$ est strictement croissante, on maximise plutôt $\ell = \ln L$, une somme plus facile à dériver. L'estimateur du maximum de vraisemblance (EMV) $\hat\theta$ s'écrit avec les $X_i$ : c'est une variable aléatoire. Avec les $x_i$, il donne un nombre, l'estimation.
Formules à retenir :
- Vraisemblance : $L(\theta) = \prod_{i=1}^{n} f(x_i;\theta)$, ou $\prod_{i=1}^{n} P_\theta(X = x_i)$ si la loi est discrète.
- Log-vraisemblance : $\ell(\theta) = \sum_{i=1}^{n} \ln f(x_i;\theta)$.
- Point critique : $\ell'(\hat\theta) = 0$, puis preuve du maximum : $\ell'' < 0$, ou $\ell'$ positive puis négative.
- Biais : $E(\hat\theta) - \theta$ ; l'estimateur est sans biais si $E(\hat\theta) = \theta$.
Piège classique : annuler la dérivée par réflexe. Quand le support de la loi (les valeurs où la densité n'est pas nulle) dépend de $\theta$, comme pour la loi uniforme sur $[0\,;\,\theta]$, ou quand le maximum tombe au bord du domaine, $\ell'$ ne s'annule pas. Tu étudies alors les variations de $L$ sur tout le domaine.
Exercices : niveau facile
Exercice 1 : Pour estimer la proportion $p$ d'étudiants d'une université qui viennent à vélo, on en interroge $n = 200$, tirés au hasard de façon indépendante. On note $x_i = 1$ si le $i$-ème répond oui, $x_i = 0$ sinon, et $s = \sum x_i$ ; chaque $X_i$ suit la loi de Bernoulli $P(X_i = x) = p^x(1-p)^{1-x}$.
a) Écris $L(p)$ en fonction de $n$ et $s$.
b) Montre que l'EMV est $\hat p = \bar X$.
c) Calcule l'estimation sachant que $46$ étudiants ont répondu oui.
Correction :
On écrit $L$, on passe au logarithme et on annule la dérivée.
a) $$L(p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i} = p^{s}(1-p)^{n-s}$$
b) Pour $0 < s < n$ : $\ell(p) = s\ln p + (n-s)\ln(1-p)$ et $\ell'(p) = \frac{s}{p} - \frac{n-s}{1-p}$. L'équation $\ell'(p) = 0$ donne $s(1-p) = (n-s)p$, soit $p = s/n$. Comme $\ell'$ est décroissante, elle passe du positif au négatif : c'est un maximum, et $\hat p = \frac{1}{n}\sum X_i = \bar X$.
c) $\hat p = 46/200 = 0{,}23$, soit une proportion estimée de $23\ \%$.
Exercice 2 : Un standard téléphonique reçoit $3$, $5$, $2$, $4$ et $6$ appels sur cinq heures prises au hasard. On modélise le nombre d'appels par heure par une loi de Poisson de paramètre $\lambda > 0$ : $P(X = k) = e^{-\lambda}\frac{\lambda^k}{k!}$, les heures étant indépendantes.
a) Écris la log-vraisemblance $\ell(\lambda)$.
b) Détermine l'EMV $\hat\lambda$, puis calcule l'estimation.
Correction :
Même méthode ; les factorielles ne dépendent pas de $\lambda$ et disparaissent en dérivant.
a) Avec $s = \sum x_i$ : $$\ell(\lambda) = -n\lambda + s\ln\lambda - \sum_{i=1}^{n}\ln(x_i!)$$
b) $\ell'(\lambda) = -n + \frac{s}{\lambda}$ s'annule en $\lambda = s/n$, et $\ell''(\lambda) = -\frac{s}{\lambda^2} < 0$ (ici $s > 0$) : c'est un maximum, donc $\hat\lambda = \bar X$. Avec $s = 20$ et $n = 5$ : $\hat\lambda = 4$ appels par heure.
Exercice 3 : Cinq composants tombent en panne après $100$, $200$, $50$, $150$ et $125$ heures de fonctionnement. On modélise ces durées par un échantillon i.i.d. de loi exponentielle de paramètre $\lambda > 0$, de densité $f(x;\lambda) = \lambda e^{-\lambda x}$ pour $x \geq 0$.
a) Détermine l'EMV $\hat\lambda$.
b) Calcule l'estimation, avec son unité.
Correction :
Pour une loi continue, la vraisemblance est le produit des densités.
a) Avec $s = \sum x_i$ : $L(\lambda) = \lambda^n e^{-\lambda s}$, $\ell(\lambda) = n\ln\lambda - \lambda s$ et $\ell'(\lambda) = \frac{n}{\lambda} - s$. La dérivée est positive pour $\lambda < n/s$, négative après : $\hat\lambda = \frac{n}{\sum X_i} = \frac{1}{\bar X}$.
b) $s = 625\ \text{h}$ et $\bar x = 125\ \text{h}$, donc $\hat\lambda = 0{,}008\ \text{h}^{-1}$ : comme $\lambda x$ est sans unité, $\lambda$ s'exprime en $\text{h}^{-1}$.
Erreur à éviter : répondre $\hat\lambda = \bar x$. La moyenne estime la durée de vie moyenne $1/\lambda$, pas $\lambda$.
Exercices : niveau moyen
Exercice 4 : Sur cinq journées, un commercial note le nombre d'appels passés jusqu'à sa première vente : $4$, $2$, $7$, $3$ et $4$. On modélise ce nombre par une loi géométrique : $P(X = k) = (1-p)^{k-1}p$ pour $k \geq 1$, avec $p \in \,]0\,;\,1[$, les journées étant indépendantes.
a) Écris $L(p)$.
b) Détermine l'EMV $\hat p$ en justifiant qu'il s'agit d'un maximum.
c) Calcule l'estimation.
Correction :
On regroupe les exposants, puis on contrôle le signe de $\ell''$.
a) Avec $s = \sum x_i$ : $$L(p) = \prod_{i=1}^{n}(1-p)^{x_i-1}p = p^{n}(1-p)^{s-n}$$
b) Pour $s > n$ (c'est le cas ici), $\ell(p) = n\ln p + (s-n)\ln(1-p)$ et $\ell'(p) = \frac{n}{p} - \frac{s-n}{1-p}$ s'annule en $p = n/s$. De plus, $$\ell''(p) = -\frac{n}{p^2} - \frac{s-n}{(1-p)^2} < 0,$$ donc c'est un maximum : $\hat p = \frac{n}{\sum X_i} = \frac{1}{\bar X}$.
c) Avec $s = 20$ et $n = 5$ : $\hat p = 0{,}25$, soit une vente pour quatre appels en moyenne.
Erreur à éviter : écrire $(1-p)^{s}$ au lieu de $(1-p)^{s-n}$ ; chaque $x_i$ compte $x_i - 1$ échecs.
Exercice 5 : Un contrôle qualité prélève $m = 4$ lots indépendants de $N = 20$ pièces. Le nombre de pièces défectueuses d'un lot suit la loi binomiale $\mathcal{B}(N, p)$ : $P(K = k) = \binom{N}{k}p^k(1-p)^{N-k}$, où $p \in [0\,;\,1]$ est un paramètre inconnu (un nombre fixé, pas une variable aléatoire).
a) On observe $1$, $0$, $2$ et $1$ pièces défectueuses. Détermine l'EMV $\hat p$, puis l'estimation.
b) Sur $4$ autres lots, aucune pièce n'est défectueuse. Que vaut l'estimation, et pourquoi annuler la dérivée ne suffit-il plus ?
Correction :
Les coefficients binomiaux ne dépendent pas de $p$ : ils ne déplacent pas le maximum.
a) Avec $K = \sum k_j$ : $$L(p) = \left(\prod_{j=1}^{m}\binom{N}{k_j}\right)p^{K}(1-p)^{mN-K}$$ Pour $0 < K < mN$, c'est le calcul de l'exercice 1 avec $mN$ essais : $\hat p = \frac{K}{mN}$, la fréquence de défauts sur l'ensemble des pièces. Ici $K = 4$ et $mN = 80$ : $\hat p = 0{,}05$.
b) $K = 0$ donne $L(p) = (1-p)^{80}$, strictement décroissante sur $[0\,;\,1]$ : le maximum est au bord, $\hat p = 0$. Or $\ell'(p) = -\frac{80}{1-p}$ ne s'annule jamais : seule l'étude des variations de $L$ donne la réponse.
Exercice 6 : Soit $X_1, \dots, X_n$ un échantillon i.i.d. de loi Gamma de forme $k > 0$ connue et d'échelle $\theta > 0$ inconnue, de densité $$f(x;\theta) = \frac{x^{k-1}e^{-x/\theta}}{\Gamma(k)\,\theta^{k}} \quad (x > 0),$$ où $\Gamma(k)$ est une constante qui ne dépend que de $k$. On admet que $E(X_i) = k\theta$.
a) Détermine l'EMV $\hat\theta$.
b) Est-il sans biais ?
Correction :
Tout ce qui ne dépend pas de $\theta$ passe dans une constante $c$.
a) Avec $s = \sum x_i$ : $$\ell(\theta) = c - nk\ln\theta - \frac{s}{\theta}, \qquad \ell'(\theta) = -\frac{nk}{\theta} + \frac{s}{\theta^2} = \frac{s - nk\theta}{\theta^2}.$$ La dérivée est positive pour $\theta < \frac{s}{nk}$, négative après : $\hat\theta = \frac{\bar X}{k}$.
b) $E(\hat\theta) = \frac{E(\bar X)}{k} = \frac{k\theta}{k} = \theta$ : l'estimateur est sans biais.
Erreur à éviter : recopier $\hat\theta = \bar X$ des exercices précédents. Ici, la moyenne estime $k\theta$, pas $\theta$.
Exercices : niveau difficile
Exercice 7 : Le temps d'attente d'un bus, en minutes, suit une loi uniforme sur $[0\,;\,\theta]$, de densité $\frac{1}{\theta}$ sur cet intervalle et $0$ ailleurs, avec $\theta > 0$ inconnu. Cinq attentes indépendantes donnent $4$, $9$, $2$, $7$ et $6$ minutes.
a) Écris $L(\theta)$ pour tout $\theta > 0$, puis détermine l'EMV $\hat\theta$ et l'estimation.
b) On note $M = \max(X_1, \dots, X_n)$. Montre que $P(M \leq t) = (t/\theta)^n$ pour $t \in [0\,;\,\theta]$, puis que $E(M) = \frac{n\theta}{n+1}$.
c) L'EMV est-il sans biais ? Propose un estimateur sans biais et calcule-le sur les données.
Correction :
Le support dépend de $\theta$ : on étudie $L$ sans dériver.
a) $L(\theta)$ est nulle dès qu'une observation dépasse $\theta$ : $$L(\theta) = \begin{cases} \theta^{-n} & \text{si } \theta \geq \max x_i \\ 0 & \text{sinon} \end{cases}$$ Sur $[\max x_i\,;\,+\infty[$, $\theta^{-n}$ décroît : le maximum est au bord, $\hat\theta = \max(X_1, \dots, X_n)$, et ici $\hat\theta = 9\ \text{min}$. La dérivée $-n\theta^{-n-1}$ ne s'annule jamais : c'est le piège.
b) Par indépendance, $P(M \leq t) = \prod_{i=1}^{n} P(X_i \leq t) = (t/\theta)^n$. En dérivant, $M$ a pour densité $\frac{n t^{n-1}}{\theta^n}$ sur $[0\,;\,\theta]$, d'où $$E(M) = \int_0^\theta t \cdot \frac{n t^{n-1}}{\theta^n}\,dt = \frac{n}{\theta^n}\cdot\frac{\theta^{n+1}}{n+1} = \frac{n\theta}{n+1}.$$
c) Le biais vaut $\frac{n\theta}{n+1} - \theta = -\frac{\theta}{n+1}$ : l'EMV sous-estime $\theta$ en moyenne, ce qui est logique puisque $M \leq \theta$ toujours. L'estimateur $\frac{n+1}{n}M$ est sans biais (voir Sources) ; avec $n = 5$, il donne $\frac{6}{5} \times 9 = 10{,}8\ \text{min}$.
Exercice 8 : Une machine remplit des sachets. Cinq sachets pèsent $498$, $502$, $500$, $497$ et $503$ grammes. On modélise ces masses par un échantillon i.i.d. de loi normale $\mathcal{N}(\mu, \sigma^2)$, avec $\mu$ et $\sigma^2$ inconnus, de densité $$f(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}\,e^{-\frac{(x-\mu)^2}{2\sigma^2}}.$$
a) Détermine les EMV $\hat\mu$ et $\hat\sigma^2$, puis les estimations.
b) On admet que $S^2 = \frac{1}{n-1}\sum (X_i - \bar X)^2$ vérifie $E(S^2) = \sigma^2$. Calcule $E(\hat\sigma^2)$ et conclus.
Correction :
Deux paramètres : on maximise d'abord en $\mu$ à $v = \sigma^2$ fixé, puis en $v$.
a) $$\ell(\mu, v) = -\frac{n}{2}\ln(2\pi v) - \frac{1}{2v}\sum_{i=1}^{n}(x_i - \mu)^2$$ À $v$ fixé, $\ell$ est un polynôme du second degré en $\mu$, de coefficient dominant négatif : son maximum est là où $\frac{\partial \ell}{\partial \mu} = \frac{1}{v}\sum (x_i - \mu)$ s'annule, en $\mu = \bar x$. Avec $q = \sum (x_i - \bar x)^2 > 0$ : $$\frac{\partial \ell}{\partial v}(\bar x, v) = -\frac{n}{2v} + \frac{q}{2v^2} = \frac{q - nv}{2v^2},$$ positive puis négative, nulle en $v = q/n$. Donc $\hat\mu = \bar X$ et $\hat\sigma^2 = \frac{1}{n}\sum (X_i - \bar X)^2$.
Ici $\bar x = 500$ ; les écarts $-2$, $2$, $0$, $-3$ et $3$ donnent $q = 26$, d'où $\hat\mu = 500\ \text{g}$ et $\hat\sigma^2 = 5{,}2\ \text{g}^2$.
b) $\hat\sigma^2 = \frac{n-1}{n}S^2$, donc $E(\hat\sigma^2) = \frac{n-1}{n}\sigma^2 < \sigma^2$ : l'EMV de la variance est biaisé, il la sous-estime en moyenne. $S^2$, lui, est sans biais ; il vaut ici $6{,}5\ \text{g}^2$.
Erreur à éviter : diviser par $n-1$ en croyant écrire l'EMV. L'EMV divise par $n$ ; c'est $S^2$ qui divise par $n-1$.
Bilan et conseils
Garde le même ordre dans chaque copie : écrire $L$, passer à $\ell = \ln L$, chercher le point critique, puis prouver que c'est un maximum. Ne saute pas la dernière étape : c'est elle qui décide aux exercices 5 et 7.
Ce qu'il faut retenir : l'EMV dépend de la loi ($\bar X$, $1/\bar X$, $\bar X/k$, $\max X_i$), donc tu le recalcules à chaque fois au lieu de le deviner. Et un EMV peut être biaisé : celui de la variance d'une loi normale divise par $n$ et sous-estime $\sigma^2$ en moyenne.
Dernier contrôle avant de rendre : une proportion estimée hors de $[0\,;\,1]$ ou une variance négative signale une erreur de calcul.
Sources
Christine Keribin, « Semaine 2 : Estimateur du maximum de vraisemblance, éléments de corrigé », Modélisation statistique, M1 Mathématiques et intelligence artificielle, Université Paris-Saclay, 2022-2023 : corrigé en PDF.