Exercices : Estimation Statistique par Maximum de Vraisemblance

Correction :

Méthode : Pour trouver l'estimateur du maximum de vraisemblance (EMV), on écrit la fonction de vraisemblance, puis on maximise son logarithme par rapport au paramètre à estimer.

a) Fonction de vraisemblance :

La fonction de vraisemblance est le produit des densités (ou masses) de probabilité de chaque observation, vues comme une fonction du paramètre $p$ :

$$L(p) = \prod_{i=1}^{n} P(X_i = x_i | p) = \prod_{i=1}^{n} p^{x_i} (1-p)^{1-x_i}$$

En utilisant les propriétés des exposants, on obtient :

$$L(p) = p^{\sum_{i=1}^{n} x_i} (1-p)^{\sum_{i=1}^{n} (1-x_i)} = p^{\sum x_i} (1-p)^{n - \sum x_i}$$

b) Détermination de $\hat{p}_{EMV}$ :

Il est plus simple de maximiser le logarithme de la fonction de vraisemblance (la fonction de log-vraisemblance) :

$$\ln L(p) = \ln \left(p^{\sum x_i} (1-p)^{n - \sum x_i} \right) = \left(\sum x_i\right) \ln p + \left(n - \sum x_i\right) \ln (1-p)$$

Pour trouver le maximum, on dérive par rapport à $p$ et on égalise à zéro :

$$\frac{d}{dp} (\ln L(p)) = \frac{\sum x_i}{p} - \frac{n - \sum x_i}{1-p}$$

Posons cette dérivée égale à zéro :

$$\frac{\sum x_i}{p} - \frac{n - \sum x_i}{1-p} = 0$$

$$\frac{\sum x_i}{p} = \frac{n - \sum x_i}{1-p}$$

$$(\sum x_i)(1-p) = p(n - \sum x_i)$$

$$\sum x_i - p \sum x_i = np - p \sum x_i$$

$$\sum x_i = np$$

$$p = \frac{\sum x_i}{n}$$

L'estimateur du maximum de vraisemblance est donc la moyenne empirique de l'échantillon :

Astuce : Pour les lois discrètes comme Bernoulli, il est souvent utile de remarquer que $\sum (1-x_i) = n - \sum x_i$. Ceci simplifie l'expression de la vraisemblance.

Correction :

a) Fonction de vraisemblance :

La fonction de vraisemblance est le produit des masses de probabilité :

$$L(\lambda) = \prod_{i=1}^{n} P(X_i = x_i | \lambda) = \prod_{i=1}^{n} \frac{e^{-\lambda} \lambda^{x_i}}{x_i!}$$

Regroupons les termes :

$$L(\lambda) = \frac{e^{-n\lambda} \lambda^{\sum x_i}}{\prod_{i=1}^{n} x_i!}$$

b) Détermination de $\hat{\lambda}_{EMV}$ :

On calcule la log-vraisemblance :

$$\ln L(\lambda) = \ln \left(\frac{e^{-n\lambda} \lambda^{\sum x_i}}{\prod x_i!} \right) = -n\lambda + \left(\sum x_i\right) \ln \lambda - \sum \ln (x_i!)$$

On dérive par rapport à $\lambda$ et on égalise à zéro :

$$\frac{d}{d\lambda} (\ln L(\lambda)) = -n + \frac{\sum x_i}{\lambda}$$

Posons la dérivée égale à zéro :

$$-n + \frac{\sum x_i}{\lambda} = 0$$

$$n = \frac{\sum x_i}{\lambda}$$

$$\lambda = \frac{\sum x_i}{n}$$

L'estimateur du maximum de vraisemblance est la moyenne empirique :

Point méthode : La présence de factorielles dans la densité ou la masse de probabilité n'affecte pas la localisation du maximum une fois qu'on prend le logarithme, car $\ln(k!)$ est une fonction qui ne dépend pas du paramètre $\lambda$.

Correction :

a) Fonction de vraisemblance :

La fonction de vraisemblance est le produit des densités de probabilité :

$$L(\lambda) = \prod_{i=1}^{n} f(x_i; \lambda) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i}$$

$$L(\lambda) = \lambda^n e^{-\lambda \sum x_i}$$

b) Détermination de $\hat{\lambda}_{EMV}$ :

On calcule la log-vraisemblance :

$$\ln L(\lambda) = \ln (\lambda^n e^{-\lambda \sum x_i}) = n \ln \lambda - \lambda \sum x_i$$

On dérive par rapport à $\lambda$ et on égalise à zéro :

$$\frac{d}{d\lambda} (\ln L(\lambda)) = \frac{n}{\lambda} - \sum x_i$$

Posons la dérivée égale à zéro :

$$\frac{n}{\lambda} - \sum x_i = 0$$

$$\frac{n}{\lambda} = \sum x_i$$

$$\lambda = \frac{n}{\sum x_i}$$

L'estimateur du maximum de vraisemblance est l'inverse de la moyenne empirique :

Attention : Si certaines observations $x_i$ pouvaient être nulles, la définition de la loi exponentielle pour $x \ge 0$ impliquerait que $f(0; \lambda) = \lambda$. Si $\lambda$ est très grand, la probabilité d'observer 0 est grande. Cependant, pour les distributions continues comme l'exponentielle, la probabilité d'observer une valeur exacte est nulle, donc on considère généralement $x_i > 0$ pour simplifier.

Correction :

a) Fonction de vraisemblance :

La fonction de densité est $f(x_i; \theta) = \frac{1}{\theta}$ si $0 \le x_i \le \theta$, et $0$ sinon. Pour que la vraisemblance soit non nulle, il faut que toutes les observations $x_i$ soient comprises entre 0 et $\theta$. Cela implique $0 \le x_i \le \theta$ pour tout $i$, ce qui est équivalent à $\max(x_i) \le \theta$ et $\min(x_i) \ge 0$. Comme on sait déjà que $x_i \ge 0$, la condition devient $\max(x_i) \le \theta$ et $\theta > 0$.

Pour $0 < \theta$ et $\max(x_i) \le \theta$, la vraisemblance est :

$$L(\theta) = \prod_{i=1}^{n} f(x_i; \theta) = \prod_{i=1}^{n} \frac{1}{\theta} = \left(\frac{1}{\theta}\right)^n = \frac{1}{\theta^n}$$

Si $\theta < \max(x_i)$, alors $L(\theta) = 0$. La fonction de vraisemblance peut s'écrire :

$$L(\theta) = \begin{cases} \frac{1}{\theta^n} & \text{si } \theta \ge \max(x_i) \\ 0 & \text{sinon} \end{cases}$$

b) Détermination de $\hat{\theta}_{EMV}$ :

Nous cherchons à maximiser $L(\theta) = \frac{1}{\theta^n}$ pour $\theta \ge \max(x_i)$. La fonction $g(\theta) = \frac{1}{\theta^n}$ est une fonction décroissante de $\theta$ pour $\theta > 0$. Pour maximiser une fonction décroissante sur un intervalle de la forme $[\theta_{min}, \infty)$, il faut prendre la plus petite valeur possible de $\theta$. Dans notre cas, la condition est $\theta \ge \max(x_i)$. La plus petite valeur possible pour $\theta$ est donc $\max(x_i)$.

Astuce : Pour les lois uniformes, la condition de support (l'intervalle où la densité est non nulle) joue un rôle crucial dans la définition de la fonction de vraisemblance et peut modifier la procédure de maximisation habituelle qui consiste à dériver le logarithme. Ici, la maximisation se fait sur l'ensemble des $\theta$ possibles.

Correction :

a) Fonction de vraisemblance :

La fonction de vraisemblance est le produit des densités :

$$L(\mu) = \prod_{i=1}^{n} f(x_i; \mu) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}$$

$$L(\mu) = \left(\frac{1}{\sqrt{2\pi}\sigma}\right)^n \exp\left(-\sum_{i=1}^{n} \frac{(x_i-\mu)^2}{2\sigma^2}\right)$$

b) Détermination de $\hat{\mu}_{EMV}$ :

On calcule la log-vraisemblance :

$$\ln L(\mu) = n \ln\left(\frac{1}{\sqrt{2\pi}\sigma}\right) - \sum_{i=1}^{n} \frac{(x_i-\mu)^2}{2\sigma^2}$$

$$ \ln L(\mu) = -\frac{n}{2} \ln(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i-\mu)^2$$

On dérive par rapport à $\mu$ et on égalise à zéro :

$$\frac{d}{d\mu} (\ln L(\mu)) = -\frac{1}{2\sigma^2} \sum_{i=1}^{n} 2(x_i-\mu)(-1)$$

$$ \frac{d}{d\mu} (\ln L(\mu)) = \frac{1}{\sigma^2} \sum_{i=1}^{n} (x_i-\mu) = \frac{1}{\sigma^2} \left(\sum x_i - n\mu\right)$$

Posons la dérivée égale à zéro :

$$\frac{1}{\sigma^2} \left(\sum x_i - n\mu\right) = 0$$

$$\sum x_i - n\mu = 0$$

$$n\mu = \sum x_i$$

$$\mu = \frac{\sum x_i}{n}$$

L'estimateur du maximum de vraisemblance pour $\mu$ est la moyenne empirique :

Astuce : Pour la loi Normale, l'estimateur du maximum de vraisemblance de la moyenne est la moyenne empirique, tout comme l'estimateur du maximum de vraisemblance de $p$ pour la loi de Bernoulli.

Correction :

a) Fonction de vraisemblance :

La loi binomiale est $P(K=k) = \binom{N}{k} p^k (1-p)^{N-k}$. La fonction de vraisemblance pour $m$ observations $k_1, \dots, k_m$ est le produit des probabilités de chaque observation :

$$L(p) = \prod_{j=1}^{m} P(K_j = k_j | p) = \prod_{j=1}^{m} \binom{N}{k_j} p^{k_j} (1-p)^{N-k_j}$$

$$L(p) = \left(\prod_{j=1}^{m} \binom{N}{k_j}\right) p^{\sum k_j} (1-p)^{\sum (N-k_j)}$$

$$L(p) = \left(\prod_{j=1}^{m} \binom{N}{k_j}\right) p^{\sum k_j} (1-p)^{mN - \sum k_j}$$

b) Détermination de $\hat{p}_{EMV}$ :

On calcule la log-vraisemblance. Le terme $\prod_{j=1}^{m} \binom{N}{k_j}$ ne dépend pas de $p$, donc on peut l'ignorer pour la maximisation :

$$\ln L(p) \propto \left(\sum k_j\right) \ln p + \left(mN - \sum k_j\right) \ln (1-p)$$

On dérive par rapport à $p$ et on égalise à zéro :

$$\frac{d}{dp} (\ln L(p)) = \frac{\sum k_j}{p} - \frac{mN - \sum k_j}{1-p}$$

Posons la dérivée égale à zéro :

$$\frac{\sum k_j}{p} = \frac{mN - \sum k_j}{1-p}$$

$$(\sum k_j)(1-p) = p(mN - \sum k_j)$$

$$\sum k_j - p \sum k_j = pmN - p \sum k_j$$

$$\sum k_j = pmN$$

$$p = \frac{\sum k_j}{mN}$$

L'estimateur du maximum de vraisemblance est la proportion totale de piles observées sur tous les lancers :

Astuce : Remarque $\sum k_j$ est le nombre total de piles dans les $m \times N$ lancers, et $mN$ est le nombre total de lancers. L'EMV est simplement la fréquence observée de succès (pile).

Correction :

a) Fonction de vraisemblance :

La fonction de vraisemblance est le produit des densités :

$$L(\theta) = \prod_{i=1}^{n} f(x_i; k, \theta) = \prod_{i=1}^{n} \frac{1}{\Gamma(k)\theta^k} x_i^{k-1} e^{-x_i/\theta}$$

$$L(\theta) = \left(\frac{1}{\Gamma(k)\theta^k}\right)^n \left(\prod_{i=1}^{n} x_i^{k-1}\right) e^{-\sum x_i / \theta}$$

$$L(\theta) = \frac{1}{(\Gamma(k))^n \theta^{nk}} \left(\prod x_i\right)^{k-1} e^{-\frac{1}{\theta}\sum x_i}$$

b) Détermination de $\hat{\theta}_{EMV}$ :

On calcule la log-vraisemblance :

$$\ln L(\theta) = -n \ln(\Gamma(k)) - nk \ln \theta + (k-1) \sum \ln x_i - \frac{1}{\theta} \sum x_i$$

On dérive par rapport à $\theta$ et on égalise à zéro :

$$\frac{d}{d\theta} (\ln L(\theta)) = -\frac{nk}{\theta} + \frac{1}{\theta^2} \sum x_i$$

Posons la dérivée égale à zéro :

$$-\frac{nk}{\theta} + \frac{\sum x_i}{\theta^2} = 0$$

Multiplions par $\theta^2$ (puisque $\theta > 0$) :

$$-nk\theta + \sum x_i = 0$$

$$nk\theta = \sum x_i$$

$$\theta = \frac{\sum x_i}{nk}$$

L'estimateur du maximum de vraisemblance pour $\theta$ est :

Note : Si $k$ était aussi inconnu, l'estimation de $\theta$ deviendrait beaucoup plus compliquée et nécessiterait des méthodes numériques car la dérivée par rapport à $k$ fait intervenir la fonction digamma $\psi(k)$, et l'équation $\frac{d}{dk} \ln L(k, \theta) = 0$ n'a pas de solution analytique simple.

Correction :

a) Fonction de vraisemblance :

La fonction de vraisemblance est le produit des masses de probabilité :

$$L(p) = \prod_{i=1}^{n} P(X_i = x_i | p) = \prod_{i=1}^{n} (1-p)^{x_i-1} p$$

$$L(p) = p^n \prod_{i=1}^{n} (1-p)^{x_i-1} = p^n (1-p)^{\sum_{i=1}^{n} (x_i-1)}$$

L'exposant de $(1-p)$ est $\sum x_i - \sum 1 = \sum x_i - n$. Donc :

$$L(p) = p^n (1-p)^{\sum x_i - n}$$

b) Détermination de $\hat{p}_{EMV}$ :

On calcule la log-vraisemblance :

$$\ln L(p) = n \ln p + (\sum x_i - n) \ln(1-p)$$

On dérive par rapport à $p$ et on égalise à zéro :

$$\frac{d}{dp} (\ln L(p)) = \frac{n}{p} - \frac{\sum x_i - n}{1-p}$$

Posons la dérivée égale à zéro :

$$\frac{n}{p} = \frac{\sum x_i - n}{1-p}$$

$$n(1-p) = p(\sum x_i - n)$$

$$n - np = p \sum x_i - np$$

$$n = p \sum x_i$$

$$p = \frac{n}{\sum x_i}$$

L'estimateur du maximum de vraisemblance est l'inverse de la moyenne empirique des observations :

Remarque : On peut vérifier que la dérivée seconde est négative pour confirmer qu'il s'agit bien d'un maximum. $\frac{d^2}{dp^2} (\ln L(p)) = -\frac{n}{p^2} - \frac{\sum x_i - n}{(1-p)^2}$. Pour $p \in (0, 1]$, $p^2 > 0$ et $(1-p)^2 > 0$. Comme $\sum x_i \ge n$ (puisque $x_i \ge 1$), $\sum x_i - n \ge 0$. Donc la dérivée seconde est strictement négative, assurant un maximum.