Loi des Grands Nombres : Convergence des Variables Aléatoires

Correction :

Nous allons utiliser l'inégalité de Bienaymé-Tchebychev pour démontrer la convergence en probabilité.

Pour toute variable aléatoire $Y$ avec $E(Y)$ et $Var(Y)$ finies, et pour tout $\epsilon > 0$, on a $P(|Y - E(Y)| \ge \epsilon) \le \frac{Var(Y)}{\epsilon^2}$.

Ici, notre variable est $S_n$. Calculons son espérance et sa variance :

Espérance de $S_n$ :

$E(S_n) = E\left(\frac{1}{n} \sum_{i=1}^n X_i\right) = \frac{1}{n} \sum_{i=1}^n E(X_i)$ (par linéarité de l'espérance).

Puisque les $X_i$ sont i.i.d. avec $E(X_i) = \mu$, alors $\sum_{i=1}^n E(X_i) = n\mu$.

$E(S_n) = \frac{1}{n} (n\mu) = \mu$.

Variance de $S_n$ :

$Var(S_n) = Var\left(\frac{1}{n} \sum_{i=1}^n X_i\right) = \frac{1}{n^2} Var\left(\sum_{i=1}^n X_i\right)$ (car $Var(aY) = a^2 Var(Y)$).

Puisque les $X_i$ sont indépendantes, la variance de la somme est la somme des variances : $Var\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n Var(X_i)$.

Puisque les $X_i$ sont i.i.d. avec $Var(X_i) = \sigma^2$, alors $\sum_{i=1}^n Var(X_i) = n\sigma^2$.

$Var(S_n) = \frac{1}{n^2} (n\sigma^2) = \frac{\sigma^2}{n}$.

Maintenant, appliquons l'inégalité de Bienaymé-Tchebychev à $S_n$ :

$P(|S_n - E(S_n)| \ge \epsilon) \le \frac{Var(S_n)}{\epsilon^2}$.

$P(|S_n - \mu| \ge \epsilon) \le \frac{\sigma^2/n}{\epsilon^2} = \frac{\sigma^2}{n\epsilon^2}$.

Lorsque $n \to \infty$, le terme $\frac{\sigma^2}{n\epsilon^2}$ tend vers 0 (car $\sigma^2$ et $\epsilon^2$ sont des constantes positives).

Donc, $\lim_{n \to \infty} P(|S_n - \mu| \ge \epsilon) = 0$. Ceci est la définition de la convergence en probabilité de $S_n$ vers $\mu$. On écrit $S_n \xrightarrow{P} \mu$.

Point méthode : L'inégalité de Bienaymé-Tchebychev est un outil très puissant pour prouver des convergences en probabilité, surtout lorsque l'on connaît l'espérance et la variance de la variable.

Correction :

Nous devons vérifier les conditions pour la loi des grands nombres forte.

Les variables $X_i$ sont i.i.d. Calculons leur espérance et leur variance.

Espérance :

$E(X) = 0 \times P(X=0) + 2 \times P(X=2) = 0 \times 0.5 + 2 \times 0.5 = 1$.

Donc, $\mu = E(X_i) = 1$ pour tout $i$.

Variance :

$E(X^2) = 0^2 \times P(X=0) + 2^2 \times P(X=2) = 0 \times 0.5 + 4 \times 0.5 = 2$.

$Var(X) = E(X^2) - (E(X))^2 = 2 - 1^2 = 1$.

Donc, $\sigma^2 = Var(X_i) = 1$ pour tout $i$.

Les variables $X_i$ sont i.i.d. et leur espérance $E(X_i) = 1$ et leur variance $Var(X_i) = 1$ sont finies.

La loi des grands nombres forte stipule que si $X_1, X_2, ., X_n$ sont i.i.d. avec une espérance finie $E(X_i) = \mu$, alors la moyenne empirique $Y_n = \frac{1}{n} \sum_{i=1}^n X_i$ converge presque sûrement vers $\mu$.

Dans notre cas, $\mu = 1$. Donc, $Y_n$ converge presque sûrement vers 1.

Astuce : La loi des grands nombres forte est plus puissante que la loi faible. Elle affirme que la convergence a lieu "presque partout", c'est-à-dire pour tous les cas sauf un ensemble de probabilité nulle.

Correction :

Pour un dé équilibré, la probabilité d'obtenir chaque face est $p_i = \frac{1}{6}$ pour $i \in \{1, ., 6\}$.

Considérons la face $i$. On peut définir une variable indicatrice $Y_k$ pour chaque lancer $k$ ($1 \le k \le n$) :

$Y_k = 1$ si la face $i$ sort au lancer $k$.

$Y_k = 0$ sinon.

Les variables $Y_k$ sont des variables de Bernoulli i.i.d. avec $P(Y_k=1) = \frac{1}{6}$ et $P(Y_k=0) = \frac{5}{6}$.

L'espérance de $Y_k$ est $E(Y_k) = 1 \times \frac{1}{6} + 0 \times \frac{5}{6} = \frac{1}{6}$.

La variance de $Y_k$ est $Var(Y_k) = p(1-p) = \frac{1}{6}(1-\frac{1}{6}) = \frac{1}{6} \times \frac{5}{6} = \frac{5}{36}$.

Le nombre total de fois où la face $i$ est sortie après $n$ lancers est $N_i = \sum_{k=1}^n Y_k$. Il s'agit d'une somme de variables aléatoires i.i.d.

La fréquence relative est $\frac{N_i}{n} = \frac{1}{n} \sum_{k=1}^n Y_k$. C'est la moyenne empirique des variables $Y_k$.

D'après la loi des grands nombres faible (voir exercice 1), cette moyenne empirique converge en probabilité vers l'espérance des $Y_k$ :

$\frac{N_i}{n} \xrightarrow{P} E(Y_k) = \frac{1}{6}$ lorsque $n \to \infty$.

Astuce : Pour étudier la fréquence d'un événement particulier, on utilise souvent des variables indicatrices pour transformer le problème en une somme de variables de Bernoulli.

Correction :

Soit $S_n = \frac{1}{n}\sum_{i=1}^n X_i$. Nous avons $E(S_n) = E(X_i) = 2$ et $Var(S_n) = \frac{Var(X_i)}{n} = \frac{9}{n}$.

L'inégalité de Bienaymé-Tchebychev s'écrit : $P(|S_n - E(S_n)| \ge \epsilon) \le \frac{Var(S_n)}{\epsilon^2}$.

Dans cet exercice, $\epsilon = 0.1$.

Donc, $P\left(\left|\frac{1}{n}\sum_{i=1}^n X_i - 2\right| \ge 0.1\right) \le \frac{9/n}{(0.1)^2}$.

$(0.1)^2 = 0.01$.

La borne supérieure est $\frac{9/n}{0.01} = \frac{9}{0.01n} = \frac{900}{n}$.

Point méthode : Cette inégalité nous donne une idée de la rapidité de la convergence. Plus $n$ est grand, plus la borne supérieure est petite, ce qui signifie que la probabilité que la moyenne empirique s'éloigne de l'espérance de plus de 0.1 diminue.

Correction :

Nous avons $E(X_n) = 0$ et $Var(X_n) = \frac{1}{n}$. Les variances sont finies pour tout $n \ge 1$.

Utilisons l'inégalité de Bienaymé-Tchebychev pour la variable $X_n$ :

Pour tout $\epsilon > 0$, $P(|X_n - E(X_n)| \ge \epsilon) \le \frac{Var(X_n)}{\epsilon^2}$.

En substituant les valeurs :

$P(|X_n - 0| \ge \epsilon) \le \frac{1/n}{\epsilon^2} = \frac{1}{n\epsilon^2}$.

Maintenant, considérons la limite lorsque $n \to \infty$ :

$\lim_{n \to \infty} P(|X_n| \ge \epsilon) \le \lim_{n \to \infty} \frac{1}{n\epsilon^2}$.

Comme $\epsilon^2$ est une constante positive, le terme $\frac{1}{n\epsilon^2}$ tend vers 0 lorsque $n \to \infty$.

Donc, $\lim_{n \to \infty} P(|X_n| \ge \epsilon) = 0$. Ceci est la définition de la convergence en probabilité de $X_n$ vers 0.

Astuce : Cet exercice montre que même si les variances sont petites, tant qu'elles tendent vers 0, la convergence en probabilité est assurée, à condition que l'espérance soit constante (ou converge).

Correction :

La variable $U$ suit la loi uniforme sur $[0, 1]$. Pour tout $n \ge 1$, $X_n = U^n$. Comme $0 \le U \le 1$, on a $0 \le U^n \le 1$. Donc, $0 \le X_n \le 1$ pour tout $n$. Cela implique $X_n$ est bornée.

Pour montrer la convergence en probabilité vers 0, nous devons montrer que pour tout $\epsilon > 0$, $\lim_{n \to \infty} P(|X_n - 0| \ge \epsilon) = 0$.

C'est-à-dire, $\lim_{n \to \infty} P(U^n \ge \epsilon) = 0$ pour tout $\epsilon > 0$.

Considérons $\epsilon$ tel que $0 < \epsilon < 1$. (Si $\epsilon \ge 1$, alors $P(U^n \ge \epsilon) = 0$ pour tout $n \ge 1$ car $U^n \le 1$, et la limite est 0. Si $\epsilon \le 0$, la probabilité est 1, ce qui n'aide pas pour la convergence vers 0).

L'inégalité $U^n \ge \epsilon$ est équivalente à $U \ge \epsilon^{1/n}$ (puisque la fonction racine $n$-ième est croissante).

Donc, $P(U^n \ge \epsilon) = P(U \ge \epsilon^{1/n})$.

Puisque $U$ suit une loi uniforme sur $[0, 1]$, $P(U \ge x) = 1 - P(U < x) = 1 - x$ pour $x \in [0, 1]$.

Donc, $P(U \ge \epsilon^{1/n}) = 1 - \epsilon^{1/n}$.

Maintenant, étudions la limite de $1 - \epsilon^{1/n}$ lorsque $n \to \infty$.

Comme $0 < \epsilon < 1$, $\epsilon^{1/n} = e^{\frac{1}{n} \ln(\epsilon)}$.

Lorsque $n \to \infty$, $\frac{1}{n} \to 0$. Donc, $\frac{1}{n} \ln(\epsilon) \to 0$.

Par conséquent, $\epsilon^{1/n} \to e^0 = 1$. (ATTENTION : ceci est faux, $\ln(\epsilon)$ est négatif)

Reprenons. Pour $0 < \epsilon < 1$, $\ln(\epsilon)$ est négatif. Donc, $\frac{1}{n} \ln(\epsilon)$ tend vers 0 par valeurs négatives. Donc $\epsilon^{1/n} \to e^0 = 1$. Toujours faux.

Il faut regarder $\epsilon^{1/n}$ directement. Si $0 < \epsilon < 1$, alors $\epsilon^{1/n}$ est un nombre entre 0 et 1. Quand $n$ devient très grand, $1/n$ devient très petit. $\epsilon^{1/n}$ tend vers 1.

Exemple : $0.5^{1/n}$. Pour $n=10$, $0.5^{0.1} \approx 0.933$. Pour $n=100$, $0.5^{0.01} \approx 0.993$. Donc $\epsilon^{1/n} \to 1$.

Donc, $\lim_{n \to \infty} P(U^n \ge \epsilon) = \lim_{n \to \infty} (1 - \epsilon^{1/n}) = 1 - 1 = 0$.

Point méthode : Pour montrer la convergence en probabilité, il suffit d'étudier la probabilité que la variable s'éloigne de sa limite. Ici, on a utilisé la fonction de répartition de la loi uniforme pour calculer cette probabilité.

Correction :

Soit $Y_n = \frac{S_n}{n} = \frac{1}{n} \sum_{i=1}^n X_i$. Il s'agit de la moyenne empirique des variables $X_i$.

Les conditions pour la loi des grands nombres forte sont remplies :

• Les variables $X_i$ sont indépendantes.
• Les variables $X_i$ sont identiquement distribuées (i.i.d.).
• L'espérance $E(X_i) = \mu$ est finie.
• La variance $Var(X_i) = \sigma^2$ est finie.

La loi des grands nombres forte stipule que sous ces conditions, la moyenne empirique converge presque sûrement vers l'espérance.

Donc, $\frac{S_n}{n} \xrightarrow{a.s.} \mu$.

Point méthode : La loi des grands nombres forte garantit que la moyenne des réalisations d'une expérience aléatoire sera très proche de la moyenne théorique pour presque toutes les séquences possibles de réalisations.

Correction :

Nous avons $E(X_i) = 0$ pour tout $i$. La convergence est $Y_n \xrightarrow{P} c$.

Cela signifie que pour tout $\epsilon > 0$, $P(|Y_n - c| \ge \epsilon) \to 0$ lorsque $n \to \infty$.

Considérons l'événement $Y_n \ge x$. Cet événement est équivalent à $\max(X_1, \dots, X_n) \ge x$.

Pour que le maximum soit supérieur ou égal à $x$, il faut qu'au moins une des variables $X_i$ soit supérieure ou égale à $x$.

Donc, $Y_n \ge x \iff$ il existe $i \in \{1, \dots, n\}$ tel que $X_i \ge x$.

Considérons l'événement complémentaire : $Y_n < x \iff$ pour tout $i \in \{1, \dots, n\}$, $X_i < x$.

Donc, $P(Y_n < x) = P(X_1 < x, X_2 < x, \dots, X_n < x)$.

Puisque les $X_i$ sont indépendantes, $P(Y_n < x) = P(X_1 < x) P(X_2 < x) \dots P(X_n < x) = (P(X_1 < x))^n$.

Soit $F(x) = P(X_1 < x)$ la fonction de répartition de $X_1$. Alors $P(Y_n < x) = (F(x))^n$.

Nous avons $Y_n \xrightarrow{P} c$. Cela implique pour tout $\epsilon > 0$, $P(Y_n < c - \epsilon) \to 1$ et $P(Y_n > c + \epsilon) \to 0$.

Considérons $P(Y_n < c)$. Par convergence en probabilité, $P(Y_n < c) \to 1$ si $c$ est la limite, et $P(Y_n \ge c) \to 0$.

Si $c > 0$, alors pour tout $x$ tel que $0 < x < c$, on a $F(x) = P(X_1 < x)$.

Si $F(x) < 1$ pour $x>0$, alors $(F(x))^n \to 0$ lorsque $n \to \infty$.

Si $F(x) = 1$, alors $(F(x))^n = 1$.

Puisque $E(X_i) = 0$, il existe forcément des valeurs positives et négatives pour $X_i$. Donc, il existe des $x > 0$ tels que $F(x) < 1$. Pour ces $x$, $P(Y_n < x) = (F(x))^n \to 0$.

Si $c > 0$, alors pour un $x$ tel que $0 < x < c$, on a $P(Y_n < x) \to 0$. Mais comme $x < c$, $Y_n$ doit être supérieur à $x$ avec une probabilité qui tend vers 1. Cela contredit $P(Y_n < x) \to 0$.

La seule possibilité pour que la limite de $(F(x))^n$ soit 1 pour $x$ proche de la limite est que $F(x) = 1$ pour $x \ge c$.

Si $c > 0$, alors pour un $x$ tel que $0 < x < c$, on a $F(x) < 1$. Donc $(F(x))^n \to 0$. Or, si $Y_n \to c$ en probabilité, on s'attend à ce que $P(Y_n < x) \to 1$ pour $x < c$. Cette contradiction montre que $c$ ne peut pas être strictement positif.

Si $c < 0$, alors pour tout $x > c$, $F(x)$ pourrait être non nul. Si $F(x) > 0$, alors $(F(x))^n$ peut tendre vers 0 ou 1. Si $F(x) = 0$ pour tout $x < 0$, alors $P(Y_n < x) = 0$ pour $x < 0$, ce qui est cohérent avec $Y_n \to c < 0$.

Cependant, si $E(X_i) = 0$, il est impossible que $X_i$ soit toujours négatif. Il doit y avoir des valeurs positives. Donc, la fonction de répartition $F(x)$ ne peut pas être 0 pour tout $x > 0$.

Si $c < 0$, alors pour un $x$ tel que $c < x < 0$, on aurait $P(Y_n < x) = (F(x))^n$. Si $F(x) < 1$, alors $(F(x))^n \to 0$. Cela contredirait la convergence de $Y_n$ vers $c < 0$.

La seule possibilité restante est $c=0$. Dans ce cas, si $x>0$, $F(x)$ peut être inférieur à 1, et $(F(x))^n \to 0$. Si $x < 0$, $F(x)$ peut être égal à 0, et $(F(x))^n \to 0$.

Si $c=0$, alors $P(Y_n < x) \to 1$ si $x>0$ et $P(Y_n < x) \to 0$ si $x<0$.

Pour $x>0$, $P(Y_n < x) = (F(x))^n$. Si $F(x) < 1$, la limite est 0. Ce qui contredit la convergence vers 1. Donc, pour $x>0$, on doit avoir $F(x)=1$.

Puisque $E(X_i) = 0$, il existe des valeurs positives. Donc $F(x)$ ne peut pas être 1 pour tous les $x > 0$.

Il doit y avoir une subtilité. La loi des grands nombres forte dit que $\frac{1}{n}\sum X_i \to \mu$ presque sûrement. Ici on a le max.

Si $Y_n \xrightarrow{P} c$, alors pour tout $\epsilon > 0$, $P(|Y_n - c| < \epsilon) \to 1$.

Ceci signifie que $P(c-\epsilon < Y_n < c+\epsilon) \to 1$.

Puisque $E(X_i)=0$, il existe des valeurs $X_i$ positives et négatives. Donc $\max(X_1, \dots, X_n)$ peut être positif ou négatif.

Si $c > 0$, alors pour $\epsilon$ petit, $P(Y_n > c-\epsilon) \to 1$.

En utilisant le fait que $P(Y_n < x) = (F(x))^n$.

Si $c > 0$, alors pour $x$ tel que $0 < x < c$, on a $F(x) < 1$. Donc $P(Y_n < x) = (F(x))^n \to 0$.

Or, si $Y_n \to c$ en probabilité, alors pour tout $x < c$, $P(Y_n < x) \to 0$. Ceci est cohérent.

Mais pour $x > c$, $P(Y_n > x) \to 0$.

Si $c > 0$. Alors pour $x$ tel que $0 < x < c$, $P(Y_n < x) = (F(x))^n$. Si $F(x)<1$, cela tend vers 0.

Ce qui contredit $Y_n \to c$. Il faut que $P(Y_n < x) \to 1$ pour $x < c$.

La seule manière pour que $(F(x))^n \to 1$ est que $F(x)=1$.

Donc, pour tout $x < c$, on doit avoir $F(x) = 1$.

Mais si $E(X_i)=0$, il y a des valeurs positives et négatives. Donc $F(x)$ ne peut pas être 1 pour tout $x < c$ si $c>0$.

Si $c<0$. Alors pour tout $x>c$, $F(x)$ peut être non nul. Si $F(x)<1$, alors $(F(x))^n \to 0$.

Si $c < 0$, alors pour $x$ tel que $c < x < 0$, $P(Y_n < x) = (F(x))^n$. Si $F(x)<1$, cela tend vers 0.

Si $Y_n \to c$ en probabilité, alors $P(Y_n < x) \to 1$ si $x < c$ et $P(Y_n < x) \to 0$ si $x > c$.

Si $c < 0$, pour $x < c$, $P(Y_n < x) \to 1$. Mais $P(Y_n < x) = (F(x))^n$. Pour que cela tende vers 1, il faut que $F(x)=1$.

Mais si $E(X_i)=0$, il y a des valeurs positives, donc $F(x)$ ne peut pas être 1 pour tout $x < 0$.

La seule possibilité est $c=0$.

Astuce : Pour les problèmes de convergence du maximum, il est souvent utile de considérer la fonction de répartition $F(x)$ et la probabilité $P(Y_n < x) = (F(x))^n$. L'analyse de la limite de cette expression en fonction de $F(x)$ et de la valeur de $x$ par rapport à la limite $c$ est la clé.