Niveau : du facile au difficile. Durée estimée : 120 min. 10 exercices avec corrections détaillées, en temps discret. Prérequis : l'espérance conditionnelle.
Rappel des notions clés
Pour montrer que $(M_n)$ est une martingale pour la filtration $(\mathcal{F}_n)$, c'est-à-dire l'information disponible à l'instant $n$, vérifie que $M_n$ est $\mathcal{F}_n$-mesurable (processus adapté), que $E[|M_n|] < \infty$ et que $E[M_{n+1} \mid \mathcal{F}_n] = M_n$. Pour cette égalité, écris $M_{n+1}$ comme $M_n$ plus un accroissement : ce qui est connu à l'instant $n$ sort de l'espérance conditionnelle, ce qui est indépendant du passé est remplacé par son espérance. Exemple : si $S_n = Y_1 + \dots + Y_n$ avec des $Y_k$ indépendantes et centrées, $E[S_{n+1} \mid \mathcal{F}_n] = S_n + E[Y_{n+1}] = S_n$. Avec $\ge$ au lieu de $=$, c'est une sous-martingale ; avec $\le$, une surmartingale.
Un temps d'arrêt est une variable $T$ à valeurs dans $\mathbb{N} \cup \{+\infty\}$ telle que $\{T = n\} \in \mathcal{F}_n$ pour tout $n$ : on décide de s'arrêter au vu du passé seul. Les résultats ci-dessous suivent le chapitre 12 du cours de Jean-François Le Gall cité en bas.
Formules à retenir :
- Arrêt : $(M_{T\wedge n})$ est une martingale ; $E[M_T] = E[M_0]$ si $T$ est borné, ou si $T < \infty$ presque sûrement (p.s.) et $|M_{T\wedge n}| \le C$ pour tout $n$.
- Convergence p.s. : une sous-martingale bornée dans $L^1$, soit $\sup_n E[|M_n|] < \infty$, converge p.s. vers une limite intégrable ; une surmartingale positive aussi.
- Convergence dans $L^1$ : une martingale converge p.s. et dans $L^1$ si et seulement si elle est uniformément intégrable, soit $\lim_{a\to\infty} \sup_n E\big[|M_n|\,\mathbf{1}_{\{|M_n| > a\}}\big] = 0$ ; c'est le cas si elle est bornée.
- Inégalité maximale de Doob : pour une sous-martingale $(X_n)$ et $a > 0$, $a\,P\big(\max_{0\le k\le n} X_k \ge a\big) \le E[X_n^+]$, où $X_n^+ = \max(X_n, 0)$.
Piège classique : écrire $E[M_T] = E[M_0]$ sans vérifier d'hypothèse. Pour la marche aléatoire symétrique (pas de $\pm 1$ avec probabilité $\frac12$) issue de $0$ et $T$ son premier passage en $1$, $T < \infty$ p.s. mais $S_T = 1$, donc $E[S_T] = 1 \neq 0 = E[S_0]$.
Exercices : niveau facile
Exercice 1 : Soit $(Y_k)_{k\ge1}$ des variables indépendantes avec $P(Y_k = 1) = p$ et $P(Y_k = -1) = 1-p$, où $p \in \left]0\,;\,1\right[$. On pose $S_0 = 0$, $S_n = Y_1 + \dots + Y_n$, $\mathcal{F}_0 = \{\emptyset, \Omega\}$ et $\mathcal{F}_n = \sigma(Y_1, \dots, Y_n)$. Selon $p$, $(S_n)$ est-elle une martingale, une sous-martingale ou une surmartingale ? Trouve $c$ tel que $(S_n - cn)$ soit une martingale.
Correction :
On isole l'accroissement. $S_n$ ne dépend que de $Y_1, \dots, Y_n$ (adaptée) et $|S_n| \le n$ (intégrable). Comme $Y_{n+1}$ est indépendante de $\mathcal{F}_n$ :
$$E[S_{n+1} \mid \mathcal{F}_n] = S_n + E[Y_{n+1}] = S_n + 2p - 1.$$
Martingale si $p = \frac12$, sous-martingale si $p > \frac12$, surmartingale si $p < \frac12$. De même, $E[S_{n+1} - c(n+1) \mid \mathcal{F}_n] = S_n - cn + (2p - 1 - c)$, d'où $c = 2p - 1$.
L'intégrabilité demande $E[|S_n|] < \infty$ pour chaque $n$, pas une borne indépendante de $n$.
Exercice 2 : On prend $p = \frac12$ dans l'exercice 1 (marche symétrique). Montre que $(S_n^2 - n)$ est une martingale et que $(S_n^2)$ est une sous-martingale, puis calcule $E[S_n^2]$.
Correction :
On développe : $S_{n+1}^2 = S_n^2 + 2S_nY_{n+1} + 1$. Comme $S_n$ est connu à l'instant $n$ et $E[Y_{n+1}] = 0$ :
$$E[S_{n+1}^2 \mid \mathcal{F}_n] = S_n^2 + 1,$$
avec $S_n^2 \le n^2$ intégrable. Donc $(S_n^2 - n)$ est une martingale et, puisque $S_n^2 + 1 \ge S_n^2$, $(S_n^2)$ est une sous-martingale. L'espérance d'une martingale est constante : $E[S_n^2 - n] = E[S_0^2] = 0$, d'où $E[S_n^2] = n$.
Exercice 3 : Pour la marche de l'exercice 1, on pose $T_a = \inf\{n \ge 0 : S_n = a\}$, avec $\inf \emptyset = +\infty$. Parmi $T_3$, $T_3 - 1$, $L = \sup\{n \le 10 : S_n = 0\}$ et $T_3 \wedge T_{-2}$, lesquels sont des temps d'arrêt ? Justifie.
Correction :
Pour chacun, on se demande si l'on sait, au vu de $S_0, \dots, S_n$ seulement, que l'instant vaut $n$.
$\{T_3 = n\} = \{S_0 \neq 3, \dots, S_{n-1} \neq 3, S_n = 3\} \in \mathcal{F}_n$ : oui.
$\{T_3 - 1 = n\} = \{T_3 = n+1\}$ dépend du pas $Y_{n+1}$, encore inconnu : non.
$\{L = n\}$ exige que la marche ne repasse plus en $0$ jusqu'à l'instant $10$ : non.
$\{T_3 \wedge T_{-2} \le n\} = \{T_3 \le n\} \cup \{T_{-2} \le n\} \in \mathcal{F}_n$ : oui.
$T_3$ et $T_3 \wedge T_{-2}$ sont des temps d'arrêt ; $T_3 - 1$ et $L$ n'en sont pas.
Exercices : niveau moyen
Exercice 4 : Soit $(M_n)$ une martingale et $T$ un temps d'arrêt. Vérifie que $M_{T\wedge n} = M_0 + \sum_{k=1}^{n} \mathbf{1}_{\{T \ge k\}}(M_k - M_{k-1})$, puis montre que $(M_{T\wedge n})$ est une martingale. Déduis-en que $E[M_T] = E[M_0]$ si $T \le N$ pour un entier $N$.
Correction :
Dans la somme, seuls les termes $k \le T$ restent : ils se télescopent en $M_{T\wedge n} - M_0$. Ensuite, $\{T \ge k\}$ est le complémentaire de $\{T \le k-1\} \in \mathcal{F}_{k-1}$, donc l'indicatrice sort de l'espérance conditionnelle :
$$E[M_{T\wedge(n+1)} - M_{T\wedge n} \mid \mathcal{F}_n] = \mathbf{1}_{\{T \ge n+1\}}\, E[M_{n+1} - M_n \mid \mathcal{F}_n] = 0.$$
La formule montre aussi que $M_{T\wedge n}$ est $\mathcal{F}_n$-mesurable, et $|M_{T\wedge n}| \le |M_0| + \dots + |M_n|$ : $(M_{T\wedge n})$ est une martingale, d'espérance constante $E[M_0]$. Si $T \le N$, alors $M_{T\wedge N} = M_T$ et $E[M_T] = E[M_0]$.
Exercice 5 : Un joueur a 3 euros. À chaque partie de pile ou face équilibré, il gagne ou perd 1 euro. Il s'arrête s'il est ruiné ou dès qu'il possède 10 euros. Sa fortune est $X_n = 3 + S_n$, où $(S_n)$ est la marche symétrique, et $T = \inf\{n : X_n \in \{0, 10\}\}$. Justifie que $T < \infty$ p.s., puis calcule la probabilité qu'il termine avec 10 euros.
Correction :
Dix gains de suite font sortir de $\left]0\,;\,10\right[$. Les blocs disjoints de dix parties sont indépendants et chacun est entièrement gagnant avec probabilité $2^{-10}$, donc $P(T > 10m) \le (1 - 2^{-10})^m \to 0$ : $T < \infty$ p.s.
La martingale arrêtée $(X_{T\wedge n})$ reste dans $[0\,;\,10]$ : le théorème d'arrêt s'applique et $E[X_T] = E[X_0] = 3$. Comme $X_T$ vaut $0$ ou $10$, $E[X_T] = 10\,P(X_T = 10)$, d'où $P(X_T = 10) = \frac{3}{10} = 0{,}3$. Plus généralement, $P(X_T = N) = \frac{k}{N}$ pour une fortune initiale $k$ et une cible $N$.
Exercice 6 : Dans le jeu de l'exercice 5, calcule la durée moyenne $E[T]$, en nombre de parties, à l'aide de la martingale de l'exercice 2.
Correction :
On arrête $(S_n^2 - n)$, avec $S_n = X_n - 3$ : pour tout $n$, $E[(X_{T\wedge n} - 3)^2] = E[T\wedge n]$. À gauche, la quantité reste bornée par $49$ : convergence dominée. À droite, convergence monotone. Avec l'exercice 5 :
$$E[T] = E[(X_T - 3)^2] = 49 \times 0{,}3 + 9 \times 0{,}7 = 21.$$
$E[T] = 21$ parties. Le même calcul donne $E[T] = k(N-k)$ pour une fortune initiale $k$ et une cible $N$.
Exercices : niveau difficile
Exercice 7 : À pile ou face équilibré, un joueur mise 1 euro, double sa mise tant qu'il perd et s'arrête à son premier gain, à l'instant $T$. Soit $G_n$ son gain total après $n$ parties, avec $G_0 = 0$. Montre que $(G_{T\wedge n})$ est une martingale et calcule $G_T$. Un camarade en déduit $E[G_T] = E[G_0] = 0$ : où est l'erreur ?
Correction :
La mise de la partie $k$, $H_k = 2^{k-1}\mathbf{1}_{\{T \ge k\}}$, est bornée et connue à l'instant $k-1$ (on dit prévisible). Avec $\varepsilon_k = \pm 1$ le résultat de la partie $k$, $G_{T\wedge n} = \sum_{k=1}^{n} H_k \varepsilon_k$ : la mise sort de l'espérance conditionnelle comme à l'exercice 4, et c'est une martingale. Au premier gain, $G_T = 2^{T-1} - (1 + 2 + \dots + 2^{T-2})$, soit $G_T = 1$ : $E[G_T] = 1 \neq 0$.
Le théorème d'arrêt ne s'applique pas. $T$ n'est pas borné, même si $P(T = k) = 2^{-k}$ donne $E[T] = 2$, et la martingale arrêtée non plus : $G_{T\wedge n} = 1 - 2^n$ sur $\{T > n\}$, de probabilité $2^{-n}$. Pour $a < 2^n - 1$, $E\big[|G_{T\wedge n}|\,\mathbf{1}_{\{|G_{T\wedge n}| > a\}}\big] \ge (2^n - 1)\,2^{-n} \ge \frac12$ : elle n'est pas uniformément intégrable. La perte moyenne avant le gain, $E[2^{T-1} - 1] = \sum_{k\ge1} \big(\frac12 - 2^{-k}\big)$, est d'ailleurs infinie.
Exercice 8 : Avec la marche symétrique $(S_n)$, on pose $Z_n = 1 + S_n$, $T_0 = \inf\{n : Z_n = 0\}$ et $X_n = Z_{T_0\wedge n}$. Montre que $(X_n)$ converge p.s., déduis-en que $T_0 < \infty$ p.s. et donne la limite. $(X_n)$ converge-t-elle dans $L^1$ ?
Correction :
$(X_n)$ est une martingale arrêtée, positive car elle avance par pas de $\pm 1$ et s'arrête en $0$. Comme surmartingale positive, elle converge p.s. vers une limite $X_\infty$ finie. Sur $\{T_0 = \infty\}$, $|X_{n+1} - X_n| = 1$ pour tout $n$, ce qui interdit la convergence : $P(T_0 = \infty) = 0$ et $X_\infty = 0$ p.s.
Or $E[X_n] = E[X_0] = 1$ pour tout $n$ : une convergence dans $L^1$ donnerait $E[X_\infty] = 1$. Pas de convergence dans $L^1$. Être bornée dans $L^1$ et converger p.s. ne suffit pas : il manque l'uniforme intégrabilité.
Exercice 9 : Une urne contient une boule rouge et une boule bleue. À chaque étape, on tire une boule au hasard, on la remet et on ajoute une boule de sa couleur. Après $n$ tirages, l'urne compte $n+2$ boules dont $R_n$ rouges ; on pose $P_n = \frac{R_n}{n+2}$. Montre que $(P_n)$ est une martingale pour la filtration des tirages, qu'elle converge p.s. et dans $L^1$ vers une variable $P_\infty$, et calcule $E[P_\infty]$.
Correction :
Sachant $\mathcal{F}_n$, on tire une rouge avec probabilité $P_n$, et $R_n$ augmente alors de $1$ :
$$E[R_{n+1} \mid \mathcal{F}_n] = R_n + \frac{R_n}{n+2} = R_n\,\frac{n+3}{n+2}.$$
En divisant par $n+3$, $E[P_{n+1} \mid \mathcal{F}_n] = P_n$ : comme $0 \le P_n \le 1$, c'est une martingale. Bornée, elle est uniformément intégrable : elle converge p.s. et dans $L^1$, et l'espérance passe à la limite, $E[P_\infty] = E[P_0] = \frac12$.
Exercice 10 : Pour la marche symétrique, montre avec l'inégalité maximale de Doob que $P\big(\max_{0\le k\le n} |S_k| \ge a\big) \le \frac{n}{a^2}$ pour tout $a > 0$. Majore ensuite la probabilité que, sur les 100 premiers pas, la marche se trouve au moins une fois à distance 30 ou plus de son départ.
Correction :
$(S_n^2)$ est une sous-martingale positive (exercice 2) et $\{\max_{k\le n} |S_k| \ge a\} = \{\max_{k\le n} S_k^2 \ge a^2\}$. Doob au niveau $a^2$ donne $a^2\,P\big(\max_{k\le n} S_k^2 \ge a^2\big) \le E[S_n^2] = n$, d'où l'inégalité.
Avec $n = 100$ et $a = 30$ : une probabilité d'au plus $\frac{100}{900} = \frac19 \approx 0{,}11$. Bienaymé-Tchebychev donne la même borne pour le seul $S_{100}$ : Doob contrôle toute la trajectoire au même prix. Pour une sous-martingale de signe quelconque, la borne est $E[X_n^+]$, pas $E[X_n]$.
Bilan et conseils
Tout se joue au passage à la limite : arrêter une martingale est toujours permis, mais écrire $E[M_T] = E[M_0]$ ou $\lim E[M_n] = E[M_\infty]$ demande une hypothèse que tu dois nommer. Les exercices 7 et 8 montrent ce qui arrive sans elle.
Ce qu'il faut retenir : isole l'accroissement et sors ce qui est connu à l'instant $n$ ; un temps d'arrêt se décide sans voir la suite ; le théorème d'arrêt demande $T$ borné ou une martingale arrêtée bornée, la convergence dans $L^1$ l'uniforme intégrabilité.
Sources
Jean-François Le Gall, Intégration, Probabilités et Processus Aléatoires, cours de l'École normale supérieure, septembre 2006, chapitre 12 « Théorie des martingales à temps discret ».