Niveau : supérieur, du facile au difficile. Durée estimée : 80 min. 10 exercices avec corrections détaillées.
Rappel des notions clés
Une matrice de transition $P$ se lit ligne par ligne : son coefficient $p_{ij} = \mathbb{P}(X_{n+1} = j \mid X_n = i)$ est la probabilité de passer de l'état $i$ à l'état $j$ en une étape, donc chaque ligne a pour somme $1$. Par exemple, si un joueur qui vient de gagner une partie gagne la suivante avec une probabilité de $0{,}6$, sa ligne « gagné » est $\begin{pmatrix} 0{,}6 & 0{,}4 \end{pmatrix}$ dans l'ordre (gagné, perdu). Ici, $(X_n)$ est une chaîne de Markov à nombre fini d'états : la loi de l'état suivant ne dépend que du présent. Certains ouvrages utilisent la transposée, à colonnes de somme $1$ : repère la convention de ton cours.
La loi de $X_n$ s'écrit comme une matrice ligne $\mu_n$. Une loi $\pi$ est stationnaire, ou invariante, si $\pi P = \pi$ : une chaîne qui part de $\pi$ garde cette loi. La chaîne est irréductible si chaque état peut mener à chaque autre, et régulière si une puissance de $P$ n'a que des coefficients strictement positifs, ce qui revient, pour une chaîne finie, à irréductible et apériodique (sans retours réservés aux multiples d'un entier $d \geq 2$). Un état $i$ est absorbant si $p_{ii} = 1$ : on n'en sort plus.
Formules à retenir :
- Une étape : $\mu_{n+1} = \mu_n P$, donc $\mu_n = \mu_0 P^n$.
- $n$ étapes : $(P^n)_{ij} = \mathbb{P}(X_n = j \mid X_0 = i)$.
- Loi stationnaire : $\pi P = \pi$, avec $\pi_i \geq 0$ et $\sum_i \pi_i = 1$.
- Chaîne irréductible : une seule loi stationnaire $\pi$.
- Chaîne régulière : $\mu_n \to \pi$ quelle que soit $\mu_0$ (démonstrations dans ce cours).
Piège classique : la loi est une ligne, placée à gauche de $P$. Le produit de $P$ par une colonne ne donne pas la loi suivante, et sa somme ne vaut en général pas $1$. Contrôle donc que chaque loi calculée a pour somme $1$.
Exercices : niveau facile
Exercice 1 : Chaque jour, Inès va à la fac en bus ($B$) ou à vélo ($V$). Après un jour en bus, elle reprend le bus le lendemain avec une probabilité de $0{,}7$ ; après un jour à vélo, elle prend le bus avec une probabilité de $0{,}4$. Son choix $X_n$ le jour $n$ forme une chaîne de Markov. Écris sa matrice de transition $P$ dans l'ordre $(B, V)$ et vérifie que c'en est une.
Correction :
Une ligne par état de départ, complétée pour que sa somme fasse $1$ : $p_{BV} = 0{,}3$ et $p_{VV} = 0{,}6$.
$P = \begin{pmatrix} 0{,}7 & 0{,}3 \\ 0{,}4 & 0{,}6 \end{pmatrix}$, à coefficients dans $[0\,;\,1]$ et lignes de somme $1$.
Erreur à éviter : le $0{,}4$ va en ligne $V$, colonne $B$, car on part de $V$.
Exercice 2 : Le jour $0$, Inès tire son moyen de transport à pile ou face : $\mu_0 = \begin{pmatrix} 0{,}5 & 0{,}5 \end{pmatrix}$. Calcule les lois $\mu_1$ et $\mu_2$, puis la probabilité qu'elle soit à vélo le jour $2$.
Correction :
On avance d'une étape à la fois avec $\mu_{n+1} = \mu_n P$.
Jour $1$ : $0{,}5 \times 0{,}7 + 0{,}5 \times 0{,}4 = 0{,}55$ pour le bus et $0{,}5 \times 0{,}3 + 0{,}5 \times 0{,}6 = 0{,}45$ pour le vélo, donc $\mu_1 = \begin{pmatrix} 0{,}55 & 0{,}45 \end{pmatrix}$.
Jour $2$ : $0{,}55 \times 0{,}7 + 0{,}45 \times 0{,}4 = 0{,}565$ et $0{,}55 \times 0{,}3 + 0{,}45 \times 0{,}6 = 0{,}435$, donc $\mu_2 = \begin{pmatrix} 0{,}565 & 0{,}435 \end{pmatrix}$, de somme $1$.
$\mathbb{P}(X_2 = V) = 0{,}435$.
Exercice 3 : Calcule $P^2$. Inès est allée à vélo lundi : quelle est la probabilité qu'elle prenne le bus mercredi ? Retrouve ce nombre en listant les trajets possibles.
Correction :
De lundi à mercredi, il y a deux étapes : on lit le coefficient $(V, B)$ de $P^2 = \begin{pmatrix} 0{,}61 & 0{,}39 \\ 0{,}52 & 0{,}48 \end{pmatrix}$, qui vaut $0{,}4 \times 0{,}7 + 0{,}6 \times 0{,}4 = 0{,}52$.
Par les trajets : vélo, bus, bus donne $0{,}4 \times 0{,}7 = 0{,}28$ ; vélo, vélo, bus donne $0{,}6 \times 0{,}4 = 0{,}24$. Le produit matriciel fait exactement cette somme sur l'état du mardi.
$(P^2)_{VB} = 0{,}52$.
Exercices : niveau moyen
Exercice 4 : Un modèle de météo (données fictives) a trois états, soleil ($1$), nuages ($2$) et pluie ($3$), et pour matrice journalière
$$P = \begin{pmatrix} 0{,}7 & 0{,}2 & 0{,}1 \\ 0{,}3 & 0{,}5 & 0{,}2 \\ 0{,}2 & 0{,}4 & 0{,}4 \end{pmatrix}.$$Il fait soleil aujourd'hui. Pour la loi de demain, Hugo multiplie $P$ par la colonne $\begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}$ et obtient les nombres $0{,}7$, $0{,}3$ et $0{,}2$. a) Sans refaire son calcul, prouve qu'il se trompe. b) Donne la bonne loi de demain, puis la probabilité qu'il fasse soleil dans deux jours.
Correction :
a) $0{,}7 + 0{,}3 + 0{,}2 = 1{,}2 \neq 1$ : ce n'est pas une loi. Il a obtenu la première colonne de $P$ : les probabilités d'arriver au soleil depuis chaque état.
b) La loi se place à gauche : $\mu_1 = \begin{pmatrix} 1 & 0 & 0 \end{pmatrix} P$, la première ligne de $P$. Ensuite, $\mathbb{P}(X_2 = 1) = 0{,}7 \times 0{,}7 + 0{,}2 \times 0{,}3 + 0{,}1 \times 0{,}2 = 0{,}57$.
Demain : $\begin{pmatrix} 0{,}7 & 0{,}2 & 0{,}1 \end{pmatrix}$ ; soleil dans deux jours : $0{,}57$.
Exercice 5 : Un fichier circule entre trois serveurs. Chaque minute, il reste ou change de serveur selon la matrice suivante, dans l'ordre $(A, B, C)$ :
$$P = \begin{pmatrix} 0{,}6 & 0{,}3 & 0{,}1 \\ 0{,}2 & 0{,}7 & 0{,}1 \\ 0{,}4 & 0{,}1 & 0{,}5 \end{pmatrix}.$$Laquelle des lois $\nu = \begin{pmatrix} 0{,}4 & 0{,}4 & 0{,}2 \end{pmatrix}$ et $\pi = \frac{1}{18}\begin{pmatrix} 7 & 8 & 3 \end{pmatrix}$ est stationnaire ? Justifie.
Correction :
Les deux ont pour somme $1$ : reste à tester $\pi P = \pi$.
Deuxième coefficient de $\nu P$ : $0{,}4 \times 0{,}3 + 0{,}4 \times 0{,}7 + 0{,}2 \times 0{,}1 = 0{,}42 \neq 0{,}4$, donc $\nu P \neq \nu$.
Pour $\pi$, calcule avec $\begin{pmatrix} 7 & 8 & 3 \end{pmatrix}$ pour éviter les fractions : $7 \times 0{,}6 + 8 \times 0{,}2 + 3 \times 0{,}4 = 7$, $7 \times 0{,}3 + 8 \times 0{,}7 + 3 \times 0{,}1 = 8$ et $7 \times 0{,}1 + 8 \times 0{,}1 + 3 \times 0{,}5 = 3$.
$\pi$ est stationnaire, $\nu$ ne l'est pas. La chaîne est régulière (tous les coefficients de $P$ sont strictement positifs), donc $\pi$ est la seule.
Exercice 6 : Soit $a$ et $b$ deux réels de $]0\,;\,1]$ et $P = \begin{pmatrix} 1-a & a \\ b & 1-b \end{pmatrix}$. Montre que cette chaîne a une seule loi stationnaire et calcule-la. Applique le résultat à la matrice d'Inès et interprète.
Correction :
On résout $\pi P = \pi$ avec $\pi = \begin{pmatrix} x & y \end{pmatrix}$ et $x + y = 1$.
La première coordonnée donne $(1-a)x + by = x$, soit $ax = by$ ; la seconde donne la même équation. Avec $x + y = 1$ et $a + b > 0$, la solution est unique : $\pi = \begin{pmatrix} \frac{b}{a+b} & \frac{a}{a+b} \end{pmatrix}$.
Pour Inès, $a = 0{,}3$ et $b = 0{,}4$, d'où $\pi = \begin{pmatrix} \frac{4}{7} & \frac{3}{7} \end{pmatrix}$ : sur une longue période, elle prend le bus en moyenne $4$ jours sur $7$.
Exercice 7 : Soit $P$ une matrice de transition de taille $N$ et $U$ la colonne de $N$ coefficients égaux à $1$. a) Traduis « chaque ligne de $P$ a pour somme $1$ » par une égalité matricielle. b) Déduis-en que $P^n$ est une matrice de transition pour tout entier $n \geq 1$.
Correction :
a) Le coefficient $i$ de $PU$ vaut $\sum_j p_{ij}$ : la condition s'écrit $PU = U$.
b) Les coefficients de $P^n$ sont des sommes de produits de nombres positifs, donc positifs. Par récurrence, $P^1 U = U$ et, si $P^n U = U$, alors $P^{n+1} U = P^n (PU) = P^n U = U$ : chaque ligne de $P^n$ a pour somme $1$.
Donc $P^n$ est une matrice de transition pour tout $n \geq 1$ : sa ligne $i$ est la loi de $X_n$ sachant $X_0 = i$.
Exercices : niveau difficile
Exercice 8 : Chaque matin, une machine est en service ($S$), en maintenance ($M$) ou hors service définitivement ($H$). D'un jour au suivant, sa matrice de transition, dans l'ordre $(S, M, H)$, est
$$P = \begin{pmatrix} 0{,}9 & 0{,}08 & 0{,}02 \\ 0{,}5 & 0{,}4 & 0{,}1 \\ 0 & 0 & 1 \end{pmatrix}.$$a) Quel état est absorbant ? b) La machine est en service le jour $0$ : calcule la probabilité qu'elle soit hors service le jour $3$. c) Détermine toutes les lois stationnaires et interprète.
Correction :
a) $H$ est absorbant, car $p_{HH} = 1$.
b) Inutile de calculer $P^3$ en entier : fais avancer la ligne $\mu_0 = \begin{pmatrix} 1 & 0 & 0 \end{pmatrix}$. On trouve $\mu_1 = \begin{pmatrix} 0{,}9 & 0{,}08 & 0{,}02 \end{pmatrix}$, puis $\mu_2 = \begin{pmatrix} 0{,}85 & 0{,}104 & 0{,}046 \end{pmatrix}$, et enfin $0{,}85 \times 0{,}02 + 0{,}104 \times 0{,}1 + 0{,}046 \times 1 = 0{,}017 + 0{,}0104 + 0{,}046$, soit $\mathbb{P}(X_3 = H) = 0{,}0734$.
c) Avec $\pi = \begin{pmatrix} x & y & z \end{pmatrix}$, la troisième coordonnée de $\pi P = \pi$ donne $0{,}02x + 0{,}1y + z = z$, soit $0{,}02x + 0{,}1y = 0$. Comme $x$ et $y$ sont positifs, $x = y = 0$, puis $z = 1$, et ce vecteur vérifie bien $\pi P = \pi$. Seule loi stationnaire : $\begin{pmatrix} 0 & 0 & 1 \end{pmatrix}$. Interprétation : $\mathbb{P}(X_n = H) \to 1$, car $H$ est accessible de partout.
Exercice 9 : On reprend la matrice d'Inès $P = \begin{pmatrix} 0{,}7 & 0{,}3 \\ 0{,}4 & 0{,}6 \end{pmatrix}$ et on pose $J = \frac{1}{7}\begin{pmatrix} 4 & 3 \\ 4 & 3 \end{pmatrix}$ et $K = \frac{1}{7}\begin{pmatrix} 3 & -3 \\ -4 & 4 \end{pmatrix}$. a) Vérifie que $P = J + 0{,}3K$, $J^2 = J$, $K^2 = K$ et $JK = KJ = 0$. b) Déduis-en $P^n$ pour tout $n \geq 1$, puis sa limite. c) Inès a pris le bus le jour $0$. À partir de quel jour la probabilité qu'elle prenne le bus est-elle à moins de $10^{-3}$ de sa limite ?
Correction :
a) Calcul direct : $J + 0{,}3K = \frac{1}{7}\begin{pmatrix} 4{,}9 & 2{,}1 \\ 2{,}8 & 4{,}2 \end{pmatrix} = P$, $J^2 = \frac{1}{49}\begin{pmatrix} 28 & 21 \\ 28 & 21 \end{pmatrix} = J$ et $K^2 = \frac{1}{49}\begin{pmatrix} 21 & -21 \\ -28 & 28 \end{pmatrix} = K$. Chaque coefficient de $JK$ et de $KJ$ est nul, par exemple $4 \times 3 + 3 \times (-4) = 0$.
b) Par récurrence : c'est vrai pour $n = 1$ d'après a), et si $P^n = J + 0{,}3^n K$, alors $P^{n+1} = (J + 0{,}3^n K)(J + 0{,}3K) = J + 0{,}3^{n+1} K$, car les produits croisés sont nuls. Comme $0{,}3^n \to 0$, $P^n = J + 0{,}3^n K \to J$ : chaque ligne tend vers $\begin{pmatrix} \frac{4}{7} & \frac{3}{7} \end{pmatrix}$, la loi stationnaire de l'exercice 6.
c) $\mathbb{P}(X_n = B) = \frac{4}{7} + \frac{3}{7} \times 0{,}3^n$. On veut $\frac{3}{7} \times 0{,}3^n < 10^{-3}$, soit $0{,}3^n < \frac{7}{3000} \approx 0{,}00233$. Or $0{,}3^5 = 0{,}00243$ et $0{,}3^6 = 0{,}000729$ : à partir du jour $6$. Avec le logarithme, attention : $\ln 0{,}3 < 0$ renverse l'inégalité.
Exercice 10 : Trois ordinateurs se passent un jeton chaque seconde, de $1$ vers $2$, de $2$ vers $3$ et de $3$ vers $1$ : $P = \begin{pmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{pmatrix}$. a) Montre que la chaîne est irréductible et calcule sa loi stationnaire. b) Le jeton part de l'ordinateur $1$. La loi de $X_n$ converge-t-elle vers cette loi stationnaire ? Justifie.
Correction :
a) Le cycle $1 \to 2 \to 3 \to 1$ relie chaque état à chaque autre : la chaîne est irréductible. Avec $\pi = \begin{pmatrix} x & y & z \end{pmatrix}$, on a $\pi P = \begin{pmatrix} z & x & y \end{pmatrix}$, donc $x = y = z$ et $\pi = \begin{pmatrix} \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}$.
b) Le jeton revient en $1$ toutes les trois secondes : $P^3 = I$ et $\mathbb{P}(X_n = 1)$ vaut $1, 0, 0, 1, 0, 0, \ldots$ Non, la loi de $X_n$ ne converge pas : la chaîne est périodique de période $3$, donc pas régulière, car aucune puissance de $P$ n'a tous ses coefficients strictement positifs. Seule la proportion de temps passée en chaque état tend vers $\frac{1}{3}$.
Bilan et conseils
Ce qu'il faut retenir : une loi se place à gauche de $P$, et une somme différente de $1$ signale une erreur. Une loi stationnaire n'est la limite de $\mu_n$ que si la chaîne est régulière.
Conseil : pour une seule probabilité, fais avancer la loi de départ (exercice 8) ; pour une puissance élevée, décompose ou diagonalise $P$ (exercice 9).
Sources
Nils Berglund, « Processus aléatoires et applications », cours de master, Université d'Orléans, 2014, chapitre 1.
Wikipédia, « Matrice stochastique ».