Compétences travaillées : Construction et interprétation de matrices de transition. Calcul de probabilités de passage entre états. Détermination de la distribution de probabilité à un temps $n$. Calcul de la distribution stationnaire. Analyse du comportement à long terme des chaînes de Markov.
Erreurs fréquentes à éviter : Inverser les lignes et les colonnes dans la matrice de transition. Oublier de vérifier que les sommes des lignes de la matrice de transition valent 1. Confondre la probabilité de transition $P(X_{n+1}=j | X_n=i)$ avec $P(X_n=i | X_{n+1}=j)$. Erreurs de calcul dans les multiplications de matrices ou les puissances de matrices.
Les chaînes de Markov sont des outils puissants pour modéliser des systèmes évoluant dans le temps avec une dépendance vis-à-vis de leur état passé le plus récent. Cette série d'exercices te guidera à travers les concepts clés, en commençant par la matrice de transition, pour culminer avec des analyses plus poussées.
Exercice 1 : On considère un système qui peut être dans deux états : A et B. La probabilité de passer de l'état A à l'état A est de 0.7, et de A à B est de 0.3. La probabilité de passer de l'état B à l'état A est de 0.4, et de B à B est de 0.6. Construis la matrice de transition $P$ de ce système, en supposant que les états sont ordonnés (A, B).
Correction :
La matrice de transition $P$ est une matrice carrée dont les éléments $P_{ij}$ représentent la probabilité de passer de l'état $i$ à l'état $j$ en un pas de temps.
Les états sont A et B. L'ordre est (A, B).
La ligne 1 correspond aux transitions depuis l'état A.
La ligne 2 correspond aux transitions depuis l'état B.
La colonne 1 correspond aux transitions vers l'état A.
La colonne 2 correspond aux transitions vers l'état B.
Éléments de la matrice :
- $P_{AA} = P(\text{aller de A à A}) = 0.7$. C'est l'élément (1, 1).
- $P_{AB} = P(\text{aller de A à B}) = 0.3$. C'est l'élément (1, 2).
- $P_{BA} = P(\text{aller de B à A}) = 0.4$. C'est l'élément (2, 1).
- $P_{BB} = P(\text{aller de B à B}) = 0.6$. C'est l'élément (2, 2).
La matrice de transition $P$ est donc :
$$ P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} $$Résultat : La matrice de transition est $P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix}$.
Vérification : La somme des éléments de chaque ligne doit être égale à 1.
Ligne 1 : $0.7 + 0.3 = 1$. C'est correct.
Ligne 2 : $0.4 + 0.6 = 1$. C'est correct.
Exercice 2 : En utilisant la matrice de transition de l'exercice 1, quelle est la probabilité d'être dans l'état B après 2 pas de temps, sachant qu'on est parti de l'état A à l'instant initial ?
Correction :
La matrice de transition est $P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix}$.
On cherche $P(X_2 = B | X_0 = A)$.
La probabilité de passer de l'état $i$ à l'état $j$ en $n$ pas est donnée par l'élément $(i, j)$ de la matrice $P^n$.
Ici, on cherche l'élément (A, B) de $P^2$.
Calculons $P^2 = P \times P$ :
$$ P^2 = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} $$Calcul des éléments de $P^2$ :
- Élément (1, 1) : $(0.7 \times 0.7) + (0.3 \times 0.4) = 0.49 + 0.12 = 0.61$.
- Élément (1, 2) : $(0.7 \times 0.3) + (0.3 \times 0.6) = 0.21 + 0.18 = 0.39$.
- Élément (2, 1) : $(0.4 \times 0.7) + (0.6 \times 0.4) = 0.28 + 0.24 = 0.52$.
- Élément (2, 2) : $(0.4 \times 0.3) + (0.6 \times 0.6) = 0.12 + 0.36 = 0.48$.
Donc, $P^2 = \begin{pmatrix} 0.61 & 0.39 \\ 0.52 & 0.48 \end{pmatrix}$.
L'élément qui nous intéresse est $P^2_{AB}$ (ou $P^2_{12}$), qui est 0.39.
Résultat : La probabilité d'être dans l'état B après 2 pas de temps, en partant de A, est de 0.39.
Astuce : Pour calculer $P^n$, on peut utiliser la méthode des multiplications successives ou des algorithmes plus efficaces pour de grandes valeurs de $n$. Les calculatrices scientifiques ou les logiciels de calcul matriciel sont très utiles ici.
Exercice 3 : Quelle est la probabilité d'être dans l'état A après 3 pas de temps, sachant qu'on est parti de l'état B à l'instant initial, en utilisant la matrice $P$ de l'exercice 1 ?
Correction :
On cherche $P(X_3 = A | X_0 = B)$. Cela correspond à l'élément $P^3_{BA}$ (ou $P^3_{21}$) de la matrice $P^3$.
Nous avons déjà calculé $P^2 = \begin{pmatrix} 0.61 & 0.39 \\ 0.52 & 0.48 \end{pmatrix}$.
Calculons $P^3 = P^2 \times P$ :
$$ P^3 = \begin{pmatrix} 0.61 & 0.39 \\ 0.52 & 0.48 \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} $$Nous avons besoin de l'élément (2, 1) de $P^3$ :
Élément (2, 1) : $(0.52 \times 0.7) + (0.48 \times 0.4) = 0.364 + 0.192 = 0.556$.
Résultat : La probabilité d'être dans l'état A après 3 pas de temps, en partant de B, est de 0.556.
Vérification : Calculons également l'élément (2,2) pour vérifier la somme de la ligne 2 : $(0.52 \times 0.3) + (0.48 \times 0.6) = 0.156 + 0.288 = 0.444$. La somme $0.556 + 0.444 = 1$. Correct.
Exercice 4 : Une usine de production utilise un système à 3 états pour ses machines : 'Opérationnel' (O), 'En Maintenance' (M), 'Hors Service' (H). Les probabilités de transition journalières sont données par la matrice suivante (les états sont dans l'ordre O, M, H) :
$$ P = \begin{pmatrix} 0.9 & 0.08 & 0.02 \\ 0.5 & 0.4 & 0.1 \\ 0 & 0 & 1 \end{pmatrix} $$Si une machine est en état 'Opérationnel' au début de la semaine (Jour 0), quelle est la probabilité qu'elle soit en état 'Hors Service' à la fin du troisième jour (Jour 3) ?
Correction :
Les états sont O (ligne/colonne 1), M (ligne/colonne 2), H (ligne/colonne 3).
La matrice de transition est $P = \begin{pmatrix} 0.9 & 0.08 & 0.02 \\ 0.5 & 0.4 & 0.1 \\ 0 & 0 & 1 \end{pmatrix}$.
On cherche $P(X_3 = H | X_0 = O)$. Cela correspond à l'élément $(1, 3)$ de la matrice $P^3$.
Calculons d'abord $P^2 = P \times P$ :
$$ P^2 = \begin{pmatrix} 0.9 & 0.08 & 0.02 \\ 0.5 & 0.4 & 0.1 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} 0.9 & 0.08 & 0.02 \\ 0.5 & 0.4 & 0.1 \\ 0 & 0 & 1 \end{pmatrix} $$Élément (1, 3) de $P^2$ : $(0.9 \times 0.02) + (0.08 \times 0.1) + (0.02 \times 1) = 0.018 + 0.008 + 0.02 = 0.046$.
Maintenant, calculons $P^3 = P^2 \times P$. Nous n'avons besoin que de l'élément (1, 3) de $P^3$.
Pour obtenir l'élément (1, 3) de $P^3$, on prend la ligne 1 de $P^2$ et la colonne 3 de $P$.
Ligne 1 de $P^2$: Calculons la ligne 1 entière de $P^2$ pour être sûr.
- (1,1) de $P^2$: $(0.9 \times 0.9) + (0.08 \times 0.5) + (0.02 \times 0) = 0.81 + 0.04 + 0 = 0.85$.
- (1,2) de $P^2$: $(0.9 \times 0.08) + (0.08 \times 0.4) + (0.02 \times 0) = 0.072 + 0.032 + 0 = 0.104$.
- (1,3) de $P^2$: $(0.9 \times 0.02) + (0.08 \times 0.1) + (0.02 \times 1) = 0.018 + 0.008 + 0.02 = 0.046$.
Ligne 1 de $P^2$ est $(0.85, 0.104, 0.046)$. La somme est $0.85 + 0.104 + 0.046 = 1$. Correct.
Maintenant, $P^3_{13} = P^2_{11}P_{13} + P^2_{12}P_{23} + P^2_{13}P_{33}$.
$P^3_{13} = (0.85 \times 0.02) + (0.104 \times 0.1) + (0.046 \times 1)$.
$P^3_{13} = 0.017 + 0.0104 + 0.046 = 0.0734$.
Résultat : La probabilité qu'une machine soit en état 'Hors Service' à la fin du troisième jour, si elle était 'Opérationnel' au début, est de 0.0734.
Astuce : L'état 'H' (Hors Service) est un état absorbant car la probabilité de rester dans cet état est 1 ($P_{HH}=1$). Une fois qu'une machine atteint cet état, elle ne peut plus en sortir.
Exercice 5 : Considère un processus météorologique avec trois états : 'Soleil' (S), 'Nuageux' (N), 'Pluie' (P). La matrice de transition journalière est :
$$ P = \begin{pmatrix} 0.7 & 0.2 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{pmatrix} $$Si le temps est 'Soleil' aujourd'hui (Jour 0), quelle est la probabilité qu'il pleuve demain (Jour 1) ? Et quelle est la probabilité qu'il fasse soleil après-demain (Jour 2) ?
Correction :
Les états sont S (1), N (2), P (3).
La matrice de transition est $P = \begin{pmatrix} 0.7 & 0.2 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{pmatrix}$.
a) Probabilité qu'il pleuve demain (Jour 1), sachant qu'il fait soleil aujourd'hui (Jour 0) :
C'est la probabilité de passer de l'état S (1) à l'état P (3) en 1 pas. C'est l'élément $P_{13}$.
$P_{13} = 0.1$.
b) Probabilité qu'il fasse soleil après-demain (Jour 2), sachant qu'il fait soleil aujourd'hui (Jour 0) :
C'est l'élément $P^2_{11}$ de la matrice $P^2$. Calculons $P^2 = P \times P$ :
$$ P^2 = \begin{pmatrix} 0.7 & 0.2 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{pmatrix} \begin{pmatrix} 0.7 & 0.2 & 0.1 \\ 0.3 & 0.5 & 0.2 \\ 0.2 & 0.4 & 0.4 \end{pmatrix} $$Calcul de l'élément $(1, 1)$ de $P^2$ :
$P^2_{11} = (0.7 \times 0.7) + (0.2 \times 0.3) + (0.1 \times 0.2) = 0.49 + 0.06 + 0.02 = 0.57$.
Résultats : La probabilité qu'il pleuve demain est de 0.1. La probabilité qu'il fasse soleil après-demain est de 0.57.
Vérification : Les sommes des lignes de $P$ sont bien 1.
Exercice 6 : Un réseau de trois ordinateurs (A, B, C) échange des données. Les probabilités de transfert d'un ordinateur à un autre en une minute sont résumées dans la matrice de transition suivante (les états sont A, B, C) :
$$ P = \begin{pmatrix} 0.6 & 0.3 & 0.1 \\ 0.2 & 0.7 & 0.1 \\ 0.4 & 0.1 & 0.5 \end{pmatrix} $$Si initialement, l'ordinateur A a les données, quelle est la probabilité que les données soient sur l'ordinateur C après 2 minutes ?
Correction :
Les états sont A (1), B (2), C (3).
La matrice de transition est $P = \begin{pmatrix} 0.6 & 0.3 & 0.1 \\ 0.2 & 0.7 & 0.1 \\ 0.4 & 0.1 & 0.5 \end{pmatrix}$.
On cherche $P(\text{données sur C à } t=2 | \text{données sur A à } t=0)$. Cela correspond à l'élément $P^2_{13}$ de la matrice $P^2$.
Calculons $P^2 = P \times P$ :
$$ P^2 = \begin{pmatrix} 0.6 & 0.3 & 0.1 \\ 0.2 & 0.7 & 0.1 \\ 0.4 & 0.1 & 0.5 \end{pmatrix} \begin{pmatrix} 0.6 & 0.3 & 0.1 \\ 0.2 & 0.7 & 0.1 \\ 0.4 & 0.1 & 0.5 \end{pmatrix} $$Calcul de l'élément $(1, 3)$ de $P^2$ :
$P^2_{13} = (0.6 \times 0.1) + (0.3 \times 0.1) + (0.1 \times 0.5) = 0.06 + 0.03 + 0.05 = 0.14$.
Résultat : La probabilité que les données soient sur l'ordinateur C après 2 minutes est de 0.14.
Exercice 7 : Soit une chaîne de Markov avec $N$ états. Soit $\pi = (\pi_1, \pi_2, \dots, \pi_N)$ un vecteur ligne. Comment vérifier si $\pi$ est un vecteur de distribution stationnaire pour la matrice de transition $P$ ?
Correction :
Un vecteur ligne $\pi$ est un vecteur de distribution stationnaire pour une matrice de transition $P$ si deux conditions sont remplies :
- Somme des composantes égale à 1 : $\sum_{i=1}^N \pi_i = 1$. Cela garantit que $\pi$ représente bien une distribution de probabilité.
- Équation de stationnarité : $\pi P = \pi$. Cela signifie que si le système est dans la distribution $\pi$ à un temps $n$, il le sera encore à l'instant $n+1$. La distribution de probabilité ne change pas au cours du temps.
Pour vérifier si un vecteur $\pi$ donné est stationnaire :
- Calculer la somme des composantes de $\pi$. Si elle n'est pas égale à 1, $\pi$ n'est pas une distribution de probabilité et donc pas stationnaire.
- Calculer le produit matriciel $\pi P$.
- Comparer le vecteur résultat $\pi P$ avec le vecteur $\pi$. S'ils sont identiques, alors $\pi$ est un vecteur de distribution stationnaire.
Méthode : Pour vérifier si $\pi$ est stationnaire pour $P$, il faut s'assurer que $\sum \pi_i = 1$ et que $\pi P = \pi$.
Exercice 8 : Pour la matrice de transition $P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix}$ de l'exercice 1, trouve le vecteur de distribution stationnaire $\pi = (\pi_A, \pi_B)$.
Correction :
Nous cherchons un vecteur $\pi = (\pi_A, \pi_B)$ tel que $\pi P = \pi$ et $\pi_A + \pi_B = 1$.
L'équation $\pi P = \pi$ se traduit par :
$(\pi_A, \pi_B) \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} = (\pi_A, \pi_B)$.
Cela donne le système d'équations suivant :
- $0.7 \pi_A + 0.4 \pi_B = \pi_A \implies -0.3 \pi_A + 0.4 \pi_B = 0$.
- $0.3 \pi_A + 0.6 \pi_B = \pi_B \implies 0.3 \pi_A - 0.4 \pi_B = 0$.
Les deux équations sont équivalentes (la deuxième est la négation de la première, multipliée par -1). Utilisons donc la première équation et la condition de normalisation $\pi_A + \pi_B = 1$.
De $-0.3 \pi_A + 0.4 \pi_B = 0$, on tire $0.4 \pi_B = 0.3 \pi_A$, donc $\pi_B = \frac{0.3}{0.4} \pi_A = \frac{3}{4} \pi_A$.
Maintenant, substituons dans $\pi_A + \pi_B = 1$ :
$\pi_A + \frac{3}{4} \pi_A = 1$.
$\left(1 + \frac{3}{4}\right) \pi_A = 1 \implies \frac{7}{4} \pi_A = 1 \implies \pi_A = \frac{4}{7}$.
Ensuite, calculons $\pi_B$ :
$\pi_B = \frac{3}{4} \pi_A = \frac{3}{4} \times \frac{4}{7} = \frac{3}{7}$.
Le vecteur stationnaire est $\pi = (\frac{4}{7}, \frac{3}{7})$.
Résultat : Le vecteur de distribution stationnaire est $\pi = \left(\frac{4}{7}, \frac{3}{7}\right)$.
Cela signifie qu'à long terme, la probabilité d'être dans l'état A est de 4/7 et dans l'état B est de 3/7.
Exercice 9 : Pour la matrice $P = \begin{pmatrix} 0.9 & 0.08 & 0.02 \\ 0.5 & 0.4 & 0.1 \\ 0 & 0 & 1 \end{pmatrix}$ de l'exercice 4, trouve le vecteur de distribution stationnaire.
Correction :
Nous cherchons $\pi = (\pi_O, \pi_M, \pi_H)$ tel que $\pi P = \pi$ et $\pi_O + \pi_M + \pi_H = 1$.
L'équation $\pi P = \pi$ donne :
- $0.9 \pi_O + 0.5 \pi_M + 0 \pi_H = \pi_O \implies -0.1 \pi_O + 0.5 \pi_M = 0$.
- $0.08 \pi_O + 0.4 \pi_M + 0 \pi_H = \pi_M \implies 0.08 \pi_O - 0.6 \pi_M = 0$.
- $0.02 \pi_O + 0.1 \pi_M + 1 \pi_H = \pi_H \implies 0.02 \pi_O + 0.1 \pi_M = 0$.
Utilisons la première et la troisième équation (la deuxième est redondante ou découle des autres si on ne considère pas la normalisation). Notons aussi que l'état H est absorbant, donc à long terme, tout le système devrait finir dans cet état. On s'attend donc à ce que $\pi_H = 1$ et $\pi_O = \pi_M = 0$. Vérifions si c'est la seule solution.
De l'équation 3 : $0.02 \pi_O + 0.1 \pi_M = 0$. Puisque $\pi_O \ge 0$ et $\pi_M \ge 0$, la seule façon pour que cette somme soit nulle est que $\pi_O = 0$ et $\pi_M = 0$.
Si $\pi_O = 0$ et $\pi_M = 0$, alors de l'équation 1 : $-0.1(0) + 0.5(0) = 0$, ce qui est vérifié.
Maintenant, utilisons la condition de normalisation : $\pi_O + \pi_M + \pi_H = 1$.
$0 + 0 + \pi_H = 1 \implies \pi_H = 1$.
Le vecteur stationnaire est donc $\pi = (0, 0, 1)$.
Résultat : Le vecteur de distribution stationnaire est $\pi = (0, 0, 1)$.
Ceci confirme que, à long terme, toutes les machines finiront dans l'état 'Hors Service' car c'est un état absorbant.
Exercice 10 : Considère une chaîne de Markov irréductible et apériodique avec 3 états et la matrice de transition $P$. Trouve son vecteur stationnaire.
$$ P = \begin{pmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{pmatrix} $$Correction :
Nous cherchons $\pi = (\pi_1, \pi_2, \pi_3)$ tel que $\pi P = \pi$ et $\pi_1 + \pi_2 + \pi_3 = 1$.
L'équation $\pi P = \pi$ donne :
- $0 \pi_1 + 0 \pi_2 + 1 \pi_3 = \pi_1 \implies \pi_3 = \pi_1$.
- $1 \pi_1 + 0 \pi_2 + 0 \pi_3 = \pi_2 \implies \pi_1 = \pi_2$.
- $0 \pi_1 + 1 \pi_2 + 0 \pi_3 = \pi_3 \implies \pi_2 = \pi_3$.
Nous avons donc $\pi_1 = \pi_2 = \pi_3$.
Utilisons la condition de normalisation : $\pi_1 + \pi_2 + \pi_3 = 1$.
Comme $\pi_1 = \pi_2 = \pi_3$, on peut écrire : $\pi_1 + \pi_1 + \pi_1 = 1 \implies 3 \pi_1 = 1 \implies \pi_1 = \frac{1}{3}$.
Donc, $\pi_1 = \pi_2 = \pi_3 = \frac{1}{3}$.
Résultat : Le vecteur de distribution stationnaire est $\pi = \left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3}\right)$.
Dans ce cas, chaque état a une probabilité égale d'être atteint à long terme. La chaîne de Markov va cycler entre les états 1, 2 et 3.
Comment ORBITECH Peut T'aider
ORBITECH AI Academy met à ta disposition des outils concrets pour réviser plus efficacement et progresser à ton rythme.
- Générateur de Quiz : crée des quiz personnalisés pour tester tes connaissances et identifier tes lacunes.
- Générateur d'Exercices : crée des exercices d'entraînement adaptés à ton niveau avec corrections détaillées.
- Calculatrice Scientifique : effectue des calculs avancés avec historique et graphiques de fonctions.
- Générateur de Résumés : transforme tes cours en fiches de révision claires et structurées.
Tous ces outils sont disponibles sur ta plateforme ORBITECH. Connecte-toi et explore ceux qui correspondent le mieux à tes besoins !
Commencer gratuitement