Calculer la probabilité à long terme

Énoncé

Soit une chaîne de Markov avec P = pmatrix 0{,}4 & 0{,}6 0{,}2 & 0{,}8 pmatrix et ^{(0)} = (1, 0). Calculer ^{(10)} en utilisant la distribution stationnaire.

Indice : Trouve d'abord la distribution stationnaire . Pour un grand n, ^{(n)} (distribution stationnaire).

Correction

1. Étape 1 : Calculer P^{10} à la main est hors de question. L'idée est de contourner : quand n grandit, ^{(n)} tend vers la distribution stationnaire, quelle que soit la distribution de départ. On calcule donc , puis on regarde si n = 10 est assez grand.
2. Étape 2 : On résout = P. La première composante donne :

   _1 = 0{,}4\,_1 + 0{,}2\,_2 0{,}6\,_1 = 0{,}2\,_2 _2 = 3\,_1

3. Étape 3 : Avec la condition de somme :

   _1 + 3_1 = 1 _1 = 1{4} _2 = 3{4}

4. Étape 4 : Mais « n est grand » n'est pas une justification — il faut savoir À QUELLE VITESSE la convergence a lieu. Pour une chaîne à deux états, l'écart à l'équilibre est multiplié à chaque étape par un facteur qui se lit directement sur la matrice :

   = 1 - p_{1,2} - p_{2,1} = 1 - 0{,}6 - 0{,}2 = 0{,}2

5. Étape 5 : L'écart initial vaut 1 - 1{4} = 3{4}, puisqu'on part de ^{(0)} = (1\,;\,0). Après n étapes il ne reste donc que :

   ^{(n)}_1 = 1{4} + 3{4} (0{,}2)^n

6. Étape 6 : Application à n = 10. Comme (0{,}2)^{10} 1{,}02 10^{-7} :

   ^{(10)}_1 = 0{,}25 + 0{,}75 1{,}02 10^{-7} 0{,}250\,000\,08

7. Étape 7 : L'approximation est donc excellente — l'écart vaut 8 cent-millionièmes :

   ^{(10)} (1{4}\ ;\ 3{4}) = (0{,}25\ ;\ 0{,}75)

8. Étape 8 : La convergence est très rapide, et le tableau le montre : n = 1 donne 0{,}400, n = 2 donne 0{,}280, n = 3 donne 0{,}256, n = 5 donne 0{,}250\,24. Dès la cinquième étape, on est à trois décimales de l'équilibre — parce que 0{,}2 est petit. « n est grand » ne se dit pas sans mesurer : Si valait 0{,}99, il faudrait des centaines d'étapes pour approcher l'équilibre, et ^{(10)} serait encore très loin de . C'est , et lui seul, qui dit si n = 10 suffit. Répondre « ^{(10)} car 10 est grand » n'est pas une justification. Le point le plus important du chapitre : La limite ne dépend PAS de ^{(0)}. En partant de (0\,;\,1) ou de (0{,}5\,;\,0{,}5), on aboutirait au même (1{4}\,;\,3{4}). La chaîne oublie son point de départ, et mesure la vitesse de cet oubli.