Chaînes de Markov : une initiation pdf/markov_info1... · Chaînes de Markov : une initiation INFO1 - Semaine 22 Guillaume CONNAN IUT de Nantes - Dpt d'informatique Dernière mise

Chaînes de Markov : une initiation

INFO1 - Semaine 22

Guillaume CONNAN

IUT de Nantes - Dpt d'informatique

Dernière mise à jour : 30 mai 2012

(IUT de Nantes - Dpt d'informatique ) 1 / 35

Sommaire

1 Vision dynamique des probabilités -

Automates

Découverte

Premier exemple - Règles de parcours

Deuxième exemple - Valeur moyenne

2 Comportement asymptotique des chaînes de

Markov


Àíäðåé Àíäðååâè÷ ÌÀÐÊÎÂ (1856 - 1922)


Vision dynamique des probabilités - Automates

Sommaire


Automates

Découverte




Markov


Vision dynamique des probabilités - Automates Découverte

Sommaire


Automates

Découverte




Markov



Les boules dans l'urne, deux tirages successifs sans remise...



i jpij

Le présent contient toutes les données du passé...



i jpij

Le présent contient toutes les données du passé...


Vision dynamique des probabilités - Automates Premier exemple - Règles de parcours

Sommaire


Automates

Découverte




Markov









état absorbant

bord

états intérieurs

chaîne absorbante

parcours (promenade) aléatoire

longueur d'un parcours



état absorbant

bord

états intérieurs

chaîne absorbante





état absorbant

bord

états intérieurs

chaîne absorbante





état absorbant

bord

états intérieurs

chaîne absorbante





état absorbant

bord

états intérieurs

chaîne absorbante





état absorbant

bord

états intérieurs

chaîne absorbante





Les règles

1 la probabilité de réaliser un parcours donné à partir d'un point donnéest égale au produit de toutes les probabilités de transition le long dece parcours ;

2 La probabilité d'atteindre un sous-ensemble du bord à partir d'un étatdonné est égale à la somme des probabilités de tous les parcours allantde cet élément aux éléments du sous-ensemble ;

3 la durée moyenne des parcours allant d'un état au bord (le temps

moyen d'absorption) est la moyenne des longueurs des parcours de cesommet au bord pondérée par les probabilités de chaque transition. Sion introduit une variable aléatoire égale au temps de parcours, il s'agitdonc de l'espérance de cette v.a.r.



Les règles







Les règles







1

0

2

3

4

51/2

1/2

1/2

1/2

1/2

1/2

1/2

1/2

p1 =(1

23+ 1

24

)︸︷︷︸0 boucle

+(

1

23+4+ 1

24+4

)︸︷︷︸

1 boucle

+(

1

23+2×4+ 1

24+2×4

)︸︷︷︸

2 boucles

+(

1

23+3×4+ 1

24+3×4

)︸︷︷︸

3 boucles

+·· ·



1

0

2

3

4

51/2

1/2

1/2

1/2

1/2

1/2

1/2

1/2

p1 =(1

23+ 1

24

)︸︷︷︸0 boucle

+(

1

23+4+ 1

24+4

)︸︷︷︸

1 boucle

+(

1

23+2×4+ 1

24+2×4

)︸︷︷︸

2 boucles

+(

1

23+3×4+ 1

24+3×4

)︸︷︷︸

3 boucles

+·· ·



1

0

2

3

4

51/2

1/2

1/2

1/2

1/2

1/2

1/2

1/2

Faites un calcul similaire pour déterminer la probabilité de perdre : vousconnaissez déjà le résultat donc vous pourrez contrôler vos calculs...



Temps de parcours

1 1→ 0 précédé de k cycles : X = 4k +1,

P([X = 4k +1])=(124

)k × 12 = 1

24k+1 ;

2 1→ 2→ 0 précédé de k cycles : X = 4k +2,

P([X = 4k +2])=(124

)k × (12

)2 = 124k+2 ;

3 1→ 2→ 4→ 5 précédé de k cycles : X = 4k +3,

P([X = 4k +3])=(124

)k × (12

)3 = 124k+3 ;

4 1→ 2→ 4→ 3→ 5 précédé de k cycles : X = 4k +4,

P([X = 4k +4])=(124

)k × (12

)4 = 124k+4 .



Temps de parcours


P([X = 4k +1])=(124

)k × 12 = 1

24k+1 ;


P([X = 4k +2])=(124

)k × (12

)2 = 124k+2 ;


P([X = 4k +3])=(124

)k × (12

)3 = 124k+3 ;


P([X = 4k +4])=(124

)k × (12

)4 = 124k+4 .



Temps de parcours


P([X = 4k +1])=(124

)k × 12 = 1

24k+1 ;


P([X = 4k +2])=(124

)k × (12

)2 = 124k+2 ;


P([X = 4k +3])=(124

)k × (12

)3 = 124k+3 ;


P([X = 4k +4])=(124

)k × (12

)4 = 124k+4 .



Temps de parcours


P([X = 4k +1])=(124

)k × 12 = 1

24k+1 ;


P([X = 4k +2])=(124

)k × (12

)2 = 124k+2 ;


P([X = 4k +3])=(124

)k × (12

)3 = 124k+3 ;


P([X = 4k +4])=(124

)k × (12

)4 = 124k+4 .



Rappel

Nous avons prouvé au module précédent que :

∀q ∈R, |q| < 1=⇒ S = ∑nÊ0

qn = 1

1−q

Pour |q| < 1, notons T = ∑nÊ1

nqn−1 en supposant que cette écriture a un

sens.Calculer (1−q)T en fonction de S



Rappel


∀q ∈R, |q| < 1=⇒ S = ∑nÊ0

qn = 1

1−q






Rappel


∀q ∈R, |q| < 1=⇒ S = ∑nÊ0

qn = 1

1−q





Vision dynamique des probabilités - Automates Deuxième exemple - Valeur moyenne

Sommaire


Automates

Découverte




Markov





Départ

P PP PPP PPPP

F FF FFP FFPP



probabilité pi pour un état i d'être � absorbé � dans un sous-ensembleSB du bord ;

pi = 1 ;

pi = 0

pi =∑k∈S

pikpk

pi =∑k∈Ei

pikpk




pi = 1 ;

pi = 0

pi =∑k∈S

pikpk

pi =∑k∈Ei

pikpk




pi = 1 ;

pi = 0

pi =∑k∈S

pikpk

pi =∑k∈Ei

pikpk




pi = 1 ;

pi = 0

pi =∑k∈S

pikpk

pi =∑k∈Ei

pikpk




pi = 1 ;

pi = 0

pi =∑k∈S

pikpk

pi =∑k∈Ei

pikpk



x

0

y 1



x

y2 0

y 1+y2 1



x

3y4

y2 0

y 1+y2

1+y2 1



x

7y8

3y4

y2 0

y 1+y2

1+y2 1



34

710

35

25 0

45

910

910 1



Durée moyenne

La valeur du délai d'absorption est égal à 1 augmenté de la moyennepondérée des délais d'absorption en les états voisins.

mi = 1+ ∑kÊ1

pikmk



Durée moyenne

La valeur du délai d'absorption est égal à 1 augmenté de la moyennepondérée des délais d'absorption en les états voisins.

mi = 1+ ∑kÊ1

pikmk



Xi =∑kÊ1

1ik(1+Yk)



Départ

P PP PPP PPPP

F FF FFP FFPP


Comportement asymptotique des chaînes de Markov

Sommaire


Automates

Découverte




Markov







V1

V3V2

0,2

0,1

0,8

0,3

0,1

0,2

0,6

0,5

0,2



matrice de transition



On notera x(k)i

la proportion de tra�quants qui se trouvent au matin dujour k dans la ville Vi .

Dé�nition 1 (Vecteur d'état)

On appelle vecteur d'état tout élément (x1, ...,xn) de Rn tel quex1+·· ·+xn = 1.

Ainsi, x (k) =(x(k)1 ,x

(k)2 ,x

(k)3

)est un vecteur d'état (pourquoi ?).

Démontrez que :∀k ∈ �1,n�, x (k) = x (k−1) ·P

puis que :

∀k ∈ �1,n�, x (k) = x (0) ·Pk



On notera x(k)i





(k)2 ,x

(k)3



puis que :

∀k ∈ �1,n�, x (k) = x (0) ·Pk



On notera x(k)i





(k)2 ,x

(k)3



puis que :

∀k ∈ �1,n�, x (k) = x (0) ·Pk



Supposons que le chef de la ma�a locale dispose de 1000 tra�quants quipartent tous le matin du jour 0 de la ville de Zlot. Quelle sera la proportionde tra�quants dans chacune des villes au bout d'une semaine ? d'un an ?Il s'agit donc de calculer des puissances successives de P.On obtient les proportions au bout d'une semaine en calculant x (0) ·p7 avecx (0) = (1000,0,0).Nous allons utiliser SCILAB pour les longs calculs.



Supposons que le chef de la ma�a locale dispose de 1000 tra�quants quipartent tous le matin du jour 0 de la ville de Zlot. Quelle sera la proportionde tra�quants dans chacune des villes au bout d'une semaine ? d'un an ?Il s'agit donc de calculer des puissances successives de P.On obtient les proportions au bout d'une semaine en calculant x (0) ·p7 avecx (0) = (1000,0,0).Nous allons utiliser SCILAB pour les longs calculs.



Dé�nition 2 (Matrice de transition régulière)

Une matrice de transition A est dite régulière si, et seulement si, il existe unentier naturel r tel que Ar a ses coe�cients tous strictement positifs.



Théorème 3 (Théorème des chaînes de Markov régulières)

Soit A une matrice régulière. Il existe une matrice stochastique :

A∞ =

a1 a2 · · · an

a1 a2 · · · an...

......

...

a1 a2 · · · an

telles que lim

n→+∞An =A∞.

De plus, v = (a1,a2, · · · ,an) est l'unique vecteur d'état stationnaire (tel que

v ·A= v).


Documents

Chaînes de Markov : une initiation pdf/markov_info1... · Chaînes de Markov : une initiation INFO1 - Semaine 22 Guillaume CONNAN IUT de Nantes - Dpt d'informatique Dernière mise