136
Markov Notation et notions de base Classication des Øtats ProbabilitØs dabsorption Loi stationnaire RØfØrences Les chanes de Markov 3-602-84 ModLles probabilistes et stochastiques de la gestion GeneviLve Gauthier HEC MontrØal Janvier 2011

Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Embed Size (px)

Citation preview

Page 1: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Les chaînes de Markov3-602-84

Modèles probabilistes et stochastiques de la gestion

Geneviève Gauthier

HEC Montréal

Janvier 2011

Page 2: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Chaîne de MarkovIntroduction

Ce texte a été librement inspiré de notes prises au cours deDenis Labelle, professeur au département de mathématique delUniversité du Québec à Montréal, du chapitre 2 de A FirstCourse in Stochastic Processes, deuxième édition de S. Karlinet H. M. Taylor ainsi que de notes de cours écrites par JeanVaillancourt.

Page 3: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Dénition IProcessus markoviens

DenitionUn processus stochastique X = fXt : t 2 T g, où T est unensemble dindicesa, est dit markovien si, pour toutt1 < t2 < ... < tn 2 T , la distribution conditionnelle de Xtnétant donné Xt1 , ...,Xtn1 est égale à la distributionconditionnelle de Xtn étant donné Xtn1 , cest-à-dire que pourtout x1, ..., xn 2 R,

P [Xtn xn jXt1 = x1, ...,Xtn1 = xn1 ]= P [Xtn xn jXtn1 = xn1 ] .

aPar exemple, T = f0, 1, 2, ...g, T = f0, 1, 2, ...,T g où T est un entierpositif, T = [0,T ] où T est un nombre réel positif, T = [0,∞), etc.

Page 4: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Dénition IIProcessus markoviens

Intuitivement, si nous supposons que les indices t sonttemporels, le processus X est markovien si sa distributiondans le futur, étant donné le présent et le passé, nedépend que du présent.

Une chaîne de Markov est donc un phénomènealéatoire sans mémoire : la distribution duneobservation à venir, étant donné la connaissanceactuelle du système et de toute son histoire, est lamême lorsque nous navons accès quà laconnaissance de son état actuel (Jean Vaillancourt)

DenitionLensemble des valeurs pouvant être prises par le processus estappelé lespace détats de X et nous le dénotons par EX .

Page 5: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Dénition IIIProcessus markoviens

DenitionSoit X = fXt : t 2 T g, un processus stochastique. Si T estun ensemble ni ou dénombrable, alors le processus X est dit àtemps discret, sinon, il est dit à temps continu.

DenitionUn processus markovien X est appelé chaîne de Markov silespace de ses états est un ensemble ni(EX = fx0, x1, ..., xmg) ou dénombrable (EX = fx0, x1, x2...g).

Page 6: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Dénition IVProcessus markoviens

DenitionLa loi de transition dune chaîne de Markov à temps discretest donnée par une suite fPn : n 2 f0, 1, 2, ...gg de matrices dedimension Card (EX ) Card (EX ) où lélément situé àlintersection de la i ième ligne et de la j ième colonne de lamatrice Pn est

pij (n) = P [Xn = xj jXn1 = xi ] , (xi , xj ) 2 EX EX .

Si la loi de transition ne dépend pas du temps, cest-à-dire que

8n 2 N, P [Xn = xj jXn1 = xi ] = pij , (xi , xj ) 2 EX EX ,

alors la chaîne de Markov est dite homogène et la matrice P ,constituée des probabilités de transition pij , est appelée lamatrice de transition.

Page 7: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Dénition VProcessus markoviens

Une chaîne de Markov homogène à temps discret X estentièrement caractérisée par la donnée de

son espace détats EX ,sa matrice de transition P ,ainsi que sa distribution initiale !p (0) dont la i ièmecomposante est la probabilité que la chaîne démarre danslétat xi , cest-à-dire que

pi (0) = P [X0 = xi ] .

Page 8: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Dénition VIProcessus markoviens

Dès à présent et tout au long de ce chapitre,X = fXn : n 2 f0, 1, 2, ...gg représente une chaîne deMarkov homogène à temps discret.

Il est sous-entendu que son espace détats est EX etquelle est gouvernée par la matrice de transition P ainsique la distribution initiale !p (0).

Page 9: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IDi¤usion des gaz

Cas particulier du modèle de Bernoulli-Laplace pour ladi¤usion des gaz

Une boîte à deux compartiments contient r boules noireset r boules blanches, distribuées de sorte que chaquecompartiment contienne r boules en tout.

Si X0 représente le nombre de boules blanches dans lecompartiment de gauche et si, à la n ième étape, nouschoisissons au hasard une boule dans chaquecompartiment et nous les échangeons an dobtenir unnombre Xn de boules blanches à gauche, alorsfXn : n 2 f0, 1, 2, ...gg forme une chaîne de Markov.Son espace détats est EX = f0, 1, ..., rg .

Page 10: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IIDi¤usion des gaz

Déterminons maintenant sa matrice de transition. Si, autemps n, le compartiment de gauche contient i boulesblanches alors :

Compartiment de gauche Compartiment de droite

i boules blanchesr i boules noires

r i boules blanchesi boules noires

P [tirer une boule blanche] = ir

P [tirer une boule noire] = rir

P [tirer une boule blanche] = rir

P [tirer une boule noire] = ir

Page 11: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IIIDi¤usion des gaz

Compartiment de gauche Compartiment de droite

i boules blanchesr i boules noires

r i boules blanchesi boules noires

Parce que les tirages des boules dans chacun descompartiments se font de façon indépendante,

P

tirer une boule blanche dans le compartiment de gaucheet tirer une boule blanche dans le compartiment de droite

Xn = i=

irr ir,

Ptirer une boule blanche dans le compartiment de gaucheet tirer une boule noire dans le compartiment de droite

Xn = i=

irir,

Page 12: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IVDi¤usion des gaz

Compartiment de gauche Compartiment de droite

i boules blanchesr i boules noires

r i boules blanchesi boules noires

Poursuivons :

P

tirer une boule noire dans le compartiment de gaucheet tirer une boule blanche dans le compartiment de droite

Xn = i=

r ir

r ir,

P

tirer une boule noire dans le compartiment de gaucheet tirer une boule noire dans le compartiment de droite jXn = i

=

r ir

ir.

Page 13: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VDi¤usion des gaz

Di¤usion des gaz.xls

Page 14: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VIDi¤usion des gaz

Dans les première et dernière situations, le nombre Xn+1de boules blanches dans le compartiment de gauche aprèsléchange nest pas modié, cest-à-dire que Xn+1 = i .Dans le deuxième cas, il diminue de 1 à condition quei 6= 0Dans le troisième cas, il augmente de 1 si i 6= r .

Par conséquent,

pij =

8>>>>>>>>>>><>>>>>>>>>>>:

i 2r 2 si i 6= 0 et j = i 1

(ri )2r 2 si i 6= r et j = i + 1

2 i (ri )r 2 si i 6= 0, i 6= r et j = i

0 sinon

.

Page 15: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VIIDi¤usion des gaz

Question. Quelle est la distribution initiale de cettechaîne de Markov?

Réponse. Il en existe une innité, car rien nestmentionné dans la donnée du problème quant à lasituation initiale de la chaîne. Cependant, nous pouvonsconsidérer quelques cas.

Page 16: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VIIIDi¤usion des gaz

Rappelons-nous que cette chaîne se veut un modèle pourla di¤usion des gaz. Si, au départ, les deux gaz sontcomplètement séparés, alors !p (0) = !e1 ou encore!p (0) = !er .

Il est courant, en algèbre vectorielle, de dénoter par !ei levecteur élémentaire formé dun 1 à la i ième position et de0 partout ailleurs :

0, ..., 0, 1i ième position

, 0, ..., 0>

.

Une autre situation est celle ou parmi les 2r boules, nousen choisissons r au hasard que nous plaçons dans lecompartiment de gauche.

Comme cest un tirage sans remise, le nombre X0 de boulesblanches dans le compartiment de gauche suit une loihypergéométrique de paramètres N1 = r , N2 = r et n = r .

Page 17: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IXDi¤usion des gaz

Par exemple, si r = 5, alors

!p > (0)

=

(50)(

55)

(105 ),(51)(

54)

(105 ),(52)(

53)

(105 ),(53)(

52)

(105 ),(54)(

51)

(105 ),(55)(

50)

(105 )

!

=

1252

,25252

,100252

,100252

,25252

,1252

= (0, 00397; 0, 09921; 0, 39683; 0, 39683; 0, 09921; 0, 00397) .

Page 18: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple XDi¤usion des gaz

Nous pouvons aussi déterminer la matrice de transition :

P =

0BBBBBBBB@

0 1 0 0 0 0125

825

1625 0 0 0

0 425

1225

925 0 0

0 0 925

1225

425 0

0 0 0 1625

825

125

0 0 0 0 1 0

1CCCCCCCCA

Page 19: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Graphe de transition

DenitionLorsque le nombre détats nest pas trop grand, il est possiblede représenter lévolution de la chaîne de Markov à laide dugraphe de transition : les états forment les sommets tandisquune èche joint létat xi à létat xj si pij > 0.

Dans lexemple précédent, le graphe de transition est

543210

Page 20: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IProcessus non markovien

Reprenons lexemple illustrant lévolution du prix duntitre.

Supposons que lensemble fondamental estΩ = fω1,ω2,ω3,ω4g et que T = f0, 1, 2, 3g.Le processus stochastique X = fXt : t 2 f0, 1, 2, 3ggreprésente lévolution du prix dune action, Xt = le prix delaction à la fermeture de la bourse au t ième jour,linstant t = 0 représentant aujourdhui.

Page 21: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IIProcessus non markovien

ω X0 (ω) X1 (ω) X2 (ω) X3 (ω) P (ω)

ω1 1 12 1 1

2 ?

ω2 1 12 1 1

2 ?

ω3 1 2 1 1 38

ω4 1 2 2 2 28

Page 22: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IIIProcessus non markovien

Ce processus nest pas markovien car

PX3 =

12

X2 = 1 = P fω1,ω2gP fω1,ω2,ω3g

=38 86=12

et

PX3 =

12

X1 = 12et X2 = 1

=P fω1,ω2gP fω1,ω2g

= 1.

cest-à-dire que la connaissance de lhistoire du processuscontribue à une meilleure prévision du comportement futur duprocessus.

Page 23: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple ILa ruine du joueur

Deux joueurs possédant initialement des fortunes de r etn r dollars respectivement (r et n sont des entierspositifs tels que r < n), misent et jouent jusquà la ruinede lun deux.

Disons que le deuxième joueur représente le croupiertandis que le premier joueur détermine la mise.

Ce dernier gagne sa mise avec probabilité p (0 < p < 1)ou la perd avec probabilité q = 1 p, et ce,indépendamment de lhistoire du jeu.

Les seules mises possibles sont des multiples dun dollar etil ny a pas demprunt possible.

Page 24: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IILa ruine du joueur

Étudions deux stratégies populaires pour ce jeu :

a lapproche audacieuse qui consiste pour le premier joueurà miser à chaque tour le minimum entre sa fortunepersonnelle et le montant requis pour sa victoire;

b lapproche timide qui consiste pour le premier joueur àmiser un dollar à chaque tour.

Supposons que Xn représente la fortune du premier joueuraprès le n ième jeu.

La distribution initiale est !p (0) = (0, ..., 0, 1, 0, ..., 0)>où le 1 se situe en position r .

Page 25: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IIILa ruine du joueur

Pour lapproche timide, le graphe de transition est

nn ­1...210

et la matrice de transition est

Pb =

0BBBBBBBB@

1 0 0 0 0 ... 0 0 0q 0 p 0 0 ... 0 0 00 q 0 p 0 ... 0 0 00 0 q 0 p ... 0 0 0... ... ... ... ... ... ... ... ...0 0 0 0 0 ... q 0 p0 0 0 0 0 ... 0 0 1

1CCCCCCCCA(n+1)(n+1)

Page 26: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IVLa ruine du joueur

Dans le cas de lapproche audacieuse,

Pa =

0BBBBBBBBB@

1 0 0 0 0 0 0 ... 0 0 0 0 0q 0 p 0 0 0 0 ... 0 0 0 0 0q 0 0 0 p 0 0 ... 0 0 0 0 0q 0 0 0 0 0 p ... 0 0 0 0 0... ... ... ... ... ... ... ... ... ... ... ... ...0 0 0 0 0 0 0 ... q 0 0 0 p0 0 0 0 0 0 0 ... 0 0 q 0 p0 0 0 0 0 0 0 ... 0 0 0 0 1

1CCCCCCCCCA(n+1)(n+1)

En fait,

pij =

8>><>>:1 si i = j = 0 ou si i = j = np si 1 i < n

2 et j = 2i ou sin2 i n 1 et j = n

q si 1 i n2 et j = 0 ou si

n2 < i n 1 et j = 2i n

0 sinon

.

Page 27: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VLa ruine du joueur

Y a-t-il une stratégie meilleure que lautre?

Pour répondre à cette question, nous allons nousapprofondir létude des chaînes de Markov en général etnous reviendrons périodiquement à cet exemple.

Page 28: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VILa ruine du joueur

La ruine du joueur.xls

Page 29: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Distribution au temps n IChaîne de Markov

Soit pi (n), la probabilité que le processus soit dans létat xi autemps n :

pi (n) = P [Xn = xi ] .

Vectoriellement, nous pouvons écrire

!p (n) =

0BB@p1 (n)p2 (n)...

pm (n)

1CCA ou !p (n) =

0@ p1 (n)p2 (n)...

1Aselon que lespace EX des états est ni (ci-dessus, cet ensemblecomprend m éléments) ou dénombrable.

Page 30: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Distribution au temps n IIChaîne de Markov

La donnée de la matrice de transition P et la distributioninitiale !p (0) permet de déterminer !p (n) à tout instant. Ene¤et, pour tout entier positif n ainsi que pour tout xj 2 EX ,

pj (n) = P [Xn = xj ]

= ∑xi2EX

P [Xn = xj et Xn1 = xi ]

= ∑xi2EX

P [Xn = xj jXn1 = xi ]| z =pij

P [Xn1 = xi ]| z =pi (n1)

= ∑xi2EX

pij pi (n 1) .

Vectoriellement, cette relation sexprime sous la forme suivante:

!p (n) = P> !p (n 1) (1)

où P> représente la transposée de la matrice de transition P .

Page 31: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Distribution au temps n IIIChaîne de Markov

Rappel : !p (n) = P> !p (n 1)Ainsi, lorsque n = 1,

!p (1) = P> !p (0) .

Si n = 2,

!p (2) = P> !p (1)| z =P> !p (0)

= P>P> !p (0) =P>2 !p (0) .

Notre intuition nous laisse croire que !p (n) devrait êtreégal à

P>n !p (0), ce qui est établi au lemme suivant.

Page 32: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Distribution au temps n IVChaîne de Markov

TheoremLemme 4.1. Soit X = fXn : n 2 f0, 1, 2, ...gg, une chaîne deMarkov homogène à temps discret ayant P comme matrice detransition. Alors pour tous entiers non négatifs m et n,

!p (m+ n) =P>n !p (m) . (2)

Lorsque m = 0, nous avons que

!p (n) =P>n !p (0) ,

ce qui conrme notre intuition. Notons queP>0= I ou I

représente la matrice identité.

Page 33: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Distribution au temps n VChaîne de Markov

Démonstration. Rappelons que

!p (n) = P> !p (n 1) . (3)

Cette preuve se fait par induction. Léquation (3)démontre que léquation (2) est déjà vériée dans le casoù n = 1.

Supposons maintenant que léquation (2)

!p (m+ n) =P>n !p (m)

Page 34: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Distribution au temps n VIChaîne de Markov

est vériée pour un certain entier positif n et montronsquelle est alors aussi vériée pour lentier n+ 1 suivant:

!p (m+ n+ 1)= P> !p (m+ n) par léquation (3)= P>

P>n !p (m) par hyp. dinduction

=P>n+1 !p (m) .

Page 35: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Distribution au temps n VIIChaîne de Markov

Exercice. Montrez que pour tous entiers m, n 0,

(Pm)ij = P [X (m+ n) = xj jX (n) = xi ] , xi , xj 2 EX

où (Pm)ij représente lélément à lintersection de la i ièmeligne et de la j ième colonne de la matrice Pm .

Page 36: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IDistribution du processus au temps n

Cas particulier du modèle de Bernoulli-Laplace pour ladi¤usion des gazReprenons le modèle de di¤usion des gaz. Rappelons que Xnreprésente le nombre de boules blanches dans le compartimentde gauche après le n ième échange. Nous avons déjà établi quelorsque r = 5, la matrice de transition est

P =

0BBBBBBBB@

0 1 0 0 0 0125

825

1625 0 0 0

0 425

1225

925 0 0

0 0 925

1225

425 0

0 0 0 1625

825

125

0 0 0 0 1 0

1CCCCCCCCA

Page 37: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IIDistribution du processus au temps n

Supposons que !p > (0) = (1, 0, 0, 0, 0, 0), cest-à-dire quavantle premier échange, le compartiment de gauche ne contient quedes boules noires. Alors

!p (1) =P>1 !p (0) =

0BBBBBBBBB@

0 125 0 0 0 0

1 825

425 0 0 0

0 1625

1225

925 0 0

0 0 925

1225

1625 0

0 0 0 425

825 1

0 0 0 0 125 0

1CCCCCCCCCA

0BBBBBB@100000

1CCCCCCA =

0BBBBBB@010000

1CCCCCCA

Page 38: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IIIDistribution du processus au temps n

!p (2) =P>2 !p (0)

=

0BBBBBBBBB@

0 125 0 0 0 0

1 825

425 0 0 0

0 1625

1225

925 0 0

0 0 925

1225

1625 0

0 0 0 425

825 1

0 0 0 0 125 0

1CCCCCCCCCA

20BBBBBB@100000

1CCCCCCA =

0BBBBBBBB@

1258251625

000

1CCCCCCCCA

Page 39: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IVDistribution du processus au temps n

!p (3) =

0BBBBB@0, 01280, 24480, 5120, 230400

1CCCCCA ;!p (4) =0BBBBB@

0, 009790, 173060, 485380, 294910, 03686

0

1CCCCCA ;!p (5) =0BBBBB@

0, 006920, 142830, 449900, 339890, 058980, 00147

1CCCCCA

!p (10) =

0BBBBB@0, 004180, 102450, 401140, 39250, 095970, 003 75

1CCCCCA ;!p (20) =0BBBBB@

0, 003970, 099230, 396850, 39680, 099190, 00397

1CCCCCA ;!p (30) =0BBBBB@

0, 003970, 099210, 396830, 396830, 099210, 00397

1CCCCCA

Page 40: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VDistribution du processus au temps n

Il semble que la distribution de la variable aléatoire Xnconverge vers une loi hypergéométrique(5, 5, 5) lorsque ngrandit. Cela dépend-il de la distribution initiale que nousavons choisie?

Page 41: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VIDistribution du processus au temps n

Modèle de Bernoulli-Laplace pour la di¤usion des gaz(suite)

Refaisons lexercice avec de nouvelles conditions initiales,disons !p (0) =

16 ,16 ,16 ,16 ,16 ,16

> :

!p (1) =

0BBBBBB@0, 006670, 246670, 246670, 246670, 246670, 00667

1CCCCCCA ;!p (2) =

0BBBBBB@0, 009870, 125070, 365070, 365070, 125070, 00987

1CCCCCCA ;!p (3) =

0BBBBBB@0, 00500, 10830, 38670, 38670, 10830, 0050

1CCCCCCA

!p (4) =

0BBBBBB@0, 004330, 101530, 394140, 394140, 101530, 00433

1CCCCCCA ;!p (5) =

0BBBBBB@0, 004060, 099880, 396060, 396060, 099880, 00406

1CCCCCCA ;!p (10) =

0BBBBBB@0, 003970, 099210, 396820, 396820, 099210, 00397

1CCCCCCA

Page 42: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VIIDistribution du processus au temps n

Il semble que, encore une fois, la distribution de la variablealéatoire Xn converge vers une loihypergéométrique(5, 5, 5) lorsque n grandit.

Page 43: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple VIIIDistribution du processus au temps n

Que se passe-t-il si la distribution initiale est justementhypergéométrique(5, 5, 5)?

!p (0) =

0BBBBBBBBBB@

125225252100252100252252521252

1CCCCCCCCCCA; !p (1) =

0BBBBBBBBBB@

0 125 0 0 0 0

1 825

425 0 0 0

0 1625

1225

925 0 0

0 0 925

1225

1625 0

0 0 0 425

825 1

0 0 0 0 125 0

1CCCCCCCCCCA

0BBBBBBBBBB@

125225252100252100252252521252

1CCCCCCCCCCA=

0BBBBBBBBBB@

125225252100252100252252521252

1CCCCCCCCCCA

et, par conséquent, pour tout entier positif n,

!p > =1252

,25252

,100252

,100252

,25252

,1252

,

cest-à-dire que la distribution du nombre Xn de boules blanchesdans le compartiment est la même quel que soit le moment.

Page 44: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple IXDistribution du processus au temps n

Attention! Da¢ rmer que la distribution de Xn est lamême que celle de Xm ne veut pas nécessairement direque Xn = Xm .

Est-ce que toutes les chaînes de Markov possèdent unedistribution limite ou si cela est une particularité de cetexemple? Nous tenterons de répondre à ces questionséventuellement. Pour le moment, nous devons nousdévelopper quelques outils...

Page 45: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Classication des états I

DenitionUn état xj dune chaîne de Markov X est dit accessible delétat xi sil existe un entier non négatif m tel que la probabilitédatteindre létat xj à partir de létat xi en m périodes estpositive, cest-à-dire que

9m 2 f0, 1, 2...g tel que (Pm)ij = P [Xn+m = xj jXn = xi ] > 0.

DenitionDeux états xi et xj communiquent si xi est accessible de xj etsi xj est accessible de xi .

Page 46: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Classication des états II

La relation de communication entre deux états est une relationdéquivalence. En e¤et,

Réexivité. 8xi 2 EX , xi communique avec lui-mêmeSymétrie. 8xi , xj 2 EX , si xi communique avec xj alors xjcommunique avec xiTransitivité. 8xi , xj , xk 2 EX , si xi communique avec xjet xj communique avec xk alors xi communique avec xk .

Exercice. Démontrez les trois propriétés ci-dessus

Page 47: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Classication des états III

DenitionCette relation déquivalence permet de partager les états dunechaîne de Markov en classe :

(a)Tous les états dune même classe

communiquent entre eux.

(b)Deux états appartenant à deux classes distinctes

ne communiquent pas.

Page 48: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Classication des états IV

DenitionUne classe C EX est dite stable ou fermée (nous utiliseronsle terme stable) si

fxj 2 C c : 9xi 2 C tel que xj est accessible de xig = ?,

cest-à-dire quil nest pas possible de séchapper de la classe C .

Cette dénition est équivalente à la condition

8xi 2 C , ∑xj2C

pij = 1,

cest-à-dire quen partant de nimporte quel état xi de laclasse C , il est certain (avec probabilité 1) de demeurerdans cette classe.

Page 49: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Classication des états V

En e¤et,

∑xj2C

pij = ∑xj2C

P [Xn+1 = xj jXn = xi ]

= P

24 [xj2C

fXn+1 = xjg jXn = xi

35car ces événements sont disjoints.

= P [Xn+1 2 C jXn = xi ] .

Page 50: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Classication des états VI

DenitionPar opposition, une classe C EX est dite instable ououverte (nous utiliserons le terme instable) si

fxj 2 C c : 9xi 2 C tel que xj est accessible de xig 6= ?

ou, de façon équivalente, si

9xi 2 C , ∑xj2C

pij < 1.

DenitionUne chaîne de Markov est dite irréductible si elle nest forméeque dune seule classe (nécessairement stable).

Page 51: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Classication des états VIIExemple 1. La chaîne de Markov de cet exemple estirréductible.

543210

Exemple 2. En ce qui concerne la stratégie timide, la chaîneest formée de trois classes : les deux premières, C1 = f0g etC2 = fng sont stables tandis que la troisième,C3 = f1, 2, ..., n 1g est instable.

nn ­1...210

Page 52: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Périodicité I

DenitionLa période d (i) de létat xi 2 EX de la chaîne de Markov Xest le plus grand commun diviseur de

fn 2 f1, 2, ...g : (Pn)ii > 0g

si cet ensemble est non vide et 0 sinon.

Exemple. Considérons la chaîne de Markov X ayantEX = fx0, x1, x2g comme espace détats et

P =

0@ 0 1 014 0 3

40 1 0

1A x0 x1 x2

Page 53: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Périodicité II

comme matrice de transition. Puisque, pour tout entier k nonnégatif,

P2k =

0@ 14 0 3

40 1 014 0 3

4

1A ,P2k+1 =0@ 0 1 0

14 0 3

40 1 0

1A .alors

fn 2 f1, 2, ...g : (Pn)00 > 0g = f2, 4, 6, 8, ...g

ce qui implique que la période de létat x0 est 2. Cela signieque si nous initialisons la chaîne à létat x0, alors nous nepourrons revenir à cet état quaux instants pairs.

Page 54: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Périodicité III

Exemple. Considérons la chaîne de Markov X ayantEX = fx0, x1, x2g comme espace détats et

P =

0BB@0 1 0

0 14

34

0 14

34

1CCAx0

&x2 x1

Commefn 2 f1, 2, ...g : (Pn)00 > 0g = ?,

alors la période de létat x0 est 0.

Page 55: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Périodicité IV

Exemple. Considérons la chaîne de Markov X ayantEX = fx0, x1, x2g comme espace détats et

P =

0@ 0 1 00 0 134

14 0

1A x0" &x2 x1

Comme

fn 2 f1, 2, ...g : (Pn)00 > 0g = f3, 5, 6, ...g ,

alors la période de létat x0 est 1.

Page 56: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Périodicité V

DenitionLorsquun état est de période 1, il est dit apériodique. Unechaîne de Markov est qualiée dapériodique si tous ses étatsle sont.

TheoremLemme 4.2. Tous les états dune même classe ont la mêmepériode.

Page 57: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Preuve IPériodicité

Preuve. Soit xi et xj deux états quelconques appartenant à lamême classe. Supposons dans un premier temps que d (j) > 0.Puisque ces deux états communiquent, il existe des entiers nonnégatifs m et n tels que la probabilité datteindre létat xj àpartir de létat xi en m étapes, (Pm)ij > 0 est positive et quela probabilité datteindre létat xi à partir de létat xj en nétapes, (Pn)ji > 0 est aussi positive.

Page 58: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Preuve IIPériodicité

Ainsi, Pm+n

jj

= P [Xm+n = xj jX0 = xj ]= ∑

xk2EXP [Xm+n = xj jXn = xk ]P [Xn = xk jX0 = xj ]

P [Xm+n = xj jXn = xi ]P [Xn = xi jX0 = xj ]= (Pm)ij (Pn)ji > 0

ce qui implique que d (j) est un diviseur de m+ n car

d (j) = PGCDnn 2 f1, 2, ...g : (Pn)jj > 0

o.

Page 59: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Preuve IIIPériodicité

Plus généralement, nous avons que pour tout entier non négatifr tel que (P r )ii > 0,

Pm+r+njj

= P [Xm+r+n = xj jX0 = xj ]

= ∑k2EX

∑ek2EX0@ P [Xm+r+n = xj jXn+r = xk ]

PXn+r = xk

Xn = xek P

Xn = xek jX0 = xj

1A P [Xm+r+n = xj jXn+r = xi ]P [Xn+r = xi jXn = xi ]

P [Xn = xi jX0 = xj ]= (Pm)ij (P r )ii (Pn)ji > 0

ce qui implique que d (j) est un diviseur de m+ r + n.

Page 60: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Preuve IVPériodicité

Mais comme nous avons déjà établi que d (j) est diviseur dem+ n, alors il doit aussi être diviseur de r . En e¤et,

rd (j)

=m+ r + nd (j)| z 2N

m+ nd (j)| z 2N

2 N.

Par conséquent, d (j) est un diviseur commun aux éléments delensemble fr 2 f0, 1, 2, ...g : (P r )ii > 0g.

Page 61: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Preuve VPériodicité

Rappel : Par conséquent, d (j) est un diviseur commun auxéléments de lensemble fr 2 f0, 1, 2, ...g : (P r )ii > 0g.Mais comme d (i) est le plus grand commun diviseur deséléments de cet ensemble, d (j) est un diviseur de d (i) .Comme le choix de i et de j est arbitraire (en autant que lesdeux états appartiennent à la même classe), nous en déduisonsque d (i) est un diviseur de d (j). Par conséquent,d (i) = d (j).Supposons maintenant que d (j) = 0, cest-à-dire lorsque(P r )jj = 0 pour tout r . Alors

0 =Pm+r+n

jj (P

n)ji| z >0

(P r )ii (Pm)ij| z >0

ce qui implique que (P r )ii = 0. Comme r est un entier nonnégatif quelconque, d (i) = 0.

Page 62: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Exemple 2 IPériodicité

Exemple 2. En ce qui concerne la stratégie timide, la chaîneest formée de trois classes : les deux premières, C1 = f0g etC2 = fng sont stables tandis que la troisième,C3 = f1, 2, ..., n 1g est instable.

nn ­1...210

Page 63: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Exemple 2 IIPériodicité

d (0) = PGCD fn 2 f1, 2, ...g : (Pn)00 > 0g= PGCD f1, 2, ...g car (Pn)00 = 1 8n 2 f1, 2, ...g= 1

d (1) = PGCD fn 2 f1, 2, ...g : (Pn)11 > 0g= PGCD f2, 4, 6, ...g = 2

d (2) = ... = d (n 1) = d (1) = 2car les états x1, x2, ..., xn1appartiennent à la même classe

d (n) = PGCD fm 2 f1, 2, ...g : (Pm)nn > 0g= PGCD f1, 2, ...g = 1

Page 64: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence I

DenitionUn état xi est récurrent si, en partant de xi , la probabilité quela chaîne retourne éventuellement à létat xi est de 1. Si xinest pas récurrent, alors il est transitoire.

Denition

La probabilité f (n)ij est la probabilité du premier passage àlétat xj en partant de létat xi en exactement n périodes :

f (n)ij = P [Xn = xj ,Xn1 6= xj , ...,X1 6= xj jX0 = xi ] .

Page 65: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence II

La probabilité fij dun éventuel passage à létat xj en partant delétat xi sobtient des probabilités de premier passage :

fij= P [un éventuel passage à létat xj jX0 = xi ]

= P

"∞[n=1

fle premier passage à létat xj est e¤ectué au temps ng jX0 = xi

#

=∞

∑n=1

P [le premier passage à létat xj est e¤ectué au temps n jX0 = xi ]

car les événements impliqués sont disjoints

=∞

∑n=1

f (n)ij

Page 66: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence III

DenitionUtilisant cette nouvelle notation, nous pouvons réécrire quunétat xi est récurrent si et seulement si fii = 1 et quil esttransitoire si 0 fii < 1.Létat xi est dit absorbant si f

(1)ii = 1, cest-à-dire quen

partant de cet état, il est certain que la chaîne de Markovrestera dans cet état à la période suivante et à toutes lespériodes subséquentes.

Page 67: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence IV

TheoremThéorème 4.3. La probabilité de retourner une innité de foisen xj en partant de xi est égale à

PXn = xj pour une innité dentiers n 2 f1, 2, ...g jX0 = xi

=

0 si fjj < 1fij si fjj = 1

Ce théorème signie que si un état est récurrent, alors lachaîne peut le visiter une innité de fois tandis que si unétat est transitoire, la chaîne ne le visitera quun nombreni de fois.

Page 68: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence V

Preuve. Il su¢ t de montrer que pour tous états xi et xj ainsique pour tout entier m 2 f1, 2, ...g,

PXn = xj pour au moins m valeursdi¤érentes dentiers n 2 f1, 2, ...g

X0 = xi = fij f m1jj .

(4)car en laissant m tendre vers linni, le membre de droitesannule si fjj < 1 et est égal à fij si fjj = 1.Lorsque m = 1, léquation (4) est satisfaite par la dénitionmême de fij . En e¤et,

fij = P [un éventuel passage à létat xj jX0 = xi ]= P [Xn = xj pour au moins un n 2 f1, 2, ...g jX0 = xi ] .

Page 69: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence VI

Nous faisons en détail le cas m = 2, le cas général se traitantde la même façon quoique la notation salourdisse.

P [Xn = xj pour au moins 2 valeurs dentiers n 2 f1, 2, ...g jX0 = xi ]

= P

24 ∞[n1,n2=1

Xn1+n2 = xj ,Xn1+n21 6= xj , ...,Xn1+1 6= xj

Xn1 = xj ,Xn11 6= xj , ...,X1 6= xj

X0 = xi35

=∞

∑n1=1

∑n2=1

P

Xn1+n2 = xj ,Xn1+n21 6= xj , ...,Xn1+1 6= xjXn1 = xj ,Xn11 6= xj , ...,X1 6= xj

X0 = xi car ces événements sont disjoints

=∞

∑n1=1

∑n2=1

P [ fXn1+n2 = xj ,Xn1+n21 6= xj , ...,Xn1+1 6= xjgjXn1 = xj ]

P [ fXn1 = xj ,Xn11 6= xj , ...,X1 6= xjgjX0 = xi ]

Page 70: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence VII

=∞

∑n1=1

∑n2=1

P [ fXn2 = xj ,Xn21 6= xj , ...,X1 6= xjgjX0 = xj ]P [ fXn1 = xj ,Xn11 6= xj , ...,X1 6= xjgjX0 = xi ]

car la chaîne est homogène

=

"∞

∑n2=1

P [ fXn2 = xj ,Xn21 6= xj , ...,X1 6= xjgjX0 = xj ]#

"

∑n1=1

P [ fXn1 = xj ,Xn11 6= xj , ...,X1 6= xjgjX0 = xi ]#

=

"∞

∑n2=1

f (n2 )jj

# "∞

∑n1=1

f (n1 )ij

#= fjj fij

Page 71: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence VIII

Les probabilités de premier passage sont généralementdi¢ ciles à calculer, même sil existe une relation entrelensemble des probabilités de premier passagenf (n)ii : n 2 f0, 1, 2, ...g

oet lensemble des probabilités de

transition en un nombre déterminé détapesf(Pn)ii : n 2 f0, 1, 2, ...gg.

En e¤et,

(Pn)ii= P [Xn = xi jX0 = xi ]

=n

∑k=1

P [Xn = xi jXk = xi ]Ple premier passage à létat xiest e¤ectué au temps k

X0 = xi=

n

∑k=1

Pnk

iif (k )ii .

Page 72: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence IX

Par conséquent,

si n = 1 alorsf (1)ii = Pii ;

si n = 2 alors P2ii

= f (1)ii Pii + f (2)ii

= PiiPii + f (2)ii

) f (2)ii =P2ii (Pii )2 ;

Page 73: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence X

si n = 3 alorsP3ii

= f (1)ii

P2ii+ f (2)ii Pii + f (

3)ii

= PiiP2ii+P2ii (Pii )2

Pii + f (

3)ii

) f (3)ii =P3ii 2Pii

P2ii+ (Pii )3 ;

Page 74: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence XI

si n = 4 alors P4ii

= f (1)ii

P3ii+ f (2)ii

P2ii+ f (3)ii Pii + f (

4)ii

= PiiP3ii+P2ii (Pii )2

P2ii

+P3ii 2Pii

P2ii+ (Pii )3

Pii + f (

4)ii

) f (4)ii =P4ii 2Pii

P3iiP2ii

P2ii

+3 (Pii )2P2 (Pii )4

etc.

Il nous faut donc trouver une autre façon de déterminer si un état estrécurrent ou non.

Page 75: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence XII

TheoremThéorème 4.4. Un état xi est récurrent si et seulement si

∑n=1

(Pn)ii = ∞.

La preuve de ce théorème fait appel a des résultats danalyse. Ceuxqui aimeraient létudier peuvent la trouver dans le livre de SheldonRoss (débutant à la page 170 de la septième édition) ou aux pages 64à 66 du livre de S. Karlin et H. M. Taylor.

Page 76: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence XIII

TheoremThéorème 4.5. La récurrence est une propriété de classe, cest-à-direque si xi est un état récurrent appartenant à la classe C , alors tous lesétats de cette classe sont aussi récurrents.

Preuve .

Soit xi et xj deux états quelconques appartenant à la même classe.

Supposons que lun deux, disons xi , est récurrent.

Par le théorème précédent, cela implique que ∑∞n=1 (Pn)ii = ∞.

Maintenant, puisque ces deux états communiquent, il existe desentiers non négatifs m et n tels que (Pm)ij > 0 et (Pn)ji > 0.

Page 77: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence XIV

Ainsi, nous obtenons que pour tout entier non négatif r ,Pm+r+n

jj

= PXm+r+n = xj

X0 = xj = ∑

xk2EX∑

xek2EX

0@ PXm+r+n = xj jXm+r = xk

P

Xm+r = xk

Xm = xek P

Xm = xek X0 = xj

1A P

Xm+r+n = xj jXm+r = xi

P [Xm+r = xi jXm = xi ]

PXm = xi

X0 = xj = (Pn)ji (P r )ii (Pm)ji .

Page 78: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Récurrence XV

Par conséquent,

∑s=1

(P s )jj =m+n

∑s=1

(P s )jj +∞

∑s=m+n+1

(P s )jj

=m+n

∑s=1

(P s )jj +∞

∑r=1

Pm+r+n

jj

m+n

∑s=1

(P s )jj +∞

∑r=1

(Pn)ji (P r )ii (Pm)ij

=m+n

∑s=1

(P s )jj + (Pn)ji (Pm)ij∞

∑r=1

(P r )ii| z =∞

puisque xi est récurrent.

= ∞

Comme ∑∞s=1 (P s )jj = ∞, cela implique que xj est aussi récurrent.

Page 79: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1 I

Une promenade aléatoire sur les entiers Z est une chaînede Markov dont la loi de transition est davancer duneunité avec probabilité p (0 < p < 1) ou de reculer duneunité avec probabilité q = 1 p.

0­1­2... ...1 2

ppp pp p

qqq qqq

Ainsi, les éléments de la matrice de transition sont

pij =

8<:p si j = i + 1q si j = i 10 sinon

.

Page 80: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1 II

Nous pouvons, sans perte de généralité, supposer que lachaîne commence à létat 0, cest-à-dire que!p (0) = !e 0.

Page 81: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1 III

Comme cette chaîne ne contient quune seule classe, tousles états ont la même période et cette dernière est

d (0) = PGCD fn 2 f1, 2, ...g : (Pn)00 > 0g= PGCD f2, 4, 6, ...g= 2.

Par conséquent,P2n+1

00 = 0 puisquil est impossible de

revenir à létat 0 en partant de ce dernier en un nombreimpair de périodes.

Page 82: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1 IV

Marche aléatoire en une dimension.xls

Page 83: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1 V

Par contre, pour revenir à létat 0 en 2n périodes, il fautavoir fait n pas vers la droite et n pas vers la gauche.

Comme chacun de ces pas est indépendant des autres, lenombre Y de pas vers la droite en 2n essais suit une loibinomiale(2n, p).

Ainsi,

P2n

00 = P [Y = n] =

2nn

pnqn =

(2n)!n!n!

pnqn.

Page 84: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1 VI

La formule de Stirling stipule que n! est asymptotiquementéquivalent à nn

pnen

p2π.

Donc

P2n

00

= (2n)2np2ne2n

p2π

nnpnen

p2π nnpnen

p2πpnqn

=(4pq)npnπ

.

Page 85: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1VII

Si p 20, 12[ 12 , 1alors 4pq 2 (0, 1) et

∑n=1

(Pn)00 =∞

∑n=1

P2n

00

=∞

∑n=1

(4pq)npnπ

1pπ

∑n=0

(4pq)n

=1pπ

11 4pq < ∞

donc létat 0 est transitoire. Comme cest une propriété declasse, tous les états de la chaîne seront aussi transitoires.

Page 86: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1VIII

Si p = 12 alors 4pq = 1 et

∑n=1

(Pn)00 =∞

∑n=1

P2n

00=

∑n=1

1pnπ

= ∞

donc létat 0 est récurrent. Comme cest une propriété declasse, tous les états de la chaîne seront aussi récurrents.

Page 87: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire de dimension 1 IX

Intuitivement, si p > 12 , la promenade aléatoire a

tendance à fuir vers linni. De même, si p < 12 , la

promenade va se perdre à ∞. Tous les états sonttransitoires. Si p = 1

2 , la promenade reviendra (avecprobabilité 1) à son point de départ; de là, elle yreviendra encore, ... une innité de fois (DenisLabelle)

Page 88: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle I

La marche aléatoire symétrique dans Zd peut se dénir dela façon suivante: à chaque étape, un des 2d voisins delétat actuel de la chaîne est sélectionné (chacun de cesvoisins a une probabilité égale à 1

2d dêtre choisi) et cevoisin devient le nouvel état de la chaîne.

d = 2

une réalisation de la chaîneau temps n

une réalisation de la chaîneau temps n+ 1

Page 89: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle II

La marche aléatoire simple symétrique est récurrente dansle cas d 2 f1, 2g et transitoire lorsque d 2 f3, 4, 5, ...g.

Page 90: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle III

Marche aléatoire en deux dimensions.xls

Page 91: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle IV

Traitons le cas d = 2. Comme la marche aléatoire dansZ2 est irréductible et de période 2, alors

P2n+1

00 = 0.

Par ailleurs,

P2n

00

=n

∑m=0|z

choix du nombredallers-retoursverticaux

2n2m

| z

choix des momentsdes mouvements

verticaux

2mm

| z

choix des momentsdes mouvementsà la hausse

2n 2mnm

| z

choix des momentsdes mouvementsvers la droite

14

2n

Page 92: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle V

P2n

00

=n

∑m=0

2n2m

2mm

2n 2mnm

14

2n=

14

2n n

∑m=0

(2n)!(2n 2m)! (2m)!

(2m)!m!m!

(2n 2m)!(nm)! (nm)!

=

14

2n n

∑m=0

(2n)!m!m! (nm)! (nm)!

=

14

2n n

∑m=0

(2n)!n!n!

n!

m! (nm)!

2=

14

2n 2nn

n

∑m=0

nm

2

Page 93: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle VI

=

14

2n 2nn

n

∑m=0

nm

n

nm

| z

=(2nn )

Pour se convaincre de cette identité, il su¢ t dimaginer un groupecomposé de n garçons et de n lles. Il y a (2nn ) façons de choisir npersonnes dans ce groupe. Il y a ( nm)(

nnm) de choisir m garçons et

nm lles (Denis Labelle).

Page 94: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle VII

P2n

00

=

14

2n 2nn

2=

14

2n (2n)!n!n!

2=

14

2n 0@ (2n)2np2ne2n

p2π

nnpnen

p2π nnpnen

p2π1A2

(par la formule de Stirling)

=1nπ

Page 95: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Marche aléatoire symétriquemultidimensionnelle VIII

Ainsi,∞

∑n=1

(Pn)00 =∞

∑n=1

P2n

00=1π

∑n=1

1n= ∞.

Puisque la récurrence est une propriété de classe et que cette chaînede Markov est irréductible, alors tous les états sont récurrents.

La démonstration du résultat en grande dimension est technique. Lecas d = 3 est traité de façon détaillée aux pages 68-69 du livre de S.Karlin et H. M. Taylor.

Page 96: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Résultats IChaîne de Markov

TheoremThéorème 4.6. Si une classe C est instable, alors elle esttransitoire; si elle est récurrente, alors elle est stable. De plus,si lespace des états EX est de dimension nie, ces implicationssont des équivalences.

Preuve. Rappelons quune classe est instable si etseulement si

9xi 2 C , ∑xj2C

pij < 1.

Page 97: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Résultats IIChaîne de Markov

Ainsi, pour cet état xi 2 C , il existe un état xk /2 C tel quepik > 0. Mais comme ces deux états ne communiquent pas (ilsnappartiennent pas à la même classe), cela implique que

8n 2 f0, 1, 2, ..g , (Pn)ki = 0.

Cette dernière expression signie quen partant de létat xk , ilest impossible datteindre létat xi . Mais xk nest peut-être pasle seul état possédant cette caractéristique, cest pourquoi laprobabilité 1 fii de ne jamais revenir à létat xi satisfaitlinégalité

1 fii P [X1 = xk jX0 = xi ] = pik > 0,

ce qui implique que fii < 1, cest-à-dire que xii est transitoire.

Page 98: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Résultats IIIChaîne de Markov

La seconde partie de lénoncé nest que la contraposée dela première.

Rappel de lénoncé. Si une classe C est instable, alors elle esttransitoire; si elle est récurrente, alors elle est stable. De plus,si lespace des états EX est de dimension nie, ces implicationssont des équivalences.

Page 99: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Résultats IVChaîne de Markov

Attaquons-nous à la troisième partie de lénoncé.

Nous avons déjà étudié un exemple de chaîne de Markovirréductible (donc possédant une seule classenécessairement stable) possédant un nombre inini détatstous transitoires. Cest le cas de la marche aléatoireasymétrique de dimension 1. Donc il est faux da¢ rmerque toute classe stable est formée détats récurrents.

Par conséquent, an détablir les équivalences désirées, ilest nécessaire de supposer que la chaîne ne possède quunnombre ni détats.

Par conséquent, toute classe stable C ne contient quunnombre ni déléments.

Page 100: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Résultats VChaîne de Markov

Partant dun état de C , la chaîne ne pouvant en sortir,devra visiter au moins un état une innité de fois puisqueC ne contient quun nombre ni détats et que la chaîneévolue pendant un nombre inni de périodes.

Ainsi, cet état est récurrent.

Comme la récurrence est une propriété de classe, tous lesétats de C sont donc récurrents.

Page 101: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats

Probabilitésdabsorption

Loistationnaire

Références

Résultats VIChaîne de Markov

TheoremCorollaire 4.7. Toute chaîne de Markov sur un espace desétats EX ni possède au moins un état récurrent; si elle estirréductible, alors tous ces états sont récurrents.

Page 102: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 IProbabilités dabsorption

La ruine du joueur. Rappelons le contexte : deuxjoueurs possédant initialement des fortunes de r et n rdollars respectivement misent et jouent jusquà la ruine delun deux.

Une stratégie populaire à ce jeu est lapproche timide quiconsiste pour le premier joueur à miser un dollar à chaquetour.

Xn = la fortune du premier joueur après le n ième jeu.

La distribution initiale est !p (0) = !er .

Page 103: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 IIProbabilités dabsorption

La matrice de transition est

Pb =

0BBBBBBBB@

1 0 0 0 0 ... 0 0 0q 0 p 0 0 ... 0 0 00 q 0 p 0 ... 0 0 00 0 q 0 p ... 0 0 0... ... ... ... ... ... ... ... ...0 0 0 0 0 ... q 0 p0 0 0 0 0 ... 0 0 1

1CCCCCCCCA(n+1)(n+1)

.

Page 104: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 IIIProbabilités dabsorption

Cette chaîne se décompose en trois classes : f0g et fngqui sont stables et f1, 2, ..., n 1g qui est instable.Partant au temps 0 de létat r , la chaîne de Markov seraéventuellement absorbée dans une des deux classes stables.

Posons

θr = P [La chaîne est éventuellement absorbée en 0 jX0 = r ] .

Nous voulons déterminer θr en fonction de n de p et de r .

Bien sûr, nous avons

θ0 = 1 et θn = 0.

Page 105: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 IVProbabilités dabsorption

Lorsque 1 r n 1,

θr = P [La chaîne est éventuellement absorbée en 0 jX0 = r ]= P [La chaîne est éventuellement absorbée en 0 jX1 = r 1 ]

P [X1 = r 1 jX0 = r ]+P [La chaîne est éventuellement absorbée en 0 jX1 = r + 1 ]P [X1 = r + 1 jX0 = r ]

= θr1q + θr+1p.

Ainsi,

θ0 = 1, θn = 0 et 8r 2 f1, 2, ..., n 1g , θr = qθr1 + pθr+1. (5)

Page 106: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 VProbabilités dabsorption

Nous traiterons les situations p = 12 et p 6=

12

di¤éremment.

Supposons dabord que p = 12 . Dans ce cas, il est possible

de vérier que

θr =n rn, r 2 f0, 1, 2, ..., n 1, ng

est une solution à lexpression (5)

θr = qθr1 + pθr+1.

Page 107: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 VIProbabilités dabsorption

En e¤et, 8r 2 f1, 2, ..., n 1g,

12

θr1 +12

θr+1 =12n r + 1

n+12n r 1

n=n rn

= θr ,

θ0 =n 0n

= 1

et θn =n nn

= 0.

Page 108: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 VIIProbabilités dabsorption

Maintenant, si p 6= 12 , alors

θr =qr (pnr qnr )

pn qn , r 2 f0, 1, 2, ..., n 1, ng

est une solution à lexpression (5)

θr = qθr1 + pθr+1.

Page 109: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 VIIIProbabilités dabsorption

En e¤et, 8r 2 f1, 2, ..., n 1g

qθr1 + pθr+1

= qqr1

pnr+1 qnr+1

pn qn + p

qr+1pnr1 qnr1

pn qn

=qr (ppnr qqnr )

pn qn +qr (qpnr pqnr )

pn qn

=qr (ppnr qqnr + qpnr pqnr )

pn qn

=qr ((1 q) pnr (1 p) qnr + qpnr pqnr )

pn qn

=qr (pnr qpnr qnr + pqnr + qpnr pqnr )

pn qn

=qr (pnr qnr )

pn qn = θr ,

Page 110: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple 2 IXProbabilités dabsorption

θ0 =q0pn0 qn0

pn qn =

pn qnpn qn = 1

et θn =qn (pnn qnn)

pn qn =qn (1 1)pn qn = 0.

Page 111: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Probabilités dabsorptions I

Considérons une chaîne de Markov X possédant plusieursclasses stables dont une sera notée C0. Nous voulonsdéterminer la probabilité

θi = P [absorption éventuelle dans C0 jX0 = xi ] .

Évidemment,

θi =

1 si xi 2 C00 si xi est élément dune autre classe stable que C0.

(6)

Le problème est de déterminer θi lorsque xi appartient àune classe instable.

Page 112: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Probabilités dabsorptions II

Pour tout xi 2 EX , nous avons

θi

= P [absorption éventuelle dans C0 jX0 = xi ]= ∑

xj2EXP [absorption éventuelle dans C0 jX1 = xj ]

P [X1 = xj jX0 = xi ]= ∑

xj2EXθjpij

Theorem

Le vecteur!θ est donc solution du système déquations

linéaires!θ = P!θ auquel nous ajoutons les contraintes (6).

Page 113: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Temps moyen avant absorption I

Considérons une chaîne de Markov X dont lespace détatsest ni: EX = fx1, ..., xmg.Cette chaîne de Markov possède au moins une classe stableet elle sera éventuellement absorbée dans lun dentre elles.

Partant de X0 = xi , le nombre Ni de pas nécessaire avantque la chaîne soit absorbée dans une de ces classes stablesest une variable aléatoire. Dénotons par µi son espérance:

Theorem

µi = E [nombre de pas avant labsorption jX0 = xi ] .Les µi sobtiennent en résolvant le système déquationslinéaires suivant:

µi =

0 si xi est un élément dune classe stable

1+∑mj=1 pijµj si xi est un élément dune classe instable.

Page 114: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple ITemps moyen dabsorption

Considérons la chaîne de Markov décrite par le diagrammesuivant:

1 2

34

0,1

0,9

0,75 0,250,8

0,21

Cette chaîne est composée de deux classes:f1, 2, 3g qui estinstable et f4g qui est stable.

Page 115: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple IITemps moyen dabsorption

Le système de quatre équations à résoudre an dobtenirles nombres de pas espérés est

µ1 = 1+910µ2 +

110

µ4| z =0

µ3 = 1+45µ2 +

15

µ4|z=0

µ2 = 1+34µ1 +

14µ3 µ4 = 0

cest-à-dire0B@ 1 910 0

34 1 1

4

0 45 1

1CA0@ µ1

µ2µ3

1A =

0@ 111

1A

Page 116: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

ProbabilitésdabsorptionTemps moyenavant absorption

Loistationnaire

Références

Exemple IIITemps moyen dabsorption

La solution est0@ µ1µ2µ3

1A =

0B@775

16695

1CA =

0@ 15, 41613, 8

1A

Page 117: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Loi stationnaire I

Nous revenons maintenant à un des problèmes soulevéspar le modèle de di¤usion des gaz (exemple 1).

Nous avons remarqué quen initialisant la chaîne avecdi¤érentes distributions initiales, la loi du nombre de billesblanches dans le compartiment de gauche semblaitconverger vers une distribution hypergéométrique au fur età mesure que n grandit.

De plus, si nous amorçons la chaîne avec laditedistribution hypergéométrique, la loi des Xn est la même,quel que soit n.

Page 118: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Loi stationnaire II

Denition

Une fonction de masse !π = (πi : xi 2 EX ) sur EX eststationnaire pour la matrice de transition P si

P>!π = !π

ou encore si P> I

!π =!0 ,

I étant la matrice identité.

Page 119: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Loi stationnaire III

Une distribution stationnaire !π dune chaîne de Markov, si elleexiste, est telle que si X0 suit cette distribution, alors pour toutentier positif n, Xn suit aussi cette distribution. En e¤et,

!p (n) =P>n !p (0)

=P>n !π

car, par hypothèse, la distribution

initiale de la chaîne est !π=

P>n1

P>!π| z =!π

par dénition de !π

=P>n1 !π = ... = P>!π = !π = !p (0) .

Page 120: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple 1 ILoi stationnaire

Reprenons le modèle de di¤usion des gaz.

Rappelons que Xn représente le nombre de boules blanchesdans le compartiment de gauche après le n ième échange.

Nous avons déjà établi que lorsque r = 5, la matrice detransition est

P =

0BBBBBBBB@

0 1 0 0 0 0125

825

1625 0 0 0

0 425

1225

925 0 0

0 0 925

1225

425 0

0 0 0 1625

825

125

0 0 0 0 1 0

1CCCCCCCCA

Page 121: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple 1 IILoi stationnaire

Existe-t-il une distribution stationnaire !π ?Nous devons résoudre le système déquations linéairesP>!π = !π auquel nous ajoutons la contrainte∑5i=0 πi = 1 puisque nous recherchons une fonction de

masse.

0BBBBBBBBBBBB@

0 125 0 0 0 0

1 825

425 0 0 0

0 1625

1225

925 0 0

0 0 925

1225

1625 0

0 0 0 425

825 1

0 0 0 0 125 0

1 1 1 1 1 1

1CCCCCCCCCCCCA

0BBBBB@π0π1π2π3π4π5

1CCCCCA =

0BBBBBBB@

π0π1π2π3π4π51

1CCCCCCCA,

0BBBBB@π0π1π2π3π4π5

1CCCCCA =

0BBBBBBBBB@

12522525225632563252521252

1CCCCCCCCCA

Page 122: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Exemple 1 IIILoi stationnaire

Le modèle de Bernoulli-Laplace possède une seuledistribution stationnaire. Ce vecteur représente ladensité de boules blanches dans le compartiment degauche une fois lévolution du gaz stabilisée,cest-à-dire une fois le gaz à léquilibre.... Nous pouvons interpréter πk comme étant laproportion asymptotique de temps passé à létat xk .Lexistence dune telle limite est un problèmecomplètement résolu mais non trivial (JeanVaillancourt.)

Page 123: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Autre exemple ILoi stationnaire

Soit X la chaîne de Markov possédant lespace détatsEX = f0, 1, 2, 3, 4, 5g et la matrice de transition

P =

0BBBBBBBBB@

0 12

12 0 0 0

0 1 0 0 0 013

13 0 1

3 0 0

0 0 0 12

12 0

0 0 0 1 0 00 0 0 0 1 0

1CCCCCCCCCA.

Page 124: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Autre exemple IILoi stationnaire

En résolvant le systèmeP> I

!π =!0 auquel nous

avons ajouté la contrainte forçant la somme descomposantes du vecteur !π à être égale à 1, nousobtenons

0BBBBBBBBBBB@

1 0 13 0 0 0

12 0 1

3 0 0 012 0 1 0 0 0

0 0 13 1

2 1 0

0 0 0 12 1 1

0 0 0 0 0 11 1 1 1 1 1

1CCCCCCCCCCCA

0BBBBB@π1π2π3π4π5π6

1CCCCCA =

0BBBBBBB@

0000001

1CCCCCCCA) !π =

0BBBBB@0

3a + 102aa0

1CCCCCA .

Puisque les composantes de !π doivent être non négatives,nous avons que 0 a 1

3 . Il existe donc une innité dedistributions stationnaires.

Page 125: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Loi stationnaire

Nous venons de constater que la distribution stationnairenest pas nécessairement unique.

Il existe aussi des chaînes de Markov ne possédant pas dedistribution stationnaire. Par exemple, la promenadealéatoire sur les entiers Z ne possède pas de distributionstationnaire.

Les prochains théorèmes déterminent des conditions nousassurant lexistence ou la non-existence et lunicité ou lamultiplicité des distributions stationnaires de certaineschaînes de Markov. Nous nétudierons pas lesdémonstrations de ces résultats.

Page 126: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Un raisonnement parfois erroné ILoi stationnaire

Soit X , EX , P et !p (0) une chaîne de Markov, sonespace détats, sa matrice de transition ainsi que sadistribution initiale.

Nous avons pu lire chez certains auteurs le raisonnementsuivant :

limn!∞

!p (n) = limn!∞

!p (n+ 1)

= limn!∞

P> !p (n)

= P> limn!∞

!p (n)

donc la distribution limite limn!∞!p (n) satisfait le système

déquation linéaire

P> limn!∞

!p (n) = limn!∞

!p (n)

Page 127: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Un raisonnement parfois erroné IILoi stationnaire

ce qui en fait une distribution stationnaire. Ce raisonnementleur permet de prétendre que la distribution stationnairesinterprète intuitivement comme étant la loi permettant dedéterminer la probabilité que la chaîne se trouve dans un étatdonné lorsque nous lavons observée inniment longtemps.

Or cet enchaînement est parfois erroné et cela provient dufait quils supposent lexistence de la limite limn!∞

!p (n)comme lillustrent les deux prochains exemples.

Page 128: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Un raisonnement parfois erroné IIILoi stationnaire

Exemple. Soit X la chaîne de Markov à deux étatsEX = f0, 1g dont la matrice de transition est

P =0 11 0

.

Cette chaîne est irréductible et de période 2. En raison dela forme particulière de la matrice de transition,P2n+1

ii = 0 et

P2n

ii = 1, pour tout entier positif n.

Ainsi, la suite

f(Pn)ii : n 2 Ng = 010101010101...

ne converge pas. Par contre,nPnd (i )

ii

: n 2 No=P2n

ii : n 2 N

= 1111111...

converge vers 1.

Page 129: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Un raisonnement parfois erroné IVLoi stationnaire

Exemple. Promenade aléatoire avec bornes rééchissantes

Considérons la chaîne de Markov irréductible X à cinqétats EX = f0, 1, 2, 3, 4g possédant la matrice detransition

P =

0BBBBB@0 1 0 0 013 0 2

3 0 0

0 13 0 2

3 0

0 0 13 0 2

3

0 0 0 1 0

1CCCCCA .

Page 130: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Un raisonnement parfois erroné VLoi stationnaire

Tentons de déterminer si cette chaîne possède unedistribution stationnaire : résolvons le système déquationslinéaires

P> I

!π =!0 auquel nous ajoutons les

contraintes nécessaires pour que !π soit une fonction demasse.

0BBBBBBBBB@

1 13 0 0 0

1 1 13 0 0

0 23 1 1

3 0

0 0 23 1 1

0 0 0 23 1

1 1 1 1 1

1CCCCCCCCCA

0BBB@π0π1π2π3π4

1CCCA =

0BBBBB@000001

1CCCCCA)

0BBB@π0π1π2π3π4

1CCCA =

0BBBBBB@

1301101525415

1CCCCCCA .

Page 131: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Un raisonnement parfois erroné VILoi stationnaire

Cette chaîne possède donc une distribution stationnaireunique.Il est tentant de prétendre que si nous laissons la chaîneévoluer pendant une très longue période et que nouslobservons au terme de cette dernière, alors la probabilitéque la chaîne se trouve à létat i est πi .Or cette chaîne est de période 2, ce qui signie que si ladistribution initiale est, par exemple, !e2 alors la chaîne nepeut revenir à cet état quaux périodes pairs. Ainsi,

P2n+122 = 0 6=

15= π2

même si n est très grand.Il faut donc se méer de linterprétation donnée à ladistribution stationnaire lorsque certaines classes de lachaîne ne sont pas apériodiques.

Page 132: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Les résultats ILoi stationnaire

TheoremThéorème 4.8. Pour tout état xi de degré positif (d (i) > 0),la limite

limn!∞

Pnd (i )

ii

existe.

La démonstration de ce théorème est omise.

Page 133: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Les résultats IILoi stationnaire

DenitionLorsque létat xi est transitoire, alors la convergence de la série

∑n=1

(Pn)ii < ∞

implique que limn!∞ (Pn)ii = 0. Par contre, si létat xi estrécurrent, alors nous di¤érençons deux types : xi estrécurrent positif si limn!∞ (Pn)ii > 0 etrécurrent nul lorsque limn!∞ (Pn)ii = 0.

Remarque. Il est possible de montrer que la récurrencepositive est une propriété de classe.

Page 134: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Les résultats IIILoi stationnaire

TheoremThéorème 4.9. Une chaîne de Markov irréductible estrécurrente positive si et seulement si elle possède une et uneseule distribution stationnaire.

Nous ne démontrerons pas ce théorème.

TheoremCorollaire 4.10. Une chaîne de Markov irréductible sur unespace détats ni ne contient que des états récurrents positifs.

Page 135: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Les résultats IVLoi stationnaire

TheoremThéorème 4.11. Une chaîne de Markov irréductible etapériodique est nécessairement dun des deux types suivants :(i) ergotique, lorsque tous les états sont ergotiques,cest-à-dire récurrents positifs et apériodiques;(ii) non-ergotique, lorsque tous les états sont transitoiresou récurrents nuls.Lorsque la chaîne est ergotique, alors(a) limn!∞ (Pn)ij = πj > 0 pour tous les couples détatsxi et xj ,(b) il existe une et une seule distribution stationnaire !π .Lorsque la chaîne est non-ergotique, alors(a) limn!∞ (Pn)ij = 0 pour tous les couples détats xi etxj ,(b) il nexiste aucune distribution stationnaire.

Page 136: Les chaînes de Markov - HEC Montréalneumann.hec.ca/~p240/c360284/theme_2/04Markov.pdf · Markov Notation et notions de base Classi–cation des Øtats ProbabilitØs d™absorption

Markov

Notation etnotions debase

Classicationdes états

Probabilitésdabsorption

Loistationnaire

Références

Références

GUTTORP, Peter (1995). Stochastic Modeling ofScientic Data, Chapman and Hall, London, Great Britain.

KARLIN, Samuel et TAYLOR, M. Howard (1975). A FirstCourse in Stochastic Processes, deuxième édition,Academic Press, New York.

VAILLANCOURT, Jean (1997). Notes de cours SST479Probabilités et Statistique III, Département demathématiques et dinformatique de lUniversité deSherbrooke, Sherbrooke.