Upload
dinhliem
View
220
Download
0
Embed Size (px)
Citation preview
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Les chaînes de Markov3-602-84
Modèles probabilistes et stochastiques de la gestion
Geneviève Gauthier
HEC Montréal
Janvier 2011
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Chaîne de MarkovIntroduction
Ce texte a été librement inspiré de notes prises au cours deDenis Labelle, professeur au département de mathématique delUniversité du Québec à Montréal, du chapitre 2 de A FirstCourse in Stochastic Processes, deuxième édition de S. Karlinet H. M. Taylor ainsi que de notes de cours écrites par JeanVaillancourt.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Dénition IProcessus markoviens
DenitionUn processus stochastique X = fXt : t 2 T g, où T est unensemble dindicesa, est dit markovien si, pour toutt1 < t2 < ... < tn 2 T , la distribution conditionnelle de Xtnétant donné Xt1 , ...,Xtn1 est égale à la distributionconditionnelle de Xtn étant donné Xtn1 , cest-à-dire que pourtout x1, ..., xn 2 R,
P [Xtn xn jXt1 = x1, ...,Xtn1 = xn1 ]= P [Xtn xn jXtn1 = xn1 ] .
aPar exemple, T = f0, 1, 2, ...g, T = f0, 1, 2, ...,T g où T est un entierpositif, T = [0,T ] où T est un nombre réel positif, T = [0,∞), etc.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Dénition IIProcessus markoviens
Intuitivement, si nous supposons que les indices t sonttemporels, le processus X est markovien si sa distributiondans le futur, étant donné le présent et le passé, nedépend que du présent.
Une chaîne de Markov est donc un phénomènealéatoire sans mémoire : la distribution duneobservation à venir, étant donné la connaissanceactuelle du système et de toute son histoire, est lamême lorsque nous navons accès quà laconnaissance de son état actuel (Jean Vaillancourt)
DenitionLensemble des valeurs pouvant être prises par le processus estappelé lespace détats de X et nous le dénotons par EX .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Dénition IIIProcessus markoviens
DenitionSoit X = fXt : t 2 T g, un processus stochastique. Si T estun ensemble ni ou dénombrable, alors le processus X est dit àtemps discret, sinon, il est dit à temps continu.
DenitionUn processus markovien X est appelé chaîne de Markov silespace de ses états est un ensemble ni(EX = fx0, x1, ..., xmg) ou dénombrable (EX = fx0, x1, x2...g).
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Dénition IVProcessus markoviens
DenitionLa loi de transition dune chaîne de Markov à temps discretest donnée par une suite fPn : n 2 f0, 1, 2, ...gg de matrices dedimension Card (EX ) Card (EX ) où lélément situé àlintersection de la i ième ligne et de la j ième colonne de lamatrice Pn est
pij (n) = P [Xn = xj jXn1 = xi ] , (xi , xj ) 2 EX EX .
Si la loi de transition ne dépend pas du temps, cest-à-dire que
8n 2 N, P [Xn = xj jXn1 = xi ] = pij , (xi , xj ) 2 EX EX ,
alors la chaîne de Markov est dite homogène et la matrice P ,constituée des probabilités de transition pij , est appelée lamatrice de transition.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Dénition VProcessus markoviens
Une chaîne de Markov homogène à temps discret X estentièrement caractérisée par la donnée de
son espace détats EX ,sa matrice de transition P ,ainsi que sa distribution initiale !p (0) dont la i ièmecomposante est la probabilité que la chaîne démarre danslétat xi , cest-à-dire que
pi (0) = P [X0 = xi ] .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Dénition VIProcessus markoviens
Dès à présent et tout au long de ce chapitre,X = fXn : n 2 f0, 1, 2, ...gg représente une chaîne deMarkov homogène à temps discret.
Il est sous-entendu que son espace détats est EX etquelle est gouvernée par la matrice de transition P ainsique la distribution initiale !p (0).
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IDi¤usion des gaz
Cas particulier du modèle de Bernoulli-Laplace pour ladi¤usion des gaz
Une boîte à deux compartiments contient r boules noireset r boules blanches, distribuées de sorte que chaquecompartiment contienne r boules en tout.
Si X0 représente le nombre de boules blanches dans lecompartiment de gauche et si, à la n ième étape, nouschoisissons au hasard une boule dans chaquecompartiment et nous les échangeons an dobtenir unnombre Xn de boules blanches à gauche, alorsfXn : n 2 f0, 1, 2, ...gg forme une chaîne de Markov.Son espace détats est EX = f0, 1, ..., rg .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IIDi¤usion des gaz
Déterminons maintenant sa matrice de transition. Si, autemps n, le compartiment de gauche contient i boulesblanches alors :
Compartiment de gauche Compartiment de droite
i boules blanchesr i boules noires
r i boules blanchesi boules noires
P [tirer une boule blanche] = ir
P [tirer une boule noire] = rir
P [tirer une boule blanche] = rir
P [tirer une boule noire] = ir
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IIIDi¤usion des gaz
Compartiment de gauche Compartiment de droite
i boules blanchesr i boules noires
r i boules blanchesi boules noires
Parce que les tirages des boules dans chacun descompartiments se font de façon indépendante,
P
tirer une boule blanche dans le compartiment de gaucheet tirer une boule blanche dans le compartiment de droite
Xn = i=
irr ir,
Ptirer une boule blanche dans le compartiment de gaucheet tirer une boule noire dans le compartiment de droite
Xn = i=
irir,
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IVDi¤usion des gaz
Compartiment de gauche Compartiment de droite
i boules blanchesr i boules noires
r i boules blanchesi boules noires
Poursuivons :
P
tirer une boule noire dans le compartiment de gaucheet tirer une boule blanche dans le compartiment de droite
Xn = i=
r ir
r ir,
P
tirer une boule noire dans le compartiment de gaucheet tirer une boule noire dans le compartiment de droite jXn = i
=
r ir
ir.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VDi¤usion des gaz
Di¤usion des gaz.xls
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VIDi¤usion des gaz
Dans les première et dernière situations, le nombre Xn+1de boules blanches dans le compartiment de gauche aprèsléchange nest pas modié, cest-à-dire que Xn+1 = i .Dans le deuxième cas, il diminue de 1 à condition quei 6= 0Dans le troisième cas, il augmente de 1 si i 6= r .
Par conséquent,
pij =
8>>>>>>>>>>><>>>>>>>>>>>:
i 2r 2 si i 6= 0 et j = i 1
(ri )2r 2 si i 6= r et j = i + 1
2 i (ri )r 2 si i 6= 0, i 6= r et j = i
0 sinon
.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VIIDi¤usion des gaz
Question. Quelle est la distribution initiale de cettechaîne de Markov?
Réponse. Il en existe une innité, car rien nestmentionné dans la donnée du problème quant à lasituation initiale de la chaîne. Cependant, nous pouvonsconsidérer quelques cas.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VIIIDi¤usion des gaz
Rappelons-nous que cette chaîne se veut un modèle pourla di¤usion des gaz. Si, au départ, les deux gaz sontcomplètement séparés, alors !p (0) = !e1 ou encore!p (0) = !er .
Il est courant, en algèbre vectorielle, de dénoter par !ei levecteur élémentaire formé dun 1 à la i ième position et de0 partout ailleurs :
0, ..., 0, 1i ième position
, 0, ..., 0>
.
Une autre situation est celle ou parmi les 2r boules, nousen choisissons r au hasard que nous plaçons dans lecompartiment de gauche.
Comme cest un tirage sans remise, le nombre X0 de boulesblanches dans le compartiment de gauche suit une loihypergéométrique de paramètres N1 = r , N2 = r et n = r .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IXDi¤usion des gaz
Par exemple, si r = 5, alors
!p > (0)
=
(50)(
55)
(105 ),(51)(
54)
(105 ),(52)(
53)
(105 ),(53)(
52)
(105 ),(54)(
51)
(105 ),(55)(
50)
(105 )
!
=
1252
,25252
,100252
,100252
,25252
,1252
= (0, 00397; 0, 09921; 0, 39683; 0, 39683; 0, 09921; 0, 00397) .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple XDi¤usion des gaz
Nous pouvons aussi déterminer la matrice de transition :
P =
0BBBBBBBB@
0 1 0 0 0 0125
825
1625 0 0 0
0 425
1225
925 0 0
0 0 925
1225
425 0
0 0 0 1625
825
125
0 0 0 0 1 0
1CCCCCCCCA
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Graphe de transition
DenitionLorsque le nombre détats nest pas trop grand, il est possiblede représenter lévolution de la chaîne de Markov à laide dugraphe de transition : les états forment les sommets tandisquune èche joint létat xi à létat xj si pij > 0.
Dans lexemple précédent, le graphe de transition est
543210
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IProcessus non markovien
Reprenons lexemple illustrant lévolution du prix duntitre.
Supposons que lensemble fondamental estΩ = fω1,ω2,ω3,ω4g et que T = f0, 1, 2, 3g.Le processus stochastique X = fXt : t 2 f0, 1, 2, 3ggreprésente lévolution du prix dune action, Xt = le prix delaction à la fermeture de la bourse au t ième jour,linstant t = 0 représentant aujourdhui.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IIProcessus non markovien
ω X0 (ω) X1 (ω) X2 (ω) X3 (ω) P (ω)
ω1 1 12 1 1
2 ?
ω2 1 12 1 1
2 ?
ω3 1 2 1 1 38
ω4 1 2 2 2 28
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IIIProcessus non markovien
Ce processus nest pas markovien car
PX3 =
12
X2 = 1 = P fω1,ω2gP fω1,ω2,ω3g
=38 86=12
et
PX3 =
12
X1 = 12et X2 = 1
=P fω1,ω2gP fω1,ω2g
= 1.
cest-à-dire que la connaissance de lhistoire du processuscontribue à une meilleure prévision du comportement futur duprocessus.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple ILa ruine du joueur
Deux joueurs possédant initialement des fortunes de r etn r dollars respectivement (r et n sont des entierspositifs tels que r < n), misent et jouent jusquà la ruinede lun deux.
Disons que le deuxième joueur représente le croupiertandis que le premier joueur détermine la mise.
Ce dernier gagne sa mise avec probabilité p (0 < p < 1)ou la perd avec probabilité q = 1 p, et ce,indépendamment de lhistoire du jeu.
Les seules mises possibles sont des multiples dun dollar etil ny a pas demprunt possible.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IILa ruine du joueur
Étudions deux stratégies populaires pour ce jeu :
a lapproche audacieuse qui consiste pour le premier joueurà miser à chaque tour le minimum entre sa fortunepersonnelle et le montant requis pour sa victoire;
b lapproche timide qui consiste pour le premier joueur àmiser un dollar à chaque tour.
Supposons que Xn représente la fortune du premier joueuraprès le n ième jeu.
La distribution initiale est !p (0) = (0, ..., 0, 1, 0, ..., 0)>où le 1 se situe en position r .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IIILa ruine du joueur
Pour lapproche timide, le graphe de transition est
nn 1...210
et la matrice de transition est
Pb =
0BBBBBBBB@
1 0 0 0 0 ... 0 0 0q 0 p 0 0 ... 0 0 00 q 0 p 0 ... 0 0 00 0 q 0 p ... 0 0 0... ... ... ... ... ... ... ... ...0 0 0 0 0 ... q 0 p0 0 0 0 0 ... 0 0 1
1CCCCCCCCA(n+1)(n+1)
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IVLa ruine du joueur
Dans le cas de lapproche audacieuse,
Pa =
0BBBBBBBBB@
1 0 0 0 0 0 0 ... 0 0 0 0 0q 0 p 0 0 0 0 ... 0 0 0 0 0q 0 0 0 p 0 0 ... 0 0 0 0 0q 0 0 0 0 0 p ... 0 0 0 0 0... ... ... ... ... ... ... ... ... ... ... ... ...0 0 0 0 0 0 0 ... q 0 0 0 p0 0 0 0 0 0 0 ... 0 0 q 0 p0 0 0 0 0 0 0 ... 0 0 0 0 1
1CCCCCCCCCA(n+1)(n+1)
En fait,
pij =
8>><>>:1 si i = j = 0 ou si i = j = np si 1 i < n
2 et j = 2i ou sin2 i n 1 et j = n
q si 1 i n2 et j = 0 ou si
n2 < i n 1 et j = 2i n
0 sinon
.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VLa ruine du joueur
Y a-t-il une stratégie meilleure que lautre?
Pour répondre à cette question, nous allons nousapprofondir létude des chaînes de Markov en général etnous reviendrons périodiquement à cet exemple.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VILa ruine du joueur
La ruine du joueur.xls
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Distribution au temps n IChaîne de Markov
Soit pi (n), la probabilité que le processus soit dans létat xi autemps n :
pi (n) = P [Xn = xi ] .
Vectoriellement, nous pouvons écrire
!p (n) =
0BB@p1 (n)p2 (n)...
pm (n)
1CCA ou !p (n) =
0@ p1 (n)p2 (n)...
1Aselon que lespace EX des états est ni (ci-dessus, cet ensemblecomprend m éléments) ou dénombrable.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Distribution au temps n IIChaîne de Markov
La donnée de la matrice de transition P et la distributioninitiale !p (0) permet de déterminer !p (n) à tout instant. Ene¤et, pour tout entier positif n ainsi que pour tout xj 2 EX ,
pj (n) = P [Xn = xj ]
= ∑xi2EX
P [Xn = xj et Xn1 = xi ]
= ∑xi2EX
P [Xn = xj jXn1 = xi ]| z =pij
P [Xn1 = xi ]| z =pi (n1)
= ∑xi2EX
pij pi (n 1) .
Vectoriellement, cette relation sexprime sous la forme suivante:
!p (n) = P> !p (n 1) (1)
où P> représente la transposée de la matrice de transition P .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Distribution au temps n IIIChaîne de Markov
Rappel : !p (n) = P> !p (n 1)Ainsi, lorsque n = 1,
!p (1) = P> !p (0) .
Si n = 2,
!p (2) = P> !p (1)| z =P> !p (0)
= P>P> !p (0) =P>2 !p (0) .
Notre intuition nous laisse croire que !p (n) devrait êtreégal à
P>n !p (0), ce qui est établi au lemme suivant.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Distribution au temps n IVChaîne de Markov
TheoremLemme 4.1. Soit X = fXn : n 2 f0, 1, 2, ...gg, une chaîne deMarkov homogène à temps discret ayant P comme matrice detransition. Alors pour tous entiers non négatifs m et n,
!p (m+ n) =P>n !p (m) . (2)
Lorsque m = 0, nous avons que
!p (n) =P>n !p (0) ,
ce qui conrme notre intuition. Notons queP>0= I ou I
représente la matrice identité.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Distribution au temps n VChaîne de Markov
Démonstration. Rappelons que
!p (n) = P> !p (n 1) . (3)
Cette preuve se fait par induction. Léquation (3)démontre que léquation (2) est déjà vériée dans le casoù n = 1.
Supposons maintenant que léquation (2)
!p (m+ n) =P>n !p (m)
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Distribution au temps n VIChaîne de Markov
est vériée pour un certain entier positif n et montronsquelle est alors aussi vériée pour lentier n+ 1 suivant:
!p (m+ n+ 1)= P> !p (m+ n) par léquation (3)= P>
P>n !p (m) par hyp. dinduction
=P>n+1 !p (m) .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Distribution au temps n VIIChaîne de Markov
Exercice. Montrez que pour tous entiers m, n 0,
(Pm)ij = P [X (m+ n) = xj jX (n) = xi ] , xi , xj 2 EX
où (Pm)ij représente lélément à lintersection de la i ièmeligne et de la j ième colonne de la matrice Pm .
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IDistribution du processus au temps n
Cas particulier du modèle de Bernoulli-Laplace pour ladi¤usion des gazReprenons le modèle de di¤usion des gaz. Rappelons que Xnreprésente le nombre de boules blanches dans le compartimentde gauche après le n ième échange. Nous avons déjà établi quelorsque r = 5, la matrice de transition est
P =
0BBBBBBBB@
0 1 0 0 0 0125
825
1625 0 0 0
0 425
1225
925 0 0
0 0 925
1225
425 0
0 0 0 1625
825
125
0 0 0 0 1 0
1CCCCCCCCA
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IIDistribution du processus au temps n
Supposons que !p > (0) = (1, 0, 0, 0, 0, 0), cest-à-dire quavantle premier échange, le compartiment de gauche ne contient quedes boules noires. Alors
!p (1) =P>1 !p (0) =
0BBBBBBBBB@
0 125 0 0 0 0
1 825
425 0 0 0
0 1625
1225
925 0 0
0 0 925
1225
1625 0
0 0 0 425
825 1
0 0 0 0 125 0
1CCCCCCCCCA
0BBBBBB@100000
1CCCCCCA =
0BBBBBB@010000
1CCCCCCA
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IIIDistribution du processus au temps n
!p (2) =P>2 !p (0)
=
0BBBBBBBBB@
0 125 0 0 0 0
1 825
425 0 0 0
0 1625
1225
925 0 0
0 0 925
1225
1625 0
0 0 0 425
825 1
0 0 0 0 125 0
1CCCCCCCCCA
20BBBBBB@100000
1CCCCCCA =
0BBBBBBBB@
1258251625
000
1CCCCCCCCA
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IVDistribution du processus au temps n
!p (3) =
0BBBBB@0, 01280, 24480, 5120, 230400
1CCCCCA ;!p (4) =0BBBBB@
0, 009790, 173060, 485380, 294910, 03686
0
1CCCCCA ;!p (5) =0BBBBB@
0, 006920, 142830, 449900, 339890, 058980, 00147
1CCCCCA
!p (10) =
0BBBBB@0, 004180, 102450, 401140, 39250, 095970, 003 75
1CCCCCA ;!p (20) =0BBBBB@
0, 003970, 099230, 396850, 39680, 099190, 00397
1CCCCCA ;!p (30) =0BBBBB@
0, 003970, 099210, 396830, 396830, 099210, 00397
1CCCCCA
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VDistribution du processus au temps n
Il semble que la distribution de la variable aléatoire Xnconverge vers une loi hypergéométrique(5, 5, 5) lorsque ngrandit. Cela dépend-il de la distribution initiale que nousavons choisie?
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VIDistribution du processus au temps n
Modèle de Bernoulli-Laplace pour la di¤usion des gaz(suite)
Refaisons lexercice avec de nouvelles conditions initiales,disons !p (0) =
16 ,16 ,16 ,16 ,16 ,16
> :
!p (1) =
0BBBBBB@0, 006670, 246670, 246670, 246670, 246670, 00667
1CCCCCCA ;!p (2) =
0BBBBBB@0, 009870, 125070, 365070, 365070, 125070, 00987
1CCCCCCA ;!p (3) =
0BBBBBB@0, 00500, 10830, 38670, 38670, 10830, 0050
1CCCCCCA
!p (4) =
0BBBBBB@0, 004330, 101530, 394140, 394140, 101530, 00433
1CCCCCCA ;!p (5) =
0BBBBBB@0, 004060, 099880, 396060, 396060, 099880, 00406
1CCCCCCA ;!p (10) =
0BBBBBB@0, 003970, 099210, 396820, 396820, 099210, 00397
1CCCCCCA
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VIIDistribution du processus au temps n
Il semble que, encore une fois, la distribution de la variablealéatoire Xn converge vers une loihypergéométrique(5, 5, 5) lorsque n grandit.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple VIIIDistribution du processus au temps n
Que se passe-t-il si la distribution initiale est justementhypergéométrique(5, 5, 5)?
!p (0) =
0BBBBBBBBBB@
125225252100252100252252521252
1CCCCCCCCCCA; !p (1) =
0BBBBBBBBBB@
0 125 0 0 0 0
1 825
425 0 0 0
0 1625
1225
925 0 0
0 0 925
1225
1625 0
0 0 0 425
825 1
0 0 0 0 125 0
1CCCCCCCCCCA
0BBBBBBBBBB@
125225252100252100252252521252
1CCCCCCCCCCA=
0BBBBBBBBBB@
125225252100252100252252521252
1CCCCCCCCCCA
et, par conséquent, pour tout entier positif n,
!p > =1252
,25252
,100252
,100252
,25252
,1252
,
cest-à-dire que la distribution du nombre Xn de boules blanchesdans le compartiment est la même quel que soit le moment.
Markov
Notation etnotions debaseProcessusMarkoviensDénitionsExemple 1Graphe detransitionProc nonmarkovienExemple 2Distribution
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple IXDistribution du processus au temps n
Attention! Da¢ rmer que la distribution de Xn est lamême que celle de Xm ne veut pas nécessairement direque Xn = Xm .
Est-ce que toutes les chaînes de Markov possèdent unedistribution limite ou si cela est une particularité de cetexemple? Nous tenterons de répondre à ces questionséventuellement. Pour le moment, nous devons nousdévelopper quelques outils...
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Classication des états I
DenitionUn état xj dune chaîne de Markov X est dit accessible delétat xi sil existe un entier non négatif m tel que la probabilitédatteindre létat xj à partir de létat xi en m périodes estpositive, cest-à-dire que
9m 2 f0, 1, 2...g tel que (Pm)ij = P [Xn+m = xj jXn = xi ] > 0.
DenitionDeux états xi et xj communiquent si xi est accessible de xj etsi xj est accessible de xi .
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Classication des états II
La relation de communication entre deux états est une relationdéquivalence. En e¤et,
Réexivité. 8xi 2 EX , xi communique avec lui-mêmeSymétrie. 8xi , xj 2 EX , si xi communique avec xj alors xjcommunique avec xiTransitivité. 8xi , xj , xk 2 EX , si xi communique avec xjet xj communique avec xk alors xi communique avec xk .
Exercice. Démontrez les trois propriétés ci-dessus
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Classication des états III
DenitionCette relation déquivalence permet de partager les états dunechaîne de Markov en classe :
(a)Tous les états dune même classe
communiquent entre eux.
(b)Deux états appartenant à deux classes distinctes
ne communiquent pas.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Classication des états IV
DenitionUne classe C EX est dite stable ou fermée (nous utiliseronsle terme stable) si
fxj 2 C c : 9xi 2 C tel que xj est accessible de xig = ?,
cest-à-dire quil nest pas possible de séchapper de la classe C .
Cette dénition est équivalente à la condition
8xi 2 C , ∑xj2C
pij = 1,
cest-à-dire quen partant de nimporte quel état xi de laclasse C , il est certain (avec probabilité 1) de demeurerdans cette classe.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Classication des états V
En e¤et,
∑xj2C
pij = ∑xj2C
P [Xn+1 = xj jXn = xi ]
= P
24 [xj2C
fXn+1 = xjg jXn = xi
35car ces événements sont disjoints.
= P [Xn+1 2 C jXn = xi ] .
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Classication des états VI
DenitionPar opposition, une classe C EX est dite instable ououverte (nous utiliserons le terme instable) si
fxj 2 C c : 9xi 2 C tel que xj est accessible de xig 6= ?
ou, de façon équivalente, si
9xi 2 C , ∑xj2C
pij < 1.
DenitionUne chaîne de Markov est dite irréductible si elle nest forméeque dune seule classe (nécessairement stable).
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Classication des états VIIExemple 1. La chaîne de Markov de cet exemple estirréductible.
543210
Exemple 2. En ce qui concerne la stratégie timide, la chaîneest formée de trois classes : les deux premières, C1 = f0g etC2 = fng sont stables tandis que la troisième,C3 = f1, 2, ..., n 1g est instable.
nn 1...210
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Périodicité I
DenitionLa période d (i) de létat xi 2 EX de la chaîne de Markov Xest le plus grand commun diviseur de
fn 2 f1, 2, ...g : (Pn)ii > 0g
si cet ensemble est non vide et 0 sinon.
Exemple. Considérons la chaîne de Markov X ayantEX = fx0, x1, x2g comme espace détats et
P =
0@ 0 1 014 0 3
40 1 0
1A x0 x1 x2
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Périodicité II
comme matrice de transition. Puisque, pour tout entier k nonnégatif,
P2k =
0@ 14 0 3
40 1 014 0 3
4
1A ,P2k+1 =0@ 0 1 0
14 0 3
40 1 0
1A .alors
fn 2 f1, 2, ...g : (Pn)00 > 0g = f2, 4, 6, 8, ...g
ce qui implique que la période de létat x0 est 2. Cela signieque si nous initialisons la chaîne à létat x0, alors nous nepourrons revenir à cet état quaux instants pairs.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Périodicité III
Exemple. Considérons la chaîne de Markov X ayantEX = fx0, x1, x2g comme espace détats et
P =
0BB@0 1 0
0 14
34
0 14
34
1CCAx0
&x2 x1
Commefn 2 f1, 2, ...g : (Pn)00 > 0g = ?,
alors la période de létat x0 est 0.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Périodicité IV
Exemple. Considérons la chaîne de Markov X ayantEX = fx0, x1, x2g comme espace détats et
P =
0@ 0 1 00 0 134
14 0
1A x0" &x2 x1
Comme
fn 2 f1, 2, ...g : (Pn)00 > 0g = f3, 5, 6, ...g ,
alors la période de létat x0 est 1.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Périodicité V
DenitionLorsquun état est de période 1, il est dit apériodique. Unechaîne de Markov est qualiée dapériodique si tous ses étatsle sont.
TheoremLemme 4.2. Tous les états dune même classe ont la mêmepériode.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Preuve IPériodicité
Preuve. Soit xi et xj deux états quelconques appartenant à lamême classe. Supposons dans un premier temps que d (j) > 0.Puisque ces deux états communiquent, il existe des entiers nonnégatifs m et n tels que la probabilité datteindre létat xj àpartir de létat xi en m étapes, (Pm)ij > 0 est positive et quela probabilité datteindre létat xi à partir de létat xj en nétapes, (Pn)ji > 0 est aussi positive.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Preuve IIPériodicité
Ainsi, Pm+n
jj
= P [Xm+n = xj jX0 = xj ]= ∑
xk2EXP [Xm+n = xj jXn = xk ]P [Xn = xk jX0 = xj ]
P [Xm+n = xj jXn = xi ]P [Xn = xi jX0 = xj ]= (Pm)ij (Pn)ji > 0
ce qui implique que d (j) est un diviseur de m+ n car
d (j) = PGCDnn 2 f1, 2, ...g : (Pn)jj > 0
o.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Preuve IIIPériodicité
Plus généralement, nous avons que pour tout entier non négatifr tel que (P r )ii > 0,
Pm+r+njj
= P [Xm+r+n = xj jX0 = xj ]
= ∑k2EX
∑ek2EX0@ P [Xm+r+n = xj jXn+r = xk ]
PXn+r = xk
Xn = xek P
Xn = xek jX0 = xj
1A P [Xm+r+n = xj jXn+r = xi ]P [Xn+r = xi jXn = xi ]
P [Xn = xi jX0 = xj ]= (Pm)ij (P r )ii (Pn)ji > 0
ce qui implique que d (j) est un diviseur de m+ r + n.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Preuve IVPériodicité
Mais comme nous avons déjà établi que d (j) est diviseur dem+ n, alors il doit aussi être diviseur de r . En e¤et,
rd (j)
=m+ r + nd (j)| z 2N
m+ nd (j)| z 2N
2 N.
Par conséquent, d (j) est un diviseur commun aux éléments delensemble fr 2 f0, 1, 2, ...g : (P r )ii > 0g.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Preuve VPériodicité
Rappel : Par conséquent, d (j) est un diviseur commun auxéléments de lensemble fr 2 f0, 1, 2, ...g : (P r )ii > 0g.Mais comme d (i) est le plus grand commun diviseur deséléments de cet ensemble, d (j) est un diviseur de d (i) .Comme le choix de i et de j est arbitraire (en autant que lesdeux états appartiennent à la même classe), nous en déduisonsque d (i) est un diviseur de d (j). Par conséquent,d (i) = d (j).Supposons maintenant que d (j) = 0, cest-à-dire lorsque(P r )jj = 0 pour tout r . Alors
0 =Pm+r+n
jj (P
n)ji| z >0
(P r )ii (Pm)ij| z >0
ce qui implique que (P r )ii = 0. Comme r est un entier nonnégatif quelconque, d (i) = 0.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Exemple 2 IPériodicité
Exemple 2. En ce qui concerne la stratégie timide, la chaîneest formée de trois classes : les deux premières, C1 = f0g etC2 = fng sont stables tandis que la troisième,C3 = f1, 2, ..., n 1g est instable.
nn 1...210
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Exemple 2 IIPériodicité
d (0) = PGCD fn 2 f1, 2, ...g : (Pn)00 > 0g= PGCD f1, 2, ...g car (Pn)00 = 1 8n 2 f1, 2, ...g= 1
d (1) = PGCD fn 2 f1, 2, ...g : (Pn)11 > 0g= PGCD f2, 4, 6, ...g = 2
d (2) = ... = d (n 1) = d (1) = 2car les états x1, x2, ..., xn1appartiennent à la même classe
d (n) = PGCD fm 2 f1, 2, ...g : (Pm)nn > 0g= PGCD f1, 2, ...g = 1
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence I
DenitionUn état xi est récurrent si, en partant de xi , la probabilité quela chaîne retourne éventuellement à létat xi est de 1. Si xinest pas récurrent, alors il est transitoire.
Denition
La probabilité f (n)ij est la probabilité du premier passage àlétat xj en partant de létat xi en exactement n périodes :
f (n)ij = P [Xn = xj ,Xn1 6= xj , ...,X1 6= xj jX0 = xi ] .
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence II
La probabilité fij dun éventuel passage à létat xj en partant delétat xi sobtient des probabilités de premier passage :
fij= P [un éventuel passage à létat xj jX0 = xi ]
= P
"∞[n=1
fle premier passage à létat xj est e¤ectué au temps ng jX0 = xi
#
=∞
∑n=1
P [le premier passage à létat xj est e¤ectué au temps n jX0 = xi ]
car les événements impliqués sont disjoints
=∞
∑n=1
f (n)ij
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence III
DenitionUtilisant cette nouvelle notation, nous pouvons réécrire quunétat xi est récurrent si et seulement si fii = 1 et quil esttransitoire si 0 fii < 1.Létat xi est dit absorbant si f
(1)ii = 1, cest-à-dire quen
partant de cet état, il est certain que la chaîne de Markovrestera dans cet état à la période suivante et à toutes lespériodes subséquentes.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence IV
TheoremThéorème 4.3. La probabilité de retourner une innité de foisen xj en partant de xi est égale à
PXn = xj pour une innité dentiers n 2 f1, 2, ...g jX0 = xi
=
0 si fjj < 1fij si fjj = 1
Ce théorème signie que si un état est récurrent, alors lachaîne peut le visiter une innité de fois tandis que si unétat est transitoire, la chaîne ne le visitera quun nombreni de fois.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence V
Preuve. Il su¢ t de montrer que pour tous états xi et xj ainsique pour tout entier m 2 f1, 2, ...g,
PXn = xj pour au moins m valeursdi¤érentes dentiers n 2 f1, 2, ...g
X0 = xi = fij f m1jj .
(4)car en laissant m tendre vers linni, le membre de droitesannule si fjj < 1 et est égal à fij si fjj = 1.Lorsque m = 1, léquation (4) est satisfaite par la dénitionmême de fij . En e¤et,
fij = P [un éventuel passage à létat xj jX0 = xi ]= P [Xn = xj pour au moins un n 2 f1, 2, ...g jX0 = xi ] .
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence VI
Nous faisons en détail le cas m = 2, le cas général se traitantde la même façon quoique la notation salourdisse.
P [Xn = xj pour au moins 2 valeurs dentiers n 2 f1, 2, ...g jX0 = xi ]
= P
24 ∞[n1,n2=1
Xn1+n2 = xj ,Xn1+n21 6= xj , ...,Xn1+1 6= xj
Xn1 = xj ,Xn11 6= xj , ...,X1 6= xj
X0 = xi35
=∞
∑n1=1
∞
∑n2=1
P
Xn1+n2 = xj ,Xn1+n21 6= xj , ...,Xn1+1 6= xjXn1 = xj ,Xn11 6= xj , ...,X1 6= xj
X0 = xi car ces événements sont disjoints
=∞
∑n1=1
∞
∑n2=1
P [ fXn1+n2 = xj ,Xn1+n21 6= xj , ...,Xn1+1 6= xjgjXn1 = xj ]
P [ fXn1 = xj ,Xn11 6= xj , ...,X1 6= xjgjX0 = xi ]
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence VII
=∞
∑n1=1
∞
∑n2=1
P [ fXn2 = xj ,Xn21 6= xj , ...,X1 6= xjgjX0 = xj ]P [ fXn1 = xj ,Xn11 6= xj , ...,X1 6= xjgjX0 = xi ]
car la chaîne est homogène
=
"∞
∑n2=1
P [ fXn2 = xj ,Xn21 6= xj , ...,X1 6= xjgjX0 = xj ]#
"
∞
∑n1=1
P [ fXn1 = xj ,Xn11 6= xj , ...,X1 6= xjgjX0 = xi ]#
=
"∞
∑n2=1
f (n2 )jj
# "∞
∑n1=1
f (n1 )ij
#= fjj fij
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence VIII
Les probabilités de premier passage sont généralementdi¢ ciles à calculer, même sil existe une relation entrelensemble des probabilités de premier passagenf (n)ii : n 2 f0, 1, 2, ...g
oet lensemble des probabilités de
transition en un nombre déterminé détapesf(Pn)ii : n 2 f0, 1, 2, ...gg.
En e¤et,
(Pn)ii= P [Xn = xi jX0 = xi ]
=n
∑k=1
P [Xn = xi jXk = xi ]Ple premier passage à létat xiest e¤ectué au temps k
X0 = xi=
n
∑k=1
Pnk
iif (k )ii .
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence IX
Par conséquent,
si n = 1 alorsf (1)ii = Pii ;
si n = 2 alors P2ii
= f (1)ii Pii + f (2)ii
= PiiPii + f (2)ii
) f (2)ii =P2ii (Pii )2 ;
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence X
si n = 3 alorsP3ii
= f (1)ii
P2ii+ f (2)ii Pii + f (
3)ii
= PiiP2ii+P2ii (Pii )2
Pii + f (
3)ii
) f (3)ii =P3ii 2Pii
P2ii+ (Pii )3 ;
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence XI
si n = 4 alors P4ii
= f (1)ii
P3ii+ f (2)ii
P2ii+ f (3)ii Pii + f (
4)ii
= PiiP3ii+P2ii (Pii )2
P2ii
+P3ii 2Pii
P2ii+ (Pii )3
Pii + f (
4)ii
) f (4)ii =P4ii 2Pii
P3iiP2ii
P2ii
+3 (Pii )2P2 (Pii )4
etc.
Il nous faut donc trouver une autre façon de déterminer si un état estrécurrent ou non.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence XII
TheoremThéorème 4.4. Un état xi est récurrent si et seulement si
∞
∑n=1
(Pn)ii = ∞.
La preuve de ce théorème fait appel a des résultats danalyse. Ceuxqui aimeraient létudier peuvent la trouver dans le livre de SheldonRoss (débutant à la page 170 de la septième édition) ou aux pages 64à 66 du livre de S. Karlin et H. M. Taylor.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence XIII
TheoremThéorème 4.5. La récurrence est une propriété de classe, cest-à-direque si xi est un état récurrent appartenant à la classe C , alors tous lesétats de cette classe sont aussi récurrents.
Preuve .
Soit xi et xj deux états quelconques appartenant à la même classe.
Supposons que lun deux, disons xi , est récurrent.
Par le théorème précédent, cela implique que ∑∞n=1 (Pn)ii = ∞.
Maintenant, puisque ces deux états communiquent, il existe desentiers non négatifs m et n tels que (Pm)ij > 0 et (Pn)ji > 0.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence XIV
Ainsi, nous obtenons que pour tout entier non négatif r ,Pm+r+n
jj
= PXm+r+n = xj
X0 = xj = ∑
xk2EX∑
xek2EX
0@ PXm+r+n = xj jXm+r = xk
P
Xm+r = xk
Xm = xek P
Xm = xek X0 = xj
1A P
Xm+r+n = xj jXm+r = xi
P [Xm+r = xi jXm = xi ]
PXm = xi
X0 = xj = (Pn)ji (P r )ii (Pm)ji .
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Récurrence XV
Par conséquent,
∞
∑s=1
(P s )jj =m+n
∑s=1
(P s )jj +∞
∑s=m+n+1
(P s )jj
=m+n
∑s=1
(P s )jj +∞
∑r=1
Pm+r+n
jj
m+n
∑s=1
(P s )jj +∞
∑r=1
(Pn)ji (P r )ii (Pm)ij
=m+n
∑s=1
(P s )jj + (Pn)ji (Pm)ij∞
∑r=1
(P r )ii| z =∞
puisque xi est récurrent.
= ∞
Comme ∑∞s=1 (P s )jj = ∞, cela implique que xj est aussi récurrent.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1 I
Une promenade aléatoire sur les entiers Z est une chaînede Markov dont la loi de transition est davancer duneunité avec probabilité p (0 < p < 1) ou de reculer duneunité avec probabilité q = 1 p.
012... ...1 2
ppp pp p
qqq qqq
Ainsi, les éléments de la matrice de transition sont
pij =
8<:p si j = i + 1q si j = i 10 sinon
.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1 II
Nous pouvons, sans perte de généralité, supposer que lachaîne commence à létat 0, cest-à-dire que!p (0) = !e 0.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1 III
Comme cette chaîne ne contient quune seule classe, tousles états ont la même période et cette dernière est
d (0) = PGCD fn 2 f1, 2, ...g : (Pn)00 > 0g= PGCD f2, 4, 6, ...g= 2.
Par conséquent,P2n+1
00 = 0 puisquil est impossible de
revenir à létat 0 en partant de ce dernier en un nombreimpair de périodes.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1 IV
Marche aléatoire en une dimension.xls
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1 V
Par contre, pour revenir à létat 0 en 2n périodes, il fautavoir fait n pas vers la droite et n pas vers la gauche.
Comme chacun de ces pas est indépendant des autres, lenombre Y de pas vers la droite en 2n essais suit une loibinomiale(2n, p).
Ainsi,
P2n
00 = P [Y = n] =
2nn
pnqn =
(2n)!n!n!
pnqn.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1 VI
La formule de Stirling stipule que n! est asymptotiquementéquivalent à nn
pnen
p2π.
Donc
P2n
00
= (2n)2np2ne2n
p2π
nnpnen
p2π nnpnen
p2πpnqn
=(4pq)npnπ
.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1VII
Si p 20, 12[ 12 , 1alors 4pq 2 (0, 1) et
∞
∑n=1
(Pn)00 =∞
∑n=1
P2n
00
=∞
∑n=1
(4pq)npnπ
1pπ
∞
∑n=0
(4pq)n
=1pπ
11 4pq < ∞
donc létat 0 est transitoire. Comme cest une propriété declasse, tous les états de la chaîne seront aussi transitoires.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1VIII
Si p = 12 alors 4pq = 1 et
∞
∑n=1
(Pn)00 =∞
∑n=1
P2n
00=
∞
∑n=1
1pnπ
= ∞
donc létat 0 est récurrent. Comme cest une propriété declasse, tous les états de la chaîne seront aussi récurrents.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire de dimension 1 IX
Intuitivement, si p > 12 , la promenade aléatoire a
tendance à fuir vers linni. De même, si p < 12 , la
promenade va se perdre à ∞. Tous les états sonttransitoires. Si p = 1
2 , la promenade reviendra (avecprobabilité 1) à son point de départ; de là, elle yreviendra encore, ... une innité de fois (DenisLabelle)
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle I
La marche aléatoire symétrique dans Zd peut se dénir dela façon suivante: à chaque étape, un des 2d voisins delétat actuel de la chaîne est sélectionné (chacun de cesvoisins a une probabilité égale à 1
2d dêtre choisi) et cevoisin devient le nouvel état de la chaîne.
d = 2
une réalisation de la chaîneau temps n
une réalisation de la chaîneau temps n+ 1
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle II
La marche aléatoire simple symétrique est récurrente dansle cas d 2 f1, 2g et transitoire lorsque d 2 f3, 4, 5, ...g.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle III
Marche aléatoire en deux dimensions.xls
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle IV
Traitons le cas d = 2. Comme la marche aléatoire dansZ2 est irréductible et de période 2, alors
P2n+1
00 = 0.
Par ailleurs,
P2n
00
=n
∑m=0|z
choix du nombredallers-retoursverticaux
2n2m
| z
choix des momentsdes mouvements
verticaux
2mm
| z
choix des momentsdes mouvementsà la hausse
2n 2mnm
| z
choix des momentsdes mouvementsvers la droite
14
2n
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle V
P2n
00
=n
∑m=0
2n2m
2mm
2n 2mnm
14
2n=
14
2n n
∑m=0
(2n)!(2n 2m)! (2m)!
(2m)!m!m!
(2n 2m)!(nm)! (nm)!
=
14
2n n
∑m=0
(2n)!m!m! (nm)! (nm)!
=
14
2n n
∑m=0
(2n)!n!n!
n!
m! (nm)!
2=
14
2n 2nn
n
∑m=0
nm
2
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle VI
=
14
2n 2nn
n
∑m=0
nm
n
nm
| z
=(2nn )
Pour se convaincre de cette identité, il su¢ t dimaginer un groupecomposé de n garçons et de n lles. Il y a (2nn ) façons de choisir npersonnes dans ce groupe. Il y a ( nm)(
nnm) de choisir m garçons et
nm lles (Denis Labelle).
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle VII
P2n
00
=
14
2n 2nn
2=
14
2n (2n)!n!n!
2=
14
2n 0@ (2n)2np2ne2n
p2π
nnpnen
p2π nnpnen
p2π1A2
(par la formule de Stirling)
=1nπ
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Marche aléatoire symétriquemultidimensionnelle VIII
Ainsi,∞
∑n=1
(Pn)00 =∞
∑n=1
P2n
00=1π
∞
∑n=1
1n= ∞.
Puisque la récurrence est une propriété de classe et que cette chaînede Markov est irréductible, alors tous les états sont récurrents.
La démonstration du résultat en grande dimension est technique. Lecas d = 3 est traité de façon détaillée aux pages 68-69 du livre de S.Karlin et H. M. Taylor.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Résultats IChaîne de Markov
TheoremThéorème 4.6. Si une classe C est instable, alors elle esttransitoire; si elle est récurrente, alors elle est stable. De plus,si lespace des états EX est de dimension nie, ces implicationssont des équivalences.
Preuve. Rappelons quune classe est instable si etseulement si
9xi 2 C , ∑xj2C
pij < 1.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Résultats IIChaîne de Markov
Ainsi, pour cet état xi 2 C , il existe un état xk /2 C tel quepik > 0. Mais comme ces deux états ne communiquent pas (ilsnappartiennent pas à la même classe), cela implique que
8n 2 f0, 1, 2, ..g , (Pn)ki = 0.
Cette dernière expression signie quen partant de létat xk , ilest impossible datteindre létat xi . Mais xk nest peut-être pasle seul état possédant cette caractéristique, cest pourquoi laprobabilité 1 fii de ne jamais revenir à létat xi satisfaitlinégalité
1 fii P [X1 = xk jX0 = xi ] = pik > 0,
ce qui implique que fii < 1, cest-à-dire que xii est transitoire.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Résultats IIIChaîne de Markov
La seconde partie de lénoncé nest que la contraposée dela première.
Rappel de lénoncé. Si une classe C est instable, alors elle esttransitoire; si elle est récurrente, alors elle est stable. De plus,si lespace des états EX est de dimension nie, ces implicationssont des équivalences.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Résultats IVChaîne de Markov
Attaquons-nous à la troisième partie de lénoncé.
Nous avons déjà étudié un exemple de chaîne de Markovirréductible (donc possédant une seule classenécessairement stable) possédant un nombre inini détatstous transitoires. Cest le cas de la marche aléatoireasymétrique de dimension 1. Donc il est faux da¢ rmerque toute classe stable est formée détats récurrents.
Par conséquent, an détablir les équivalences désirées, ilest nécessaire de supposer que la chaîne ne possède quunnombre ni détats.
Par conséquent, toute classe stable C ne contient quunnombre ni déléments.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Résultats VChaîne de Markov
Partant dun état de C , la chaîne ne pouvant en sortir,devra visiter au moins un état une innité de fois puisqueC ne contient quun nombre ni détats et que la chaîneévolue pendant un nombre inni de périodes.
Ainsi, cet état est récurrent.
Comme la récurrence est une propriété de classe, tous lesétats de C sont donc récurrents.
Markov
Notation etnotions debase
Classicationdes étatsPériodicitéRécurrenceMarche aléatoireMarche aléatoired=2Résultats
Probabilitésdabsorption
Loistationnaire
Références
Résultats VIChaîne de Markov
TheoremCorollaire 4.7. Toute chaîne de Markov sur un espace desétats EX ni possède au moins un état récurrent; si elle estirréductible, alors tous ces états sont récurrents.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 IProbabilités dabsorption
La ruine du joueur. Rappelons le contexte : deuxjoueurs possédant initialement des fortunes de r et n rdollars respectivement misent et jouent jusquà la ruine delun deux.
Une stratégie populaire à ce jeu est lapproche timide quiconsiste pour le premier joueur à miser un dollar à chaquetour.
Xn = la fortune du premier joueur après le n ième jeu.
La distribution initiale est !p (0) = !er .
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 IIProbabilités dabsorption
La matrice de transition est
Pb =
0BBBBBBBB@
1 0 0 0 0 ... 0 0 0q 0 p 0 0 ... 0 0 00 q 0 p 0 ... 0 0 00 0 q 0 p ... 0 0 0... ... ... ... ... ... ... ... ...0 0 0 0 0 ... q 0 p0 0 0 0 0 ... 0 0 1
1CCCCCCCCA(n+1)(n+1)
.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 IIIProbabilités dabsorption
Cette chaîne se décompose en trois classes : f0g et fngqui sont stables et f1, 2, ..., n 1g qui est instable.Partant au temps 0 de létat r , la chaîne de Markov seraéventuellement absorbée dans une des deux classes stables.
Posons
θr = P [La chaîne est éventuellement absorbée en 0 jX0 = r ] .
Nous voulons déterminer θr en fonction de n de p et de r .
Bien sûr, nous avons
θ0 = 1 et θn = 0.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 IVProbabilités dabsorption
Lorsque 1 r n 1,
θr = P [La chaîne est éventuellement absorbée en 0 jX0 = r ]= P [La chaîne est éventuellement absorbée en 0 jX1 = r 1 ]
P [X1 = r 1 jX0 = r ]+P [La chaîne est éventuellement absorbée en 0 jX1 = r + 1 ]P [X1 = r + 1 jX0 = r ]
= θr1q + θr+1p.
Ainsi,
θ0 = 1, θn = 0 et 8r 2 f1, 2, ..., n 1g , θr = qθr1 + pθr+1. (5)
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 VProbabilités dabsorption
Nous traiterons les situations p = 12 et p 6=
12
di¤éremment.
Supposons dabord que p = 12 . Dans ce cas, il est possible
de vérier que
θr =n rn, r 2 f0, 1, 2, ..., n 1, ng
est une solution à lexpression (5)
θr = qθr1 + pθr+1.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 VIProbabilités dabsorption
En e¤et, 8r 2 f1, 2, ..., n 1g,
12
θr1 +12
θr+1 =12n r + 1
n+12n r 1
n=n rn
= θr ,
θ0 =n 0n
= 1
et θn =n nn
= 0.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 VIIProbabilités dabsorption
Maintenant, si p 6= 12 , alors
θr =qr (pnr qnr )
pn qn , r 2 f0, 1, 2, ..., n 1, ng
est une solution à lexpression (5)
θr = qθr1 + pθr+1.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 VIIIProbabilités dabsorption
En e¤et, 8r 2 f1, 2, ..., n 1g
qθr1 + pθr+1
= qqr1
pnr+1 qnr+1
pn qn + p
qr+1pnr1 qnr1
pn qn
=qr (ppnr qqnr )
pn qn +qr (qpnr pqnr )
pn qn
=qr (ppnr qqnr + qpnr pqnr )
pn qn
=qr ((1 q) pnr (1 p) qnr + qpnr pqnr )
pn qn
=qr (pnr qpnr qnr + pqnr + qpnr pqnr )
pn qn
=qr (pnr qnr )
pn qn = θr ,
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple 2 IXProbabilités dabsorption
θ0 =q0pn0 qn0
pn qn =
pn qnpn qn = 1
et θn =qn (pnn qnn)
pn qn =qn (1 1)pn qn = 0.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Probabilités dabsorptions I
Considérons une chaîne de Markov X possédant plusieursclasses stables dont une sera notée C0. Nous voulonsdéterminer la probabilité
θi = P [absorption éventuelle dans C0 jX0 = xi ] .
Évidemment,
θi =
1 si xi 2 C00 si xi est élément dune autre classe stable que C0.
(6)
Le problème est de déterminer θi lorsque xi appartient àune classe instable.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Probabilités dabsorptions II
Pour tout xi 2 EX , nous avons
θi
= P [absorption éventuelle dans C0 jX0 = xi ]= ∑
xj2EXP [absorption éventuelle dans C0 jX1 = xj ]
P [X1 = xj jX0 = xi ]= ∑
xj2EXθjpij
Theorem
Le vecteur!θ est donc solution du système déquations
linéaires!θ = P!θ auquel nous ajoutons les contraintes (6).
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Temps moyen avant absorption I
Considérons une chaîne de Markov X dont lespace détatsest ni: EX = fx1, ..., xmg.Cette chaîne de Markov possède au moins une classe stableet elle sera éventuellement absorbée dans lun dentre elles.
Partant de X0 = xi , le nombre Ni de pas nécessaire avantque la chaîne soit absorbée dans une de ces classes stablesest une variable aléatoire. Dénotons par µi son espérance:
Theorem
µi = E [nombre de pas avant labsorption jX0 = xi ] .Les µi sobtiennent en résolvant le système déquationslinéaires suivant:
µi =
0 si xi est un élément dune classe stable
1+∑mj=1 pijµj si xi est un élément dune classe instable.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple ITemps moyen dabsorption
Considérons la chaîne de Markov décrite par le diagrammesuivant:
1 2
34
0,1
0,9
0,75 0,250,8
0,21
Cette chaîne est composée de deux classes:f1, 2, 3g qui estinstable et f4g qui est stable.
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple IITemps moyen dabsorption
Le système de quatre équations à résoudre an dobtenirles nombres de pas espérés est
µ1 = 1+910µ2 +
110
µ4| z =0
µ3 = 1+45µ2 +
15
µ4|z=0
µ2 = 1+34µ1 +
14µ3 µ4 = 0
cest-à-dire0B@ 1 910 0
34 1 1
4
0 45 1
1CA0@ µ1
µ2µ3
1A =
0@ 111
1A
Markov
Notation etnotions debase
Classicationdes états
ProbabilitésdabsorptionTemps moyenavant absorption
Loistationnaire
Références
Exemple IIITemps moyen dabsorption
La solution est0@ µ1µ2µ3
1A =
0B@775
16695
1CA =
0@ 15, 41613, 8
1A
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Loi stationnaire I
Nous revenons maintenant à un des problèmes soulevéspar le modèle de di¤usion des gaz (exemple 1).
Nous avons remarqué quen initialisant la chaîne avecdi¤érentes distributions initiales, la loi du nombre de billesblanches dans le compartiment de gauche semblaitconverger vers une distribution hypergéométrique au fur età mesure que n grandit.
De plus, si nous amorçons la chaîne avec laditedistribution hypergéométrique, la loi des Xn est la même,quel que soit n.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Loi stationnaire II
Denition
Une fonction de masse !π = (πi : xi 2 EX ) sur EX eststationnaire pour la matrice de transition P si
P>!π = !π
ou encore si P> I
!π =!0 ,
I étant la matrice identité.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Loi stationnaire III
Une distribution stationnaire !π dune chaîne de Markov, si elleexiste, est telle que si X0 suit cette distribution, alors pour toutentier positif n, Xn suit aussi cette distribution. En e¤et,
!p (n) =P>n !p (0)
=P>n !π
car, par hypothèse, la distribution
initiale de la chaîne est !π=
P>n1
P>!π| z =!π
par dénition de !π
=P>n1 !π = ... = P>!π = !π = !p (0) .
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple 1 ILoi stationnaire
Reprenons le modèle de di¤usion des gaz.
Rappelons que Xn représente le nombre de boules blanchesdans le compartiment de gauche après le n ième échange.
Nous avons déjà établi que lorsque r = 5, la matrice detransition est
P =
0BBBBBBBB@
0 1 0 0 0 0125
825
1625 0 0 0
0 425
1225
925 0 0
0 0 925
1225
425 0
0 0 0 1625
825
125
0 0 0 0 1 0
1CCCCCCCCA
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple 1 IILoi stationnaire
Existe-t-il une distribution stationnaire !π ?Nous devons résoudre le système déquations linéairesP>!π = !π auquel nous ajoutons la contrainte∑5i=0 πi = 1 puisque nous recherchons une fonction de
masse.
0BBBBBBBBBBBB@
0 125 0 0 0 0
1 825
425 0 0 0
0 1625
1225
925 0 0
0 0 925
1225
1625 0
0 0 0 425
825 1
0 0 0 0 125 0
1 1 1 1 1 1
1CCCCCCCCCCCCA
0BBBBB@π0π1π2π3π4π5
1CCCCCA =
0BBBBBBB@
π0π1π2π3π4π51
1CCCCCCCA,
0BBBBB@π0π1π2π3π4π5
1CCCCCA =
0BBBBBBBBB@
12522525225632563252521252
1CCCCCCCCCA
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Exemple 1 IIILoi stationnaire
Le modèle de Bernoulli-Laplace possède une seuledistribution stationnaire. Ce vecteur représente ladensité de boules blanches dans le compartiment degauche une fois lévolution du gaz stabilisée,cest-à-dire une fois le gaz à léquilibre.... Nous pouvons interpréter πk comme étant laproportion asymptotique de temps passé à létat xk .Lexistence dune telle limite est un problèmecomplètement résolu mais non trivial (JeanVaillancourt.)
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Autre exemple ILoi stationnaire
Soit X la chaîne de Markov possédant lespace détatsEX = f0, 1, 2, 3, 4, 5g et la matrice de transition
P =
0BBBBBBBBB@
0 12
12 0 0 0
0 1 0 0 0 013
13 0 1
3 0 0
0 0 0 12
12 0
0 0 0 1 0 00 0 0 0 1 0
1CCCCCCCCCA.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Autre exemple IILoi stationnaire
En résolvant le systèmeP> I
!π =!0 auquel nous
avons ajouté la contrainte forçant la somme descomposantes du vecteur !π à être égale à 1, nousobtenons
0BBBBBBBBBBB@
1 0 13 0 0 0
12 0 1
3 0 0 012 0 1 0 0 0
0 0 13 1
2 1 0
0 0 0 12 1 1
0 0 0 0 0 11 1 1 1 1 1
1CCCCCCCCCCCA
0BBBBB@π1π2π3π4π5π6
1CCCCCA =
0BBBBBBB@
0000001
1CCCCCCCA) !π =
0BBBBB@0
3a + 102aa0
1CCCCCA .
Puisque les composantes de !π doivent être non négatives,nous avons que 0 a 1
3 . Il existe donc une innité dedistributions stationnaires.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Loi stationnaire
Nous venons de constater que la distribution stationnairenest pas nécessairement unique.
Il existe aussi des chaînes de Markov ne possédant pas dedistribution stationnaire. Par exemple, la promenadealéatoire sur les entiers Z ne possède pas de distributionstationnaire.
Les prochains théorèmes déterminent des conditions nousassurant lexistence ou la non-existence et lunicité ou lamultiplicité des distributions stationnaires de certaineschaînes de Markov. Nous nétudierons pas lesdémonstrations de ces résultats.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Un raisonnement parfois erroné ILoi stationnaire
Soit X , EX , P et !p (0) une chaîne de Markov, sonespace détats, sa matrice de transition ainsi que sadistribution initiale.
Nous avons pu lire chez certains auteurs le raisonnementsuivant :
limn!∞
!p (n) = limn!∞
!p (n+ 1)
= limn!∞
P> !p (n)
= P> limn!∞
!p (n)
donc la distribution limite limn!∞!p (n) satisfait le système
déquation linéaire
P> limn!∞
!p (n) = limn!∞
!p (n)
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Un raisonnement parfois erroné IILoi stationnaire
ce qui en fait une distribution stationnaire. Ce raisonnementleur permet de prétendre que la distribution stationnairesinterprète intuitivement comme étant la loi permettant dedéterminer la probabilité que la chaîne se trouve dans un étatdonné lorsque nous lavons observée inniment longtemps.
Or cet enchaînement est parfois erroné et cela provient dufait quils supposent lexistence de la limite limn!∞
!p (n)comme lillustrent les deux prochains exemples.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Un raisonnement parfois erroné IIILoi stationnaire
Exemple. Soit X la chaîne de Markov à deux étatsEX = f0, 1g dont la matrice de transition est
P =0 11 0
.
Cette chaîne est irréductible et de période 2. En raison dela forme particulière de la matrice de transition,P2n+1
ii = 0 et
P2n
ii = 1, pour tout entier positif n.
Ainsi, la suite
f(Pn)ii : n 2 Ng = 010101010101...
ne converge pas. Par contre,nPnd (i )
ii
: n 2 No=P2n
ii : n 2 N
= 1111111...
converge vers 1.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Un raisonnement parfois erroné IVLoi stationnaire
Exemple. Promenade aléatoire avec bornes rééchissantes
Considérons la chaîne de Markov irréductible X à cinqétats EX = f0, 1, 2, 3, 4g possédant la matrice detransition
P =
0BBBBB@0 1 0 0 013 0 2
3 0 0
0 13 0 2
3 0
0 0 13 0 2
3
0 0 0 1 0
1CCCCCA .
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Un raisonnement parfois erroné VLoi stationnaire
Tentons de déterminer si cette chaîne possède unedistribution stationnaire : résolvons le système déquationslinéaires
P> I
!π =!0 auquel nous ajoutons les
contraintes nécessaires pour que !π soit une fonction demasse.
0BBBBBBBBB@
1 13 0 0 0
1 1 13 0 0
0 23 1 1
3 0
0 0 23 1 1
0 0 0 23 1
1 1 1 1 1
1CCCCCCCCCA
0BBB@π0π1π2π3π4
1CCCA =
0BBBBB@000001
1CCCCCA)
0BBB@π0π1π2π3π4
1CCCA =
0BBBBBB@
1301101525415
1CCCCCCA .
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Un raisonnement parfois erroné VILoi stationnaire
Cette chaîne possède donc une distribution stationnaireunique.Il est tentant de prétendre que si nous laissons la chaîneévoluer pendant une très longue période et que nouslobservons au terme de cette dernière, alors la probabilitéque la chaîne se trouve à létat i est πi .Or cette chaîne est de période 2, ce qui signie que si ladistribution initiale est, par exemple, !e2 alors la chaîne nepeut revenir à cet état quaux périodes pairs. Ainsi,
P2n+122 = 0 6=
15= π2
même si n est très grand.Il faut donc se méer de linterprétation donnée à ladistribution stationnaire lorsque certaines classes de lachaîne ne sont pas apériodiques.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Les résultats ILoi stationnaire
TheoremThéorème 4.8. Pour tout état xi de degré positif (d (i) > 0),la limite
limn!∞
Pnd (i )
ii
existe.
La démonstration de ce théorème est omise.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Les résultats IILoi stationnaire
DenitionLorsque létat xi est transitoire, alors la convergence de la série
∞
∑n=1
(Pn)ii < ∞
implique que limn!∞ (Pn)ii = 0. Par contre, si létat xi estrécurrent, alors nous di¤érençons deux types : xi estrécurrent positif si limn!∞ (Pn)ii > 0 etrécurrent nul lorsque limn!∞ (Pn)ii = 0.
Remarque. Il est possible de montrer que la récurrencepositive est une propriété de classe.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Les résultats IIILoi stationnaire
TheoremThéorème 4.9. Une chaîne de Markov irréductible estrécurrente positive si et seulement si elle possède une et uneseule distribution stationnaire.
Nous ne démontrerons pas ce théorème.
TheoremCorollaire 4.10. Une chaîne de Markov irréductible sur unespace détats ni ne contient que des états récurrents positifs.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Les résultats IVLoi stationnaire
TheoremThéorème 4.11. Une chaîne de Markov irréductible etapériodique est nécessairement dun des deux types suivants :(i) ergotique, lorsque tous les états sont ergotiques,cest-à-dire récurrents positifs et apériodiques;(ii) non-ergotique, lorsque tous les états sont transitoiresou récurrents nuls.Lorsque la chaîne est ergotique, alors(a) limn!∞ (Pn)ij = πj > 0 pour tous les couples détatsxi et xj ,(b) il existe une et une seule distribution stationnaire !π .Lorsque la chaîne est non-ergotique, alors(a) limn!∞ (Pn)ij = 0 pour tous les couples détats xi etxj ,(b) il nexiste aucune distribution stationnaire.
Markov
Notation etnotions debase
Classicationdes états
Probabilitésdabsorption
Loistationnaire
Références
Références
GUTTORP, Peter (1995). Stochastic Modeling ofScientic Data, Chapman and Hall, London, Great Britain.
KARLIN, Samuel et TAYLOR, M. Howard (1975). A FirstCourse in Stochastic Processes, deuxième édition,Academic Press, New York.
VAILLANCOURT, Jean (1997). Notes de cours SST479Probabilités et Statistique III, Département demathématiques et dinformatique de lUniversité deSherbrooke, Sherbrooke.