Embed Size (px)
Citation preview
Modèles stochastiques
Chaînes de Markov discrètes
{ }Suite de variables aléatoires ,
est un ensemble d'entiers non-négatifs et
représente u
1
n
. Processus s
e mesure d'une
tochasti
caractéristique au temps
que discret
t
t
X t T
T
X t
∈
Processus stochastique décrivant l'évolution d'un système qui est modifié d
2. Processus stochastique
Str
discret avec un espace d'é
ans
le temps.
1 états mutue
tats fi
llement
ucture
exclu
:
ni
sifs: M +
{ }{ } { }0 1
0,1, ,
= état du système au temps : 0,1, ,
= , , représentation du statut du système dans le temps.
t t
t
M
X t X M
X X X
∈
…
…
…
Évolution de la météo d'un jour à l'autre. Souvent la météo à un jour donné peut
dépendre de la météo de la veille.
Observations sur les jours 0,1,
États de l
Exempl
a mété
e de la mét
o le jour :
é
o
t
t
= …
{ } { }0 1
état 0: beau
état 1: pluie.
Dénotons
0 beau le jour
1 pluie le jour .
Processus stochastique , ,
t
t
tX
t
X X X
=
= …
Processus stochastique décrivant l'évolution d'un système qui est modifié
2. Processus stochastique d
S
iscret avec une espace d'
dans
le temps.
1 états mut
tructur
uelleme
états fin
nt exclus
i
e:
ifs:M +
{ }{ } { }0 1
0,1, ,
= état du système au temps : 0,1, ,
= , , représentation du statut du système dans le temps.
t t
t
M
X t X M
X X X
∈
…
…
…
{ } { }
{ } { }
0 1
0 1
est souvent une hypothèse souvent faite pour faciliter
l'étude d'un processus stochastique , , .
Le proce
3. Chaînes de Ma
ssus stochastique
Propriété
rko
,
markovienne
chaîn, est
v
e deune
t
t
X X X
X X X
=
=
…
…
( )( ) ( )
( )
1 0 0 1 1 1
1
ou possède la si
| , , | .
Probabilité conditionnelle de l'état demain étant donné les états passés
0,1, ,
Markov
propriété mar
1 et de celui d'aujourd'h
kovienn
e
ui
t t t t
t
P X j X k X k X i P X j X i
X
t t
+ +
+
= = = = = = =
−
…
…
1
est indépendantes des états passés;
i.e., probabilité conditionnelle de l'état de demain depend uniquement
de l'état d'aujourd'hui . t
t
X
X
+
Le processus stochastiqu sane e s mst dit émoire
( )( ) ( ) { }1 1 0
Probabilités de transition entre deux moments consécutifs
4. Probabilités de transit
et 1
| | , 0, ,
ion
ij t t
t t
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
{ }Propriétés:
0 , 0, ,ij
p i j M≥ ∀ ∈ …
{ }0
1 0, ,M
ij
j
p i M=
= ∀ ∈∑ …
( ) ( ) { }1 1 0
stationnairesprobabilités de transition restent dans le temps
| | , 0, ,
t tP X j X i P X j X i i j M+ = = = = = ∀ ∈ …
( )( )
00 1
10 1
00 01 01 00
10 11 11 10
0 | 0 0.8
0 | 1 0.6
E
1 1 1 0.8
xemple de la mé
0.2
1 1 1 0
té
.6 0.
o:
4
t t
t t
p P X X
p P X X
p p p p
p p p p
+
+
= = = =
= = = =
+ = ⇒ = − = − =
+ = ⇒ = − = − =
( )( )
beau demain| beau aujourd'hui 0.8
beau demain| pluie aujourd'hui 0.6
0 beau le jour
1 pluie le jour .t
P
P
tX
t
=
=
=
( )( ) ( ) { }1 1 0
Probabilités de transition entre deux moments consécutifs
4. Probabilités de transit
et 1
| | , 0, ,
ion
ij t t
t t
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
[ ]
00 01 0
10 11 1
0 1
états 0 1
0
1
Matrice de transitions
M
M
M M MM
M
p p p
p p pP
M p p p
=
…
…
…
� � � �
…
( )( )
00 1
10 1
00 01 01 00
10 11 11 10
0 | 0 0.8
0 | 1 0.6
E
1 1 1 0.8
xemple de la mé
0.2
1 1 1 0
té
.6 0.
o:
4
t t
t t
p P X X
p P X X
p p p p
p p p p
+
+
= = = =
= = = =
+ = ⇒ = − = − =
+ = ⇒ = − = − =
0.8 0.2
0.6 0.4P
=
( )
Tant qu'un joueur a de l'argent en main, il joue en misant $1.
Il gagne $1 avec une probabilité de .
Il perd sa mise ($1) avec une probabilité de 1 .
Le jeux s'arrête lo
E
rsque le joueur
xemple du je
n
u:
p
p−
'a plus d'argent ou lorqu'il a $3 en main.
[ ]
( )( )
Matrice de transition
états 0 1 2 3
1 0 0 00
1 0 01
2 0 1 0
3 0 0 0 1
p pP
p p
− = −
États (somme que le joueur peut avoir en main): 0, 1, 2, 3
( )
( ) ( ) ( ) { }0
Probabilités de transition entre les deux moments et
(incluant transitio
5. Équations de Chapman-Kolmogorov
équations de Chapman
ns)
| | , 0, ,
Les permet-Kolmogo ov ter
n
ij t n t n
t t n
n
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
( )
nt de determiner les probabilités
de transition à partir des probabilités de transition entre deux moments
consécutifs :
n
ij
ij
p
p
( ) ( ) ( ) { }0
, 0, ,
1, 2, , 1
1, 2,
Mn m n m
ij ik kj
k
p p p i j M
m n
n m m
−
=
= ∀ ∈
= −
= + +
∑ …
…
…
( )
Les permettent de determiner les probabilités
de transition à partir des probabilités de transition e
équations de Chapma
ntre deux moments
c
n-Kolmo
onsécut
go
if
rov
s :
n
ij
ij
p
p
( ) ( ) ( ) { }0
, 0, ,
1, 2, , 1
1, 2,
Mn m n m
ij ik kj
k
p p p i j M
m n
n m m
−
=
= ∀ ∈
= −
= + +
∑ …
…
…
i j
k
étapesn
étapesm ( ) étapesn m−
( )n
ijp
( )m
ikp
( )n m
kjp
−
On doit considérer tous les états comme intermédiaires.k
( )
( ) ( ) ( ) { }0
Probabilités de transition entre les deux moments et
(incluant transitions)
| | , 0, ,n
ij t n t n
t t n
n
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
( ) { }
( ) ( ) { }
( ) ( ) { }
2
0
1
0
1
0
, 0, ,
, 0, ,
, 0, ,
M
ij ik kj
k
Mn n
ij ik kj
k
Mn n
ij ik kj
k
p p p i j M
p p p i j M
p p p i j M
=
−
=
−
=
= ∀ ∈
= ∀ ∈
= ∀ ∈
∑
∑
∑
…
…
…
( )2P PP=
( ) ( )1 1n n nP PP PP
− −= =
( ) ( )1 1n n nP P P P P
− −= =
( )
( ) ( ) ( ) { }0
Probabilités de transition entre les deux moments et
(incluant transitions)
| | , 0, ,n
ij t n t n
t t n
n
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
Exemple de la mét
0.8 0.2
éo:
0.6 0.4P
=
( )2 2 0.8 0.2 0.8 0.2 0.76 0.24
0.6 0.4 0.6 0.4 0.72 0.28P PP P
= = = =
( )3 2 3 0.8 0.2 0.76 0.24 0.752 0.248
0.6 0.4 0.72 0.28 0.744 0.256P PP P
= = = =
( )4 3 4 0.8 0.2 0.752 0.248 0.75 0.25
0.6 0.4 0.744 0.256 0.749 0.251P PP P
= = = =
( )5 4 5 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.749 0.251 0.75 0.25P PP P
= = = =
( )6 5 6 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.75 0.25 0.75 0.25P PP P
= = = =
5 6 7 8
P P P P= = = =…
Dans le cas où est petit et que le système n'a pas atteint son stage d'équilibre,
il faut connaître les p
6. Probabilités non-cond
robabilités des états au d
itionnelles
épart (
des
i.e
état
0
s
., à )
n
t
P X
=
( ) { }
( ) ( ) ( )( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
0
0 0
0 0 0 0
0 0 0
0, , .
Alors
& 0 &
| 0 0 |
0
n n n
n n n
n n
j Mj
i i M
P X j P X j X P X j X M
P X j P X j X P X P X j X M P X M
p P X p P X M
= ∀ ∈
= = = = + + = =
= = = = = + + = = =
= = + + =
…
…
…
…
( ) ( )( )
( ) ( ) ( )
0 0
3
3 33 01 0 11 0
Supposons que 0 0.3 et 1 0.7
Quelle est la probabilité qu'il p
Exempl
leuve le jour 3, 1 ?
1 0 1
0.3 0.7
0.0744 0
e de la
0.
.1792 0
248
mét
0.256
éo
.253
:
6
P X P X
P X
P X p P X p P X
= = = =
=
= = = + =
= ⋅ + ⋅
= + =
( )3 0.752
0. 0.
0.
25
2
644
4
7
8P
=
( )
Un état est accessible
7. Classification de
à partir de l'état
s états d'une chaîn
si
0 po
e de Markov
ur un certain 0n
ij
j i
p n> >
{ }
Les états 0 et 1 sont accessibles à partir des états 0 et 1 puisque
0.8 0.20 , 0,1 .
0.
Exemple d
6 0.4
e la météo:
ijP p i j
= ⇔ > ∀ ∈
( )
Un état est à partir de l'état si
0 pour un certai
accessi
0
b
l
n
en
ij
j i
p n> >
( )
Tant qu'un joueur a de l'argent en main, il joue en misant $1.
Il gagne $1 avec une probabilité de .
Il perd sa mise ($1) avec une probabilité de .
Le jeux s'arrête lorsque le joueur n'a plus d'argen
p
i p−
( )( )
t ou lorqu'il a $3 en main.
1 0 0 0
1 0 0
0 1 0
0 0 0 1
p pP
p p
− = −
( ) ( ) ( )30 31 32
Les états 0, 1, 2 ne sont pas
accessibles à partir de l'état 3
car on ne peut repartir vers
d'autres états à partir de 3 0, 0, 0 0n n np p p n⇒ = = = ∀ >
Exemple du jeu:
23
L'état 3 est accessible à partir
de l'état 2 car
0p p= >
Les états et si
l'état est accessible à partir de l'état et l'état est accessible à par
commu
tir d
niquen
e l'état
t
i j
i j j i
{ }
Les états 0 et 1 communiquent
0.8 0.20 , 0,1 .
0.
Exemple de la météo
4
:
6 0. ijP p i j
= ⇔ > ∀ ∈
( )( )00 0 communique avec lui-même | 1iii p P X i X i• = = = =
communique avec communique avec i j j i• ⇔
communique avec et communique avec communique avec i k k j i j• ⇒
( ) ( )
( ) ( ) ( ) ( ) ( )
1 2
1 2 1 2 1 2
1 2
0
>0 tel que 0 et >0 tel que 0
Donc >0
n n
ik kj
Mn n n n n n
ij il lj ik kj
l
n p n p
p p p p p+
=
∃ > ∃ >
= ≥∑
Les états et si
l'état est accessible à partir de l'état et l'état est accessible à par
commu
tir d
niquen
e l'état
t
i j
i j j i
[ ]
( )( )
Les états 1 et 2 communiquent
états 0 1 2 3
1 0 0 00
1 0 01
2 0 0
3 0 0 0 1
Exemple du jeux
1
:
pP
p p
p
− =
−
( )( )00 0 communique avec lui-même | 1iii p P X i X i• = = = =
communique avec communique avec i j j i• ⇔
communique avec et communique avec communique avec i k k j i j• ⇒
de tous leclasseUne est un sous-ensemble états communiquant ents re eux.
such that those states that communicate with each other are in the
s
classes
ame cla
... the states may be
ss.
partitioned into one or more sepa
rate
H.L.
de tous leclasseUne est un sous-ensemble états communiquant ents re eux.
[ ]
( )( )
{ } { } { }
Les états 1 et 2 communiquent
états 0 1 2 3
1 0 0 00
3 classes: 0 , 1, 2 , 31 0
Exemple
01
2 0 1 0
3 0
du jeux:
0 0 1
p pP
p p
⇒− = −
Une chaîne de Markov est si elle ne comporte qu'une seirréducti ule clable sse.
{ }
Les états 0 et 1 communiquent
chaîne de Markov irréductible0.8 0.20 , 0,1 .
0.6 0
Exemple de la météo:
.4 ijP p i j
⇒
= ⇔ > ∀ ∈
( )
Etat :
est un état si après y avoir accédé ,
le processus peut ne plus y revenir:
est transient accessible de , mais n'est pas accessible de
transient
transie (upon n entering this st e)t ati
i j i i i j⇔ ∃ ≠
[ ]
( )( )
{ }les états de la classe 1,2 sont transients:états 0 1 2 3
1 0 0 0 0 accessible de 1, mais 0
1 n'est pas acessible de 0;1 0 01
2 0 1 03 accessible de 2, 3 0
Exemple du jeux:
0 0 1
p pP
p p
⇒− = −
mais
2 n'est pas acessible de 3.
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
[ ]
( )( )
( )
états 0 1 2 3les états 0 et 3 sont
Exempl
récurrents:0 0 00
1 0 01après avoir atteint 0 ou 3
2 0 1 0on y reste, donc on y revient.
e du
3 0
1
jeux
0
:
0 1
p pP
p p
⇒− = −
A state is said to be if, upon entering this state, the process
to this state again.
récurrent
H.L.definitely will return
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
Tous les états d'une chaîne de Markov irréductible sont récurrents.
Une chaîne de Markov est si elle ne comporte qu'une sirréduct eul claible sse.
{ }
Les états 0 et 1 communiquent chaîne de Markov irréductible
0.8 0.20 , 0,1 .
0.6 0
E
0 et 1 sont
xemple de la mété
.4 récurren
o:
tsijP p i j
⇒
= ⇔ > ∀ ∈
Etat :
est un état si après y avoir accédé, le processus ne peut en repartir:
absorbant
absorb
est absorbant =1
ant
ii
i
i p⇔
[ ]
( )( )
00 33
états 0 1 2 3
0 0 00les états 0 et 3 sont absorbants
1 0
Exemp
01puisque
le
=1 2 0 1 0
3 0 0
du jeux:
1
10
p pp pP
p p
⇒− == −
[ ]états 0 1 2 3 4
0 0.2 0.8 0 0 0
1 0.5 0.5 0 0 0
2 0 0 1 0 0
3 0 0 0.3 0.7 0
4 1 0 0
Exemple pour illustrer les définiti
0
ons:
0
P
=
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
( )
Etat :
est un état si après y avoir accédé, le processus peut ne plus y revenir:
est transient accessible de , mais n'est pas accessible de
transient
transienti
i j i i i j⇔ ∃ ≠
Etat :
est un état si après y avoir accédé, le processus
ne peut en repartir:
absorbant
absorb
est absorbant =1
ant
ii
i
i p⇔
{ } { } { } { }Une est un sous-ensemble d'états communiquant entre eux.
0,1 ,
classe
2 , 3 , 4
2 est récurrent et absorbant
32 223 est transient puisque 0 et 1p p> =
0440
01 14
04 est transient puisque 1 et
0 mais 0
pp
p p
==
> =
[ ]états 0 1 2 3 4
0 0.2 0.8 0 0 0
1 0.5 0.5 0 0 0
2 0 0 1 0 0
3 0 0 0.3 0.7 0
4 1 0 0
Exemple pour illustrer les définiti
0
ons:
0
P
=
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
( )
Etat :
est un état si après y avoir accédé, le processus peut ne plus y revenir:
est transient accessible de , mais n'est pas accessible de
transient
transienti
i j i i i j⇔ ∃ ≠
Etat :
est un état si après y avoir accédé, le processus
ne peut en repartir:
absorbant
absorb
est absorbant =1
ant
ii
i
i p⇔
{ } { } { } { }Une est un sous-ensemble d'états communiquant entre eux.
0,1 ,
classe
2 , 3 , 4
0 et 1 sont récurrents
Tous les éléments d'une classe sont récurrents ou transients.
Il ne peut y avoir une chaîne de Markov dont tous les éléments sont transients.
( )
d'un état (Hillier & Lieberman).
is of if 0 for all values of other than
, 2 , 3 ,... H.L.
et
Pério
est la plus grande
de
périod
va
n
iii p n
d d d
d
d =
leur entière ayant cette propriété.
(2)11
(4)11
(6)11
Considérons l'état 1 (joueur possède $1 au départ)
1 0
revient à 1 au temps 2
2 1 0
revient à 1 au te
Exemple
mps 4
3 2 1 0
0
revient à 1 au temps 6
du
0
0
jeux:
p
p
p
→
↓
→ →
↓ ↓
→ →
↓
>
↓
>
>
↙
↙
↙
(8)11
3 2 1 0
revient à 1 au temps 8
3 2 1 0
0p
→ →
↓ >↓
→ →
↓ ↓
↙
[ ]
( )( )
états 0 1 2 3
1 0 0 00
1 0 01
2 0 1 0
3 0 0 0 1
p pP
p p
− = −
donc 2 d =
( )( ) ( ) ( )
d'un état (Taylor & Karlin).
La de est le plus grand commun diviseur de tous les entiers
pour lesquels 0. (Par convention, 0 si 0 pour tout 1.
Pé
)
riode
période n n
ii ii
i n
p d
d i
i p n> = = ≥
[ ]
( )( )
états 0 1 2 3
1 0 0 00
1 0 01
2 0 1 0
3 0 0 0 1
p pP
p p
− = −
donc 2( )d i =
(2)11
(4)11
(6)11
Considérons l'état 1 (joueur possède $1 au départ)
1 0
revient à 1 au temps 2
2 1 0
revient à 1 au te
Exemple
mps 4
3 2 1 0
0
revient à 1 au temps 6
du
0
0
jeux:
p
p
p
→
↓
→ →
↓ ↓
→ →
↓
>
↓
>
>
↙
↙
↙
(8)11
3 2 1 0
revient à 1 au temps 8
3 2 1 0
0p
→ →
↓ >↓
→ →
↓ ↓
↙
On peut démontrer que la période est la même pour tous les états d'une classe.
est si sa période ( ) 1
i.e. si
ap
0 pour tout
ériodic
1n
ii
i d i
p n
=
> ≥
Dans une chaîne de Markov avec un espace d'états fini,
un état récurrent qui est apériodic est ergodit dic.
Une chaîne de Markov avec un espace d'états fini est ,
si tous ses états sont
ergodic
ergod ics.
est un état si après y avoir accédé, le processus y reviendra:
est récurrent n'est p
réc
as
urr
tra
ent
nsient
i
i i⇔
( ) ( )1
est si sa période 1
i.e. deux moments consécutifs e
a
t 1 où 0
péri
e
o
t
d
0
ics s
ii ii
i d
s s p p+
=
∃ + > >
( )( ) ( ) ( )
d'un état (Taylor & Karlin).
La de est le plus grand commun diviseur de tous les entiers
pour lesquels 0. (Par convention, 0 si 0 pour tout 1.
Pé
)
riode
période n n
ii ii
i n
p d
d i
i p n> = = ≥
( )
d'un état (Hillier & Lieberman).
is of if 0 for all values of other than
, 2 , 3 ,... H.L.
et
Pério
est la plus grande
de
périod
va
n
iii p n
d d d
d
d =
leur entière ayant cette propriété.
Dans le cas où est petit et que le système n'a pas atteint son stage d'équilibre,
il faut connaître les p
6. Probabilités non-cond
robabilités des états au d
itionnelles
épart (
des
i.e
état
0
s
., à )
n
t
P X
=
( ) { }
( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )
0
0 0 0 0
0 0 0
0, , .
Alors
| 0 0 |
0
n n n
n n
j Mj
i i M
P X j P X j X P X P X j X M P X M
p P X p P X M
= ∀ ∈
= = = = = + + = = =
= = + + =
…
…
…
( ) ( )( )
( ) ( ) ( )
0 0
3
3 33 01 0 11 0
Supposons que 0 0.3 et 1 0.7
Quelle est la probabilité qu'il p
Exempl
leuve le jour 3, 1 ?
1 0 1
0.3 0.7
0.0744 0
e de la
0.
.1792 0
248
mét
0.256
éo
.253
:
6
P X P X
P X
P X p P X p P X
= = = =
=
= = = + =
= ⋅ + ⋅
= + =
( )3 0.752
0. 0.
0.
25
2
644
4
7
8P
=
8. Probabilités à l'équilibre
Exemple de la mét
0.8 0.2
éo:
0.6 0.4P
=
( )5 0.75 0.25
0.75 0.25P
=
( )6 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.75 0.25 0.75 0.25P
= =
( )( ) ( )
( ) ( ) ( )( ) ( )
0 0
0 01 0 11
0 0
Après le jour 5, la probabilité qu'il pleuve 1 , 5
ne depend pas des probabilités des états au depart: 0 et 1
1 0 1
0 0.25 1 0.25 0.25.
t
t t
t
P X t
P X P X
P X P X p P X p
P X P X
= ≥
= =
= = = + =
= = + = =
8. Probabilités à l'équilibre
Exemple de la mét
0.8 0.2
éo:
0.6 0.4P
=
( )5 0.75 0.25
0.75 0.25P
=
( )6 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.75 0.25 0.75 0.25P
= =
( )( )
Probabilité qu'il fasse beau 1 = 0.75 ne dépend plus de l'état initial du système
Probabilité de pluie 1 0.25
i
i
=
= =
( )
Donc en général quand il existe une valeur de assez grande pour que les lignes de
la matrice de transition soient identiques, alors la probabilité que le système se
trouve dans l'état ne dépend p
n
n
P
j lus de l'état initial du système (à 0) t =
Les sont des propriétés à long probabilités à l'équilib terme des chaînes de Mre arkov
On peut démontrer que pour toute chaîne de Markov irréductible (ne comportant
qu'une seule
lim existe
classe) qui est e
et ne dépend pas
rgotic
de l'état n
ijn
p i→∞
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
( ) ( )5 6
( ) ( )01 11
0.75 0.25
0.75 0.25
lim lim 0.25n n
n n
P P
p p→∞ →∞
= = =
= =
…
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
( ) ( )
0
Le système précédent comporte 1 inconnus et 2 équations,
et par conséquent une équation est redondante.
Si nous éliminons la dernière contrainte 1, nous obtenons plusieurs
solutions à un m
M
j
j
M M
π=
+ +
=∑
0
ultiple près.
Nous devons conserver cette dernière contrainte 1 pour sauvegarder
la propriété des probabilités.
M
j
j
π=
=∑
0 0
M M
j i ij i ij
i i
p pπα α απ π= =
= =∑ ∑
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
Le est donc une de se retrouver à l'état après
après un très grand nombre d'itérations
probabilité au stage d'équilibre
indépendemment de l'état initiale à 0
j j
t
π
=
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
0 0 1 0 10 1
1 0 1 1 0
0 11 1
0 1
1 0
0.8 0.6 0.2 0.63
0.2 0.4
Exemple de l
0.6 0.2
14 1 0.25
3
Don
a mét
c 0.25 et 0
o
. 5
é :
7
π π π π ππ π
π π π π π
π ππ π
π π
π π
= ⋅ + ⋅ ⇒ ⋅ = ⋅ ⇒ =
= ⋅ + ⋅ ⇒ ⋅ = ⋅
+ = ⇒ = ⇔ =
=
= =
0.8 0.2
0.6 0.4P
=
est une (ne pas confondre avec le fait que les
probabilités de transition sont stationnaires) dans le sens où si la probabilité
initiale d'être d
probabil
ans l'éta
ité stati
t est
on
do
nair
nné
e
par
j
j
π
( )( )
( )
0 , alors la probabilité
de retrouver le système dans l'état aux temps 1, 2, est aussi :
j j
j
n j
P X j
j n
P X j
π π
π
π
= =
=
= =
…
( ) ( )( )
( ) ( ) ( )
0 0 0 1
3
3 33 01 0 11 0
0 1
Supposons que 0 0.75 et 1 0.25
Quelle est la probabilité qu'il pleu
Exemple
ve le jour 3, 1 ?
1 0 1
0.75 0.25
0.186 0.0
0.248
0.24
d
0.256
0.256
64
e la mété
8
0
o:
P X P X
P X
P X p P X p P X
π π
π π
= = = = = =
=
= = = + =
= ⋅ + ⋅
= ⋅ + ⋅
= + = .25
( )3 0.752
0. 0.
0.
25
2
644
4
7
8P
=
( )
( )
Si les états et sont récurrents dans des classes différentes alors
0 1
Si l'état est transient alors
lim 0 .
Donc la probabilité de retourner dans
ij
n
n
ijn
j
p n
j
p
i
i→∞
•
= ∀ ≥
•
= ∀
( )
1
un état transient après un grand
nombre d'itérations tend vers 0.
On peut démontrer que pour une chaîne de Markov irreductible
1 lim
nk
ij jn
k
pn
π→∞
=
•
=
∑
9. Coût moyen (à long terme) par unité de temps
( ){ }
( ) ( )
Soit un processus stochastique étant une chaîne de Markov
Considérons une fonction de coût définie par une variable aléatoire définie
pour les valeurs des états 0, , :
0 , , .
Supposons que la fonct
tC X
M
C C M
…
…
( ) ( )ion soit indépendante du temps; i.e., reste la
même pour tous les temps .tC C X
t
i
( ){ }
( )
Soit un processus stochastique étant une chaîne de Markov irréductible
et ergotic.
Considérons une fonction de coût définie par une variable aléatoire définie
pour les valeurs des états 0, , :
0 , ,
tC X
M
C C
…
… ( )( ) ( )
.
Supposons que la fonction soit indépendante du temps; i.e., reste la
même pour tous les temps .t
M
C C X
t
i
( )1
Le coût moyen associé à pour les premières périodes:
1.
n
t
t
C n
E C Xn =
∑
( ) ( )
1
1 0
coût moyen (à lon
Utilisant le résulta
g terme) par unité d
t que
1lim =
on peut démontrer que le
est donné par
e temps
1lim
nk
ij jn
k
n M
t jn
t j
pn
C X C jn
π
π
→∞=
→∞= =
=
∑
∑ ∑
( ) ( )1 0
est Coût m donné oyen (à long par
1li
terme) par unité de temps
mn M
t jn
t j
C X C jn
π→∞
= =
=
∑ ∑
( )( )
1 0Nous avons 0.25 et 0.75
Considérons une entreprise dont le coût d'exploitation depend de la météo:
beau temps coût est de $25 0 25
pluie coût est de $
Exemple de la mété
1
o
0
:
0
C
C
π π= =
→ ⇒ =
→
i
( )
( ) ( ) ( )0 10
1 100.
Coût d'exploitation moyen (à long terme) par unité de temps:
0 1
0.75 25 0.25 100
18.75 25 43.75.
M
j
j
C
C j C Cπ π π=
⇒ =
= +
= ⋅ + ⋅
= + =
∑
