Chaînes de Markov et Processus markoviens de sauts. Applications

Chaînes de Markov et Processusmarkoviens de sauts.

Applications aux files d’attente.

Sébastien Loustau

Ecole Centrale de Marseille, Année 2008-2009.

TABLE DES MATIÈRES 3

Table des matières

1 Chaînes de Markov 11.1 Définition et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3 Récurrence, transcience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.4 Chaînes récurrentes irréductibles . . . . . . . . . . . . . . . . . . . . . . . . 81.5 Chaîne apériodique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121.6 Chaîne réversible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2 Processus de Poisson 152.1 Processus ponctuels et f.a. de comptage . . . . . . . . . . . . . . . . . . . . 152.2 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.3 Théorèmes limites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3 Processus markoviens de sauts 213.1 Définition et premières propriétés . . . . . . . . . . . . . . . . . . . . . . . . 213.2 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233.3 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.4 La chaîne incluse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.5 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273.6 Cas irréductible récurrent . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Travaux Dirigés, Devoir Maison, Travaux Pratiques, Examen. 30

1

Chapitre 1

Chaînes de Markov

Introduction

On considère la marche aléatoire suivante sur le réseau Zd : on part du point 0Zd =(0, . . . ,0) et on se dirige avec même probabilité dans chaque direction. Cela signifie qu’avecprobabilité p = 1

2d , on choisit une direction. Les questions relatives à une telle marche sontnombreuses et largement étudiées en théorie des probabilités. On peut se demander :• Quelle est la probabilité de revenir en l’origine?• Et en tout autre point?• Où finit-on par aller?• Quelle est la forme de la trajectoire?Pour répondre à ces questions, on modélisera cette marche aléatoire par une chaîne deMarkov. Formellement, une chaîne de Markov vérifie la propriété de Markov, à savoir :

"Sachant le présent, le futur est indépendant du passé".Une façon très simple de construire une chaîne de Markov (Xn)n≥0 est de se donner unesuite de variables aléatoires Yn, n ≥ 1 indépendantes, et indépendantes de X0, et de poser :

Xn = f(Xn−1,Yn,n), n ≥ 1.(1.1)

Autrement dit, c’est le modèle le plus simple de variables aléatoires dépendantes. Dansce chapitre, on va étudier les chaînes de Markov homogènes. Cela revient à choisir findépendante de n dans la relation (1.2). Si on revient à la marche aléatoire sur Zd, on abien :

Xn = f(Xn−1,Yn),

où f(Xn−1,Yn) = Xn−1 + Yn avec Yn donnée par

Yn =

ei, i = 1 . . . d avec probabilité 12d

−ei, i = 1 . . . d avec probabilité 12d ,

où ei, i = 1 . . . d est la base canonique de Zd.

2 CHAPITRE 1. CHAÎNES DE MARKOV

1.1 Définition et propriétés

On se place sur un espace de probabilité (Ω,F ,P). Dans toute la suite, les variablesaléatoires seront définies sur cet espace de probabilité. De plus, par convention, chaquecondition faisant intervenir la probabilité conditionnelle P(A|B) n’est supposée vérifiéeque pour P(B) > 0. On exclut le cas contraire où P(B) = 0, qui revient à diviser par zéro.Définition 1 Le processus stochastique (Xn)n≥0 à valeurs dans E ensemble fini ou dé-nombrable est une chaîne de Markov si ∀n ∈ N, ∀x0, . . . xn,y ∈ E,

P(Xn+1 = y|X0 = x0, . . . Xn = xn) = P(Xn+1 = y|Xn = xn).

On va tout d’abord démontrer qu’une suite de variables aléatoires (Xn)n≥0 vérifiant (1.2)est bien une chaîne de Markov.Lemme 1 Soit E et F deux ensembles dénombrables. Soit f : N×E ×F → E. Soit X0 àvaleurs dans E et (Yn)n≥0 à valeurs dans F , indépendantes et indépendantes de X0. Alorsle processus définit par:

Xn+1 = f(Xn,Yn+1,n),n ≥ 1,

est une chaîne de Markov.

Preuve

P(Xn+1 = y|X0 = x0, . . . Xn = xn) =P(Xn+1 = y,X0 = x0, . . . Xn = xn)

P(X0 = x0, . . . Xn = xn)

=∑

z:f(xn,z,n)=y

P(X0 = x0, . . . Xn = xn,Yn+1 = z)P(X0 = x0, . . . Xn = xn)

=∑

z:f(xn,z,n)=y

P(Yn+1 = z)

= P(Xn+1 = y|Xn = xn).

Cette preuve permet de montrer rigoureusement que la marche aléatoire sur Zd est bienune chaîne de Markov.

Dans le monde déterministe, cela revient à étudier les suites (xn)n≥0 définies par ré-currence de la manière suivante :

xn+1 = f(xn,n).

Dans ce cas la fonction f(·,n) permet de construire pas à pas à partir de x0 la suite (xn)n≥0.Dans le cadre des chaînes de Markov, ce rôle est joué par la matrice de transition, définiepar :

Pxy = P(Xn+1 = y|Xn = x).

La quantité Pxy est la probabilité d’aller de l’état x à l’état y. Dans toute la suite, cettematrice P sera indépendante de l’instant n. On dit que la chaîne de Markov est homogène.Définition 2 Une matrice P est dite markovienne si P = (Pxy)x,y∈E vérifie les propriétéssuivantes :• ∀x ∈ E: ∑

y∈E

Pxy = 1;

1.1. DÉFINITION ET PROPRIÉTÉS 3

• ∀x,y ∈ E, Pxy ≥ 0.

Remarque 1 On indice les lignes et les colonnes de la matrice P par les éléments de E.Une matrice markovienne est une matrice carré, avec éventuellement une infinité de ligneset de colonnes lorsque E est dénombrable infini.

Remarque 2 Les deux conditions de la définition reviennent à dire que chaque vecteurligne Px· est un mesure de probabilité sur E.

Comme on va le voir, la loi d’une chaîne de Markov sur E est entièrement déterminé parla donnée d’une loi initiale µ sur E et d’une matrice markovienne P qui sera la matrice detransition de la chaîne.Définition 3 Soit µ une probabilité sur E et P une matrice markovienne. Un processusstochastique (Xn)n≥0 à valeurs dans E et défini sur un espace de probabilité (Ω,F ,P) estune chaîne de Markov (µ,P ) si :

(i) P(X0 = x) = µx, ∀x ∈ E.(ii) P(Xn+1 = y|X0 = x0, . . . Xn = x) = Pxy, ∀x0, . . . x,y ∈ E.

La probabilité µ est appelé loi initiale de la chaîne et la matrice P matrice de transition.

Proposition 1 (Xn)n≥0 est une chaîne de Markov si et seulement si ∀n ∈ N :

P(X0 = x0, . . . Xn = xn) = µx0Px0x1 . . . Pxn−1xn .(1.2)

Preuve ⇒) Si (Xn)n≥0 est une chaîne de Markov, alors on a :

P(X0 = x0, . . . Xn = xn) = P(Xn = xn|X0 = x0,, . . . Xn−1 = xn−1)P(X0 = x0, . . . Xn−1 = xn−1)= P(Xn = xn|Xn−1 = xn−1)P(X0 = x0, . . . Xn−1 = xn−1)= . . .

= Pxn−1xn . . . Px0x1P(X0 = x0).

⇐) Si (1.2) est vérifiée, alors:

P(Xn+1 = y|X0 = x0, . . . Xn = xn) =P(X0 = x0, . . . Xn = xn,Xn+1 = y)

P(X0 = x0, . . . Xn = xn)

=µx0Px0x1 . . . Pxn−1xnPxnxn+1

µx0Px0x1 . . . Pxn−1xn

= P(Xn+1 = y|Xn = xn).

Dans ce cours, une probabilité µ sur E sera toujours définie comme un vecteur ligne.Une application g : E → R sera représentée par un vecteur colonne, de sorte que:

(µP )y =∑x∈E

µxPxy,

et

(Pg)x =∑y∈E

Pxygy.


Enfin, l’intégrale d’une fonction g par rapport à une mesure µ s’écrit, lorsqu’elle existe :

µ(g) =∑x∈E

µxgx.

Proposition 2 Soit (Xn)n∈N une chaîne de Markov (µ,P ). Alors :– P(Xn = y) = (µPn)y.– P(Xn = y|X0 = x) = P(Xn+p = y|Xp = x) = (Pn)xy.– E(g(Xn)|X0 = x) = (Png)x.

Preuve Exercice !

Exemple 1 (Somme de variables aléatoires) Soit (Xn) une suite de variables aléa-toires indépendantes à valeurs dans Z. Sn = X1 + . . . + Xn est une chaîne de Markov. Deplus, si les variables Xn sont de même loi µ, alors (Sn) est une chaîne de Markov homogènede matrice de transition Pij = µ(j − i).

Exemple 2 (Modèle de diffusion d’Ehrenfest) On réparti N particules dans deux com-partiments. Entre l’instant n et n + 1, une particule au hasard (avec probabilité uniforme)et une seule passe d’un compartiment à un autre. On note Xn le nombres de particulesdans le premier compartiment à l’instant n. Alors Xn est une chaîne de Markov à valeursdans 0, . . . N de matrice de transition Pij telle que pour tout i, Pi,i−1 = i

N , Pi,i+1 = N−iN

et Pij = 0 sinon.

Exemple 3 (File d’attente en temps discret) On considère une file d’attente à ungichet. On note (Xn)n≥0 le nombre de personnes dans la file à l’instant n. Entre l’ins-tant n et n + 1, Yn+1 clients arrivent et si Xn > 0, Zn+1 clients partent. On supposeque les variables X0,Y1,Z1,Y2,Z2, . . . sont indépendantes telles que P(Yn = 0) < 1 etP(Zn = 1) = p = 1− P(Zn = 0). (Xn)n≥0 est une chaîne de Markov.

1.2 Propriété de Markov forte

On se donne une chaîne de Markov (Xn)n≥0 à valeurs dans E, définie sur l’espace deprobabilité (Ω,F ,P). Soit µ une probabilité sur E. On notera Pµ une probabilité sur E telleque la chaîne de Markov (Xn)n≥0 a pour loi initiale µ, c’est-à-dire :

Pµ(X0 = x) = µx,∀x ∈ E.

Dans le cas où µ = δx, on notera Pδx = Px qui représente la probabilité conditionnellesachant X0 = x. On notera Fn la tribu engendrée par (X0, . . . Xn), c’est-à-dire :

Fn = ω ∈ Ω : (X0(ω), . . . ,Xn(ω)) ∈ Bn,Bn ∈ P(En+1).

C’est l’ensemble des évènements se produisant jusqu’à l’instant n.Le théorème suivant est une conséquence directe de la définition des chaînes de Markov.On l’appelle parfois propriété de Markov (faible).Théorème 1 Soit (Xn)n≥0 une chaîne de Markov (µ,P ). Alors, quelquesoit n ∈ N, x ∈ E,conditionnellement à Xn = x, (Xn+p)p≥0 est une chaîne de Markov (δx,P ) indépendantede (X0, . . . ,Xn). On peut écrire, quelquesoit A ∈ Fn:

P(A ∩Xn+1 = x1, . . . Xn+p = xp|Xn = x) = P(A|Xn = x)Px(X1 = x1, . . . Xp = xp).

1.2. PROPRIÉTÉ DE MARKOV FORTE 5

Preuve Il suffit de montrer le théorème pour B = X0 = y0, . . . Xn = yn puisque toutevènement A ∈ Fn est une réunion au plus dénombrable d’évènements disjoints de la formeB (on conclut par σ-additivité de P). De plus, si yn 6= x, les deux membres de l’égalité sontnuls. On a donc, en prenant B = X0 = y0, . . . Xn = x :

P(B ∩ Xn+1 = x1, . . . Xn+p = xp|Xn = x) =P(X0 = y0, . . . Xn = x,Xn+1 = x1, . . . Xn+p)

P(Xn = x)

=P(B)

P(Xn = x)Pxx1 . . . Pxp−1xp

= P(B|Xn = x)Px(X1 = x1, . . . Xp = xp),

où l’on a utilisé la Proposition 1.

Ce théorème est l’illustration de l’affirmation de l’introduction. Sachant la position à l’ins-tant n, le passé et le futur sont conditionnellement indépendants.

La propriété de Markov forte permet d’établir ce résultat en remplaçant l’instant fixen par un instant aléatoire vérifiant une certaine propriété.Définition 4 Une variable aléatoire T à valeurs dans N ∪ +∞ est appelée temps d’arrêtsi pour tout n ∈ N,

T = n ∈ Fn,

ou de manière équivalente T ≤ n ∈ Fn.Cela signifie qu’en observant la chaîne jusqu’à l’instant n, on peut décider si T = n alieu ou non.Exemple 4 On définit la variable Sx par:

Sx = infn ∈ N : Xn = x,

avec la convention inf ∅ = +∞. Sx représente le temps de premier passage à l’état x de lachaîne. Alors il est clair que Sx est un temps d’arrêt :

Sx = n = X0 6= x ∩ · · · Xn−1 6= x ∩ Xn = x ∈ Fn.

Exemple 5 On définit la variable Tx par:

Tx = infn > Sx : Xn = x.

Tx représente le temps du premier retour à l’état x de la chaîne. On montre aisément queTx est un temps d’arrêt.

Exemple 6 On définit la variable Lx par:

Lx = supn ∈ N : Xn = x.

Lx représente le temps du dernier passage à l’état x de la chaîne. Lx n’est pas un tempsd’arrêt.


Théorème 2 (Propriété de Markov forte) Soit (Xn)n≥0 une chaîne de Markov (µ,P ).Alors, quelquesoit x ∈ E, conditionnellement à XT = x ∩ T < ∞, (XT+p)p≥0 estune chaîne de Markov (δx,P ) indépendante de (X0, . . . ,XT ). On peut écrire, quelquesoitA ∈ FT :

P(A ∩XT+1 = x1, . . . XT+p = xp|XT = x,T < ∞) = P(A|XT = x,T < ∞)Px(X1 = x1, . . . Xp = xp).

Preuve Il suffit de montrer que ∀n ∈ N, on a d’après le Théorème 1 :

P(A ∩ T = n ∩ XT+1 = x1, . . . XT+p = xp|XT = x,T < ∞)= P(A|XT = x,T < ∞)Px(X1 = x1, . . . Xp = xp).

En sommant sur n, on obtient le résultat.

1.3 Récurrence, transcience

Dans ce paragraphe, on s’intéresse aux passages successifs d’une chaîne de Markov àun état x ∈ E. On note Tx le temps d’arrêt défini par:

Tx = infn ≥ 1 : Xn = x.

On défini le nombre de retour à l’état x par :

Nx =∑n≥1

1I(Xn = x).

Définition 5 On dit qu’un état x ∈ E est récurrent si Px(Tx < ∞) = 1. Sinon, il est dittransitoire (i.e. Px(Tx < ∞) < 1).

Proposition 3 Soit x ∈ E. Alors on a, pour tout k ≥ 1:

Px(Nx ≥ k) = (Px(Tx < ∞))k.(1.3)

Par conséquent, les assertions suivantes sont équivalentes (LASSE) :(i) x est récurrent.(ii) Px(Nx = +∞) = 1.(iii)

∑∞n=0(P

n)xx = ∞.(iv) Px(Nx = +∞) > 0.

Si x est transitoire, Nx suit une loi géométrique de paramètre Px(Tx < ∞).

Preuve On note T 2x le temps du deuxième retour en x :

T 2x = infn > Tx : Xn = x = Tx + infn ≥ 1 : XTx+n = x.

T 2x est clairement un temps d’arrêt et on a, d’après le Théorème 2 :

Px(T 2x < ∞) = Px(T 2

x < ∞|Tx < ∞)Px(Tx < ∞)

=∑k≥1

Px(T 2x = Tx + k|Tx < ∞)Px(Tx < ∞)

=∑k≥1

Px(Tx = k)Px(Tx < ∞)

= (Px(Tx < ∞))2 = Px(Nx ≥ 2),

1.3. RÉCURRENCE, TRANSCIENCE 7

où on utilise le fait que si la chaîne revient 2 fois en x en un temps fini, le nombre de visitede l’état x est au moins 2. De la même manière, en répétant le raisonnement ci-dessus, onmontre (1.3).Alors si x est récurrent, Px(Nx ≥ k) = 1 pour tout k, ce qui entraîne (ii). (iii) se déduitaisément de (ii) en notant que :

ExNx =∑n≥1

(Pn)xx.(1.4)

En remarquant que Nx = k = Nx ≥ k\Nx ≥ k + 1, et en utilisant (1.3), il est clairque :

Px(Nx = k) = (Px(Tx < ∞))k(1− Px(Tx < ∞)),∀k ≥ 1.

Ainsi (iii) ⇒ (i) puisque si x est transitoire, en utilisant (1.4) :

ExNx =∑k≥1

kPx(Tx < ∞)k(1− Px(Tx < ∞) =Px(Tx < ∞)

1− Px(Tx < ∞)< ∞.

Enfin (iv) ⇔ (ii) puisque si Px(Nx = ∞) > 0, alors Nx ne suit pas une loi géométrique.Ainsi x n’est pas transitoire, il est donc récurrent d’où Px(Nx = ∞) = 1.

Définition 6 On dit que l’état y est accessible à partir de x (noté x → y) s’il existe n ≥ 0tel que (Pn)xy > 0. On dit que x et y communiquent si x → y et y → x (noté x ↔ y).

Lemme 2 La relation ↔ est une relation d’équivalence.

Preuve Exercice !

On peut alors partitionner l’espace d’état d’une chaîne de Makov en classes d’équivalencesmodulo la relation ↔.Théorème 3 Soit C ⊂ E une classe d’équivalence pour la relation ↔. Alors tous les étatsde C sont soit récurrents soit transitoires.

Preuve Il suffit de montrer que

∀x,y ∈ C,x transitoire ⇒ y transitoire,

puisque par définition d’un état récurrent, la contraposé montrera le cas récurrent.Soit x,y ∈ C avec x transitoire. Alors on peut écrire :

Pn+r+mxx ≥ Pn

xyPryyP

myx,

où Pnxy > 0 et Pm

yx > 0. De plus,

ENy =∑r>0

P ryy ≤

1Pn

xyPmyx

∑r>0

Pn+r+mxx ,

qui est fini puisque x est transitoire (Proposition 3). En utilisant encore la Proposition 3,y est transitoire.


Définition 7 Une chaîne de Markov est dite irréductible si E est constitué d’une seuleclasse d’équivalence. Elle est dite récurrente irréductible si tous ses états sont récurrents.

Autrement dit, une chaîne est irréductible si tous les états de cette chaîne communiquent.D’après le Théorème 3, pour montrer qu’une chaîne est récurrente irréductible, il suffit demontrer qu’un état est récurrent. SInon, tous les états seront transitoires.Proposition 4 Une chaîne de Markov irréductible sur un espace d’état E fini est récur-rente irréductible.

Preuve Puisque E est fini, il existe au moins un état visité une infinité de fois avecprobabilité non nulle. Donc cet état est récurrent d’après la Proposition 3 et la chaîne estréccurente.

1.4 Chaînes récurrentes irréductibles

On suppose (Xn)n≥0 récurrente irréductible. On s’intéresse tout d’abord aux excursionssuccessives de la chaîne entre deux retours à l’état x, notées:

εk = (XT kx,XT k

x +1, . . . ,XT k+1x

),

où T kx est le temps du kième passage en x. L’ensemble des valeurs possibles pour les

excursions εk est noté U = u = (x,x1, . . . ,xn,x),xl 6= x,1 ≤ l ≤ n; . Cet ensemble estdénombrable et on peut s’intéresser à la loi d’une excursion, caractérisé par les quantités :

P(εk = u), u ∈ U.

Proposition 5 Sous Px, la suite ε0,ε1, . . . des excursions est i.i.d.

Preuve On veut montrer que ∀ (u0, . . . ,uk) ∈ Uk+1,

P(ε0 = u0, . . . ,εk = uk) = Πkl=0pul

,

où pul, l ∈ N loi de ε0 sur U dénombrable.

On remarque que ε0 = u0 ∈ FTx . De plus,

ε1 = u1, . . . ,εk = uk = XTx+1 = x1, . . . ,XTx+p = xp.

En appliquant la propriété de Markov forte, on obtient :

P(ε0 = u0, ldots,εk = uk) = Px(ε0 = u0 ∩ XTx+1 = x1, . . . ,XTx+p = xp|Tx < ∞)= Px(ε0 = u0)Px(XTx+1 = x1, . . . ,XTx+p = xp|Tx < ∞)= Px(ε0 = u0)Px(X1 = x1, . . . ,Xp = xp|Tx < ∞)= Px(ε0 = u0)Px(ε0 = u1, . . . ,εk−1 = uk)

...

= Πkl=0pul

.

1.4. CHAÎNES RÉCURRENTES IRRÉDUCTIBLES 9

Définition 8 Soit P une matrice markovienne. On dit que µ mesure sur E est invariantepar P si

µP = µ.

On voit alors clairement qu’une probabilité µ est invariante par une chaîne de Markov(µ,P ) si et seulement si µ est la loi de Xn pour tout n ∈ N.Théorème 4 Soit (Xn)n≥0 une chaîne de Markov de matrice de transition P récurrente ir-réductible. Alors il existe une unique mesure invariante strictement positive à une constantemultiplicative près.

Preuve existence : Soit γxy le nombre moyen de visites à l’état x lors de ε0 la première

excursion entre deux retours à x. Alors :

γxy = Ex

Tx∑n=1

1I(Xn = y) =∞∑

n=1

P(Xn = y,n ≤ Tx)

=∑z∈E

∞∑n=1

P(Xn−1 = z,Xn = y,n− 1 < Tx)

=∑z∈E

∞∑n=2

P(Xn−1 = z,n− 1 ≤ Tx)Pzy

= (γxP )y.

De plus la chaîne étant irréductible, pour tout y ∈ E il existe n tel que :

0 < Pnyx = γx

xPnxy ≤ (γxPn)y = γx

y .

Ainsi la mesure γx est strictement positive.unicité : Soit λ mesure invariante telle que λx = 1. Alors :

λy =∑z∈E

λzPzy = Pxy +∑z1 6=x

λz1Pz1y

= Pxy +∑z1 6=x

Pxz1Pz1y +∑z1 6=x

∑z2 6=x

λz2Pz2z1Pz1y

≥ Pxy +∞∑

n=1

∑z1,zn 6=x

PxznPznzn−1 ...Pz1y

=∞∑

n=0

Px(Xn+1 = y,Tx ≥ n + 1)

= γxy .

Alors on a µ = λ− γx mesure invariante telle que µx = 0.Soit y ∈ E, et n ∈ N tel que Pn

yx > 0. Alors :

0 = µx = µPnx ≥ µyP

ny x.

Ainsi µy = 0 et λ = γx.


Définition 9 On dit qu’un état x est récurrent positif si mx = ExTx < ∞. Sinon il est ditrécurrent nul.

Ainsi un état est récurrent positif lorsque le temps d’attente moyen pour un retour en xest fini.

Théorème 5 Soit (Xn)n≥0 une chaîne de Markov irréductible récurrente.LASSE :

(i) x est récurrent positif.(ii) Tous les états sont récurrents positifs.(iii) Il existe une probabilité invariante.Dans ce cas, elle est donnée par

πx =1

mx,∀x ∈ E.

Preuve (ii) ⇒ (i) ⇒ (iii) On est dans le cas récurrent irréductible, alors d’après leThéorème 4, il existe une mesure invariante γx. Si x ∈ E est récurrent positif, alors :

mx = ExTx =∑z∈E

γxz < ∞.

Ainsi on obtient γxy

mx,y ∈ E probabilité invariante.

(iii) ⇒ (ii) Soit π une probabilité invariante. Alors si on pose λ = λy = πy

πx,y ∈ E, λ est

une mesure invariante qui vérifie λx = 1. Alors d’après le Théorème 4, λ coïncide avec γx

et on a :

mx =∑z∈E

γxz =

∑z∈E

πz

πx=

1πx

.

De plus, π est strictement positive (Théorème 4), ce qui entraîne que x est récurrent positif.Cela étant vrai quel que soit x ∈ E, (ii) a lieu.

Par conséquent, on distingue dans le cas récurrent irréductible, deux cas de figures :• Le cas récurrent positif : tous les états sont récurrents positifs et il existe une unique

probabilité invariante.• Le cas récurrent nul : tous les états sont récurrents nuls et toutes les mesures invariantes

sont de masse infinie.Il est clair que lorsque |E| < ∞, le cas récurrent nul disparaît et tout état x ∈ E récurrentest récurrent positif.

Dans le cas non irréductible, si on suppose que |E| < ∞, il existe au moins une classed’équivalence récurrente. Dans ce cas il existe une probabilité invariante qui ne charge queles états de cette classe. De la même manière, à toute classe d’équivalence récurrente estassocié une unique probabilité invariante. Toutes les probabilités invariantes s’obtiennentpar combinaisons linéaires convexes des précédentes. Ainsi dès qu’il y a deux classes récur-rentes, il existe une infinité non dénombrable de probabilités invariantes.

Théorème 6 (théorème ergodique) Soit (Xn)n∈N une chaîne de Markov irréduc-tible récurrente positive, de probabilité invariante π. Soit f : E → R une fonction bornée.

1.4. CHAÎNES RÉCURRENTES IRRÉDUCTIBLES 11

Alors

1n

n∑k=1

f(Xk)p.s.−−−→

n→∞

∑x∈E

πxf(x).(1.5)

Preuve Soit x ∈ E. On note

Nx(n) =∑

1≤k≤n

1I(Xk = x),

le nombre de retour à x jusqu’à l’instant n. Si on note S0x, S1

x, . . . les longueurs desexcursions ε0, ε1, . . ., on obtient :

S0x + S1

x + . . . + S0Nx(n)−1 ≤ n < S0

x + S1x + . . . + S0

Nx(n).

Donc

S0x + S1

x + . . . + S0Nx(n)−1

Nx(n)≤ n

Nx(n)<

S0x + S1

x + . . . + S0Nx(n)

Nx(n).

On sait que sous Px, ε0, ε1, . . . est une suite i.i.d., il en est donc de même pour la suiteS0

x, S1x, . . .. En appliquant la loi des grands nombres :

S0x + S1

x + . . . + S0Nx(n)

Nx(n)Px−p.s.−−−−−→n→∞

ExTx = mx.

Donc par l’encadrement précédent, on obtient

n

Nx(n)Px−p.s.−−−−−→n→∞

mx,

ou bien

Nx(n)n

Px−p.s.−−−−−→n→∞

1mx

.

D’après la propriété de Markov forte, la limite de (Xn)n∈N est la même que (XTx+n)n∈N.Donc cette limite a lieu Pµ − p.s. pour toute loi initiale µ.Soit F ⊂ E. On note f =

∑x∈E πxf(x), et c = sup |f(x)|. On a :∣∣∣∣∣ 1n

n∑k=1

f(Xk)− f

∣∣∣∣∣ =

∣∣∣∣∣∑x∈E

(Nx(n)

n− πx

)f(x)

∣∣∣∣∣≤ c

∑x∈F

∣∣∣∣Nx(n)n

− πx

∣∣∣∣+ c∑x/∈F

(Nx(n)

n+ πx

)= c

∑x∈F

∣∣∣∣Nx(n)n

− πx

∣∣∣∣+ c∑x∈F

(πx −

Nx(n)n

)+ 2c

∑x/∈F

πx

≤ 2c∑x∈F

∣∣∣∣Nx(n)n

− πx

∣∣∣∣+ 2c∑x/∈F

πx.


Soit ε > 0. On choisit F fini tel que∑

x/∈F πx ≤ ε4c et N(ω) tel que ∀n ≥ N(ω),

∑x∈F

∣∣∣∣Nx(n)n

− πx

∣∣∣∣ ≤ ε

4c.

On obtient le résultat.

Ce théorème est une généralisation de la loi des grands nombres au cas où la suite (Xn)n∈Nn’est pas indépendante. En effet on peut écrire (1.5) comme suit :

1n

n∑k=1

f(Xk)p.s.−−−→

n→∞Eπf(X),

où X est de loi π la probabilité invariante. Une conséquence du théorème ergodique est lasuivante : si on munit la chaîne de la loi initiale π, alors la suite est identiquement distribuéeet la moyenne empirique converge vers l’espérance.

Dans la section suivante, on va établir un théorème de la limite centrale dans le cas d’unechaîne de Markov irréductible récurrente positive, ayant une propriété supplémentaire.

1.5 Chaîne apériodique

Le théorème ergodique nous assure en particulier que si (Xn)n∈N est irréductible récur-rente positive, alors

1n

n∑k=1

1I(Xk = y)p.s.−−−→

n→∞πy,∀y ∈ E.

Puisque la convergence p.s. entraîne la convergence en moyenne, on a en particulier que :

1n

n∑k=1

(P k)xy −−−→n→∞

πy,∀x,y ∈ E.

On peut se demander si dans le cas irréductible récurrent positif, on a :

(Pn)xy −−−→n→∞

πy,∀x,y ∈ E.(1.6)

La réponse est non. On peut construire facilement un contrexemple en considérant unechaîne de Markov de matrice de transition P qui vérifie P 2k = I et P 2k+1 = P , ∀k ∈ N.

De plus, on peut remarquer que pour vérifier (1.6), il faut qu’à partir d’un certain rang,(Pn)xy > 0 puisque π est strictement positive.

Définition 10 Un état x ∈ E est dit apériodique s’il existe N ∈ N tel que :

∀n ≥ N, (Pn)xx > 0.

1.5. CHAÎNE APÉRIODIQUE 13

On peut remarquer que dans ce cas, si la chaîne est irréductible, on a bien à partir d’uncertain rang (Pn)xy > 0 :

Lemme 3 Soit (Xn)n∈N une chaîne de Markov de matrice de transition P irréductible. Six ∈ E est apériodique, alors :

∀y,z ∈ E,∃M : ∀n ≥ M, (Pn)yz > 0.

En particulier, tous les états sont apériodiques.

Preuve Il suffit de construire un chemin pour aller de y à z qui passe par x (possible parirréductibilité). On conclut par apériodicité de x.

Définition 11 On appelle période d’un état x le PGCD des entiers n vérifiant (Pn)xx > 0.

On peut remarquer que si P est irréductible, tous les états ont la même période. De plus,un état x est apériodique si et seulement si sa période vaut 1.

Théorème 7 Soit (Xn)n∈N une chaîne de Markov de matrice de transition P irréductiblerécurrente positive apériodique. Soit π la probabilité invariante. Alors :

P(Xn = y) −−−→n→∞

πy,∀y ∈ E.

En particulier, (1.6) a lieu.

On peut à présent énoncer le théorème de la limite centrale.Théorème 8 (TLC) Soit (Xn)n∈N une chaîne de Markov de matrice de transition Pirréductible récurrente positive et apériodique telle que :∑

y∈E

|(Pn)xy − πy| ≤ Mtn,∀x ∈ E,n ∈ N,

pour M ∈ R et t ∈]0,1[, où π est la probabilité invariante.Soit f : E → R une fonction bornée telle que :∑

z∈E

πzf(z) = 0 et∑z∈E

πzf2(z) < ∞.

Alors, on a :

√n

σf

(1n

n∑k=1

f(Xk)

)L−−−→

n→∞Z,

où Z ∼ N (0,1) et

σ2f =

∑x∈E

πx(Qf)2x −∑x∈E

πx(PQf)2x et (Qf)x =∞∑

n=0

Exf(Xn).


1.6 Chaîne réversible

Dans cette section on s’intéresse, à partir d’une chaîne de Markov (Xn)n∈N aux pro-priétés de la chaîne retournée (XN

n )0≤n≤N . Pour N ∈ N fixé, elle est définie par :

XNn = XN−n, 0 ≤ n ≤ N.

La proposition suivante nous assure que (XNn )0≤n≤N est bien une chaîne de Markov.

Proposition 6 Soit (Xn)n∈N une chaîne de Markov (π,P ) avec P irréductible et de pro-babilité invariante π. Alors (XN

n )0≤n≤N est une chaîne de Markov (π,P ) où :

Pxy =πy

πxPyx.(1.7)

Preuve On utilise la Proposition 1. Ainsi on a bien :

P(XN0 = x0,X

N1 = x1 . . . XN

p = xp) = P(XN = x0,XN−1 = x1 . . . XN−p = xp)

= πx0Px0x1 . . . Pxp−1xp ,

avec P qui vérifie (1.7).

Définition 12 On dit que (Xn)n∈N est réversible si P = P , c’est-à-dire si la relationsuivante est vérifiée :

πxPxy = πyPyx,∀x,y ∈ E.(1.8)

Il est clair que si (1.8) a lieu, alors π est une probabilité invariante. Par contre, la réciproqueest fausse. En effet, considérons une chaîne irréductible récurrente positive de probabilitéinvariante π. Alors s’il existe x,y ∈ E tels que Pxy > 0 et Pyx = 0, la relation (1.8) n’estpas vérifiée. Alors P n’est pas réversible par rapport à π.

Considérons à présent les deux problèmes suivants :1. Etant donnée P matrice markovienne irréductible récurrente positive, trouver π pro-

babilité invariante.2. Etant donné π probabilité, trouver P matrice markovienne telle que πP = π.

Résoudre 2. est facile et admet beaucoup de solutions. Il suffit de trouver P réversible parrapport à π. Par contre, pour résoudre 1., on peut chercher P réversible par rapport à π.Mais ce n’est pas toujours possible (voir exemple ci-dessus).Pour vérifier si π est invariante pour P , on peut utiliser l’équivalence suivante.

Proposition 7 Soit P matrice markovienne irréductible, π probabilité strictement positiveet P définie par :

Pxy =πy

πxPyx,∀x,y ∈ E.

LASSE :(i) ∀x ∈ E : ∑

y∈E

Pxy = 1.

(ii) P matrice de transition de la chaîne retournée et π probabilité invariante par rapportà P .

15

Chapitre 2

Processus de Poisson

Un processus de Markov est un processus stochastique possédant la propriété de Mar-kov, c’est-à-dire que la loi du futur est indépendante de celle du passé, conditionnellementau présent. Dans le Chapitre 1, nous avons étudié les processus de Markov en temps dis-cret, à valeurs dans un espace d’états E fini ou dénombrable. A présent on s’intéresse auxprocessus de Markov en temps continu, toujours à valeurs dans un espace d’états E fini oudénombrable, qui sont constants entre leurs sauts se produisant à des instants aléatoires.On les appelle processus markoviens de sauts. Le prototype des procesus markoviens desauts est le processus de Poisson.

2.1 Processus ponctuels et f.a. de comptage

Un processus ponctuel sur R+ est décrit par une suite croissante de variables aléatoires

0 = T0 < T1 < T2 < . . . Tn < Tn+1 . . . ,

qui vérifient en outre Tnp.s.−−→ ∞ lorsque n → ∞. En posant Sn = Tn − Tn−1, on peut

interpréter :• Tn comme l’instant où se produit le nième évènement,• Sn comme le temps d’attente entre le (n− 1)ième et le nième évènement.

Définition 13 Soit Tn, n ∈ N un processus ponctuel. On appelle fonction aléatoire decomptage (notée f.a. de comptage) le processus Nt, t ≥ 0 défini par :

Nt = supn∈N

Tn ≤ t =∑j∈N∗

1I(Tj ≤ t).

Le processus Nt représente le nombre d’évènements qui se sont produits jusqu’à l’instantt. On a clairement N0 = 0 et ∀t ∈ R+, Nt < ∞ p.s. puisque Tn

p.s.−−→∞ lorsque n →∞.Une trajectoire type d’une f.a. de comptage est donnée par une fonction en escalier. Deplus, par définition, cette trajectoire est dite c.a.d.l.a.g. (continue à droite, limite à gauche).Notons enfin que la donnée de Nt, t ∈ R+ est équivalente à celle de la suite Tn, n ∈ N∗.De plus, on a le lemme suivant :Lemme 4 Soit Tn, n ∈ N un processus ponctuel de f.a. de comptage Nt, t ≥ 0. Alorson a :

Nt ≥ n = Tn ≤ t; Nt = n = Tn ≤ t < Tn+1; Ns < n ≤ Nt = s < Tn ≤ t.

16 CHAPITRE 2. PROCESSUS DE POISSON

La preuve est laissée en exercice.Définition 14 On dit que le processus ponctuel Tn, n ∈ N ou sa f.a. de comptageNt, t ≥ 0 est un processus de Poisson si les deux hypothèses suivantes sont satisfaites :

1. ∀t0 < t1 < . . . < tn, la suite de v.a. Ntj −Ntj−1 , 1 ≤ j ≤ n est indépendante.2. ∀0 < s < t, la loi de Nt −Ns ne dépend de t et s que par la différence t− s.

La propriété 1. est appelée l’indépendance des accroissements et la propriété 2. la station-narité des accroissements.Ainsi un processus de Poisson est un processus ponctuel dont les accroissements sontindépendants et stationnaires. Cela entraîne les propriétés suivantes, justifiant l’appelationde processus de Poisson.

Proposition 8 Soit Nt, t ≥ 0 un processus de Poisson. Alors il existe λ > 0 tel que∀0 ≤ s < t :

Nt −Ns ∼ P(λ(t− s)).(2.1)

De plus, on a :

T1 ∼ E(λ) ∼ TNs+1 − s.(2.2)

Preuve On va montrer que la fonction génératrice de Nt est celle d’une loi de Poisson.Pour cela, on remarque que d’après la définition du processus :

ft(u) = E[uNt ] = ft−s(u)fs(u),∀t > s.

Ainsi, on peut montrer que ∀t ∈ R+ :

ft(u) = (f1(u))t.

De plus, il est clair que f1(u) > 0. Alors il existe λ(u) > 0 tel que f1(u) = e−λ(u) et ainsi

ft(u) = e−tλ(u).

Etant donné que la fonction génératrice d’une loi de Poisson de paramètre θ vaut f(u) =e−θ(1−u), il reste à montrer que

λ(u) = λ(0)(1− u).

Pour cela, on remarque que :

λ(u) = − δ

δt(ft(u))|0 = lim

t→0+

1− ft(u)t

= limt→0+

1t

∑k≥1

(1− uk)P(Nt = k).

De plus,

0 ≤ 1t

∑k≥2

(1− uk)P(Nt = k) ≤ 1tP(Nt ≥ 2).

2.1. PROCESSUS PONCTUELS ET F.A. DE COMPTAGE 17

Si on montre à présent que

1tP(Nt ≥ 2) −−−→

t→0+0,(2.3)

la preuve est terminé en notant que dans ce cas :

λ(u) = limt→0

1tP(Nt = 1)(1− u).

Reste à prouver (2.3). Or :⋃n∈N

Nnt = 0,N(n+1)t ≥ 2 ⊂ T2 < T1 + t.

Ainsi, en remarquant que P(Nt = 0) = ft(0), on a par définition du processus :∑n∈N

P(Nnt = 0,N(n+1)t ≥ 2) =∑n∈N

P(N(n+1)t ≥ 2|Nnt = 0)P(Nnt = 0)

=∑n∈N

P(N(n+1)t −Nnt ≥ 2|Nnt = 0)e−λ(0)nt

= P(Nt ≥ 2)∑n∈N

e−λ(0)nt

= P(Nt ≥ 2)1

1− e−λ(0)t< P(T2 < T1 + t) −−→

t→00.

Or, pour t suffisamment petit,

1tλ(0)

P(Nt ≥ 2) ≤ 11− e−λ(0)t

P(Nt ≥ 2),

ce qui conlut la preuve de (2.1).La preuve de (2.2) est conséquence immédiate de (2.1). En effet :

P(T1 > t) = P(Nt = 0) = e−λt,

caractérisant la loi exponentielle de paramètre λ.De la même manière, on a :

P(TNs+1 − s > t) = P(Ns+t −Ns = 0) = P(Nt = 0) = e−λt.

La dernière partie de la proposition assure que si on considère un processus de PoissonNt, t ≥ 0, la loi du premier saut T1 est une loi exponentielle E(λ). Si on fixe s > 0,alors la loi de TNs+1 − s est celle de T1. Or, pour s > 0 fixé, TNs+1 représente le premiersaut depuis l’instant s. Ainsi, le processus N s

t = Nt+s − Ns, t ≥ 0 est un processus dePoisson d’intensité λ. De plus, les accroissements étant indépendants, il est clair que lefutur après l’instant s, à savoir Nt+s, t ≥ 0 ne dépend du passé Nt, 0 ≤ t ≤ s quepar l’intermédiaire du présent Ns, ou encore le futur et le passé sont conditionnellementindépendants, sachant le présent. C’est la propriété de Markov faible.



Nous allons généraliser la remarque ci-dessus à un certain type de temps aléatoire. Pourcela, il faut définir les temps d’arrêt d’un processus de Poisson, comme nous avons définiles temps d’arrêt des chaînes de Markov dans le chapitre précédent.

Tout d’abord on introduit les notations suivantes. Etant donné une famille de variablesaléatoires Xi, i ∈ I où I est quelconque, on notera σXi, i ∈ I la tribu engendrée par lafamille Xi, i ∈ I. C’est la plus petite famille contenant tous les σ(Xi), i ∈ I. On noteraainsi FN

t = σNs, 0 ≤ s ≤ t la tribu engendrée par le processus Nt jusqu’à l’instant t. Ona alors de manière équivalente :

FNt = σT1,T2, . . . ,TNt ,Nt.

Définition 15 Etant donné un processus de Poisson Nt, t ≥ 0, on appelle temps d’arrêtde Nt une variable aléatoire S à valeurs dans R+ ∪ +∞ telle que pour tout t ≥ 0 :

S ≤ t ∈ FNt .

Cela signifie qu’on peut décider si l’évènement S ≤ t a lieu ou non en observant latrajectoire du processus jusqu’à l’instant t.Exemple 7 Montrer que pour tout n ∈ N, Tn est un temps d’arrêt.

Exemple 8 Par contre, on peut vérifier que TNs n’est pas un temps d’arrêt (prendre t < set réécrire l’évènement TNs ≤ t).

On peut associer à tout temps d’arrêt S la tribu FNS engendrée par la trajectoire de

Nt∧S , 0 ≤ t, c’est-à-dire la trajectoire de Nt arrêtée à S. Elle est définie de manièrerigoureuse par :

FNS = A ∈ FN

∞;A ∩ S ≤ t ∈ FNt ,∀t ≥ 0.

On peut à présent énoncer la propriété de Markov forte.Proposition 9 Soit Nt, t ≥ 0 un processus de Poisson d’intensité λ, et S un tempsd’arrêt de Nt. conditionnellement à l’évènement S < ∞, le processus NS

t = NS+t −NS , t ≥ 0 est un processus de Poisson d’intensité λ indépendant de la tribu FN

S .Le résultat est vrai pour S constant. On généralise à S à valeurs dans (sj)j≥1 suite crois-sante puis à tout temps d’arrêt en remarquant que tout temps d’arrêt peut être approchépar une suite décroissante de temps d’arrêt de cette forme.

2.3 Théorèmes limites

Si on considère un processus de Poisson d’intensité λ, alors il est clair que d’après laProposition 8 :

E[Nt

t

]= λ et var

[Nt

t

]=

λ

t.

2.3. THÉORÈMES LIMITES 19

Cela entraîne que Ntt converge en moyenne quadratique vers λ, lorsque t →∞. On a aussi

la loi forte des grands nombres.Proposition 10 (Loi Forte des Grands Nombres) Soit Nt, t ≥ 0 un processus dePoisson d’intensité λ. Alors

Nt

t

p.s.−−−→t→∞

λ.

Preuve On applique la loi des grands nombres à la suite de variables i.i.d. Ni−Ni−1, 1 ≤i ≤ n pour montrer que

Nn

n

p.s.−−−→n→∞

λ.

En remarquant que :

Nt =N[t][t]

× [t]t

+Nt −N[t]

t,

il suffit alors de montrer que

supn<t<n+1

Nt −Nn

n

p.s.−−−→n→∞

0.

On a aussi un théorème de la limite centrale.Proposition 11 (Théorème de la Limite Centrale) Soit Nt, t ≥ 0 un processus dePoisson d’intensité λ. Alors

Nt − λt√λt

L−−−→t→∞

Z,

où Z est une loi normale centrée réduite.

Preuve On raisonne comme dans la preuve de la loi des grands nombres. On montre qued’après le théorème de la limite centrale classique :

Nn − λn√λn

L−−−→n→∞

Z.

En remarquant que :

Nt − λt√λt

=N[t] − λ[t]√

λ[t]×√

[t]t

+Nt −N[t]√

λt×√

[t]t

+√

λ[t]− t√

t,

et que Nt−N[t]√λt

→ 0 en probabilité, on conclut.


21

Chapitre 3

Processus markoviens de sauts

Dans ce chapitre on s’intéresse aux processus de Markov en temps continu, à valeursdans un ensemble fini ou dénombrable E. Ces processus généralisent la notion de processusde Poisson au cas où le saut (se produisant à un instant aléatoire) est lui-même aléatoire.En quelque sorte, un processus markovien de saut, ou encore chaîne de Markov en tempscontinu, combine un processus de Poisson et une chaîne de Markov, appelé la chaîne incluse.

3.1 Définition et premières propriétés

On considère un processus Xt, t ≥ 0 constant entre des sauts aléatoires se produisantà des instants aléatoires. La donnée d’une telle trajectoire (toujours supposée cadlag) Xt

est équivalente à celle de la double suite Tn,Zn, n ≥ 0 telle que :• Tn représente le temps du nième saut,• Zn représente la valeur prise au temps Tn.On supposera par la suite que la suite des instants de sauts vérifie :

0 = T0 ≤ T1 ≤ T2 . . . ≤ Tn . . .

avec Tn à valeurs dans R+∪+∞ et Tn < Tn+1 si Tn < ∞. Cela signifie que l’on n’exclutpas le cas d’un état x ∈ E absorbant, c’est-à-dire qui vérifie

XTn = x ⊂ Tn+1 = +∞.

On suppose toujours la non explosion du processus, c’est-à-dire que Tn → +∞ p.s.Définition 16 On appelle fonction aléatoire de sauts de la double suite Tn,Zn, n ≥ 0 lafonction Xt, t ≥ 0 définie par :

Xt =∑n≥0

Zn 1I[Tn;Tn+1[(t).

On peut aisément vérifier que la fonction aléatoire de saut est la trajectoire décrite précé-demment.Définition 17 Une fonction aléatoire de saut Xt, t ≥ 0 à valeurs dans E est appeléeprocessus markovien de sauts (ou chaîne de Markov en temps continu) si ∀0 < s < t,∀n ∈ N, ∀t0 < t1 . . . tn < s, ∀x0,x1, . . . xn,x,y ∈ E :

P(Xt = y|Xt0 = x0,Xt1 = x1, . . . ,Xtn = xn,Xs = x) = P(Xt = y|Xs = x).

22 CHAPITRE 3. PROCESSUS MARKOVIENS DE SAUTS

Cela signifie que la loi de Xt sachant Xu,0 ≤ u ≤ s ne dépend que de Xs. Cela généralisela notion de chaîne de Markov au temps continu.De plus, si la quantité P(Xt = y|Xs = x) ne dépend de s et t que par la différence t − s,alors le processus markovien de sauts Xt est dit homogène. Par la suite, on n’étudiera queles processus homogènes et on notera

Pxy(t− s) = P(Xt = y|Xs = x).

Pour t > 0, P (t) est une matrice markovienne à valeurs dans E ×E. On l’appelle matricede transition du processus au temps t. Chaque composante Pxy(t) représente la probabilitéd’aller en y en un temps t, en partant de x.De la même manière, on notera µ(t) la loi de probabilité sur E de la variable aléatoire Xt.Dans ce cas µ(0) est appelée loi initiale du processus Xt, t ≥ 0.Proposition 12 Soit Xt, t ≥ 0 un processus markovien de sauts de loi initiale µ et dematrices de transition P (t), t ≥ 0. Alors, ∀0 < s < t:

(i) µ(t) = µP (t).(ii) E[g(Xt)|X0 = x] = (P (t)g)x.(iii) L’ensemble des matrices de transition P (t), t ≥ 0 vérifie la relation de semi-groupe :

P (s + t) = P (s)P (t),∀s,t > 0.

Preuve (i) D’après la définition du processus markovien, on a clairement une relationéquivalente à la Proposition 1 du Chapitre 1 :

P(X0 = x0,Xt1 = x1, . . . Xtn = xn) = µx0Px0x1(t1)Px1x2(t2 − t1) . . . Pxn−1xn(tn − tn−1).(3.1)

En utilisant cette relation pour n = 1, on obtient :

P(X0 = x,Xt = y) = µxPxy(t).

En sommant sur x ∈ E, on obtient :∑x∈E

P(X0 = x,Xt = y) = µ(t)y =∑x∈E

µxPxy(t) = (µP (t))y.

(ii) Par définition de l’espérance :

E[g(Xt|X0 = x] =∑y∈E

g(y)Pxy(t) = (P (t)g)x.

(iii) On applique (3.1) pour n = 2. En posant t1 = s et t2 − t1 = t, on obtient :

P(Xs = x,Xt+s = y|X0 = x0) = Px0x(s)Pxy(t)

En sommant sur x, on obtient le résultat.

Exemple 9 Un processus de Poisson Nt, t ≥ 0 est un processus markovien de sauts àvaleurs dans N, de matrices de transition :

Pxy(t) =

e−λt (λt)y−x

(y−x)! , si y ≥ x,

0 sinon.

3.2. GÉNÉRATEUR INFINITÉSIMAL 23

Exemple 10 Etant donné Nt, t ≥ 0 un processus de Poisson d’intensité λ, et X0 unevariable aléatoire à valeur dans E = −1, + 1 indépendante de Nt, on pose :

Xt = X0(−1)Nt .

Alors Xt, t ≥ 0 est un processus markovien de saut de matrices de transition :

P11(t) = P−1−1(t) = e−λt∑k≥0

(λt)2k

(2k)!

et

P1−1(t) = P−11(t) = e−λt∑k≥0

(λt)2k+1

(2k + 1)!.

Exemple 11 Soit Nt, t ≥ 0 un processus de Poisson d’intensité λ et (Zn)n∈N une chaînede Markov. On peut montrer que

Xt =∑n≥0

Zn 1I[Tn;Tn+1[(t)

est un processus markovien de saut (Exercice 1).

3.2 Générateur infinitésimal

D’après la définition des processus markoviens de sauts, il est clair que la matrice detransition P (t) au temps t est connue pour t quelconque dès qu’elle est connue pour tpetit. Cela est confirmé par la propriété de semi-groupe de la Proposition 12. On va voirque l’ensemble des matrices de transition P (t), t ≥ 0 sera déterminée par la dérivée àdroite de P (t) au temps t = 0, appelée générateur infinitésimal.Théorème 9 Soit P (t), t ≥ 0 le semi-groupe des matrices de transition d’un processusmarkovien de saut Xt,t ≥ 0. Alors il existe Qxy,x,y ∈ E appelé générateur infinitésimaldu semi-groupe P (t), t ≥ 0 qui vérifie :

(i) Qxy ≥ 0 si x 6= y,(ii) Qxx = −

∑y 6=x Qxy ≤ 0,

et tel que lorsque h → 0,(iii) Pxy(h) = hQxy + (h) si x 6= y,(iv) Pxx(h) = 1 + hQxx + (h).

Les relations (iii) et (iv) permettent d’interpréter Qxy comme la dérivée par rapport à tde Pxy(t) au point t = 0. En effet d’après (iii) :

limh→0

Pxy(h)− Pxy(0)h

= limh→0

Pxy(h)h

= Qxy.

alors que (iv) assure que :

limh→0

Pxx(h)− Pxx(0)h

= limh→0

Pxx(h)− 1h

= Qxx,


On verra dans la section suivante qu’on peut calculer la dérivée de P (t) pour tout t à l’aidedu générateur infinitésimal.

Preuve Soit t > 0. Alors on a :

T1 > nh ⊂ X0 = Xh = . . . Xnh ⊂ T1 > nh ∪ T2 − T1 ≤ h.

Ainsi lorsque h → 0 tel que nh → t, on obtient :

P(T1 > t|X0 = x) = limh→0,nh→t

P(X0 = Xh = . . . Xnh|X0 = x)

= limh→0,nh→t

Pxx(h)n ∈ [0,1].

On obtient alors, en remarquant que log Pxx(h) ∼ Pxx(h) − 1 pour h → 0, qu’il existeqx ∈ [0, +∞] tel que :

limh→0

1h

(1− Pxx(h)) = qx,

et tel que

P(T1 > t|X0 = x) = e−qxt.

En posant Qxx = −qx, on obtient (iv).De plus, on a :

T1 < nh,Z1 = y ⊂n⋃

m=1

X0 = Xh = . . . X(m−1)h,Xmh = y ⊂ T1 < nh,Z1 = y ∪ T2 − T1 < h.

Ainsi on obtient de la même manière que précédemment :

P(T1 ≤ t,Z1 = y|X0 = x) = limh→0,nh→t

1− Pxx(h)n

1− Pxx(h)Pxy(h)

=1− e−qxt

qxlimh→0

Pxy(h)h

.

Ainsi, Qxy = limh→0Pxy(h)

h existe pour y 6= x et (iii) et (ii) sont vérifiées.

On peut vérifier le corollaire suivant :

Corollaire 1 Soit Xt,t ≥ 0 un processus markovien de sauts. On note T1 l’instant dupremier suat et Z1 la valeur prise après le premier saut. Alors on a, conditionnellement àX0 = x :

– T1 et Z1 sont indépendantes,– T1 ∼ E(qx),

– Z1 ∼ Qxy

qx, y 6= x.

La preuve se déduit aisément de celle du Théorème 12.

3.3. PROPRIÉTÉ DE MARKOV FORTE 25


Pour énoncer la propriété de Markov forte, on considère un certain type de variablesaléatoires appelées temps d’arrêt du processus markovien de sauts Xt,t ≥ 0. Cette défi-nition est similaire au chapitre précédent, où l’on a défini un temps d’arrêt d’un processusde Poisson. De la même manière, on peut définir la tribu FX

S engendrée par les trajectoiresdu processusXt jusqu’à l’instant aléatoire S.Théorème 10 (Propriété de Markov forte) Soit S un temps d’arrêt du processus mar-kovien de sauts Xt,t ≥ 0. Conditionnellement à S < +∞ et Xs = x, le processusXt+S ,t ≥ 0 est un processus markovien de sauts indépendant de FX

S et sa loi est celle deXt,t ≥ 0 sachant que X0 = x.

Preuve On utilise la relation (3.1) pour montrer le résultat pour le temps d’arrêt S = sconstant. Le cas général se déduit comme dans la preuve de la propriété de Markov fortedes processus de Poisson.

Théorème 11 Pour tout x,y ∈ E, la fonction t 7→ Pxy(t) est dérivable et on a :

d

dtPxy(t) = (QP )xy(t).

Preuve Cas |E| < ∞D’après la relation de semi-groupe de P (t),t ≥ 0 :

d

dtPxy(t) = lim

h→0

1h

(Pxy(t + h)− Pxy(t))

= limh→0

1h

(∑z∈E

Pxz(h)Pzy(t)− Pxy(t)

)

= limh→0

Pxx(h)− 1h

Pxy(t) + limh→0

∑z∈E,z 6=x

1h

Pxz(h)Pzy(t)

= QxxPxy(t) +∑

z∈E,z 6=x

limh→0

Pxz(h)h

Pzy(t)

= QxxPxy(t) +∑

z∈E,z 6=x

QzxPzy(t)

= (QP )xy(t),

où on a utilisée l’hypothèse |E| < ∞ pour intervertir la limite et la somme.Le cas |E| = ∞ se montre en utilisant la propriété de Markov forte.

3.4 La chaîne incluse

Soit Xt, t ≥ 0 un processus markovien de sauts satisfaisant la condition de non-explosion (i.e. Tn

p.s.−−−−−→n→+∞

+∞). Dans cette section, on s’intéresse à la suite Zn, n ∈ Ndéfinie par

Zn = XTn , n ∈ N.


D’après la propriété de Markov forte appliquée au processus (Xt), il est clair que (Zn)est une chaîne de Markov. Cette chaîne à la particularité que Zn+1 6= Zn p.s.. On peutmontrer que sa matrice de transition est donnée par

Pxy =

Qxy

qx, si x 6= y,

0 sinon.

avec la convention 00 = 0 pour un état x ∈ E absorbant puisque dans ce cas, Pxy = 0,∀y ∈

E. Si on pose Sk = qZk−1(Tk − Tk−1), alors on peut montrer que le processus ponctuel

T ′n,n ≥ 0 ou sa fonction aléatoire de comptage Nt, t ≥ 0 définis par :

• T ′n =

∑nk=1 Sk,

• Nt = supn ≥ 1 :∑n

k=1 Sk ≤ t,est un processus de Poisson d’intensité 1. On utilise le fait que λE(λ) ∼ E(1) et la propriétéde Markov forte de (Xt).On s’intéresse à présent à la réciproque. On se demande comment, à partir d’un générateurinfinitésimal Q construit-on un processus markovien de sauts? Ce processus satisfait-il lacondition de non-explosion?Soit Q un générateur infinitésimal de E × E, c’est-à-dire vérifiant :

Qxy ≥ 0∀x 6= y et Qxx = −∑y 6=x

Qxy.

On construit à partir de Q une chaîne de Markov Zn, n ≥ 0 de matrice de transition

Pxy =

Qxy

−Qxxsi x 6= y,

0 sinon.

On pose :• Sk = Tk−Tk−1

qZk−1,

• T ′n =

∑nk=1 Sk.

Alors on peut montrer que la f.a. de comptage de la double suite Zn,T ′n, définie par

Xt =n∑

k=1

Zn 1I[T ′n,T ′

n+1[(t)

est un processus markovien de saut de générateur infinitésimal Q. Il reste à répondre à laquestion suivante : a-t’on nécessairement T ′

np.s.−−−−−→

n→+∞+∞?

Proposition 13 LASSE :(i)

∑n≥0

1qZn

= +∞ p.s.

(ii) T ′n

p.s.−−−−−→n→+∞

+∞ .

Pour vérifier la condition (i), on utilise souvent le résultat suivant.Corollaire 2 Pour que la condition de non-explosion soit satisfaite, il suffit q’une des deuxassertions suivantes soit vérifiée :

(i) supx∈E qx < +∞.

3.5. CLASSIFICATION DES ÉTATS 27

(ii) P est récurrente.On peut montrer (exercice) que ces deux assertions entraînent

∑n≥0

1qZn

= +∞.On peut donc, grâce à la chaîne incluse, à partir d’un générateur infinitésimal, définirun processus markovien de sauts et vérifier que la condition de non-explosion est satisfaiteassez facilement. On va voir dans la section suivante que la nature d’un processus markovienest reliée à la nature de sa chaîne incluse.

3.5 Classification des états

Dans ce qui suit, on notera, comme dnas le Chapitre 1, Px la probabilité conditionnelleau départ de la chaîne en x et Ex l’espérance conditionnelle associée. Comme dans le cadredes chaînes de Markov en temps discret, on peut définir des états récurrents ou transitoires,et des classes d’équivalences. Pour cela on se ramène à la chaîne incluse.Les classes d’équivalences d’un processus de Markov Xt, t ≥ 0 sont celles de la chaîneincluse. De plus, on peut vérifier que si Xt est irréductible, alors

Pxy(t) > 0,∀x,y ∈ E,∀t > 0.

En effet par l’irréductibilité de la chaîne incluse, ∀x,y ∈ E, il existe n ∈ N, x0 = x, . . . xn =y tels que Px0x1Px1x2 . . . Pxn−1xn > 0, où P est la patrice de transition de la chaîne incluse.Ainsi on a Qx0x1Qx1x2 . . . Qxn−1xn > 0 et Q étant la dérivée de P (t) en zéro à droite, on aaussi, ∀t > 0, Px0x1(

tn)Px1x2(

tn) . . . Pxn−1xn( t

n) > 0. D’où la conclusion.Définition 18 Un état x ∈ E est dit récurrent (resp. transitoire) pour Xt, t ≥ 0 s’il estrécurrent (resp. transitoire) pour la chaîne incluse.Comme dans le cas discret, on a l’existence d’une unique mesure invariante dans le casrécurrent irréductible.Théorème 12 Soit un processus markovien de sauts Xt, t ≥ 0 irréductible récurrent, degénérateur infinitésimal Q et de semi-groupe de transition P (t), t ≥ 0. Alors il existe uneunique mesure strictement positive π, à une constante près, qui vérifie πQ = 0 et qui estinvariante pour le semi-groupe P (t), t ≥ 0, i.e. qui vérifie πP (t) = π,∀t ≥ 0.

Preuve Soit P la matrice de transition de la chaîne incluse (Zn). P est irréductiblerécurrente, alors d’après le Chapitre 1 (Théorème 4) il existe une mesure invariante γx

pour P . De plus on a :

Q = q(P − I),

où q est la matrice diagonale définie par

qxy = δxyqx.

Par irréductibilité, il n’existe pas d’état absorbant et q est inversible. Alors π = γxq−1

vérifie πQ = 0.Pour l’unicité, si π′Q = 0, alors π′q est invariante par P d’où π′q = cγx.Il reste à montrer que π est invariante par P (t).


On a γxy nombre moyen de visites en y entre deux retours à x et 1

qytemps de séjour moyen

en y, d’où par indépendance,

πy =γx

y

qy

représente le temps moyen passé en y entre deux retours à x. On a donc, en notant Rx =inft ≥ T1 : Xt = x et en utilisant la propriété de Markov forte :

πy = Ex

∫ Rx

01I(Xs = y)ds = Ex

∫ Rx+t

t1I(Xs = y)ds

= Ex

∫ Rx

01I(Xs+t = y)ds

=∫ Rx

0

∑z∈E

Px(Xs+t = y,Xs = z)ds

=∫ Rx

0

∑z∈E

Px(Xs = y)Pzy(t)ds

=∑z∈E

∫ Rx

0Px(Xs = y)dsPzy(t) = (µP (t))y.

3.6 Cas irréductible récurrent

On se place dans le cas d’un processus Xt, t ≥ 0 irréductible récurrent. On va prou-ver dans cette section l’existence d’une unique probabilité invariante dans le cas particulierrécurrent positif. Pour distinguer entre récurrence nulle et récurrence positive, on ne peutpas regarder seulement les propriétés de la chaîne incluse. On verra qu’il existe des proces-sus markoviens de sauts récurrents nuls dont la chaîne incluse est récurrente positive, etinversement.Pour définir la récurrence positive ou nulle, on rappelle la notation du temps d’arret Rx

qui représente le temps d’attente avant le premier retour à l’état x :

Rx = inft ≥ T1 : Xt = x.

Définition 19 On dit q’un état x ∈ E est récurrent positif (resp. récurrent nul) si x estrécurrent et s’il vérifie ExRx < +∞ (resp. ExRx = +∞).A nouveau, comme dans le cas discret, si x ∈ E est récurrent positif, alors tous les étatssont récurrents positifs et le processus est dit récurrent positif. Dans ce cas, il existe uneunique probabilité invariante.Théorème 13 Soit Xt, t ≥ 0 un processus markovien de sauts irréductible récurrent.LASSE :

(i) x ∈ E est récurrent positif.(ii) tous les états sont récurrents positifs.

(iii) il existe une unique probabilité invariante π.

3.6. CAS IRRÉDUCTIBLE RÉCURRENT 29

Dans ce cas, elle est donnée par

ExRx =1

πxqx, x ∈ E.

Preuve (i) ⇒ (iii) Il suffit de remarquer que

ExRx =∑y∈E

γxy

qy.

Alors d’après le théorème précédent, puisque x est récurrent positif, on peut normaliser lamesure invariante pour obtenir une probabilité invariante, unique et strictement positive.(iii) ⇒ (ii) Soit π probabilité invariante. Alors π est strictement positive (théorème précé-dent) et on a :

ExRx =∑y∈E

γxy

qy=∑y∈E

πy

qxπx=

1qxπx

.

On a donc x récurrent positif puisque la chaîne est irréductible et que π est strictementpositive. Cela étant vrai pour tout x, (ii) a lieu.

Remarque 3 Une mesure invariante π pour le processus markovien Xt, t ≥ 0 vérifieπQ = 0. Cela implique que πq est invariante pour P , matrice de transition de la chaîneincluse. Réciproquement, si µ est invariante par P , alors µ(P −I) = 0 et donc µq−1Q = 0.Ainsi π est invariante pour (Xt) si et seulement si µ = πq est invariante pour la chaîneincluse. Il est alors facile de choisir q la matrice diagonale des temps de séjours en chaqueétat telle que (Xt) soit récurrente nulle et P récurrente positive, et vice-versa. Il faut pourcela jouer sur les temps de séjours en chaque point.

Dans le cas d’un processus irréductible récurrent positif, on peut énoncer le théorèmeergodique de la manière suivante.Théorème 14 Soit Xt, t ≥ 0 un processus markovien de sauts irréductible récurrentpositif. On note π sa probabilité invariante. Alors, pour f : E → R bornée, on a :

1t

∫ t

0f(Xs)ds

p.s.−−−−→t→+∞

∑x∈E

f(x)πx.

Preuve D’après le Chapitre 1, il suffit de montrer le résultat pour f(y) = 1I(y = x) entravaillant sous Px. On note Nx(t) le temps de séjour en x de la chaîne jusqu’à l’instantt, et T k

x les temps de séjour en x lors de la kième visite en x. Ainsi on a :

1t

Nx(t)−1∑k=1

T kx ≤

1t

∫ t

01I(Xs = t)ds <

1t

Nx(t)∑k=1

T kx .

De plus, on a :

1t

Nx(t)∑k=1

T kx =

Nx(t)t

1Nx(t)

Nx(t)∑k=1

T kx → πx.


En effet, la suite de v.a. T kx étant i.i.d., d’après la loi des grands nombres,

1Nx(t)

Nx(t)∑k=1

T kx

p.s.−−−−→t→+∞

ExT 1x =

1qx

.

De plus, en suivant la preuve du cas discret, on a :

Nx(t)−1∑k=0

Skx ≤ t <

Nx(t)∑k=0

Skx ,

où Skx suite i.i.d. des temps des excursions entre deux retours à l’état x. En appliquant la

loi des grands nombres, on a de la même manière :

t

Nx(t)p.s.−−−−→

t→+∞ExRx =

1πxqx

.

Dans le cas continu, la convergence en loi de Xt vers la probabilité invariante lorsquet → +∞ est vrai dans le cas irréductible récurrent positif, sans hypothèse supplémentaire.Proposition 14 Soit Xt, t ≥ 0 un processus markovien de sauts irréductible récurrentpositif. On note π sa probabilité invariante. Alors, pour toute probabilité µ sur E, on a,∀x ∈ E :

(µP (t))x → πx.

OG Rouge Ecole Centrale MarseilleAnnée 2008-2009

Chaînes de Markov

TD

Echauffement

1. Représenter les chaînes de Markov de matrices de transition

R=

1/2 0 0 1/21/2 0 1/2 01/4 1/4 1/4 1/41/2 0 0 1/2

; Q=

1/2 0 1/21/2 0 1/21 0 0

; P=

0 2/3 1/3 0 01/4 0 0 1/4 1/20 0 0 1/2 1/20 0 0 0 10 0 0 0 1

2. Déterminer la matrice de transition du modèle d’Ehrenfest (Exemple 2 du cours).

Exercice 1 Soit (Xn)n∈N une chaîne de Markov à valeurs dans E = 1,2,3,4,5,6 de matrice detransition donnée par

P=

. 2/3 1/3 0 0 01/4 . 0 0 1/5 2/50 0 . 1/2 0 00 0 2/3 . 0 00 0 0 0 . 1/20 0 0 0 1/2 .

.

1. Déterminer les termes diagonaux de P .

2. Montrer que E est constitué de trois classes d’équivalence que l’on précisera, l’une T étanttransitoire, et les deux autres R1 et R2 récurrentes.

3. Déterminer une probabilité invariante admettant R1 comme support, et une probabilité in-variante admettant R2 comme support. En déduire toutes les probabilités invariantes.

Exercice 2 Soit (Xn)n∈N une chaîne de Markov à valeurs dans E = 1,2,3,4,5 de matrice detransition donnée par

P=

1/2 0 0 0 1/20 1/2 0 1/2 00 0 1 0 00 1/4 1/4 1/4 1/4

1/2 0 0 0 1/2

.

Déterminer les classes d’équivalences, les états transitoires et récurrents, et les mesures invariantesde (Xn).

Exercice 3 Soit (Xn)n∈N une chaîne de Markov à valeurs dans E. Soit x ∈ E. On note Nx =n ∈ N : (Pn)xx > 0.

1. Montrer que si Nx contient deux entiers successifs, alors le PGCD des éléments de Nx estégal à 1.

2. Montrer que si n, n + 1 ∈ Nx, alors n2,n2 + 1,n2 + 2, . . . ⊂ Nx.

3. Montrer que si le PGCD des éléments de Nx est 1, alors il existe n ∈ N tel que n,n+1 ⊂ Nx.

4. Conclure sur l’équivalence des deux définitions de l’apériodicité d’un état x.

1

Exercice 4 [Preuve du théorème ergodique] Soit (Xn)n∈N une chaîne de Markov irréductiblerécurrente positive à valeurs dans E, de probabilité invariante π. On considère f : E → R unefonction bornée. On veut déterminer la convergence suivante :

1

n

n∑

k=1

f(Xk)p.s.−−−−→n→∞

∑

x∈E

πxf(x).

1. Soit x ∈ E. On note Nx(n) =∑

1≤k≤n 1I(Xk = x).

(a) Déterminer Y0,Y1 . . . YNx(n) i.i.d. telle que

Y0 + Y1 + . . . + YNx(n)−1 ≤ n < Y0 + Y1 + . . . + YNx(n).

(b) En déduire que

n

Nx(n)

Px−p.s.−−−−−→

n→∞mx = ExTx,

et que cette convergence a lieu Pµ − p.s., pour toute loi initiale µ.

2. Soit F ⊂ E. On note f =∑

x∈E πxf(x).

(a) Montrer qu’il existe c > 0 tel que :

∣

∣

∣

∣

∣

1

n

n∑

k=1

f(Xk)− f

∣

∣

∣

∣

∣

≤ 2c∑

x∈F

∣

∣

∣

∣

Nx(n)

n− πx

∣

∣

∣

∣

+ 2c∑

x/∈F

πx.

(b) En choisissant F fini tel que∑

x/∈F πx ≤ǫ4c et en utilisant la partie 1., conclure.

Exercice 5 [Statistiques des chaînes de Markov] Le but de cet exercice est d’estimer la loiinitiale µ et la matrice de transition P d’une chaîne de Markov (Xn)n∈N à partir des observationsX0,X1, . . . Xn. Pour cela on se place dans le cas irréductible récurrent positif et on suppose que µcoïncide avec la probabilité invariante.

1. Soit x ∈ E. Proposer un estimateur consistant pour µx.

2. Soit x,y ∈ E.On considère l’estimateur

Pxy =

∑n−1i=0 1I(Xi = x,Xi+1 = y)

∑n−1i=0 1I(Xi = x)

.

Montrer que Pxy est un estimateur consistant de Pxy (on appliquera le théorème ergodique

à la chaîne Xn = (Xn,Xn+1)).

Exercice 6 [File d’attente] On considère une file d’attente à un guichet, modéliser de la manièresuivante. A chaque instant n ∈ N, il arrive un client avec probabilité p (0 < p < 1), et aucun clientavec probabilité 1 − p. Lorsqu’il y a au moins un client dans la file, à chaque instant un clientest servi et quitte la file avec probabilité q (0 < q < 1), alors que personne ne quitte la file avecprobabilité 1− q (un client qui arrive à l’instant n repart au plus tôt à l’instant n+1). On supposel’indépendance de tous ces phénomènes aléatoires. On note Xn le nombre de clients dans la file àl’instant n.

1. Montrer que (Xn)n∈N est une chaîne de Markov à valeurs dans N. Montrer qu’elle est irré-ductible et préciser sa matrice de transition.

2. Donner une condition nécessaire et suffisante sur p et q pour que la chaîne (Xn) possède uneprobabilité invariante. On supposera dans toute la suite que cette condition est satisfaite eton notera π l’unique probabilité invariante que l’on déterminera.

3. Calculer Eπ(Xn).

4. On précise maintenant que les clients sont servis dans l’ordre de leur arrivée. On désigne parT le temps d’attente d’un client que l’on introduit à un instant arbitraire. Si on suppose quela loi initiale du système est π, quelle est l’espérance de T ?

2


Chaînes de Markov - Processus de Poisson

Devoir Maison

Problème :Base de données

Supposons qu’une mémoire d’ordinateur possède n données 1,2 . . . n. Cette mémoire reçoit desrequêtes successives, qui consistent en une des données. Plus la donnée requise est proche de latête de liste, plus l’accès à la requête est rapide, plus elle se situe en queue de liste, plus l’accèsprend du temps. On suppose que les requêtes successives sont des variables aléatoires i.i.d.. Si la loicommune des requêtes était connue, on aurait intérêt à ranger par ordre décroissant de probabilitéd’être requis. Bien entendu, cette probabilité p = (p1,p2, . . . ,pn) est inconnue. On suppose quepk > 0, k ∈ 1, . . . n.

Le but est de choisir une façon de replacer la donnée après consultation, de telle sorte qu’à longterme, le rang moyen des données requises soit le plus petit possible.

On va considérer deux méthodes différentes. La première consiste à replacer en tête de listela donnée qui vient d’être requise. La seconde consiste à faire progresser celle-ci d’un rang en lareplaçant dans la mémoire. Dans chacun des deux cas, on a une chaîne de Markov irréductibleà valeurs dans E l’ensemble de toutes les permutations de l’ensemble 1, . . . ,n. On notera Q lamatrice de transition de la première chaîne de Markov et π sa mesure invariant associée, et P lamatrice de transition issue de la deuxième méthode de mesure invariante µ.A la chaîne de matrice Q on associe

JQ =

n∑

k=1

π(position de k)pk,

où π(position de k) est l’espérance sous π de la position de l’élément k.A la chaîne de matrice P on associe

JP =n

∑

k=1

µ(position de k)pk.

On peut alors vérifier que les quantités JQ et JP permettent de comparer la qualité des deuxméthodes de replacement. On se propose de montrer que JP < JQ, ce qui implique que la deuxièmeméthode est meilleure que la première.

partie 1

1. Montrer que la chaîne de matrice Q n’est pas réversible.

2. Montrer que la matrice de transition P vérifie

Pkl > 0 ⇔ Plk > 0, ∀k,l ∈ N.

3. Montrer que la matrice de transition P vérifie, quelquesoit k,k1,k2, . . . km,k :

Pkk1Πm

i=2Pki−1ki

Pkmk = PkkmΠ1

i=m−1Pki+1ki

Pk1k.

4. En déduire que P est réversible.

partie 2

A toute permutation (i1, . . . ,in) de (1, . . . ,n) on associe les quantités

Ikl = 1Iil<ik,

où 1IA = 1 si A a lieu et 0 sinon. Ainsi Ikl = 1 si l précède k et 0 sinon.

1

1. En remarquant que ik = 1 +∑

l 6=k Ikl, montrer que

JQ = 1 +∑

k<l

(pk − pl)π(l précède k) +∑

k<l

pl.

2. Montrer que

π(l précède k) =pl

pl + pk

.

3. En utilisant la réversibilité de la chaîne de matrice P , montrer que

µ(l précède k) >pl

pl + pk

.

Conclure.

Travaux Pratiques : Processus de Poisson

Dans ce TP, on utilisera le logiciel Scilab pour répondre aux questions. Le but est de générer deplusieurs façons un processus de Poisson et d’utiliser les théorèmes limites présentés en cours pourestimer son intensité. La dernière partie détaille la marche à suivre pour m’envoyer vos résultats.

partie 1 : simulation d’un processus de Poisson

Proposition 1 Soit Nt, t ≥ 0 la f.a. de comptage d’un processus de Poisson. Sachant Nt = k

(avec k ≥ 1), la suite T1,T2, . . . Tk est une suite de variables aléatoires i.i.d. de loi uniforme surl’intervalle [0,t].

1. Ecrire une fonction "poisson" qui simule et affiche la f.a. de comptage Nt, t ≥ 0 d’un

processus de Poisson d’intensité λ = 1 jusqu’au 20ième saut.

2. Ecrire deux fonctions qui simulent une trajectoire d’un processus de Poisson Nt, t ≥ 0d’intensité λ = 1 jusqu’à l’instant t = 20 :

– avec une boucle while (fonction "methode1"),

– avec la proposition ci-dessus (fonction "methode2").

3. Comparer les deux méthodes en générant 1000 trajectoires avec chacune d’entre elle (utiliserla fonction timer()).

partie 2 : comportement asymptotique

On a établit en cours les deux résultats suivants :

• Loi des Grands Nombres :

Nt

t

p.s.−−−→t→∞

λ.

• Théorème de la Limite Centrale :√

t

λ

(

Nt

t− λ

)

L−−−→t→∞

N(0,1).

1. Ecrire une fonction "poissonrandom" qui tire au hasard (loi uniforme sur [0,10]) une intensitéλ et qui génère une trajectoire d’un processus de Poisson d’intensité λ.

2. En déduire une estimation de λ (utiliser la LGN avec n = 1000).

3. Proposer un intervalle de confiance asymptotique pour λ au niveau de confiance 95% (utiliserle TLC).

partie 3 : sauvegarde des résultats

*Sauvegarder dans un fichier "simulation.jpg" la trajectoire d’un processus de Poisson d’intensitéλ = 1 généré avec la fonction methode2.

*Sauvegarder les réponses aux questions 1.3, 2.2 et 2.3 dans un fichier "resultat.txt". Expliquerla construction de l’estimateur (2.2) et de l’intervalle de confiance (2.3).

*Sauvegarder l’ensemble de votre code scilab dans un fichier "code.sce". Soigner la présentationdu code et ajouter des commentaires.

*Envoyer les 3 fichiers ainsi créés par mail (objet du mail : "TL : nom du groupe") à l’adressesuivante : [email protected] , avant le 27/01, minuit.

2


Processus markoviens de sautsTD

Exercice 1 Soit Tn,n ∈ N un processus ponctuel de Poisson d’intensité λ, et (Zn)n∈N unechaîne de Markov indépendante de Tn,n ∈ N à valeurs dans E, de matrice de transition P . Onpose

Xt =∑n≥0

Zn 1I[Tn;Tn+1[(t), t ≥ 0.

1. Montrer que Xt, t ≥ 0 est un processus markovien de sauts.2. Déterminer ses matrices de transition et le générateur infinitésimal associé.3. Déterminer la loi de l’instant du premier saut.

Exercice 2 Soit Xt, t ≥ 0 un processus markovien de sauts à valeurs dans E de semi-groupede transition P (t), t ≥ 0 et de générateur infinitésimal Q. Montrer que dans le cas |E| < ∞,

δ

δtP (t) = QP (t),

et de la même manière

δ

δtP (t) = P (t)Q.

On les appelle équations de Kolmogorov.

Exercice 3 Soit P la matrice markovienne définie par

P=

p 1− p 0 00 0 p 1− pp 1− p 0 00 0 p 1− p

.

On considère le générateur infinitésimal Q = P − I du processus markovien de saut Xt,t ≥ 0.1. Déterminer la matrice P ′ de transition de la chaîne incluse.2. Décrire les trajectoires du processus Xt,t ≥ 0, en précisant pour chaque état les paramètres

des lois exponentielles des temps de séjour.3. Montrer que (Xt) est irréductible, récurrente positive. Déterminer sa probabilité invariante.4. Déterminer la probabilité invariante de la chaîne incluse.

1

Exercice 4 Soit 0 < p, q < 1 tels que p + q = 1. Soit (Xn)n∈N une chaîne de Markov à valeursdans E = N de matrice de transition

P=

q p 0 0 ...q 0 p 0 ...0 q 0 p ...0 0 q 0 p.....

......

.... . .

.

Soit Xt,t ≥ 0 le processus markovien de sauts à valeur dans E = N de générateur infinitésimal

Q=

−p p 0 0 ...q −1 p 0 ...0 q −1 p ...0 0 q −1 p.....

......

.... . .

.

1. La chaîne (Xn)n∈N est-elle la chaîne incluse du processus (Xt)?2. Montrer que les deux processus sont irréductibles.3. Montrer que toute mesure invariante de (Xn) est une mesure invariante de (Xt) et vice-versa.4. Montrer que les deux chaînes sont transitoires lorsque p > q (comparer à la marche aléatoire

sur Z, qui est transitoire pour p = q).5. Montrer que les deux chaînes sont récurrentes dans le cas p = q. Déterminer dans ce cas une

mesure invariante de masse infinie, et en déduire que le processus est récurrent nul.6. On se place maintenant dans le cas p < q. On pose λ = p/q. En remarquant que q−1(λ−p) =

λ2, montrer qu’il existe une probabilité géométrique (i.e. de la forme (πk = αk(1−α), k ∈ N)invariante pour les deux chaînes.

7. On modifie le générateur Q en multipliant p et q par une constante c > 0. Montrer que ni lanature de la chaîne (récurrente nulle, récurrente positive, transitoire), ni l’éventuelle mesureinvariante n’est modifiée. Qu’est-ce qui est modifié dans le processus?

8. On se place dans le cas p < q. On considère le processus markovien de sauts Yt, t ≥ 0 degénérateur infinitésimal Q′ défini par

Q=

−p p 0 0 ...λq −λ λp 0 ...0 λ2q −λ2 λ2p ...0 0 λ3q −λ3 λ3p.....

......

.... . .

,

où λ = pq .

Comparer les chaînes incluses de Xt, t ≥ 0 et Yt, t ≥ 0. Vérifier que πx = 1, x ∈ N estmesure invariante, et en déduire que Yt, t ≥ 0 est récurrente nulle. Expliquer pourquoi (Yt)met en moyenne plus de temps que (Xt) pour revenir à x, en partant de x.

2


tp de clôture : modélisation de files d’attente.

1 Introduction

Les files d’attente apparaissent naturellement dans beaucoup de situations de la vie courante : unguichet desservant des usagers, une piste d’aéroport sur laquelle des avions attérissent, un serveurinformatique répondant à des requêtes. Les clients arrvient à des temps aléatoires et attendent leurtour devant le(s) guichet(s). Le serveur met un temps aléatoire pour servir chaque client. Enfin lafile a une certaine capacité d’accueil éventuellement limitée. Une file d’attente est donc déterminéepar les quatres paramètres suivants : A/B/s/K où• A indique la loi des temps inter-arrivées des clients,• B indique la loi des temps de services,• s indique le nombre de serveurs,• K indique la capacité de la salle d’attente (+∞ si il n’y a pas de précisions).L’objet de ce TP est d’étudier les files sans M/M/1 et M/M/s, où M représente la loi exponentielle(ou sans mémoire, Memoryless en anglais).

2 File M/M/1 : Définition et premières propriétésUne file d’attente M/M/1 est défnie par le processus stochastique suivant. On suppose que les

instants d’arrivées des clients sont distribués selon un processus de Poisson d’intensité λ et queles temps de service sont indépendants (et indépendants du processus d’arrivée) et suivent la loiexponentielle de paramètre µ. On note Xt, t ≥ 0 le processus qui compte le nombre de personnesdans la file. On peut montrer que (Xt) est un processus markovien de sauts à valeurs dans N. Onpourra calculer par la suite son générateur infinitésimal.On note (Tn)n∈N (avec T0 = 0) la suite des sauts et (Zn)n∈N la chaîne de Markov incluse par leprocessus (Xt).

1. On se donne X ∼ E(λ) et Y ∼ E(µ). Montrer que V = min(X,Y ) ∼ E(λ + µ), W = 1I(V =X) ∼ B( λ

λ+µ ). On peut montrer aussi que W et V sont indépendantes.2. En déduire les affirmations suivantes :

– Zn = 0 ⇒ Sn = Tn+1 − Tn ∼ E(λ).– Si Zn > 0, Sn ∼ E(λ + µ) et Zn+1 = Zn + Yn, où Yn est à valeurs dans −1, + 1 telle

que P(Yn = 1) = λλ+µ .

De plus, il est clair que (Zn) et (Sn) sont indépendantes.3. En déduire une façon de représenter (Xt) à partir de (Un)n∈N et (Vn)n∈N deux suites de v.a.

indépendantes de lois respectives uniforme sur [0,1] et exponentielle de paramètre 1.4. Ecrire une fonction mm1 qui permet de simuler une trajectoire de la file d’attente M/M/1

prenant comme paramètre λ, µ et t l’instant final, et qui donne la matrice des temps de sautet des positions.NB : Une v.a. exponentielle E(λ) est générée à l’aide de la fonction grand(1,1,"exp",1/λ).

5. Remarquez que (Xt) semble avoir trois comportement différents selon que λ < µ, λ = µ ouλ > µ.

1

3 Cas transientOn suppose ici que λ > µ.1. Déterminer grâce aux simulations l’expression de la limite a(λ,µ) de Xt

t quand t → +∞.Ecrire une fonction limit qui prend en paramètres λ, µ et t et trace la trajectoire de t 7→ Xt

t .2. Ecrire une fonction quasigauss qui illustre le fait que, pour t grand, la loi de Yt =

√t(Xt

t −a(λ,µ)) est quasiment gaussienne.NB : Pour cela il faudra simuler un grand nombre de variables Yt et comparer l’histogrammede l’échantillon à celui d’une loi Normale.

3. Peut-on grâce aux simulations se faire une idée de l’expression de la variance asymptotiqueσ2(λ,µ) en fonction de λ et µ?

4 Cas récurrent positifOn se place à présent dans le cas où λ < µ. On sait que dans ce cas le processus (Xt) admet

pour mesure invariante la probabilité π définie par

∀k ∈ N, πk =(

λ

µ

)k (1− λ

µ

).

De plus, d’après le cours, la loi de (Xt) converge vers π. On veut illustrer cette convergence grâceaux simulations.Ecrire une fonction repart qui prend en paramètres λ, µ, t et un entier p, qui génère p réalisationsindépendantes de Xt puis compare la fonction de répartition empirique de cet échantillon à cellede la mesure π.Rappel : la fonction de répartition empirique de l’échantillon (X1, . . . Xn) est définie par :

Fn(x) =1n

n∑i=1

1I(Xi ≤ x).

5 Files M/M/sOn considère à présent la file d’attente M/M/s où les instants d’arrivée sont toujours pois-

soniens, les temps de services exponentiels mais il y a s guichets ou "serveurs" disponibles. Lestemps de services aux guichets sont bien sûr mutuellement indépendants. On note Xt, t ≥ 0 leprocessus qui compte le nombre de personnes dans le système. On peut montrer que (Xt) est unprocessus markovien de sauts à valeurs dans N de générateur infinitésimal donnée par les relationssuivantes :pour la première ligne :

Q01 = λ, Q0x = 0, x > 1,

pour 1 ≤ x ≤ s :

Qx,x+1 = λ, Qx,x−1 = xµ,Qx,y = 0, |x− y| > 1,

et enfin :

Qx,x+1 = −λ, Qx,x−1 = sµ, Qx,y = 0, |x− y| > 1.

Comme précédemment, on note Sn = Tn+1 − Tn.1. En remarquant que min(S1, . . . ,Sx) ∼ E(µx), en déduire comme dans le cas s = 1 la loi de

(Sn)n∈N selon les valeurs de Zn, ainsi que l’expression de Zn+1 en fonction de Zn.2. En déduire une façon de représenter (Xt) à partir de (Un)n∈N et (Vn)n∈N deux suites de v.a.

indépendantes de lois respectives uniforme sur [0,1] et exponentielle de paramètre 1.

2

3. Ecrire une fonction mm1s qui permet de simuler une trajectoire de la file d’attente M/M/1/sprenant comme paramètre λ, µ, s et t l’instant final, et qui donne la matrice des temps desaut et des positions.

4. Remarquez que (Xt) semble avoir trois comportements différents selon que λ < µs, λ = µsou λ > µs.

5. Dans le cas récurrent positif, on peut calculer la probabilité invariante π donnée par :

πk

π0=

(λ/µ)k

k!si 0 ≤ k ≤ s

et

πk

π0=

(λ/µ)k

sk−ss!si k > s.

Les deux cas qui conduisent à une formule simple sont les cas s = 1 (déjà traité, loi géomé-trique), et s = +∞, auquel cas π est la loi de Poisson de paramètre λ

µ . On veut illustrer celagrâce aux simulations.Ecrire une fonction poisson qui prend en paramètres λ, µ, t et un entier p, qui génère p réali-sations indépendantes de Xt pout t grand, puis compare la fonction de répartition empiriquede cet échantillon à celle de la loi de Poisson de paramètre λ

µ .

6 Processus de départ des usagersOn s’intéresse au processus qui compte le nombre de personnes qui sont sorties du système.

Théorème 1 (Burke) Si λ < µs, à l’équilibre le processus des départs est un processus de Poissond’intensité λ.La preuve utilise le fait que la probabilité invariante du processus Xt, t ≥ 0 est solution del’équation d’équilibre ponctuel :

πxQx,x+1 = πx+1Qx+1,x.

Autrement dit, le générateur infinitésimal Q est réversible par rapport à π. Ainsi, si on munit (Xt)de la loi initiale π, la chaîne est réversible et XT−t, 0 ≤ t ≤ T a même loi que Xt, 0 ≤ t ≤ T.Ainsi les départs de (Xt) sont les arrivées de (XT−t) : un processus de Poisson d’intensité λ !

1. Ecrire une fonction depart qui génère une file d’attente M/M/1 et trace la trajectoire duprocessus des départs. Cela confirme-t’il le Théorème de Burke?

2. Vérifier le Théorème de Burke dans le cas s > 1.

3


Processus markoviens de sauts

Examen (2 heures)

Exercice 1 (4 points)On considère un processus de Poisson Nt, t ≥ 0 d’intensité λ. Le but de cet exercice est de

montrer de manière intuitive que la loi des accroissements est une loi de Poisson.

1. D’après le cours, on sait que pour h → 0, on a :

– P(Nt+h −Nt = 0) = 1− λh + (h),

– P(Nt+h −Nt = 1) = λh + (h),

– P(Nt+h −Nt ≥ 2) = (h),

où on rappelle que (h)h

→ 0 lorsque h → 0.Montrer que pour h petit, Nt+h−Nt suit approximativement une loi de Bernoulli dont vouspréciserez le paramètre.

2. En déduire que pour s > 0, Nt+s −Nt suit approximativement une loi Binomiale dont vouspréciserez les paramètres.

3. Conclure en utilisant le résultat suivant : la loi de Poisson P(λ) est la limite d’une suite devariables aléatoires indépendantes (Yn)n∈N où Yn sont des lois binomiales B(n,λ

n).

Exercice 2 (10 points)On considère la suite de variables aléatoires (Xn)n∈N à valeurs dans N définie par :

X0 = x0 ∈ N et Xn+1 =

(Xn + Yn+1)+, si Vn+1 = 1;0 si Vn+1 = 0,

où (x)+ = x si x ≥ 0 et (x)+ = 0 si x < 0 et la suite (Y1,V1,Y2,V2, . . .) est une suite de v.a.indépendante vérifiant pour tout n ∈ N

∗ :

P(Yn = 1) = P(Yn = −1) =1

2et P(Vn = 1) = p = 1− P(Vn = 0),

avec p > 0.

1. Montrer que (Xn)n∈N est une chaîne de Markov. Calculer sa matrice de transition P etmontrer qu’elle est irréductible.

2. Soit T le temps du premier retour en 0, partant de 0. Majorer P(T > k) et en déduire quel’état 0 est récurrent positif. Conclure pour la nature de la chaîne (Xn).

3. Montrer que si α est la solution de l’équation p(1 − α2) = 2α située dans l’intervalle ]0,1[,alors la probabilité géométrique π donnée par πx = αx(1−α), x ∈ N est l’unique probabilitéinvariante de (Xn).

4. On considère maintenant un processus markovien de sauts Xt, t ≥ 0 à valeurs dans N, degénérateur infinitésimal

Q=

−p/2 p/2 0 0 0 ...1− p/2 −1 p/2 0 0 ...1− p p/2 −1 p/2 0 ...1− p 0 p/2 −1 p/2 ...

......

......

.... . .

.

Préciser la matrice de transition de sa chaîne incluse. Comparer avec la chaîne (Xn)n∈N.

1

5. Montrer que Xt, t ≥ 0 est irréductible récurrent. Montrer que π définie à la question 3. estinvariante pour Xt. En déduire que Xt, t ≥ 0 est récurrent positif.

Exercice 3 (6 points)On va étudier la fonction Scilab suivante :

function A=mms(l,m,s,t)N=[0];T=[0];D=[0];cpt=0;alpha=0;while (T($)<t)b=1/(l+m*alpha*(N($)>0));T=[T T($)+grand(1,1,"exp",b)];if (rand(1,1)<l*b)N=[N N($)+1];alpha=alpha+1*(alpha<s);elseN=[N N($)-1];alpha=alpha-1*(N($)<s);D=[D T($)];cpt=cpt+1;end;end;T($)=[];N($)=[];xbasc();y=1:cpt;xbasc();plot2d2([D t],[0,y,y($)],3);A=[T;N]; endfunction;

1. Que représentent les variables alpha et cpt dans la boucle while ?

2. Que retourne la fonction mms ?

3. Que trace la fonction mms ?

4. Dessiner une réalisation de fenêtre graphique lorsqu’on effectue la commande suivante :–>mms(2,3,1,100).

2

Documents

Chaînes de Markov et Processus markoviens de sauts. Applications