Chaînes de Markov (version 0)

Yan DoumercECS1, lycée Gaston Berger, Lille

y.doumerc@yahoo.fr

15 Mai 2014

RésuméCe document accompagne une séance de formation destinée aux professeurs de classe préparatoire

EC. Il s’agit de présenter les fondamentaux des chaînes de Markov, thème qui fait son appartitiondans les nouveaux programmes. L’objectif est de donner les résultats théoriques majeurs ainsi quequelques preuves significatives, de présenter un panorama assez vaste d’exemples qui peuvent servird’inspiration et de détailler les possibilités qu’offre Scilab sur ce thème. Le contenu de ce documentva au delà de ce qui est présentable à nos étudiants mais nous espérons qu’il aidera ses lecteurs àavoir un bagage confortable et un recul suffisant pour enseigner le sujet.

Table des matières1 Introduction 2

1.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Les questions qui se posent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3 Liste de notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Généralités 42.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.2 Propriété de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.3 En Scilab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

3 Structure linéaire 6

4 Structure topologique 74.1 Communications entre états et classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.2 Période . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

5 Classification des états. 85.1 Transience, récurrence positive et récurrence nulle . . . . . . . . . . . . . . . . . . . . . . 85.2 En Scilab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

6 Mesure invariante 106.1 Définition, existence, unicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106.2 En Scilab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

7 Asymptotique 127.1 Loi des grands nombres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127.2 Convergence en loi de (Xn) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

8 Aspects matriciels dans le cas E fini 14

9 Analyse à un pas 159.1 Temps d’atteinte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159.2 Probabilités et temps d’absorption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1

10 Exemples 1610.1 La chaîne à deux états . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1610.2 Bonus-malus en assurance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1610.3 Mobilité sociale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1810.4 Score au tennis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1810.5 Mots de taille 2 dans un pile ou face . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2010.6 Ascension et rechutes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2110.7 Retenues lorsque l’on pose une addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2110.8 Collectionneur de coupons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2210.9 Sisyphe et les matrices compagnons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2210.10Processus de vie et de mort et marches aléatoires . . . . . . . . . . . . . . . . . . . . . . . 22

10.10.1Sur N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2210.10.2Sur Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2310.10.3Sur [[0, s]]. Ruine du joueur. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

10.11Marche aléatoire sur un graphe. Pagerank de Google. Cavalier sur un échiquier. . . . . . . 2410.12Marche aléatoire sur un groupe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2410.13Urne d’Ehrenfest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2610.14Modèle de Wright-Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2810.15Processus de Galton-Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2810.16Files d’attente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2910.17Un exemple non-homogène : urne de Polya . . . . . . . . . . . . . . . . . . . . . . . . . . 29

11 Quelques preuves 30

1 Introduction1.1 Motivations

1. Dans les nouveaux programmes, les chaînes de Markov constituent le thème 3 en ECS2 (6h) etECT2 (4h), le thème 4 en ECE2 (6h). Elles mobilisent les compétences C2 (modéliser et simuler desphénomènes aléatoires ou déterministes et les traduire en langage mathématique) et C4 (représenteret interpréter les différentes convergences).

2. Les familles (Xn)n∈N de variables aléatoires indépendantes sont des objets fondamentaux enprobabilités mais souvent trop « naïfs » pour décrire en pratique des phénomènes aléatoires. Leschaînes de Markov constituent un exemple fondamental de familles (Xn) de variables exhibant unedépendance suffisamment riche pour être pertinente et suffisamment simple pour se prêter à uneétude détaillée.

3. Les chaînes de Markov sont le pendant aléatoire des suites récurrentes xn+1 = f(xn).4. Certains phénomènes se présentent spontanément comme des chaînes de Markov. Ce sont

souvent des hypothèses d’indépendance inhérentes au phénomène qui se transforment en propriétéde Markov. Cf 10.5, 10.7, 10.12.

5. On peut aussi fabriquer une structure markovienne pour s’adapter au plus près à la modéli-sation d’une situation réelle. A ce titre, les chaînes de Markov constituent des approximationsde la réalité dont il convient de mesurer ensuite la pertinence (notamment en termes de prédictions).Cf 10.3, 10.16, 10.15, 10.14, 10.13. Notons que la structure markovienne à choisir peut être sub-tile : certains phénomènes ne sont pas directement markoviens en eux-mêmes mais proviennent d’unprocessus markovien sous-jacent (chaîne de Markov cachée).

6. Enfin, les chaînes de Markov peuvent être utilisées comme outils dans des problèmes qui n’ont apriori rien de markovien. Par exemple, les bonnes propriétés asymptotiques des chaînes de Markovpeuvent permettre la simulation exacte ou approchée d’une loi de probailité (algorithmesde Metropolis-Hastings et de Propp-Wilson) ou le calcul approché d’une espérance sous cetteloi (méthodes dites MCMC pour Monte Carlo Markov Chains). Elles peuvent aussi servir dans desproblèmes d’optimisation (algorithme de recuit simulé).

7. Pédagogiquement, les chaînes de Markov permettent de nouer un lien fort entre probabilités etalgèbre linéaire.

2

8. Scilab a des commandes prévues pour les chaînes de Markov. Pour les comprendre, il faut avoirquelques connaissances mathématiques sur le sujet.

9. Ce document comporte quelques preuves que nous avons jugé utiles et significatives. Nous renvoyonsà l’abondante littérature sur le sujet. Notre bibliographie cîte des ouvrages et des articles publiésmais il existe aussi des cours très complets disponibles sur internet (il suffit de googliser « chaînesde Markov » ou « Markov chains » pour obtenir de nombreux cours de type L3 ou M1)

1.2 Les questions qui se posentEn tant que généralisation des suites récurrentes xn+1 = f(xn) et des suites de variables aléatoires

indépendantes et de même loi, les chaînes de Markov soulèvent des questions naturelles.1. Quels états la chaîne peut-elle visiter ? Combien de fois la chaîne visite-t-elle ces états ?2. Existe-t-il des régions pièges telles que si la chaîne y entre, elle y reste ?3. Existence et unicité d’un équilibre (analogue à un point fixe de f pour une suite xn+1 = f(xn)) ?

4. Comportement asymptotique quand n→ +∞ : loi des grands nombres pour f(X1) + · · ·+ f(Xn)n

,convergence de Xn ?

1.3 Liste de notations1. L(Y )= loi de la variable aléatoire Y .2. CM : chaîne de Markov.3. CM(E,µ,Q) : chaîne de Markov à valeurs dans E, de loi initiale µ et de « matrice » de transitionQ. On utilisera CM(E), CM(Q) ou CM(µ,Q) selon les situations.

4. Pµ= loi de la chaîne X lorsque µ = L(X0), Px = loi de la chaîne X lorsque X0 = x, Lµ(Y ) = loide la variable aléatoire Y lorsque µ = L(X0).

5. Si n ∈ N, Xn+• = (Xn+k)k∈N = chaîne translatée de n.6. Si A ⊂ E, τA = inf{n ≥ 0 | Xn ∈ A} = temps d’atteinte de A, TA = inf{n > 0 | Xn ∈ A} temps

positif d’atteinte de A, τx = τ{x}, Tx = T{x}.7. ρxy = Px(∃n ∈ N∗, Xn = y) = Px(Ty < +∞)8. NA =

∑+∞n=0 1Xn∈A = nombre de passages de X en A.

3

2 Généralités2.1 Définitions

1. X = (Xn)n∈N suite de variables aléatoires à valeurs dans E (espace d’états, fini ou dénombrable).X est une CM lorsque ∀n ∈ N, ∀(x0, . . . , xn+1) ∈ En+2,

P (Xn+1 = xn+1 | (X0, . . . , Xn) = (x0, . . . , xn)) = P (Xn+1 = xn+1 | Xn = xn).

2. Une CM X est homogène lorsque P (Xn+1 = y | Xn = x) ne dépend pas de n. On note

Qxy := P (Xn+1 = y | Xn = x) = P (X1 = y | X0 = x) = probabilité de transition de x à y.

3. Q = (Qxy)(x,y)∈E2 := « matrice » de transition indicée par E2 (Qxy ≥ 0,∑y∈E Qxy = 1).

4. Si µ = L(X0) (loi de X0 i.e. µx = P (X0 = x)) alors la loi de la chaîne X est entièrement déterminéepar µ = L(X0) et Q :

P (X0 = x0, X1 = x1, . . . , Xn = xn) = µx0Qx0x1Qx1x2 · · ·Qxn−1xn.

5. CM = suite récurrente aléatoire. Si (Un)n∈N∗ est une suite de variables aléatoires indépendanteset de même loi, indépendantes de X0 et Xn+1 = f(Xn, Un+1) alors X est une CM de transitionsdonnées par Qxy = P (f(x, U) = y). Réciproquement, toute CM peut être réalisée ainsi.

2.2 Propriété de Markov1. Propriété de Markov faible : conditionnellement à {Xn = x}, la suite Xn+• est une CM(δx, Q)

indépendante de (X0, . . . , Xn−1) i.e. ∀n, ∀A ⊂ En, ∀B ⊂ EN (B mesurable pour la tribu produit),

Pµ(Xn+• ∈ B | (X0, . . . , Xn−1) ∈ A, Xn = x) = Px(X ∈ B).

2. La propriété de Markov forte permet de remplacer le n fixé de la propriété précédente par untemps T aléatoire lorsque c’est un temps d’arrêt i.e. lorsque, pour tout k ∈ N, {T = k} est dansla tribu Fk engendrée par X0, . . . , Xk. On note alors FT = {A | ∀k ∈ N, A ∩ {T = k} ∈ Fk} etla propriété de Markov forte dit alors que, conditionnellement à {T < +∞} ∩ {XT = x}, la suiteXT+• est une CM(δx, Q) indépendante de FT . Cette formulation est très pratique mais nécessite despréalables (tribu engendrée par X0, . . . , Xk, temps d’arrêt, tribu FT ) qu’il me semble déraisonnablede présenter à nos étudiants de voie EC. Ainsi, je n’utiliserai pas cette formulation.

2.3 En Scilab1. La commande X=grand(n,"markov",Q,x0) renvoie une trajectoire X1, . . . , Xn de longueur n de la

CM de matrice de transition Q de taille N , d’espace d’états [[1, N ]] et d’état initial x0∈ [[1, N ]]2. On peut simuler simultanément par la même commande m trajectoires de la chaîne en prenant pour

x0 un vecteur de longueur m : Y est alors une matrice à m lignes et n colonnes, la i-ième ligne decette matrice représentant une trajectoire de la chaîne issue de x0(i).

3. La commande Q=genmarkov(N,0) génère une matrice de transition aléatoire (irréductible, cf 4.1)de taille N. Cette commande admet d’autres options (cf 5).

-->Q=genmarkov(3,0)Q =

0.2105215 0.5940917 0.19538680.2587063 0.3676393 0.37365440.4055988 0.4283597 0.1660415

-->X=grand(10,"markov",Q,2)X =

1. 3. 2. 2. 1. 3. 1. 3. 2. 3.

4

-->X=grand(10,"markov",Q,ones(1,4))X =

1. 2. 3. 1. 3. 1. 2. 3. 1. 1.2. 2. 2. 3. 3. 1. 2. 3. 2. 2.2. 2. 2. 1. 3. 2. 1. 3. 1. 1.1. 2. 2. 2. 3. 1. 2. 2. 1. 2.

4. La commande X=grand(n,’markov’,Q,x0) ne fonctionne que pour un espace d’état fini. Une autreméthode est d’utiliser une formule Xn+1 = f(Xn, Un+1) qui, modulo une boucle, réduit le problèmeà la simulation de variables aléatoires indépendantes et de même loi Un.

5. Parfois, les commandes matricielles de Scilab permettent d’éviter une boucle et d’écrire descodes très rapides (cf 10.12).

5

3 Structure linéaire1. Une mesure (positive) µ sur E est vue comme un vecteur ligne (µx)x∈E indicé par E (à compo-

santes ≥ 0).2. Une fonction f sur E est vue comme un vecteur colonne (f(x))x∈E indicé par E.3. Lemme général de probabilités. SoitX,Y deux variables aléatoires à valeurs dans E, L(X),L(Y )

vecteurs lignes des lois de X et Y . On pose Qxy = P (Y = y|X = x) et Q = (Qxy)(x,y)∈E2 matriceindicée par E2. Alors

Formule de transfert : E(f(X)) = L(X).fFormule des probabilités totales : L(Y ) = L(X).Q,

où l’on utilise les produits « matriciels » usuels (µ.Q)y =∑x∈E µxQxy, (Q.f)x =

∑y∈E Qxyf(y).

4. Application à X CM(Q) :

L(Xn+1) = L(Xn).Q , L(Xn) = L(X0).QnEµ(f(Xn)) = µ.Qn.f , Px(Xn = y) = Qnxy

5. En Scilab, on peut donc utiliser le produit matriciel pour calculer Qn, L(X0).Qn ou µ.Qn.f . Atitre d’exemple, si X est une CM([[1, N ]], Q, ν) où N ,Q sont connues et ν = U([[1, N ]]), on peutcalculer ainsi la loi de X10 ou sa variance :

L=(ones(1,N)/N)*Q^10 //renvoie vecteur ligne égal à la loi de X_10

V=L*([1:N].^2)-(L*[1:N])^2 //renvoie Var(X_10)

6. En Scilab, une façon rapide de stimuler l’intérêt pour le comportement asymptotique d’une CMest la séquence suivante :

-->Q=genmarkov(5,0)Q =

0.0222811 0.2697559 0.1310236 0.2977397 0.27919970.1740691 0.1250174 0.2228307 0.2568908 0.22119190.1452540 0.1607858 0.6116494 0.0360346 0.04627620.1173445 0.2520207 0.1577082 0.2245600 0.24836670.2530282 0.0367638 0.3027446 0.1251088 0.2823547

-->Q^3ans =

0.1474329 0.1630835 0.3199016 0.1677465 0.20183550.1504543 0.1601482 0.3295414 0.1639701 0.19588600.1436463 0.1648927 0.3870534 0.1427979 0.16160960.1488757 0.1621018 0.3221453 0.1665796 0.20029750.1499850 0.1596959 0.3446721 0.1574593 0.1881876

-->Q^100ans =

0.1472942 0.1624627 0.3498718 0.1563285 0.18404280.1472942 0.1624627 0.3498718 0.1563285 0.18404280.1472942 0.1624627 0.3498718 0.1563285 0.18404280.1472942 0.1624627 0.3498718 0.1563285 0.18404280.1472942 0.1624627 0.3498718 0.1563285 0.1840428

Pourquoi les lignes de Qn sont-elles égales ? Cf 7.2 pour une réponse.

6

4 Structure topologique4.1 Communications entre états et classes

1. Graphe orienté G associé à une CM(E,Q) : sommets = états (∈ E), arêtes : x→ y ssi Qxy > 0.2. Si (x, y) ∈ E2, les propriétés suivantes sont équivalentes :

(a) Px(∃n ∈ N, Xn = y) > 0(b) ∃n ∈ N tel que Qnxy = Px(Xn = y) > 0(c) ∃n ∈ N, ∃x1, . . . , xn−1 ∈ E tels que x→ x1 → · · · → xn−1 → y i.e. Qxx1Qx1x2 · · ·Qxn−1y > 0

i.e. x, y sont reliés par un chemin dans le graphe orienté G.Si c’est le cas, on dit que x mène à y et on note x⇒ y. C’est une relation réflexive, transitive maisnon-symétrique.

3. Lorsque x⇒ y et y ⇒ x, on dit que x communique avec y et on note x⇔ y. ⇔ est une relationd’équivalence dont les classes d’équivalence sont appelées simplement classes.

4. Une CM est irréductible si elle n’a qu’une seule classe i.e. si ∀(x, y) ∈ E2, x⇒ y.5. Une partie F ⊂ E est dite close si ∀x ∈ F, ∀y /∈ F, Qxy = 0, ce qui équivaut à ∀x ∈ F, Px(∀n ∈

N, Xn ∈ F ) = 1.6. Un état x est absorbant lorsque {x} est close i.e. Qxx = 1.7. Une classe n’est pas toujours close : il peut exister des transitions entre deux classes mais

uniquement dans un sens (sinon elles ne feraient qu’une seule classe).

4.2 Période1. Si x ∈ E, Dx := {n ∈ N∗ | Qnxx > 0} et dx := pgcdDx = période de x (si Dx 6= ∅) .2. Si Dx 6= ∅, on prouve que Dx et dxN ne diffèrent que par un ensemble fini (utiliser Bezout et la

stabilité de Dx par somme).3. Les états d’une classe ont même période.4. x est apériodique si dx = 1. Ceci équivaut à : ∃kx ∈ N, ∀n ≥ kx, Q

nxx > 0. Une chaîne est

apériodique si tous ses états le sont.5. Une chaîne est irréductible et apériodique ssi ∀(x, y) ∈ E2, ∃kxy ∈ N, ∀n ≥ kxy, Qnxy > 0.6. Ainsi, si E est fini, une CM(E,Q) est irréductible et apériodique ssi il existe k ∈ N tel que Qk

ait tous ses coefficients positifs.7. Si X ↪→ CM(E,Q) est irréductible et de période d, il existe une partition E = E0 ∪ · · · ∪Ed−1 telle

que(a) P (Xn+k ∈ Ei+k | Xn ∈ Ei) = 1 (avec Ei+dj = Ei).(b) Qd a d classes E0, . . . , Ed−1 qui sont closes et apériodiques (pour Qd).E0, . . . , Ed−1 sont les composantes cycliques de la chaîne CM(Q) et celle-ci les traverse succes-sivement et de façon cyclique.

7

--]-i L--i -t_Iil

--- i. L:

=rl l

='|:: 1-Itlri'i =- i__tl

-f-=r.-.i:F]_

5 Classification des états.5.1 Transience, récurrence positive et récurrence nulle

1. Rappel : Nx =+∞∑n=0

1{Xn=x}, ρxy = Px(∃n > 0, Xn = y) = Px(Ty < +∞).

2. Un état x ∈ E vérifie soit les propriétés équivalentes du 2a, soit celles du 2b.(a) ρxx = 1⇔ Px(Nx = +∞) = 1⇔

∑nQ

nxx = +∞ : x est alors dit récurrent ;

(b) ρxx < 1⇔ ∀k ≥ 1, Px(Nx = k) = (1−ρxx)ρk−1xx ⇔

∑nQ

nxx < +∞ : x est alors dit transient.

3. Un état récurrent x est dit récurrent positif si Ex(Tx) < +∞ et récurrent nul si Ex(Tx) = +∞.4. La récurrence est contagieuse : si x récurrent et x⇒ y alors y récurrent et ρxy = ρyx = 1. Ainsi,

si x⇒ y et y 6⇒ x alors x est transient.5. Transience, récurrence positive et récurrence nulle sont des propriétés de classe.6. Toute classe récurrente est close.7. Une CM(E) a au moins un état récurrent si E est fini.8. Une classe récurrente finie est récurrente positive.9. E est l’union disjointe de classes ((RPi)i∈I , (RNj)j∈J , (Tk)i∈K), I, J ou K pouvant être vides. LesRPi, RNj sont closes, les RNj sont infinies, les Tk peuvent être infinies ou non, closes ou non. Maissi la chaîne sort d’une Tk, elle n’y reviendra plus jamais. Si une Tk est finie, la chaîne ne la visiteraqu’un nombre fini de fois. Il n’y a qu’un seul ordre dans lequel les Tk peuvent être visitées.

10. Si E est fini, E est l’union disjointe de classes ((RPi)i∈I , (Tk)i∈K), I 6= ∅. Les RPi sont closes. LesTk ne seront visitées qu’un nombre fini de fois. La chaîne finira toujours par être absorbée par unedes classes récurrentes.

11. Ainsi, si E est fini, on peut réordonner ses éléments de telle manière que la matrice de transitions’écrive par blocs sous sa forme canonique :

Q =

M1 0 · · · · · · 0

0 M2. . . · · ·

...... . . . . . . . . . ...0 · · · 0 Mr 0B1 · · · · · · Br Q̃

, (1)

où les M1, . . . ,Mr correspondent aux r classes récurrentes et la ligne B1 · · ·Br Q̃ correspond auxtransitions démarrant dans l’ensemble T des points transients.

5.2 En Scilab1. La commande genmarkov([n1,n2,...,nr],nt) renvoie une matrice de transition écrite sous forme

canonique (1) ayant r classes récurrentes de cardinaux respectifs n1,..., nr et une classe transientecontenant nt états.

2. La commande genmarkov([n1,n2,...,nr],nt,’perm’) permute les états de manière que Q n’ap-paraisse plus sous forme fondamentale.

3. La commande [perm,rec,tr,indsRec,indsT]=classmarkov(Q) permet de trouver le nombre d’étatstransients (tr), les tailles des classes récurrentes (rec), les indices des états récurrents (indsRec) ettransients (indsT) ainsi qu’une permutation (perm) de ces indices permettant de mettre la matricede transition Q sous forme canonique. D’où la session suivante :

-->Q=genmarkov([2,1,1],2,’perm’)Q =

0.1760777 0.1472675 0.0732458 0.2176698 0.1474706 0.23826850. 0.4251757 0. 0. 0. 0.57482430. 0. 1. 0. 0. 0.

8

0.3798732 0.2799085 0.0048863 0.1328574 0.1542110 0.04826360. 0. 0. 0. 1. 0.0. 0.4889986 0. 0. 0. 0.5110014

-->[perm,rec,tr,indsRec,indsT]=classmarkov(Q)indsT =

1. 4.indsRec =

2. 6. 5. 3.tr =

2.rec =

2. 1. 1.perm =

2. 6. 5. 3. 1. 4.

-->Q(perm,perm)ans =

0.4251757 0.5748243 0. 0. 0. 0.0.4889986 0.5110014 0. 0. 0. 0.0. 0. 1. 0. 0. 0.0. 0. 0. 1. 0. 0.0.1472675 0.2382685 0.1474706 0.0732458 0.1760777 0.21766980.2799085 0.0482636 0.1542110 0.0048863 0.3798732 0.1328574

4. Pédagogiquement, si l’on veut que les étudiants puissent générer une matrice de transition et s’en-traîner eux-mêmes à trouver les classes, la commande genmarkov([n1,n2,...,nr],nt,’perm’)leur donne déjà les cardinaux des classes. On peut bricoler un générateur de matrices markoviennesavec des zéros en normalisant les lignes d’une matrice d’entiers aléatoires :

function q=gene_mat_trans_avec_zer(n,p) // renvoie une matrice markovienne de taille n

// p dans [0,1], proche de 1 pour qu’il y ait beaucoup de 0aux=0while aux==0 // sert à ne pas diviser par 0

M=grand(n,n,"geom",p)-1

S=sum(M,’c’) // sommes cumulées de M par lignes

aux=prod(S) // produit des éléments de Sendq=diag((1 ./S))*M // divise chaque ligne de M par sa somme

endfunction

Bien sûr, ce générateur a très peu d’intérêt pour n = 2 ou 3.Exercice : on note Z le nombre de zéros dans la matrice ainsi générée et C le nombre de passagesdans la boucle while. Quelles sont les lois de Z et C ? Quel est le nombre moyen de zéros dansla matrice générée ? Quel est le nombre moyen de zéros de passages dans la boucle ? Quelle est laprobabilité de passer plus d’une fois dans la boucle ?

9

6 Mesure invariante6.1 Définition, existence, unicité

1. Une mesure µ sur E est invariante pour une CM(E,Q) lorsque

µQ = µ i.e. ∀y ∈ E,∑x∈E

µxQxy = µy.

Comme µ = 0 est toujours invariante, on sous-entendra dans la suite mesure non-nulle.2. Interprétation probabiliste : soit µ une loi (i.e. une mesure de probabilté). Alors

µ invariante⇔ ∀n ∈ N, Lµ(Xn) = µ⇔ ∀n ∈ N, Lµ(X) = Lµ(Xn+•).

3. Une mesure invariante est un vecteur propre à gauche à composantes ≥ 0 de la matrice Qassocié à la valeur propre 1.

4. Une mesure µ est réversible lorsque ∀(x, y) ∈ E2, µxQxy = µyQyx. Une mesure réversible estinvariante (il n’y a qu’à sommer sur x ∈ E).

5. Une « matrice » de transition Q est bistochastique lorsque outre ∀y ∈ E,∑x∈E Qxy = 1. Ceci

signifie exactement que la mesure « constante » (µx = 1 pour tout x ∈ E) est invariante.6. Toute chaîne ayant au moins un état récurrent a au moins une mesure invariante.7. Si µ est une mesure finie, invariante et si x un état transient alors µx = 0.8. Les mesures invariantes d’une CM X irréductible et récurrente sont toutes propor-

tionnelles. Elles vérifiet toutes µy > 0 pour tout y ∈ E et on a la dichotomie suivante :(a) X est récurrente positive et toutes les mesures µ invariantes vérifient µ(E) < +∞. X

possède alors une unique loi invariante donnée par

∀x ∈ E, µx = (Ex(Tx))−1 > 0.

(b) X est récurrente nulle et toutes les mesures invariantes vérifient µ(E) = +∞. X ne possèdealors pas de loi invariante.

9. Ainsi, une chaîne admet une unique loi invariante ssi elle est irréductible, récurrente po-sitive.

6.2 En Scilab1. La fonction eigenmarkov(Q) renvoie l’unique loi stationnaire d’une chaîne de Markov irréductible

de matrice de transition Q.

-->Q=[0.3 0.7 ;0.6 0.4]Q =

0.3 0.70.6 0.4

-->eigenmarkov(Q)ans =

0.4615385 0.5384615

2. Si la chaîne comporte m classes récurrentes, eigenmarkov(Q) renvoie une matrice à m lignes dontla i-ième ligne est la loi stationnaire correspondant à la i-ième classe récurrente.

-->Q=[genmarkov(2,0) zeros(2,2); zeros(2,2) genmarkov(2,0)]Q =

0.5076657 0.4923343 0. 0.0.5256511 0.4743489 0. 0.

10

0. 0. 0.7415918 0.25840820. 0. 0.0345999 0.9654001

-->eigenmarkov(Q)ans =

0.5163641 0.4836359 0. 0.0. 0. 0.1180851 0.8819149

11

7 Asymptotique7.1 Loi des grands nombres

1. Notons Nny =

∑nk=1 1Xk=y le nombre de passages en y entre les instants 1 et n. Alors, pour tout

chaîne X irréductible et toute loi initiale,

∀y ∈ E, limn→+∞

Nny

n= (Ey(Ty))−1 presque-sûrement (avec (+∞)−1 = 0). (2)

2. Soit X une CM irréductible, récurrente nulle. Alors, pour toute loi initiale et toute fonction fintégrable par rapport à « la » mesure invariante, on a

limn→+∞

f(X1) + · · ·+ f(Xn)n

= 0 presque-sûrement. (3)

3. Soit X une CM irréductible, récurrente positive. On note µ son unique loi invariante (µx =(Ex(Tx))−1) et on suppose que la fonction f est µ-intégrable. Alors, pour toute loi initiale, on a

limn→+∞

f(X1) + · · ·+ f(Xn)n

= µ.f presque-sûrement. (4)

4. En Scilab, il suffit de simuler une seule trajectoire pour illustrer ces convergences car ellesont lieu avec probabilité un, quelle que soit la mesure initiale. A titre d’exemple, si X ↪→ CM(Q)est irréductible, récurrente positive de loi invariante µ, on pourra regarder les estimateurs µ̂(n)

x =Nnx

net Q̂(n)

xy = 1Nnx

n−1∑k=0

1Xk=x,Xk+1=y. On pourra prouver qu’ils convergent avec probabilité un

respectivement vers µx et Qxy (utiliser le fait que (Xn, Xn+1) est une CM irréductible, récurrentepositive et de mesure invariante λ(x,y) = µxQxy). On pourra les tester sur un exemple généré pargenmarkov puis grand.

7.2 Convergence en loi de (Xn)1. Pour une chaîne X irréductible, le théorème de convergence dominée permet de passer à l’espérance

sous Px dans (2) pour avoir

∀x ∈ E, limn→+∞

∑nk=1 Q

kxy

n= (Ey(Ty))−1. (5)

Ainsi la suite (Px(Xn = y) = Qnxy) converge au sens de Césaro. Converge-t-elle au sens usuel ?2. Si y est transient ou récurrent nul, on a Px(Xn = y) = Qnxy −→

n→+∞0.

3. Il existe des cas où la suite (Px(Xn = y) = Qnxy) n’a pas de limite (ex : Q =(

0 11 0

), Q2n = I2,

Q2n+1 = Q). C’est un phénomène de périodicité qui fait obstacle à la convergence.4. SoitX une CM irréductible, récurrente positive et apériodique.X a une unique loi invarianteµ. Alors, pour toute loi initiale ν, la suite (Xn) converge en loi vers une variable aléatoire de loi µ :

∀A ⊂ E, limn→+∞

Pν(Xn ∈ A) = µ(A) et, en particulier, limn→+∞

Qnxy = µy = (Ey(Ty))−1. (6)

5. En Scilab, pour illustrer ces convergences en loi, une seule trajectoire ne suffit plus. On peut fixerun n grand, simuler k trajectoires, obtenir des copies indépendantes X1

n, . . . , Xkn et regarder la loi

empirique associée µ̃k = 1k

k∑i=1

δXinqui approxime la loi de Xn et donc la loi µ. La comparaison

entre µ̃k et µ peut se faire à travers leurs histogramme ou à travers leurs fonctions de répartition si

E ⊂ R (Fk(t) = 1k

k∑i=1

1Xin≤t d’un côté et F (t) = µ(]−∞, t]) de l’autre).

12

6. En Scilab, une autre illustration possible est de calculer νQn par produit matriciel puis la dis-tance en variation totale dV T (νQn, µ) =

∑x∈E |νQn(x) − µ(x)| et de représenter graphiquement

dV T (νQn, µ) en fonction de n.7. Supposons X ↪→ CM(Q) irréductible, récurrente positive, de loi invariante µ, de période d et de

composantes cycliques E0, . . . , Ed−1. Alors, pour tout 0 ≤ i ≤ d − 1, µ(Ei) = 1/d et la chaîne(Xnd+i)n∈N converge en loi :

∀A ⊂ E, limn→+∞

Pν(Xnd+i ∈ A) = d

d−1∑j=0

ν(Ej)µ(A ∩ Ei+j)

et, en particulier pour (x, y) ∈ Ej × Ei+j , limn→+∞

Qnd+ixy = dµy.

13

8 Aspects matriciels dans le cas E finiSoit X une CM(E,Q) avec E fini. Rappelons que, pour toute matrice, les valeurs propres à gauche

et les valeurs propres à droite sont les mêmes avec même multiplicité algébrique (i.e. dans le polynômecaractéristique) et géométrique (i.e. dimension du sous-espace propre). On pourra donc parler des valeurspropres sans précision.

1. Les valeurs propres de Q sont toutes de module ≤ 1 et 1 est valeur propre.

2. Si l’on prend la forme canonique Q =

M1 0 · · · · · · 0

0 M2. . . · · ·

...... . . . . . . . . . ...0 · · · 0 Mr 0B1 · · · · · · Br Q̃

, les valeurs propres sont celles

de M1, . . . ,Mr, Q̃. Chaque Mi possède 1 comme valeur propre de multiplicité géométrique égale à1. Les valeurs propres de Q̃ sont de module < 1.

3. Ainsi, la dimension du sous-espace propre associé à 1 est égale au nombre de classes récurrentes.4. Soit dk la période deMk. Les valeurs propres de module 1 deMk sont les racines dk-èmes de l’unité.5. Ainsi, si Q est irréductible et récurrente, elle est apériodique ssi 1 est la seule valeur propre de

module 1.6. Une loi invariante est un vecteur propre à gauche à composantes ≥ 0 et de somme 1. Chaque Mk

possède une unique loi invariante µk et les lois invariantes sont toutes de la forme µ =∑rk=1 akµk

où ak ≥ 0 et∑rk=1 ak = 1.

7. Si Q est irréductible (donc récurrente) et apériodique, la matrice Qn converge vers la matrice donttoutes les lignes sont égales à µ (l’unique loi invariante). C’est une matrice de projecteur de rang 1.

8. Soit Q de taille N = |E| irréductible dont l’unique loi invariante est µ. On peut munir RE (ensembledes fonctions de E dans R vues comme vecteurs colonnes) du produit scalaire

〈f, g〉 =∑x∈E

µ(x)f(x)g(x).

On note 1 ∈ RE la fonction constante 1 si bien que µ.f =∑x µ(x)f(x) = 〈f,1〉. On confond Q avec

l’endomorphisme qu’il induit canoniquement sur RE . Q est alors symétrique ssi µ est réversible.Dans ce cas, Q est diagonalisable dans une base orthonormée f1, . . . , fN avec valeurs propres 1 =λ1 > λ2 ≥ · · · ≥ λN ≥ −1. L’irréductibilité de Q se traduit par le fait que λ1 = 1 soit valeur propresimple. Q est apériodique ssi λN > −1. Ainsi, pour tout f ∈ RE

Qnf =N∑i=1〈f, fi〉Qnfi =

N∑i=1〈f, fi〉λni fi = µ.f +

N∑i=2〈f, fi〉λni fi.

En notant c(x) = Q2xx/µx et ρ = max(λ2, |λN |) < 1, on peut prouver dans le cas apériodique que

|Ex(f(Xn))− µ.f |2 ≤ c(x)ρ2n−2 ‖f − µ.f‖2 et |Px(Xn ∈ A)− µ(A)|2 ≤ 14c(x)ρ2n−2,

ce qui reprouve la convergence en loi de (Xn) et donne une vitesse de convergence.

14

9 Analyse à un pas9.1 Temps d’atteinte

1. Rappel : si A ⊂ E, τA = inf{n ≥ 0 | Xn ∈ A} = temps d’atteinte de A.2. Posons φA(x) = Px(τA < +∞). φA est la solution minimale des équations suivantes :

∀x ∈ A, φA(x) = 1, ∀x /∈ A, φA(x) =∑y∈E

QxyφA(y). (7)

3. Si A ∩ B = ∅, posons φA,B(x) = Px(τA < τB) pour tout x ∈ E. ψ est la solution minimale deséquations suivantes :

∀x ∈ A, φA,B(x) = 1, ∀x ∈ B, φA,B(x) = 0, ∀x /∈ A ∪B, φA,B(x) =∑y∈A

QxyφA,B(y). (8)

4. Posons ψA(x) = Ex(τA) pour tout x ∈ E. Alors ψA est la solution minimale de l’équation suivante :

∀x ∈ A, ψA(x) = 0, ∀x /∈ A, ψA(x) = 1 +∑y/∈A

QxyψA(y). (9)

Ainsi, en notant Q̃ la matrice obtenue en supprimant les lignes et colonnes d’indices dans A et en

introduisant les vecteurs colonnes de même taille ψA = (ψA(x))x/∈A et J =

1...1

, on a donc

ψA = J + Q̃ψA i.e. (I − Q̃)ψA = J. (10)

9.2 Probabilités et temps d’absorption

1. Si E est fini, reprenons la forme canonique de Q =

M1 0 · · · · · · 0

0 M2. . . · · ·

...... . . . . . . . . . ...0 · · · 0 Mr 0B1 · · · · · · Br Q̃

correspondant

aux classes récurrentes (C1, . . . , Cr) et à l’ensemble T des points transients. Notons τj le tempsd’atteinte de Cj , τ = infj τj le temps d’absorption dans une des classes récurrentes. On sait que τest fini avec probabilité un et admet une espérance. Pour 1 ≤ j ≤ r et (x, y) ∈ T 2, les quantitésd’intérêt sont(a) Ex(Ny) le nombre moyen de visites en y partant de x,(b) ψ(x) = Ex(τ) le temps moyen d’absorption partant de x,(c) φj(x) = Px(τj < +∞) = Px(Xτ ∈ Cj) la probabilité d’être absorbée par Cj partant de

x.Introduisons les vecteurs colonnes ψ = (ψ(x))x∈T , φj = (φj(x))x∈T , J = t(1, . . . , 1) ∈ M|T |,1(R)et Jj = t(1, . . . , 1) ∈ M|Cj |,1(R). Posons aussi φ = (φ1, . . . , φr) et B = (B1J1, . . . , BrJr) dansM|T |,r(R). Alors, on prouve que , on a

It − Q̃ est inversible et, si F = (It − Q̃)−1, on a : Ex(Ny) = Fxy, ψ = FJ, φ = FB. (11)

2. Si E est fini, une CM(E,Q) est dite absorbante lorsque les classes récurrentes sont des singletonsi.e. les états récurrents sont absorbants. Les calculs précédents sont alors tous valables. On aM11 =· · · = Mrr = J1 = · · · = Jr = 1, les Bi sont des vecteurs colonnes et B = (B1, . . . , Br).

3. En Scilab, la commande [M,S]=eigenmarkov(Q) renvoie, en plus de la matrice M contenant danssa j-ème ligne la loi invariante portée par Cj , la matrice S est φ = FB i.e. S(x,j) est la probabilitéde terminer dans la j-ième classe en démarrant en l’état x. Cf 10.4 pour un exemple.

15

10 Exemples10.1 La chaîne à deux états

1. Si E = {0, 1}, la matrice de transition est Q =(

1− a ab 1− b

)= I2+M oùM =

(−a ab −b

)=

t(a,−b).(−1, 1), rg(M) = 1.2. Le calcul de Qn est entièrement explicite et peut se faire dès la 1ère année de filière EC : soit par

récurrence, soit par la formule du binôme en utilisant Mk = (−a − b)k−1M pour k ≥ 1. En 2èmeannée, on peut faire ce calcul par diagonalisation explicite de M (facile car rg(M) = 1) puis de Q.La limite quand n→ +∞ peut s’étudier directement dans ce cas particulier.

3. La chaîne est irréductible ssi ab 6= 0. Dans ce cas, elle est apériodique ssi a+ b < 2. Le cas a = b = 1est l’archétype d’une chaîne de période 2 qui donne si, par exemple, Xn = 0 alors X2n = 0 etX2n+1 = 1 donc Xn ne converge pas en loi.

10.2 Bonus-malus en assurance1. E= ensemble des classes de tarifications = {1 (fort bonus), 2, 3, 4, 5, 6 (fort malus)}.2. Evolution : si on n’a aucun accident dans l’année, on gagne en bonus (si possible) ; si on a au moins

un accident dans l’année, on passe à 6 (malus maximal).3. p = probabilité de ne pas avoir d’accident dans l’année, q = 1− p.

4. Q =

p 0 0 0 0 qp 0 0 0 0 q0 p 0 0 0 q0 0 p 0 0 q0 0 0 p 0 q0 0 0 0 p q

5. Q est irréductible, récurrente positive et apériodique. En résolvant le système µQ = Q, on voit que

son unique loi invariante estµ = (p5, qp4, qp3, qp2, qp, q).

D’après 7.2.4, (Xn) converge en loi vers une variable aléatoire de loi µ.6. Si le coût annuel de l’assurance en classe i vaut f(i) alors le coût total pour un assuré sur n années

vaut Cn = f(X1) + · · · + f(Xn) et vérifie Cn ∼ n(∑6x=1 f(x)µ(x)) avec probabilité un quand

n→ +∞.7. Nous renvoyons à [L] ainsi qu’à la page web http ://blogperso.univ-rennes1.fr/arthur.charpentier.8. Voici une fonction qui simule une trajectoire de cette chaîne avec boucle for

function x=simu_bonus_boucle(n,p)

//simule trajectoire de longueur n de la chaîne bonus, p = proba de zéro accident

x=ones(1,n)for i=2:n

u=rand()x(i)=6+(max([1,x(i-1)-1])-6)*(u<p)// 6 si u>p et max(1,x(i-1)-1) si u<p

endendfunction

9. Voici une fonction qui fabrique la matrice de cette chaîne.

function m=mat_bonus(p)

//calcule la mat de transition du bonus avec proba p de zéro accidentq=1-p

n=p*eye(5,5)

n=[zeros(1,5);n]m=[n , q*ones(6,1)]

16

m(1,1)=pendfunction

10. Voici un code qui dessine plusieurs trajectoires de la chaîne.

clf()n=input("Longueur des trajectoires : ")

k=input("Nombre de trajectoires : ")

p=input("Proba de ne pas avoir d accident : ")

y=grand(n,’markov’,mat_bonus(p),ones(1,k))

//y a k lignes contenant des trajectoires de longueur n

y=[ones(1,k)’ y]

//on ajoute les points de départ : y a k lignes et n+1 colonnes

m=ones(k,1)*[1:n+1]-1//matrice à k lignes égales toutes à 0,1,2,...,n

plot2d(m’,y’)

n1=string(n);p1=string(p);k1=string(k);

xtitle([k1 ’trajectoires de longueur’ n1 ’de l évolution du bonus avec

proba de ne pas avoir d accident’ p1],’temps’,’états’,boxed=1)

11. Voici un code qui dessine plusieurs trajectoires des moyennes empiriques des bonus.

clfn=input("Longueur des trajectoires : ")

k=input("Nombre de trajectoires : ")

p=input("Proba de ne pas avoir d accident : ")

y=grand(n-1,’markov’,mat_bonus(p),ones(1,k))

//y a k lignes contenant des traj. de longueur n-1

y=[ones(1,k)’ y]//on ajoute les points de départ : y a k lignes et n colonnes

y=cumsum(y,’c’)//on fait les sommes cumulées des trajectoires

m=ones(k,1)*[1:n]//matrice à k lignes égales toutes à 1,2,...,n

y=y./m// matrice à k lignes égales toutes à S_0/1, S_1/2, S_2/3, ..., S_{n-1}/n

mat=m-1// matrice à k lignes égales toutes à 0,1,2,...,n

plot2d(mat’,y’)

n1=string(n);p1=string(p);k1=string(k);

xtitle([’evolution des moy empiriques du bonus sur’ k1 ’trajectoires de longueur

’ n1 ’ avec proba de pas d accident’ p1],’temps’,’moy empirique’,boxed=1)

12. Voici un code qui représente les fréquences empiriques de visite des états sur une trajectoire et lescompare à la loi invariante.

clfn=input("Longueur de la trajectoire : ")

p=input("Proba de ne pas avoir d accident : ")

Q=mat_bonus(p)

y=grand(n-1,"markov",Q,1)

//y =vecteur ligne contenant des trajectoires de longueur n-1

y=[1 y]//on ajoute les points de départ : y a 1 ligne et n colonnes

histplot([0.5:6.5],y,style=5)

plot2d([1:6],eigenmarkov(Q),style=-5)

n1=string(n);p1=string(p);

17

xtitle([’Fréquence empirique de visite des états sur une trajectoire de longueur’

n1 ’ avec proba de ne pas avoir d accident’ p1],’états’,’fréq empirique’,boxed=1)

13. Voici un code qui représente l a loi empirique de Xn calculée sur plusieurs trajectoires.

clfn=input("Valeur de n : ")

k=input("Nombre de simulations : ")

p=input("Proba de ne pas avoir d accident : ")

Q=mat_bonus(p)

y=grand(n,"markov",Q,ones(1,k))

//y a k lignes contenant des trajectoires de longueur n

histplot([0.5:6.5],y(:,n)’,style=5)

plot2d([1:6],eigenmarkov(Q),style=-5)

n1=string(n);p1=string(p);k1=string(k);

xtitle([’Loi empirique de X_n calculée sur’ k1 ’simulations avec n=’ n1 ’et

proba de ne pas avoir d accident’ p1],’etats’,’freq empiriques’,boxed=1)

10.3 Mobilité sociale1. E= ensemble des catégories socio-professionnelles (CSP).2. Supposons que la CSP évolue au fil des générations comme une chaîne de Markov homogène. Dans

ce cas, les transitions Qxy = P (CSP du fils = y | CSP du père = x) ne sont pas données a priori,elles doivet être évaluées par l’observation. Sur une population donnée de taille N , on regarde

nxy = nombre d’individus de CSP y et dont le père est de CSP x,

nx =∑y∈E

nxy = nombre total d’individus dont le père est de CSP x

et on pose Qxy = nxynx

. Par construction, Q est une matrice de transition.

3. En pratique, Q est à coefficients strictement positifs donc irréductible et apériodique. La chaîneassociée converge donc en loi vers son unique loi invariante. Cette loi représente l’état d’équilibred’une population dont la mobilité sociale a une structure correspondant à la matrice Q.

4. Bien sûr, l’hypothèse d’une évolution markovienne homogène est peu réaliste et doit être nuancée.Nous renvoyons à l’article [T] pour une étude approfondie.

10.4 Score au tennis1. E= ensemble des scores possibles dans un jeu au tennis opposant les joueurs A et B (|E| = 18).2. Evolution : on suppose les points indépendants les uns des autres et qu’à chaque point A gagne

avec probabilité a et perd avec probabilité b = 1− a.3. La site (Xn) des scores est une CM . Les deux classes récurrentes sont les singletons absorbants{A gagne}, {B gagne}. {(40, 30), (40, 40), (30, 40)} est une classe transiente et les 13 autres classestransientes sont les singletons restants.

4. Voici une fonction qui génère la matrice de transition

function m=mat_tennis(a)//calcule la mat de transition du tennis avec joueurs A et B //

// a= proba que A gagne un point, 1-a = proba que B gagne un point

//les états sont (score de A , score de B) et numérotés ainsi 1 : 0-0,// 2 : 0-15, 3 : 15-0, 4 : 30-0, 5 : 15-15, 6 : 0-30, 7 : 0-40,//8 : 15-30, 9 : 30-15, 10 : 40-0, 11 : 40-15 12 : 30-30, 13 : 15-40,

18

// 14 : 30-40, 15 : 40-30, 16 : 40-40, 17 : B gagne, 18 : A gagne

m=zeros(18,18)m(1,2)=1-a ; m(1,3)=a ; m(2,5)=a ; m(2,6)=1-a ;m(3,4)=a ; m(3,5)=1-a ; m(4,9)=1-a ; m(4,10)=a ;m(5,8)=1-a ; m(5,9)=a ; m(6,7)=1-a ; m(6,8)=a ; m(7,13)=a ;m(7,17)=1-a ; m(8,12)=a ; m(8,13)=1-a ; m(9,11)=a ; m(9,12)=1-a ;m(10,11)=1-a ; m(10,18)=a ; m(11,15)=1-a ; m(11,18)=a ;m(12,14)=1-a ; m(12,15)=a ; m(13,14)=a ; m(13,17)=1-a ;m(14,16)=a ;m(14,17)=1-a ;m(15,16)=1-a ; m(15,18)=a ; m(16,14)=1-a ;m(16,15)=a ;m(17,17)=1 ; m(18,18)=1 ;

endfunction

Pour représenter graphiquement le score au cours d’une partie, on représente la différence « score(A)-score(B) » avec un saut plus grand quand l’un d’eux gagne. Attention, cette différence est unefonction d’une CM mais n’est pas une CM en elle-même. Voici un code représentant une trajectoirede cette différence ://représente la différence score A -score B \in {-4,-3,-2,-1,0,1,2,3,4}

//(4 = A gagne ; -4 = B gagne) au cours du temps de 0 à l

// a= proba que A gagne un point ; l = longueur de la partie

a=input(’Proba que A gagne : ’)

l=input(’Longueur de la partie : ’)clf;m=mat_tennis(a);Y=grand(l,"markov",m,1);

//Y vecteur ligne de taille l représentant 1 trajectoire de longueur l

Z=(((Y==3)|(Y==9))|(Y==15))+2*((Y==4)|(Y==11))+3*(Y==10)+4*(Y==18)-( (((Y==2)|(Y==8))|(Y==14))+2*((Y==6)|(Y==13))+3*(Y==7)+4*(Y==17))

//Z vecteur ligne detaille l représentant score A -score B au cours du temps

plot2d([0:l],[0 Z],style=-11);plot2d([0:l],[0 Z],style=5)

xtitle([’Evolution du score au cours d un jeu de tennis’],

’temps’,’score de A’,boxed=1)

Voici un code simulant n parties et calculant la durée moyenne consatée des parties i.e. le tempsmoyen empirique d’absoprtion

// simule n parties de longueur l de la chaîne du tennis

// et calcule l’esperance empirique du temps d’absorption

a=input(’Proba que A gagne : ’)

l=input(’Longueur de chaque partie : ’)

n=input(’Nombre de parties simulées : ’)

m=mat_tennis(a);Y=grand(l,"markov",m,ones(1,n));

//Y =matrice à n lignes, l colonnes contenant les trajectoires

Z=(Y>16)+0// Z= matrice à n lignes, l colonnes enregistrant 0 si partie continue, 1 si finie

[U,V]=max(Z,"c")// V colonne de taille n qui contient les temps d’absorption des n parties

t=mean(V)disp(t,’la moy empirique du temps de jeu est’)

19

Voici un code simulant n parties et calculant la proportion de celles où A gagne i.e. la probabilitéempirique que A gagne

// simule n parties de longueur l de la chaîne du tennis

//et calcule la proportion de fois où A gagne

a=input(’Proba que A gagne : ’)

l=input(’Longueur de chaque partie : ’)

n=input(’Nombre de parties simulées : ’)

m=mat_tennis(a);Y=grand(l,"markov",m,ones(1,n));

// Y = matrice à n lignes contenant les trajectoires de longueur l

Z=Y(:,l) // colonne enregistrant qui a gagné chaque partie : 17 = B, 18 = A

A=(Z==18) // colonne de booléens enregistrant si A gagne

G=((Z==18)+(Z==17)-(Z==17).*(Z==18))// G= colonne de booléens enregistrant s’il y a eu gain

p=sum(A)/sum(G)

disp(p,’la proba emipirique que A gagne est’)

5. La commande [M,S]=eigenmarkov(mat_tennis(a)) renverra la matrice S telle que S(x,j) est laprobabilité de terminer dans la j-ème classe en démarrant en l’état x. La probabilité que A gagneest donc S(1,1).

6. C’est un exemple pédagogique car la probabilité théorique que A gagne se calcule explicitement enfonction de a et vaut p(a) = a4(1+4b+10b2)+20a5b3(1−2ab)−1 (laissé en exercice). On peut donccomparer la probabilité théorique que A gagne, celle calculée par eigenmarkov et la probabilitéempirique calculée grâce au code précédent.

10.5 Mots de taille 2 dans un pile ou face1. Cadre : jeu de pile ou face i.e. (Zn)n∈N suite de variables aléatoires indépendantes et de même loiP (Zn = P ) = p, P (Zn = F ) = 1− p.

2. On s’intéresse aux mots formés de deux lettres consécutives et, par exemple, au temps τ ′ de 1èreapparition du mot PP ou du mot PF .

3. On note Xn = (Zn, Zn+1). Alors (Xn) est une CM(E) où E = {PP, PF, FP, FF}. Ses transi-

tions sont représentées sur le dessin suivant Q =

p q 0 00 0 p qp q 0 00 0 p q

. La chaîne est irréductible et

apériodique.

4. Notons τ le temps d’atteinte de l’état PP . Appliquons les résultats de 9.1.4. Avec Q̃ =

0 p qq 0 00 p q

,

J =

111

, on a

ψ =

EPF (τ)EFP (τ)EFF (τ)

= (I3 − Q̃)−1J.

Dans le jeu de pile ou face usuel (p = 1/2), il attendre 2 coups pour que la chaîne démarre avec laloi uniforme sur E donc

E(τ ′) = 2 + 14(EPP (τ) + EPF (τ) + EPF (τ) + EPF (τ)) = 2 + 1

4(0 + tJ(I3 − Q̃)−1J) = 6.

20

5. Remarque. Si X est CM(E) quelconque et Yn = (Xn, Xn+1, . . . , Xn+k−1) alors (Yn) est uneCM(Ek). On peut ainsi calculer les temps d’apparition de mots de taille k ≥ 2. Mais cette méthodedemande l’inversion d’une matrice de taille 2k. Une méthode de martingale donne le résultat plusdirectement.

10.6 Ascension et rechutes1. On grimpe les barreaux d’une échelle infinie. Lorsque l’on a atteint le k-ème barreau, on parvient

au suivant avec probabilité pk et on dégringole juqu’au barreau 0 avec probabilité qk = 1− pk.2. La suite (Xn) des barreaux atteints est une chaîne de Markov de « matrice » de transition

Q =

q0 p0 0 0 · · · 0 · · ·q1 0 p1 0 · · · 0 · · ·q2 0 0 p2 · · · 0 · · ·...

......

... . . . 0 · · ·qn 0 0 0 · · · pn · · ·...

......

......

... . . .

.

3. Si pk ∈]0, 1[ pour tout k ∈ N alors (Xn) est irréductible et apériodique.4. Posons r0 = 1 et rk = p0p1 · · · pk−1. Il est clair que P0(T0 > k) = rk donc P0(T0 = +∞) =

limk→+∞ rk. Il est classique (en utilisant le logarithme) que cette limite est > 0 ssi la série∑i(1−

pi) =∑i qi converge. Ainsi, X est récurrente ssi

∑i qi diverge.

5. Une mesure µ est invariante ssi µ0 =∑+∞i=0 µiqi et µj = µj−1pj−1 i.e. µj = µ0rj si j ≥ 0. En

remplaçant, on a

µ0 = µ0

+∞∑i=0

riqi = µ0

+∞∑i=1

(ri − ri+1) = µ0(1− limk→+∞

rk).

Ainsi, si X est transiente, on a limk→+∞ rk > 0 donc µ0 = 0 donc la seule mesure invarianteest nulle. Si X est récurrente, les mesures invariantes sont multiples de la mesure (rj)j∈N. X estrécurrente positive ssi

∑j rj converge.

6. Si pk = p ∈]0, 1[ pour tout k ∈ N, cette chaîne modélise la longueur de la série actuelle des succèsdans un jeu de pile ou face.

∑i q diverge trivialement donc X est récurrente puis

∑j rj =

∑j p

j

converge donc X est récurrente positive, de loi invariante µj = (1 − p)pj (j ∈ N) (ceci est évidentcar dans ce cas Xn a la loi de max(G− 1, n+ 1) où G ↪→ G(1− p) et donc Xn converge en loi versG− 1).

10.7 Retenues lorsque l’on pose une addition1. Voici une addition de trois entiers à 5 chiffres en base 10 : les trois entiers sont en italiques, le

résultat est souligné, les retenues sont en gras.

r5 = 2 r4 = 1 r3 = 1 r2 = 1 r1 = 2 r0 = 06 3 1 2 5

+ 9 4 9 7 9+ 4 8 4 3 8− − − − − − −

2 0 6 5 4 2

Si on additionne n entiers au lieu de trois, les retenues sont dans [[0, n − 1]]. On peut aussi choisirune base b quelconque au lieu de b = 10.

2. Si l’on choisit au hasard les chiffres des n entiers (indépendamment les uns des autres et de loiuniforme sur [[0, b− 1]]), le processus des retenues est une CM (homogène) à valeurs dans [[0, n− 1]]dont la matrice de transition Qb est explicite. Ces matrices Qb ont de magnifiques propriétés (leursvaleurs propres sont 1, b−1, . . . , b−n+1 et les vecteurs propres associés sont entièrement explicites,indépendants de b et reliés à des objets de combinatoire des permutations, QbQc = Qbc, Qb estintimement liée à des procédures de mélanges de jeux de cartes). Nous renvoyons à [DF] pour depassionnants développements.

21

10.8 Collectionneur de coupons1. Cadre : il existe k types de coupons numérotés de 1 à k. A chaque instant n, on reçoit un coupon

de numéro Un. On suppose que les Un sont indépendantes et toutes de loi uniforme sur {1, . . . , k}.2. On note X0 = 0, Xn = |{U1, . . . , Un}| = nombre de numéros distincts obtenus à l’instant n. Alors

(Xn) est une CM([[0, k]]) de transitions

Qxy =

1− x

ksi y = x+ 1

x

ksi y = x

0 si y /∈ {x, x+ 1}.

3. L’état k est absorbant et tous les autres sont transients. L’objet d’intérêt est souvent le temps τnécessaire à l’obtention de tous les numéros i.e. le temps d’absorption de la chaîne (Xn) (qui est finip.s. et intégrable). Les espérances Ex(τ) peuvent se calculer grâce à aux équations de 9.2, la matricefondamentale F étant explicite. On peut retrouver ces résultats de manière classique par additionde temps d’attente successifs d’obtention d’un nouveau coupon suivant des lois géométriques deparamètres 1− i

k(0 ≤ i ≤ k − 1).

10.9 Sisyphe et les matrices compagnons1. Sisyphe pousse son rocher sur une pente où sont disposés de bas en haut les entiers 0, 1, . . . , n− 1.

A chaque instant, il avance d’un cran. Arrivé au sommet, il chute en 0 avec probabilité a0, en 1avec probabilité a1, . . ., en n− 1 avec probabilité an−1. La matrice de transition de cette chaîne est

Q =

0 1 0 · · · 00 0 1 · · · 0...

...... . . . ...

0 0 0 · · · 1a0 a1 a2 · · · an−1

.

C’est la matrice compagnon (ou sa transposée selon les conventions) du polynôme P (X) = Xn −an−1X

n−1 − · · · − a1X − a0.2. Cette chaîne est irréductible ssi a0 > 0. Dans ce cas, la période de la chaîne est le pgcd de {n−k | ak 6=

0}.3. Cet exemple permet de concevoir un exercice liant probabilité et algèbre linéaire (les matrices

compagnons ont de nombreuses propriétés, par ex. les valeurs propres de Q sont les racines deP (X)).

10.10 Processus de vie et de mort et marches aléatoires10.10.1 Sur N

1. Pour x ∈ N, on pose Qx,x+1 = px, Qx,x−1 = qx, Qx,x = rx avec px + rx + qx = 1 et q0 = 0. Cettechaîne peut décrire l’évolution d’une population ou du nombre de personnes dans une file d’attente(avec au plus une arrivée et un départ à chaque instant).

2. On suppose que ∀x ∈ N∗, pxqx > 0 et p0 > 0 ce qui rend la chaîne irréductible. Dans ce cas, s’ilexiste x tel que rx > 0, la chaîne est apériodique. Sinon, la période vaut 2.

3. Le fait que Qxy = 0 si |x− y| > 1 facilite les calculs.4. Posons τ le temps d’atteinte de 0 et φ(x) = Px(τ <∞). ALors

φ(0) = 1; ∀x > 0, φ(x) =∑y∈E

Qxyφ(y) = pxφ(x+ 1) + rxφ(x) + qxφ(x− 1).

Posons ax = qx/px, b0 = 1 et bx =x∏i=1

ai. On a donc φ(x + 1) − φ(x) = ax(φ(x) − φ(x − 1)) donc

φ(x + 1) − φ(x) = bx(φ(1) − 1) puis φ(x) = 1 + (φ(1) − 1)x−1∑i=0

bi. Si+∞∑i=0

bi = +∞, la condition

22

φ(x) ≥ 0 implique φ(1) = 1 puis P0(T0 < ∞) = r0 + p0φ(1) = r0 + p0 = 1. Donc la chaîne est

récurrente. Si+∞∑i=0

bi < +∞, la solution minimale est

φ(x) =∑+∞i=x bi∑+∞i=0 bi

.

Donc φ(1) < 1 donc P0(T0 <∞) = r0 + p0φ(1) < 1 et la chaîne est transiente.5. Supposons la chaîne récurrente. Cherchons si elle est récurrente positive ou récurrente nulle. Une

mesure µ est réversible ssi µx+1Qx+1,x = µxQx,x+1 i.e. µx+1 = µxpx/qx+1 i.e. µx = µ0

x∏i=1

pi−1

qi.

Comme la chaîne est irréductible et récurrente, il y a unicité de la mesure invariante (à multiplicationprès) et donc la chaîne est récurrente positive ssi∑

x

x∏i=1

pi−1

qi< +∞.

6. Lorsque ∀x ∈ N∗, (px, qx, rx) = (p, q, r) et q0 = 0, la chaîne X est une marche aléatoire sur Navec réflexion en 0. Les résultats précédents assure que X est récurrent ssi

∑(q/p)n diverge i.e.

q ≥ p et récurent positif ssi∑

(p/q)n converge i.e. q > p. Dans ce cas, l’unique loi invariante de la

chaîne est donnée par µn =(

1− p

q

)(p

q

)n(n ∈ N).

7. Le cas particulier qx = 0, px = p, rx = 1− p est le processus de Bernoulli qui peut se réaliser enprenant (Un) indépendantes et toutes de loi de Bernoulli B(p) et X0 = 0, Xn = U1 + · · ·+ Un.

10.10.2 Sur Z

1. Pour x ∈ Z, on pose Qx,x+1 = px, Qx,x−1 = qx, Qx,x = rx avec px + rx + qx = 1.2. Pour passer de Z+ à Z−, la chaîne doit visiter 0. Donc la chaîne est récurrente ssi les suites (px, qx)x∈N

et (qx, px)x∈N vérifient les propriétés de la partie précédente 10.10.1 i.e.+∞∑x=1

q1 · · · qxp1 · · · px

= +∞ et

−∞∑x=−1

p−1 · · · pxq−1 · · · qx

= +∞. De même, la chaîne est récurrente positive ssi+∞∑x=1

p0 · · · px−1

q1 · · · qx< +∞ et

−∞∑x=−1

p0 · · · px+1

q−1 · · · qx< +∞.

3. Lorsque ∀x ∈ Z, (px, qx, rx) = (p, q, r), la chaîne X est une marche aléatoire sur Z : elle peut sereprésenter comme Xn = X0 +

∑ni=1 Ui où les Ui sont indépendantes et toutes de loi P (Ui = 1) = p,

P (Ui = −1) = q, P (Ui = 0) = r. Les résultats précédents assurent que X est récurrente nullessi p = q et transient ssi p 6= q. Ceci se retrouve en utilisant la loi des grands nombres dansle cas p 6= q car m = E(U1) 6= 0 et limn→+∞Xn/n = m presque-sûrement. Dans le cas p = q,l’analyse à un pas faite dans 10.10.1 peut s’écrire très simplement : si φ(x) = Px(τ < ∞) alorsφ(x) = pφ(x + 1) + pφ(x − 1) + (1 − 2p)φ(x) et les résultats sur les suites récurrentes d’ordre 2 àcoefficients constants donnent φ(x) = a+ b|x|. 0 ≤ φ ≤ 1 entraîne b = 0 et φ(0) = 1 entraîne a = 1i.e. φ(x) = 1 pour tout x ∈ Z, ce qui entraîne facilement la récurrence.

10.10.3 Sur [[0, s]]. Ruine du joueur.

1. Si l’on se place sur [[0, s]], on prendra pxqx > 0 pour tout x ∈ [[1, s − 1]], ps = q0 = 0 mais il fautspécifier r0 et rs.

2. Si l’on suppose ces états absorbants (r0 = rs = 1), la chaîne a une classes transiente [[1, s − 1]] etdeux classes absorbantes {0} et {s}. Elle sera absorbée en un temps fini τ et la partie ....permetthéoriquement de calculer Px(Xτ = 0) et Ex(τ) au prix de l’inversion d’une matrice tridiagonale.Lorsque (px, qx, rx) = (p, q, 0) pour tout x ∈ [[1, s− 1]], il s’agit simplement de la ruine du joueuravec fortune totale s : il y a absorption lorsque l’un des deux joueurs est ruiné (états 0 et s). Dansce cas, l’analyse à un pas se résout simplement et l’on trouve.....

23

3. Si l’on suppose p0 > 0 et qs > 0, la chaîne est irréductible, récurrente positive et son unique loiinvariante est explicite (mêmes calculs que dans 10.10.1). Cette chaîne représente le nombre depersonnes dans une file d’attente à capacité limitée (avec au plus une arrivée et un départ à chaueinstant).

10.11 Marche aléatoire sur un graphe. Pagerank de Google. Cavalier sur unéchiquier.

1. Soit G un graphe orienté. On note x → y lorsque le graphe a une flèche de x vers y. On notedx = |{y ∈ G | x→ y}| et on suppose 0 < dx < +∞.

2. Evolution : à chaque instant, on saute, avec équiprobabilité, vers l’un des voisins s’il en existe ou on

reste sur place sinon. Ceci donne une CM(G) de transitions Qxy =

1dx

si dx 6= 0 et x→ y

0 si dx 6= 0 et x9 y1x=y si dx = 0

3. L’irréductible de la chaîne est synonyme de connexité pour le graphe.4. Application : le graphe du web a pour sommets les pages et pour flèches les hyperliens (x→ y

lorsque la page x a un lien vers la page y). Google hiérarchise les pages grâce à un score de popularité(le pagerank). Comment attribuer un score à chaque page de telle manière qu’une page a un scored’autant plus élevé que d’autres pages de scores élevés pointent vers elle ? On sent bien que le vecteurdes scores est défini par une équation de type vecteur propre i.e. mesure invariante. Précisément, lescore d’une page x sera lié à la probabilité qu’un marcheur aléatoire sur le web se retrouve sur cettepage x en temps grand. Mais les hypothèses du théorème de convergence 7.2.4 ne sont pas vérifiéespar le graphe du web (l’irréductibilité tombe en défaut, il peut y avoir des classs récurrentes closeset des états transients ; il n’y a pas apériodicité a priori). Pour remédier à ceci, on modifie l’évolutiondu marcheur. Soit p ∈]0, 1[. A chaque instant, le lanceur lance une pièce truquée de paramètre p.S’il obtient pile, il saute vers un voisin avec équiprobabilité ; sinon il saute vers l’une quelconquedes pages du web choisie avec équiprobabilité. Soit d le nombre de pages du web et J ∈ Md(R) lamatrice dont tous les coefficients valent 1. La matrice de transition de la chaîne modifiée est doncQ′ = pQ + 1− p

dJ . Elle a tous ses coefficients positifs donc est irréductible et apériodique. Donc

elle possède une unique loi invariante µ et la loi de X ′n converge vers µ quand n→ +∞. Ainsi, µxreprésente bien la probabilité que le marcheur X ′ se retrouve sur cette page x quand n est grand.

5. Lorsque le graphe est non-orienté (i.e. x→ y ssi y → x) alors la mesure donnée par ∀x ∈ G, µx =dx est réversible donc invariante.

6. Application : marche du cavalier sur un échiquier. Un cavalier part d’un coin d’un échiquiervide puis se déplace en choisissant à chaque fois un des déplacements possibles avec équiprobabilité.Quel temps moyen met-il pour revenir au coin d’où il est parti ? Solution : le cavalier effectue unemarche aléatoire sur un graphe dont les sommets sont les cases et deux cases sont reliées si lecavalier peut légalement passer de l’une à l’autre. Ce graphe est non-orienté (vu qu’un cavalierpeut revenir en arrière) et irréductible (le cavalier peut aller partout). L’unique loi invariante estdonc µx = dx/λ où λ =

∑x dx = 2N , N = 168 nombre d’arêtes du graphe (à calculer). Donc

Ex(Tx) = (µx)−1 = 2N/dx = N car dx = 2 si x est un coin. Exercice : même question avec unetour, avec un fou, avec une dame.

10.12 Marche aléatoire sur un groupe1. Cadre : G un groupe de loi ·. et (Un)n∈N∗ une suite de variables aléatoires discrètes, indépendantes,

à valeurs dans G et toutes de loi ν.2. Evolution : Xn = Xn−1 · Un = X0 · U1 · · ·Un.3. (Xn) est une CM(G) de transitions Qxy = P (U1 = y · x−1).4. (Xn) est irréductible ssi G est le semi-groupe engendré par le support de la loi de U1.5. Toute marche aléatoire sur un groupe est bistochastique (cf 6.1.5) donc la mesure µx = 1 est

invariante.6. Exemples.

24

(a) Si G = Zd et U1 suit une loi uniforme sur l’ensemble des 2d vecteurs {±ei, 1 ≤ i ≤ d} où (ei, 1 ≤i ≤ d) est la base canonique de Rd alors X est la marche aléatoire sur Zd aux plus prochesvoisins. Cette marche est récurrente nulle si d ≤ 2 et transiente si d ≥ 3. Ceci est un résultatdû à Pólya (1921) et peut s’obtenir en examinant la convergence de la série

∑P0(X(d)

n = 0).En effet, P0(X(1)

2n+1 = 0) = 0, P0(X(1)2n = 0) =

(2nn

)2−2n ∼ (πn)−1/2 (formule de Stirling). Un

astucieux argument de quart de tour donne P0(X(2)2n = 0) = P0(X(1)

2n = 0)2 ∼ (πn)−1. Ensuite,une étude du plus grand coefficien trinomial montre P0(X(3)

2n = 0) ≤ C(2nn

)2−2nn−1 ≤ Cn−3/2.

Enfin, P0(X(d)2n = 0) ≤ P0(X(3)

2n = 0) si d ≥ 3.(b) Le processus de vie et de mort sur Z avec pn, qn, rn indépendants de n est une marche aléatoire

sur Z.(c) Si G = Sn, X modélise les étapes du mélange d’un jeu de cartes. Cf sujet ESSEC, année 2011,

option E.7. Voici un code pour représenter k trajectoires d’une marche aléatoire sur Z avec incrément P (Un =

1) = p, P (Un = −1) = 1− p.

// dessine k trajectoires X_0,...,X_n de la marche aléatoire unidimensionnelle

// simple démarrant en 0

clf();n=input(’longueur de la trajectoire : ’)

k=input(’nombre de trajectoires : ’)

p=input(’proba d ajouter 1 : ’)

u=grand(k,n,"def")

//matrice à k lignes et n lignes contenant des uniformes [0,1[

s=[zeros(k,1) cumsum(2*(u<p)-1,’c’)]//trajectoiresfor i=1:k

plot2d([0:n},s(i,:),pmodulo(i,8)+1)endn1=string(n);k1=string(k)

xtitle([’Trajectoire de’ k1 ’trajectoires de’ n1 ’étapes d une marche

aléatoire unidimensionnelle’],’n’,’X_n’,boxed=1)

8. Voici un code pour représenter k trajectoires d’une marche aléatoire aux plus proches voisins surZ2 (incrément ∈ {(1, 0), (−1, 0), (0, 1), (0,−1)}).

// dessine k trajectoires X_1,...,X_n de la marche aléatoire plane avec

// incrément (1,0) de proba droite, (-1,0) de proba gauche, (0,1) de proba

// haut, (0,-1)de proba (1-droite-haut-gauche) démarrant en 0

clf();n=input(’longueur de la trajectoire : ’)

k=input(’nombre de trajectoires : ’)

droite=input(’proba d aller à droite : ’)

gauche=input(’proba d aller à gauche : ’)

haut=input(’proba d aller en haut : ’)

u=grand(k,n,"def")

//matrice à k lignes et n lignes contenant des uniformes [0,1[

ab=2*(u<droite)-(u<droite+gauche)

//vecteur ligne de n contenant les sauts en abscisses (1 ou -1)

ord=-2*(u>droite+gauche+haut)+(u>droite+gauche)

//vecteur ligne de n contenant les sauts en ordonnées (1 ou -1)

ab=[zeros(k,1) cumsum(ab,’c’)] //on ajoute 0 état initial

25

ord=[zeros(k,1) cumsum(ord,’c’)] //on ajoute 0 état initial

c=max([abs(ab),abs(ord)]) //détermine le carré d’affichage graphiquefor i=1:k

plot2d(ab(i,:),ord(i,:),pmodulo(i,5)+1,axesflag=4,rect=[-c,-c,c,c])endn1=string(n);k1=string(k)

xtitle([’Trajectoire de’ k1 ’trajectoires de’ n1 ’étapes d une marche

aléatoire plane’],boxed=1)

10.13 Urne d’Ehrenfest1. Modèle introduit en 1907 par les époux Ehrenfest dans un contexte de mécanique statistique (dif-

fusion de molécules entre deux récipients qui communiquent).2. Cadre : 2 urnes (n°0 et n°1) contenant au total d boules (n°1 à n°d).3. Evolution : à chaque instant, une boule est choisie au hasard et changée d’urne.4. Objet microscopique : Xi

n = n° de l’urne dans laquelle est la boule n°i à l’instant n. Xn =(X1

n, X2n, . . . , X

dn) ∈ {0, 1}d ≈ (Z/2Z)d. Xn+1 s’obtient en choisissant une composante de Xn et

en changeant sa valeur i.e. Xn+1 = Xn + Un+1 où (Uk) est une suite de variables aléatoires indé-pendnates et toutes de loi uniforme sur {e1, . . . , ed} où ei = (0, . . . , 0, 1, 0, . . . , 0). X peut donc êtrevue comme une marche aléatoire sur le groupe (Z/2Z)d ou comme la marche aléatoire sur le graphenon-orienté de l’hypercube {0, 1}d (où x ∼ y lorsque

∑i |xi − yi| = 1).

5. Objet macroscopique : Yn =∑di=1 X

in= nombre de boules dans l’urne 1. (Yn) est une CM([[0, d]])

de transitions

Qxy =

d− xd

si y = x+ 1x

dsi y = x− 1

0 si y /∈ {x+ 1, x− 1}.

6. Les chaînes X et Y sont irréductibles, récurrentes (positives) et de période 2. Ainsi, la chaîne passeune infinité de fois par tout état. Si les boules représentent les molécules d’air dans deux enceintes,ceci suggère qu’il n’y a qu’à attendre pour qu’une chambre à air crevée se remplisse spontanément.Mais regardons-y de plus près. La loi uniforme µ sur {0, 1}d est réversible (et donc invariante) pourX, c’est la seule par irréductibilité et récurrence. Par conséquent, la loi binomiale µ′ = B(d, 1/2)(l’image de µ par x ∈ {0, 1}d 7→

∑i xi) est invariante pour Y , c’est la seule. Regardonc la chaîne

Y . Grâce à 6.1.8a, on a Ex(Tx) = 1/µ′x = 2d/(d

x

), ce qui est maximal pour x = 0 ou x = d, et

minimal pour x = d/2 (en supposant d pair). La formule de Stirling donne Ed/2(Td/2) ∼√πd/2

pour d→ +∞ alors que E0(T0) = Ed(Td) = 2d. Ainsi, si ma chambre à air est initialement pleine,elle ne le redeviendra qu’après un temps moyen de 2d, ce qui est vertigineux lorsque d est del’ordre du nombre d’Avogadro ≈ 6.1023. Ceci vient percuter le point de vue nâïf de la chambrequi se regonfle toute seule ! En fait, on calcule facilement Ex(Y1) = ((d− 2)/d)x+ 1, ce qui donneEx(Yn) = ((d − 2)/d)n(x − d/2) + d/2. Donc limn→+∞Ex(Yn) = d/2 (à vitesse géométrique). Enmoyenne, le nombre de boules tend à se répartir moitié-moitié dans chaque urne. On a même Y2net Y2n+1 qui convergent en loi vers la loi uniforme sur les pairs et sur les impairs (selon la parité del’état initial).

7. Voici un code qui représente en histogrammes la mesure empirique sur une trajectoire ainsi que laloi invariante de la chaîne.//dessine en histogrammes la mesure empirique d’une trajectoire Y_0,...,Y_n

// de la chaîne d’ehrenfest sur {0,...d} démarrant en Y0 \in {0,...d}clfd=input(’Entrez le nombre de boules :’)

X0=input(’Entrez l etat initial :’)

n=input(’Entrez le n de (dirac(X_1)+...+dirac(X_n))/n :’)

26

p=zeros(d+1,d+1)for i=1:d

p(i,i+1)=(d-i+1)/d

p(i+1,i)=i/d

end// p est la matrice de transition d’ehrenfest

traj=[X0,grand(n,"markov",p,X0+1)-1]

// X0+1 est dans {1,...d+1}, grand simule chaîne sur {1,...d+1},

//on enlève 1 pour être sur {0,...d}

classe=[-0.5:(d+0.5)]histplot(classe,traj,style=5)

bibi=ones(1,d+1)/(2^d)for k=2:(d+1)

bibi(k)=cdfbin("PQ",k-1,d,0.5,0.5)-cdfbin("PQ",k-2,d,0.5,0.5)end// contient les valeurs de la loi binomialeplot2d([0:d],bibi,-3)

n1=string(n);d1=string(d)

xtitle([’Mesure empirique d une trajectoire à n=’ n1 ’étapes de

la chaîne d Ehrenfest avec d=’ d1 ’boules’],’états’,’fréquence’,boxed=1)

legends([’loi binomiale B(d,1/2)’, ’histogrammes empiriques’],[-3,5],2)

8. Voici un code qui représente en histogrammes la loi empirique de Xn calculée sur plusieurs simula-tions indépendantes ainsi que la loi invariante de la chaîne. Le résultat demande une explication...

//dessine en histog. la loi de X_n (calculee sur k trajectoires indépendantes)

// de la chaîne d’ehrenfest sur {0,...d} démarrant en X0 \in {0,...d}clfd=input(’Entrez le nombre de boules :’)

X0=input(’Entrez l etat initial :’)

n=input(’Entrez le n de X_n :’)

k=input(’Entrez le nombre de trajectoires simulées :’)

p=zeros(d+1,d+1)for i=1:d

p(i,i+1)=(d-i+1)/d

p(i+1,i)=i/d

end// p est la matrice de transition d’ehrenfest

I=(X0)*ones(1,k)traj=grand(n,"markov",p,I+1)-1 // X0+1 est dans {1,...d+1},

//grand simule la chaîne sur {1,...d+1}, on enlève 1 pour être sur {0,...d}

classe=[-0.5:(d+0.5)]histplot(classe,traj(:,n),style=5)

bibi=ones(1,d+1)/(2^d)for i=2:(d+1)

bibi(i)=cdfbin("PQ",i-1,d,0.5,0.5)-cdfbin("PQ",i-2,d,0.5,0.5)end// contient les valeurs de la loi binomialeplot2d([0:d],bibi,-3)

n1=string(n);d1=string(d);k1=string(k)

xtitle([’Approximation (calculée sur’ k1 ’réalisations) de la loi de X_n

avec n=’ n1 ’et d=’ d1 ’boules’],’états’,’fréquence’,boxed=1)

27

legends([’loi binomiale B(d,1/2)’, ’histogrammes empiriques’],[-3,5],2)

10.14 Modèle de Wright-Fisher1. Modèle de génétique introduit dans les années 1920-1930.2. Cadre : population de d individus (d fixé) chacun de type A ou B.3. Evolution : tous les individus d’une génération meurent pour laisser place à ceux de la génération

d’après. Chaque individu de la génération n+ 1 choisit un ancêtre dans la génération n et hérite deson type (A ou B). Les choix des divers ancêtres se font avec remise.

4. Objet : Xn = nombre d’individus de type A dans la génération n. X est une CM([[0, d]]) detransitions données par :

L(Xn+1 | Xn = x) = B(d, xd

) i.e. Qxy =(d

y

)(xd

)y (1− x

d

)d−y.

5. 0 et d sont absorbants (donc récurrents). Les autres états sont transients. Notons φ(x) = Px(τd <+∞) la probabilité d’être absorbé en d partant de x. Les résultats de 9 montrent que φ est l’uniquesolution de φ(d) = 1, φ(0) = 0 et φ(x) =

∑y Qxyφ(y) pour y /∈ {0, d}. φ(x) = x/d est une solution

(car la moyenne d’une binomiale B(n, p) est np) donc c’est la seule. Ainsi, partant de x, la probabilitéd’être absorbé en d est x/d et celle d’être absorbé en 0 est (d− x)/d.

6. Xn converge p.s. (et donc en loi) vers X∞ de loi sous Px égale à (x/d)δd + ((d− x)x/d)δ0.7. Variante : on peut souhaiter que les choix des divers ancêtres se fassent avec remise. Dans ce cas,

il faut modifier le mécanisme d’évolution (sinon la génération n+ 1 serait identique à la générationn). On suppose la population de taille 2d, séparée en d couples. Chaque couple de la générationn+ 1 choisit un individu de la génération n et hérite de son type. Les choix des différents couples sefont sans remise. Xn = nombre de couples de type A dans la génération n. X est une CM([[0, d]])de transitions données par :

L(Xn+1 |Xn = x) = H(d tirages, 2d objets au total dont 2x favorables) i.e.Qxy =

(2xy

)(2d− 2xd− y

)(

2dd

) .

8. Généralisation : nombre quelconque k de types (au lieu de k = 2). La loi binomiale est à remplacerpar une loi multinomiale, la loi hypergéométrique par une hypergéométrique multiple.

9. Le sujet Ecricome, année 2000, option S traitait de ce modèle dans un contexte de disquettesinfectées ou saines.

10.15 Processus de Galton-Watson1. Modèle introduit dans les années 1870 pour étudier la survie des noms de famille des lords de

l’Angleterre victorienne.2. Cadre : une population dont la taille et la composition évoluent.chaque individu de la génératpo-

pulation de d individus (d fixé) chacun de type A ou B.3. Evolution : chaque individu de la génération n donne naissance à un nombre aléatoire (de loi µ dite

loi de reproduction) de descendants puis meurt aussitôt. La génération n+ 1 est composée de tousles descendants des individus de la génération n. Les naissances sont indépendantes entre elles.

4. Objet : Xn = nombre d’individus dans la génération n. X est une CM(N) de transitions donnéespar :

L(Xn+1 | Xn = x) = L(

x∑i=1

Yi

)où les (Yi)1≤i≤x sont indépendantes et de loi µ

i.e. Qxy = µ∗x(y) =∑

k1,...,kx≥0 | k1+···+kx=y

µk1 · · ·µkx.

28

5. Les fonctions génératrices se prêtent mieux aux calculs car elles transforment le produit de convo-lution µ∗x en produit usuel :

si Gn(t) = E(tXn) et G(t) = E(tY ) avec L(Y ) = µ alors Gn+1 = Gn ◦G.

6. Si la loi de reproduction µ vaut δ1, tous les états sont absorbants. Sinon, 0 est le seul état récurrent (ilest même absorbant). Par conséquent, soit ∃N ∈ N, ∀n ≥ N, Xn = 0 (extinction de la population),soit limn→+∞Xn = +∞. Cf la séance ............pour les probabilités avec lesquelles ces évènementsse produisent

10.16 Files d’attente1. Vaste théorie étudiant de nombreux modèles selon le nombre de serveurs, la discipline de service,

les arrivées des clients, la capacité de la file, le temps discret ou continu, etc2. Exemple : temps discret, un seul serveur, capacité d’accueil illimitée, au maximum un client servi

par instant.3. Objet :Xn= nombre de clients dans la file ou en service àl’instant n4. Evolution : entre les instants n et n+ 1, Yn+1 clients arrivent et Zn+1 ∈ {0, 1} clients partent. On

suppose (X0, Yi, Zi)i≥1 indépendantes, (Yi)i≥1 de même loi, (Zi)i≥1 de même loi. Alors

Xn+1 = Xn + Yn+1 − 1Xn>0Zn+1 = f(Xn, Un+1) où Un+1 = (Yn+1, Zn+1).

X est donc une CM(N).

10.17 Un exemple non-homogène : urne de Polya1. Modèle introduit en 1923 par le mathématicien hongrois G. Pólya pour analyser un phénomène de

contagion épidémique.2. Cadre : une urne contient r bounes rouges et v boules vertes.3. Evolution : à chaque tirage, on remet la boule tirée ainsi que c boules supplémentairs de la même

couleur. Notons Rn le nombre de boules rouges à l’instant n. (Rn) est une chaîne de Markov sur Nnon-homogène de transitions

P (Rn+1 = j | Rn = i) =

i

r + v + ncsi j = i+ c

1− i

r + v + ncsi j = i

0 sinon.

Cette probabilité dépend de n : la chaîne est non-homène.4. La proportion Xn de boules vertes après à l’étape n converge presque-sûrement vers X∞ qui suit

une loi bêta de paramètres v/c et r/c i.e. de densité Γ((r + v)/c)Γ(v/c)Γ(r/c)x

rc−1(1 − x) r

c−11[0,1](x). Ceci

peut être prouvé par un argument de martingale ((Xn) est une martingale positive) ou bien parapplication du théorème de De Finetti sur l’échangeabilité.

29

11 Quelques preuves1. Preuve du 5.1.2. Définissons par récurrence T 1

x = Tx = inf{n > 0 | Xn = x} et T kx = inf{n >T k−1x | Xn = x} le temps du k-ème retour en x (éventuellement +∞).

Py(T k+1x < +∞) = Py(]+∞

i=1 [T kx = i, T k+1x < +∞]) =

+∞∑i=1

Py(T kx = i)Py(T k+1x < +∞|T kx = i)

=+∞∑i=1

Py(T kx = i)Py(T k+1x < +∞|Xi = x,

i−1∑j=1

1Xj=x = k − 1)

=+∞∑i=1

Py(T kx = i)Py(Tx(Xk+•) < +∞|Xi = x,

i−1∑j=1

1Xj=x = k − 1)

=+∞∑i=1

Py(T kx = i)Px(Tx(X) < +∞) [propriété de Markov faible]

= Py(T kx < +∞)Px(Tx(X) < +∞) = Py(T kx < +∞)ρxx.

Par récurrence, il vient donc Py(T kx < +∞) = ρyxρk−1xx . Ainsi, si ρxx = 1, Px(T kx < +∞) = 1 pour

tout k. Par limite monotone,on a Px(∩kT kx < +∞) = limk→+∞ Px(T kx < +∞) = 1 i.e. Px(Nx =+∞) = 1. Si ρxx < 1, Px(∩T kx < +∞) = limk→+∞ Px(T kx < +∞) = 0 i.e. Px(Nx < +∞) = 1.En outre, Px(Nx = k) = Px(T k−1

x < +∞) − Px(T kx < +∞) = (1 − ρxx)ρk−1xx si k ≥ 1. Ensuite,

pour examiner la nature de la série∑nQ

nxx, on utilise que E(

∑+∞n=0 Zn) =

∑+∞n=0 E(Zn) pour des

variables aléatoires Zn positives et on conclut ainsi+∞∑n=0

Qnxx =+∞∑n=0

Ex(1Xn=x) = Ex(+∞∑n=0

1Xn=x) = Ex(Nx) ={

+∞ si ρxx = 1(1− ρxx)−1 si ρxx < 1.

Si l’on veut présenter cette preuve de façon compatible avec les programmes de classes EC, on peut

introduire Nkx =

k∑n=0

1Xn=x et étudier Sk =k∑

n=0Qnxx = Ex(Nk

x ). Si ρxx = 1, l’inégalité de Markov

assure Sk ≥ iPx(Nkx ≥ i). Par limite monotone,

limk→+∞

Px(Nkx ≥ i) = Px

(+∞⋃k=0{Nk

x ≥ i}

)= Px(Nx ≥ i) = 1.

(Sk) est croissante donc a une limite et limk→+∞

Sk ≥ i. Ceci étant vrai pour tout i, on a limk→+∞

Sk =

+∞ i.e.∑nQ

nxx diverge. Maintenant, si ρxx < 1, on a Nk

x ≤ Nx donc Sk = E(Nkx ) ≤ E(Nx) =

(1− ρxx)−1 < +∞. La suite (Sk) est donc majorée i.e.∑nQ

nxx converge.

2. Preuve du 6.1.6. Soit x un état récurrent. On pose ∀y ∈ E,

νy = Ex

(Tx−1∑k=0

1Xk=y

)=

+∞∑k=0

Px(Xk = y, k < Tx).

Alors, pour toute fonction f

ν.Q.f = ν.(Qf) = Ex

(Tx−1∑k=0

(Qf)(Xk))

= Ex

(Tx−1∑k=0

EXk(f(X1))

)=

+∞∑k=0

Ex (1Tx>kEXk(f(X1)))

=+∞∑k=0

Ex (1Tx>kf(Xk+1)) =+∞∑k=1

Ex (1Tx>k−1f(Xk)) = Ex

(Tx∑k=1

f(Xk))

= Ex

(Tx−1∑k=0

f(Xk))

= ν.f

car Px(X0 = XTx) = 1. Donc ν est invariante. Reste à voir que νy < +∞. Si y ⇒ x il existe n telque Qnyx > 0. Comme νQn = ν, on νyQnyx ≤ νxx = 1 donc νy < +∞. Si y ; x alors x ; y (car xest récurrent) donc νy = 0 < +∞.

30

3. Preuve du 6.18. On admet l’unicité (à multiplication près) dans le cas irréductible, récurrent. Notonsνx la mesure définie précédemment attachée à l’état x. Alors νx(E) = Ex

(∑Tx−1k=0 1

)= Ex (Tx).

D’où la dichotomie. Dans le cas récurrent positif, il y a une unique loi invariante µ. Par unicité,

∀x ∈ E, µ = (νx(E))−1νx = (Ex (Tx))−1νx =⇒ µx = (Ex (Tx))−1νxx = (Ex (Tx))−1.

4. Preuve du 7.1.1. Si y est transient alors Nny ≤ Ny =

∑+∞k=1 1Xk=y < +∞ donc Nn

y /n→ 0 presque-sûrement. Supposons maintenant y récurrent. Comme la chaîne est irréductible, il suffit de regarderla châine après son 1er passage en y et on peut donc supposer X0 = y. Dans ce cas, si T ky désigne letemps de k-ème retour en y (avec T 0

y = 0, T 1y = Ty) alors les longueurs (T k+1

y − T ky ) des excursionshors de y sont indépendantes et de même loi que Ty. Donc la loi usuelle des grands nombres donne

limk→+∞

T ky /k = Ey(Ty) presque-sûrement. Puis comme limk→+∞

T ky = +∞, on fabrique la suite (kn)

telle que T kny ≤ n ≤ T kn+1

y . Alors

kn

T kn+1y

= NTkn

yy

T kn+1y

≤Nny

n≤ N

Tkn+1y

y

T kn+1y

= kn + 1T kny

.

On conclut en utilisant que limn→+∞

kn = +∞ et limk→+∞

T ky /k = Ey(Ty).

5. Idée de la preuve du 7.1.3. On s’inspire de la preuve qui précède en regardant les Vk = f(XTky

) +· · ·+f(XTk+1

y −1) qui sont intégrables, indépendantes, de même loi et en décomposant f(X1)+ · · ·+f(XTk+1

y −1) = V0 + · · ·+ Vk puis en utilisant max1≤k≤n Vk = o(n).6. Preuve du 7.2.4 dans le cas E fini. Soit (Qij) une matrice de transition markovienne. On

suppose qu’il existe m ∈ N tel que Qm ait tous ses coefficents strictement positifs. Onnote alors α = mini,j Qmij > 0. Alors il existe des nombres πj > 0 tels que∑

j

πj = 1 et ∀i, j, limn→+∞

Qnij = πj .

En outre, la vitesse de convergence est au moins géométrique de raison 1− 2α. L’hypo-thèse du théorème équivaut (dans le cas fini) à l’irréductibilité et l’apériodicité.(a) Lemme. Soit (Qij) une matrice de transition markovienne. On notera Qnij le coefficient d’in-

dice (i, j) de la matrice Qn, Mnj = maxiQnij , mn

j = miniQnij . Alors, pour tout j, la suite(Mn

j )n∈N) est décroissante, la suite (mnj )n∈N) est croissante.

(b) Preuve du lemme.

Qn+1ij =

∑k

QikQnkj ≤

∑k

QikMnj = 1×Mn

j = Mnj .

On prend le max sur i pour avoir Mn+1j ≤ Mn

j . Ainsi, (Mnj )n∈N est décroissante. De même

pour (mnj )n∈N.

(c) Preuve du théorème. Notons R = Qm, Mnj = maxiRnij , mn

j = miniRnij . Il existe un l(dépendant de n) tel que mn

j = Rnlj . Alors

Rn+1ij =

∑k

RikRnkj =

∑k 6=l

RikRnkj +Rilm

nj

≤ Mnj

∑k 6=l

Rik +Rilmnj = Mn

j (1−Ril) +Rilmnj

= Mnj −Ril(Mn

j −mnj ) ≤Mn

j − α(Mnj −mn

j )

On prend le max sur i pour avoir Mn+1j ≤Mn

j −α(Mnj −mn

j ). On trouve de même −mn+1j ≤

−mnj − α(Mn

j −mnj ). On ajoute pour obtenir

Mn+1j −mn+1

j ≤ (1− 2α)(Mnj −mn

j ).

31

Donc Mnj −mn

j ≤ (1− 2α)n(M0j −m0

j ) = (1− 2α)n. D’après le lemme appliqué à R, les suites(Mn

j )n∈N et (mnj )n∈N sont adjacentes donc ont même limite πj . Comme (mn

j )n∈N est croissanteet m1

j ≥ α, on a πj ≥ α > 0.Maintenant, le lemme appliqué à Q prouve que (an = maxiQnij)n∈N est décroissante, minoréepar 0 donc converge. Comme la suite extraite (amn)n∈N converge vers πj d’après le pointprécédent, la suite (an) converge elle-même vers πj . De même la suite (miniQnij)n∈N convergeaussi vers πj . Comme miniQnij ≤ Qnij ≤ maxiQnij , on conclut avec le théorème des gendarmes.

7. Preuve de 9.2.11 Un produit par blocs prouve que Qnxy = Q̃nxy pour tout (x, y) ∈ T 2. Or y ∈ T esttransient donc lim

n→+∞Qnxy = 0 (cf 2 du 7.2). Donc lim

n→+∞Q̃n = 0 donc toutes les valeurs propres de

Q̃ sont de module < 1 donc It − Q̃ est inversible. Puis

∀(x, y) ∈ T 2, Ex(Ny) =+∞∑k=0

Ex(1Xk=y) =+∞∑k=0

Qkxy =+∞∑k=0

Q̃kxy = Fxy.

Ensuite, l’équation 10 appliquée avec A = ∪iCi donne ψ = FJ . Enfin, en utilsant φj(x) = 1 six ∈ Cj , φj(x) = 0 si x ∈ Ck avec k 6= j, l’équation 7 avec A = Ci donne :

∀x ∈ T, φj(x) =∑y∈Cj

Qxy +∑y∈T

Qxyφj(y) i.e. φj = BjJj + Q̃φj i.e. φj = FBiJi i.e. φ = FB.

Références[MPB] M. Benaïm et N. El Karoui. Promenade aléatoire : Chaînes de Markov et simulations ; martingales

et stratégies. Ecole Polytechnique, 2005.[BC] B. Bercu et D. Chafaï. Modélisation stochastique et simulation. Dunod, 2007.[Du] R. Durrett. Probability : Theory and Examples. Duxbury Advanced Series, 2005.[DF] P. Diaconis et J. Fulman. Carries, Shuffling and an Amazing Matrix. American Mathematical

Monthly, 2009, Vol 116, p. 788-803.[L] J. Lemaire. Bonus-Malus Systems in Automobile Insurance Springer, 1995.[MPB] L. Mazliak, P. Priouret et P. Baldi. Martingales et chaînes de Markov. Dunod, 2007.[P] E. Pardoux. Processus de Markov et applications. Dunod, 2007.[T] C. Torossian. Matrice intergénérationnelle et ordre de Bruhat dans le groupe symétrique. Disponible

à l’adresse www.math.jussieu.fr/ torossian/.

32