CHAÎNES DE MARKOV - math.u- mchabano/Agreg/ProbaAgreg1213... · Les chaînes de Markov sont des suites

  • View
    214

  • Download
    0

Embed Size (px)

Text of CHAÎNES DE MARKOV - math.u- mchabano/Agreg/ProbaAgreg1213... · Les chaînes de Markov sont des...

  • CHANES DE MARKOV

    Prparation lAgrgation Bordeaux 1

    Anne 2012 - 2013

    Jean-Jacques Ruch-Marie-Line Chabanol

  • Table des Matires

    Chapitre I. Chanes de Markov 5

    1. Dfinition 5

    2. Exemples 7

    3. La relation de Chapman-Kolmogorov 9

    4. Classification des tats 12

    5. Priodicit 13

    6. Etats rcurrents et transients 14

    7. Lois de probabilits stationnaires 18

    7.A. Chanes de Markov espace dtats fini : lois invariantes 19

    7.B. Retour au cas gnral : tats rcurrents nuls et tats rcurrents positifs 22

    7.C. Cas gnral : retour aux mesures stationnaires 23

    7.D. Cas gnral : convergence, thorme ergodique 26

    3

  • CHAPITRE I

    Chanes de Markov

    Ce chapitre est fortement inspir des livres de Bercu (modlisation stochastique et simulation), Toulouse(Thmes de probabilits et statistique) et Foata-Fuchs (Processus stochastiques)

    Les chanes de Markov constituent un des exemples les plus simples de suites de variables alatoires(Xn). Les variables (Xn) sont valeurs dans un ensemble E appel espace dtat. Certaines chanes deMarkov sont espace dtats continu, mais nous naborderons pas leur tude ici. Nous nous intresseronsuniquement aux chanes espace dtats fini ou dnombrable. Dans toute la suite E sera donc un ensemblefini ou dnombrable (N ou un sous-ensemble), que lon munira de la tribu de toutes ses parties.

    1. Dfinition

    Soit (Xn)n0 une suite de variables alatoires valeurs dans un ensemble au plus dnombrable E. La loi dela suite (Xn)n0 est une loi sur EN muni de la tribu engendre par les cylindres. En vertu dun thormede Carathodory, la loi de la suite (Xn)n0 est caractrise par ses lois marginales de dimension finie,cest--dire par la loi des vecteurs alatoires (X0, . . . , Xn) pour tout n N. Or, E est au plus dnombrable,et donc la loi de (X0, . . . , Xn) est caractrise son tour par la donne de P(Xn = xn, . . . , X0 = x0) pourtout (x0, . . . , xn) dans E.

    Dfinition 1. Une suite (Xn)n0 de variables alatoires valeurs dans un ensemble au plusdnombrable E est une chane de Markov despace dtats E si et seulement si pour tout k N,pour tout (x0, . . . , xk+1) dans E tels que P(Xk = xk, . . . , X0 = x0) > 0,

    P(Xk+1 = xk+1|Xk = xk, . . . , X0 = x0) = P(Xk+1 = xk+1|Xk = xk).Cela scrit galement

    L(Xk+1|Xk = xk, . . . , X0 = x0) = L(Xk+1|Xk = xk)pour tout k N.La chane est dite homogne si on a de plus pour tout k N et tout x et y dans E,

    P(Xk+1 = y|Xk = x) = P(X1 = y|X0 = x).

    Remarque : En toute rigueur il faudrait faire attention quand les vnements par lesquels on conditionnepeuvent tre de probabilits nulles. De fait dans les problmes de modlisation, les chanes de Markovsont donnes par la loi de X0 et par toutes les probabilits de transition et les problmes ne se posentpas.

    Lindice n de la suite (Xn)n0 est interprt comme un temps. La variable Xk reprsente la positionspatiale linstant k, la tribu (X0, . . . , Xk1) reprsente son pass tandis que la tribu (Xk+1, Xk+2, . . . )reprsente son futur. Les chanes de Markov sont des suites alatoires sans mmoire, en quelque sorte.Dans lvolution au cours du temps, ltat du processus un instant futur ne dpend que de celui linstant prsent, mais non de ses tats antrieurs.On dit souvent que conditionnellement au prsent, pass et futur sont indpendants.

    Dans toute la suite, les chanes Markov considres seront toutes homognes et espace dtats au plusdnombrable.

    5

  • 6 Chapitre I. Chanes de Markov

    Dfinition 2. On appelle probabilit de transition pour aller de ltat x ltat y la probabilit

    px,y = P(Xk+1 = y|Xk = x) (= P(X1 = y|X0 = x)) .

    Lemme 3. On note 0 la loi de X0 (0(x0) = P(X0 = x0)). On a alors pour tous (x0, . . . , xn) dans E

    P(Xn = xn, . . . , X0 = x0) = 0(x0)n1k=0

    pxk,xk+1 .

    Dmonstration. Par conditionnements successifs :P(Xn = xn, . . . , X0 = x0) = P(X0 = x0)P(X1 = x1|X0 = x0)P(X2 = x2|X1 = x1, X0 = x0) . . .P(Xn =xn|Xn1 = xn1, . . . , X0 = x0) = (x0)

    n1k=0 pxk,xk+1 .

    Dfinition 4. On appelle matrice de transition la matrice P = (px,y)x,yE :

    P =

    px0,x0 px0,x1 px0,x2 px1,x0 px1,x1 px1,x2 ...

    ......

    .Daprs le lemme prcdent, la loi dune chane de Markov est caractrise par la loi 0 de X0 et parsa matrice de transitition.

    Cest une matrice finie ou dnombrable, suivant que lensemble des tats est fini ou dnombrable.

    Proposition 5. Toute matrice de transition vrifie les proprits suivantes :(1) pour tout couple (x, y) de E, 0 px,y 1 ;(2) pour tout x E, on a

    yE px,y = 1.

    Dmonstration. Les nombres px,y sont des probabilits, donc le premier point est vident. Lesecond point dcoule du fait quon somme les probabilits sur toutes les valeurs possibles dune variablealatoire.

    Une matrice qui vrifie les deux points ci-dessus est appele matrice stochastique.

    Proposition 6. Soit P une matrice stochastique. Alors(1) P admet 1 comme valeur propre ;(2) le vecteur V ayant toutes ses composantes gales 1 est un vecteur propre associ cette valeurpropre.

    Dmonstration. Il suffit de multiplier la matrice P par le vecteur V .

    Lemme 7. On identifiera une probabilit sur E et le vecteur ligne dont la ime coordonne est(xi).Soit Xn est une chane de Markov de matrice de transition P, et soit 0 la loi de X0. Alors la loi deX1 est 1 = 0P, et pour tout entier n, la loi de Xn est n = 0Pn.En particulier, si la chane part de xi, 0 = (0, . . . , 0, 1, 0 . . . , 0) et P(Xn = xj) = P(Xn = xj |X0 =xi) = Pni,j.

    Jean-Jacques Ruch

  • 2. Exemples 7

    Dmonstration. Pour le premier point, on a pour tout xi de E,P(X1 = xi) =

    xjE P(X1 = xi|X0 = xj)P(X0 = xj) =

    xjE 0(xj)Pj,i = (0P)i. (en posant par

    convention P (A|B)P (B) = 0 si P (B) = 0).Ensuite on peut procder par rcurrence. On note (Qn) la proposition n = 0Pn. On vient de prouverQ1. Il reste vrifier lhrdit. Soit n > 0. On suppose n = 0Pn. Alors pour tout xi de E,P(Xn+1 = xi) =

    xjE P(Xn+1 = xi|Xn = xj)P(Xn = xj) =

    xjE n(j)Pj,i = 0P

    n+1.

    Ainsi lvolution de la loi de Xn se ramne en fait de lalgbre linaire.A toute matrice de transition, on peut associer un graphe dirig, ventuellement infini. Les sommets dugraphe sont les diffrents tats de la chane. Il y a une flche, tiquete px,y, entre le sommet x et lesommet y si et seulement la probabilit de transition est strictement positive : px,y > 0. La chane peutalors sinterprter comme une marche alatoire sur le graphe.On verra plus tard que les composantes fortement connexes du graphe joueront un grand rle, notammentles composantes fermes.

    2. Exemples

    Il y a des modles classiques de chanes de Markov homognes, souvent rencontrs, avec lesquels il estbon de se familiariser ds le dbut, en voici quelques-uns.La chane deux tats.Si on exclut le cas trivial, la matrice de transition correspondante est de la forme

    P =(1 1

    )0 < , < 1.

    Elle permet de faire des calculs explicites : pour tout n 0, on peut valuer la nime puissance Pn, ainsique la limite limn Pn (exercice), et donc dterminer explicitement la loi de Xn.Le graphe associ est trs simple. Il a une seule composante fortement connexe, ferme.

    1

    1

    Jean-Jacques Ruch

  • 8 Chapitre I. Chanes de Markov

    Le modle de diffusion dEhrenfest

    Deux urnes A et B contiennent, elles deux , a boules, numrotes de 1 a. A chaque instant, onchoisit une boule de faon uniforme, et on la change durne. Xn correspond alors au nombre de boulescontenues dans lurne A linstant n : lensemble des tats est donc lensemble E = {0, 1, . . . , a}. Dansces conditions, par exemple, si un instant lurne A est vide (la chane est dans ltat 0), linstantsuivant lurne contiendra 1 boule avec probabilit 1.Si un instant A contient i boules, 0 < i < a, linstant suivant elle contiendra i 1 ou i + 1 boules,avec probabilit respectivement ia et

    dia . La matrice de transition est donc donne par

    P =

    0 1 0 0 0 0 01/a 0 (a 1)/a 0 0 0 00 2/a 0 (a 2)/a 0 0 0...

    ......

    .... . .

    ......

    ...0 0 0 0 (a 1)/a 0 1/a0 0 0 0 0 1 0

    et le graphe par :

    L encore il ny a quune composante fortement connexe.

    Si X0 = a, le processus (Xn)n0 est une description simplifie de la diffusion dun gaz dun rcipient Avers un rcipient B initialement vide (chaque boule reprsente une molcule).

    Promenade au hasard (ou marche alatoire) sur Z

    On considre une chane de Markov homogne, despace dtats E = Z = {0,1,2, . . .} et de matricede transition P = (px,y) (x, y Z), avec pour tout (x, y) Z2,

    px,y =

    p, si j = i+ 11 p, si j = i 10, dans les autres cas

    o p est un nombre fix tel que 0 < p < 1. Un tel processus est appel promenade alatoire (ou marchealatoire) sur Z. Son graphe peut tre dcrit comme suit :

    Jean-Jacques Ruch

  • 3. La relation de Chapman-Kolmogorov 9

    L encore, le graphe a une seule composante fortement connexe.

    Le modle de la ruine du joueur

    Un joueur A joue contre un joueur B une suite de parties de pile ou face (avec une pice ventuellementpipe), indpendantes. Au dpart, A possde a euros, et B b : la somme totale de leurs fortunes est dea+ b euros. A chaque partie on convient que le joueur A gagne 1 euro si le rsultat est pile, sinon il perdun euro. La probabilit dobtenir pile est p avec 0 < p < 1. Le jeu sarrte ds que lun des joueurs estruin. Pour chaque n 1, on dsigne par Xn la fortune du joueur A lissue de la nime partie. La suite(Xn)n0 est une chane de Markov, dont lensemble des tats est E = {0, 1, . . . , a+ b}.Sa matrice de transition est donne par

    P =

    1 0 0 0 0 0 0q 0 p 9 0 0 00 q 0 p . . . 0 0 0...

    .........

    . . ....

    ......

    0 0 0 0 q 0 p0 0 0 0 0 0 1

    et son graphe par

    Les tats 0 (