21 - Processos de Markov

1. DEFINIO

Para um dado sistema fsico, obedecendo a certas leis de probabilidades podemos enunciar o seguinte princpio: a probabilidade de que um sistema fsico estar num determinado estado no momento t2 pode ser deduzido a partir do conhecimento do seu estado num qualquer momento anterior t1, e no depende da histria do sistema antes do momento t1. Um Processo Estocstico que represente observaes dum sistema fsico que satisfaa esta condio um Processo de Markov.

Um caso especial de Processo de Markov uma Cadeia de Markov, que pode ser definida como um Processo Estocstico cujo desenvolvimento pode ser tratado como uma srie de transies entre certos valores (chamados "estados" do processo), com a propriedade da lei de probabilidade do desenvolvimento futuro do processo, dado que est num estado, depende apenas do estado e no de como o processo chegou a esse estado. O nmero de estados possvel pode ser finito ou infinito numervel

Em termos matemticos, dizemos que um Processo Estocstico de Parmetro Discreto { Xt, t = 0, 1, 2, ...} ou de Parmetro Contnuo { Xt, t 0} um Processo de Markov se, para qualquer conjunto de n momentos t1 < t2 < ... < tn do conjunto T do processo, a distribuio condicional de Xt, para dados valores de Xt1,..., Xtn-1, depende apenas de Xtn-1(o valor conhecido mais recente); mais precisamente, para quaisquer valores reais x1, ..., xnP(Xtn xn | Xt1= x1,..., Xtn-1 = xn-1) = P(Xtn xn | Xtn-1 = xn-1) (1)Da expresso (1) pode-se facilmente concluir que, dado o "presente" do processo, o "futuro" independente do "passado". Os Processos de Markov podem ser classificados no s pelo seu parmetro, contnuo ou discreto, mas tambm pelo espao dos estados (conjunto dos possveis valores do Processo Estocstico), que tambm pode ser contnuo ou discreto. Os Processos de Markov cujo espao de estados discreto, dizem-se Cadeias de Markov e usa-se habitualmente para espao dos estados o conjunto { 0, 1, 2, ...} .Um Processo de Markov descrito pela funo de probabilidade de transio. Se o sistema estiver num estado x, no momento t0, existe uma probabilidade fixa do estado no momento t ( > t0 ) pertencer a um conjunto E.

O caso que nos vai interessar ser o das Cadeias de Markov de parmetro discreto.Neste caso, as variveis aleatrias X0, X1,..., Xn,... so discretas, o conjunto T discreto (T = {0,1,...,n,...}), o nmero de estados finito ou infinito numervel e podemos substituir a equao (1) por:

P(Xm= xm | X0= x0,..., Xm-1 = xm-1) = P(Xm= xm | Xm-1 = xm-1) (2)Alm disto, a funo de probabilidade de transio pode ser descrita da forma:pj,k(m,n) = P( Xn = k | Xm = j ) (3)

isto , a probabilidade do sistema estar no estado k no momento n dado que no momento m esteve no estado j. O caso que vamos estudar ainda mais especial: a partir de agora vamos considerar que a Cadeia de Markov homognea. Diz-se que a Cadeia de Markov homognea ou estacionria se pj,k(m,n) depende apenas da diferena n-m. Chamamos ento funo de probabilidade de transio em n passos da Cadeia de Markov homognea a:

pj,k(n) = P( Xn+t = k | Xt = j ) = P( Xn = k | X0 = j ) , para todo o inteiro t 0 (4)

Vamos ver ainda mais algumas notaes que iremos usar:Probabilidade de transio a um passo, isto , pj,k(1):

pj,k = P( Xt+1 = k | Xt = j ) = P( Xn = k | X0 = j ), para todo o inteiro t 0 (5)

Probabilidade (no condicional) de no momento n o sistema estar no estado j:

pj(n) = P( Xn = j ) (6)

A melhor forma de escrever as probabilidades de transio de uma Cadeia de Markov com espao de estados {0,1,2,...} atravs da matriz de transio a n passos:P(n) = [ pj,k(n)] (7)

Note-se que os elementos desta matriz satisfazem:

pj,k(n) 0 para todo j, k (8) para todo j, k (9)

A matriz de transio a um passo representada da forma:

P = [ pj,k ] (10)

Outra forma de representao de uma Cadeia de Markov com nmero finito de estados o diagrama de transio, onde so representados os estados e as transies entre estes, isto , as que correspondem a probabilidades de transio num passo diferentes de zero.

2. CADEIAS DE MARKOV Exemplo 1: Consideremos uma das linhas de enchimento de garrafas da Pepsi e a mquina que se encarrega de encher as garrafas ao longo do dia. Esta mquina estando a funcionar em perfeitas condies, pode no dia seguinte comear a funcionar com defeito, atrasando assim o enchimento das garrafas, com probabilidade 0,09, ou pode passar a uma situao de avaria total, com probabilidade 0,01, o que implica a paragem da linha de enchimento. Estando a trabalhar com defeito a mquina pode manter-se nessa situao, dia aps dia, com probabilidade 0,55 ou passar situao de avaria total com probabilidade 0,45, situao que definitiva at se proceder reparao ou substituio.

Seja Xn a varivel aleatria que regista o estado da mquina no dia n.Para este sistema vamos considerar como espao de estados {0,1,2}, onde0 - mquina em perfeitas condies1 - mquina com defeito2 - mquina em avaria totalou seja, estes trs valores representam os trs estados possveis em que se pode encontrar a mquina.Visto que o espao de estados discreto, a varivel Xn discreta, pois s pode tomar um dos trs valores possveis. Alm disso o conjunto dos ndices tambm discreto, correspondendo ao dia 1, 2,...,n,.... Pelo enunciado, temos indicao que o estado da mquina num dado dia depende apenas do estado da mquina no dia anterior. Podemos ento dizer que estamos perante uma Cadeia de Markov de parmetro discreto, homognea, com um nmero finito de estados.Vamos ento representar esta Cadeia de Markov.

O enunciado indica-nos as probabilidades de transio num passo, ou seja:

p0,0 = 0,9; p0,1 = 0,09; p0,2 = 0,01;

p1,0 = 0; p1,1 = 0,55; p1,2 = 0,45;

p2,0 = 0; p2,1 = 0; p2,2 = 1.

A matriz de probabilidades de transio num passo ento:

Vejamos ainda o diagrama de transies:

Os valores nas linhas orientadas correspondem s probabilidades de transio num passo, diferentes de zero, e logo a soma das linhas que partem do mesmo estado tem que ser igual a 1. Este diagrama d-nos uma idia de como o sistema funciona de um instante para o outro imediatamente a seguir e ajuda-nos a perceber as relaes que existem entre os estados, como iremos ver mais frente.

3 - EQUAES DE CHAPMAN-KOLMOGOROVUma relao fundamental satisfeita pela funo de probabilidade de transio de uma Cadeia de Markov homognea a chamada equao de Chapman-Kolmogorov.

(11)

Note-se que este somatrio percorre todos os estados da Cadeia de Markov (E significa Espao dos Estados). Estas equaes mostram apenas que quando o sistema passa dum estado j para um estado k em n passos, o sistema passar por um estado i em u (menos de n) passos.Vejamos agora esta equao em termos matriciais:

Podemos escrever as Equaes de Chapman-Kolmogorov matricialmente, segundo as notaes j descritas anteriormente, da forma:

P(n) = P(u) P(n-u) , para todo o momento 0 u n (12)

Para que servem ento estas Equaes? A resposta simples: as Equaes de Chapman-Kolmogorov fornecem um mtodo de clculo das probabilidades e das matrizes de transio em n passos.

Vamos ver em termos matriciais o que acontece. Visto que a equao (12) se verifica para todo o u, consideremos em particular u = 1. Temos ento, visto que P(1) = P:P(n) = P.P(n-1) (13)

Aplicando novamente a equao (12) a P(n-1) com u = 1, temos:

P(n) = P. P. P(n-2) = P2.P(n-2) (14)

Aplicando sucessivamente este raciocnio, vemos facilmente que:

P(n) = Pn = Pn-1.P = P.Pn-1 (15)

Em termos de probabilidades de transio, isto corresponde a:

(16)

Daqui conclui-se que basta-nos conhecer as probabilidades de transio num passo que, de uma forma recursiva, podemos determinar as probabilidades de transio em n passos.

Consideremos agora o vetor das probabilidades no condicionais:

p(n) = [ pj(n)] , onde pj(n) = P( Xn = j ) (como j tnhamos visto antes) (17)

Pelos teoremas das probabilidades condicionais, temos que:

(18)

E logo, facilmente se verifica que:

p(n) = p(0).P(n) (19)

Logo, pela equao (15) podemos escrever:

p(n) = p(0).P n (20)

Ou seja, as equaes de Chapman-Kolmogorov permitem-nos, desde que saibamos as probabilidades de transio num passo e um conjunto de probabilidades de estados iniciais (no momento 0), obter as probabilidades do sistema estar num determinado estado ao fim de n passos.

Vejamos a concretizao destes resultados no nosso exemplo.Suponhamos que queremos saber a situao do sistema em 2 dias, isto , as probabilidades de transio em 2 passos. Basta ento:

P(2) = P2 =Algumas concluses que podemos tirar: ao fim de dois dias a probabilidade da mquina passar do estado "em perfeitas condies" para o de "avaria total" (p0,3(2)) j de 0,0595, as probabilidades da mquina se manter no estado 0 e 1 ao fim de dois dias (p0,0(2) e p1,1(2)) diminuem e as restantes aumentam. Apenas o estado 2 se mantm, o que faz sentido, visto que se a mquina entra em avaria total no altera o seu estado a no ser que haja uma influncia externa no sistema (p2,2(2) = 1).Analogamente podemos obter P(3) e P(4):

P(3) = P2.P =

P(4) = P2.P2 =

Verifica-se ento a tendncia de diminuio da probabilidade da mquina se manter nos estados 0 e 1 e de aumento das restantes probabilidades de transio. Verificamos tambm que o comportamento relativo ao estado 2 se mantm.Suponhamos agora que nos dada uma distribuio de probabilidades iniciais, ou seja, suponhamos que no momento em que se comeou a observar o sistema este estava em perfeitas condies, isto , X0= 0. Assim podemos dizer que:p(0) =Queremos saber quais as probabilidades do sistema estar em cada um dos estados possveis ao fim de dois dias, isto :

p(2) = p(0).P2 =

Vemos ento que ao fim de dois dias a mquina continuar em "perfeitas condies" com probabilidade 0,81, estar a trabalhar com "defeito" com probabilidade 0,1305 ou estar no estado de "avaria total" com probabilidade 0,0595.Suponhamos agora que no certo que a mquina esteja inicialmente a funcionar em "perfeitas condies". Vamos considerar ento uma outra distribuio inicial das probabilidades dos estados e suponhamos que queremos saber como ser a distribuio das probabilidades ao fim de 4 dias. Seja ento:

p(0) =Temos ento:p(4) = p(0).P4 =

Neste caso, considerando que no incio do processo a mquina estava no estado 0 com probabilidade 0,6 ou no estado 1 com probabilidade 0,4, ao fim de 4 dias a mquina manter-se- no estado 0 com probabilidade 0,3937, estar no estado 1 com probabilidade 0,1237 ou estar no estado 2 com probabilidade 0,4826. Vemos assim, que como o estado 0 e 1 do acesso num passo ao estado 2, com esta distribuio de probabilidades inicial, a probabilidade do sistema estar no estado 2 ao fim de alguns dias aumenta substancialmente.

Vimos assim que com as Equaes de Chapman-Kolmogorov, facilmente se podem determinar a distribuio de probabilidades no condicionais e das probabilidades de transio em qualquer momento n, sabendo apenas a distribuio inicial das probabilidades dos estados e as probabilidades de transio a um passo.4. CLASSIFICAO DOS ESTADOS DUMA CADEIA DE MARKOVNo item anterior, preocupamo-nos apenas com o estudo da evoluo ao longo do tempo de uma Cadeia de Markov de parmetro discreto homognea. Vamos agora ver resumidamente como se podem classificar os estados desta cadeia e algumas das propriedades da Cadeia relacionadas com estas classificaesDiz-se que o estado k acessvel a partir do estado j (ou que j d acesso a k) se, para algum inteiro n 0, pj,k(n) > 0 e escreve-se j k.

No nosso exemplo, o estado 0 d acesso a todos os outros, incluindo ele prprio, o estado 1 d acesso ao estado 2 e a ele prprio e o estado 2 d acesso apenas a ele prprio.

Diz-se que dois estados j e k comunicam se j acessvel a partir de k e k acessvel a partir de j, isto , j k e k j. Neste caso, escreve-se j k.

No exemplo, todos os estados comunicam apenas com eles prprios.Tem-se ainda, em geral, que:a) j j (reflexividade), isto , todos os estados comunicam com eles prprios, pois:pj,j(0) = P(X0 = j | X0 = j ) = 1; (21)

(b) Se j k ento k j (simetria), pela prpria definio de comunicao;

(c) Se j k e k i ento j i (transitividade), utilizando as Equaes de Chapman-Kolmogorov tem-se:pj,i(n1+n2) = pj,k(n1).pk,i(n2) > 0 (22)

visto que, como j k ento j k e logo existe n1 tal que pj,k(n1) > 0 e como k i ento k i e logo existe n2 tal que pk,i(n2) > 0.

Com estas trs propriedades da comunicao possvel definir Classes de Comunicao e logo dividir o nosso espao dos estados numa unio de classes disjuntas. Assim, os estados de uma Cadeia de Markov podem consistir numa ou mais classes disjuntas. No caso em que s existe uma classe de comunicao diz-se que a Cadeia de Markov irredutvel.

No nosso exemplo temos trs classes de comunicao: C1={0}, C2={1} e C3={2} e logo no irredutvel.Uma questo que se pe usualmente : se o processo comear num dado estado j, ser que o sistema voltar a passar neste estado?Seja fjj a probabilidade do processo voltar ao estado j, sabendo que este comea no estado j.Se fjj = 1 dizemos que j um estado recorrente e se fjj < 1 dizemos que j um estado transiente. Existe um caso especial de estados recorrentes: se pjj = 1 ento o estado diz-se absorventeNo nosso exemplo, o estado 2 um estado absorvente, e logo recorrente, e os estados 0 e 1 so transientes. Porqu?Para o estado 2 no complicado, pois no necessrio recorrer ao clculo de f22, mas para os outros a questo mais difcil, pois em geral o clculo de fjj no imediato.Um outro resultado que nos facilita esta questo o seguinte:Uma classe em que nenhum dos estados d acesso a outro estado de outra classe diz-se classe de comunicao recorrente, e logo todos os seus estados so recorrentes. De forma anloga, se algum dos estados da classe der acesso a um estado doutra classe, diz-se que a classe de comunicao transiente e todos os seus estados so transientes.

Assim, se analisarmos as classes C1 e C2 do nosso exemplo, os seus estados do acesso a estados das outras duas classes e logo so estados transientes. Na classe C3, o estado 2 no d acesso a nenhum dos outros estados, ou seja esta classe recorrente.

Vamos agora ver algumas propriedades de fjj que nos podem permitir o clculo do seu valor.

Pela forma como definido estado recorrente, implica que o sistema passa infinitas vezes nestes estados, pois fjj = 1 significa que se o sistema passar pelo estado j, voltar a passar no estado j e comeando novamente neste estado, o sistema voltar a passar por ele e assim sucessivamente. Assim, podemos dizer que o nmero esperado de momentos que o sistema passa pelo estado j infinito.

Analogamente, se j um estado transiente, o nmero esperado de momentos que o sistema passa pelo estado j finito .

Conclui-se ento que um estado j recorrente se, e somente se, o nmero esperado de momentos que o sistema passa pelo estado j for infinito, dado que o processo comeou no estado j.

Vamos ento agora ver como calcular o nmero esperado de momentos que o sistema passa pelo estado j, dado que X0 = j. Para isso vamos definir:

(23)Logo, (24)

representa o nmero de momentos que o processo est no estado j dado que X0 = j. Assim, o nmero esperado dado por:

(25)Conclumos assim que: j recorrente (26)

j transiente (27)

Vejamos no nosso exemplo como podemos aplicar estes resultados: relativamente ao estado 2, que j sabemos ser recorrente, temos que pi,i(n) = 1, para todo n inteiro e logo,

(28)Para os outros dois estados, se analisarmos as matrizes de transio a 1, 2, 3 e 4 passos, verificamos que:Estado 0: Estado 1:

p00 = 0,9 p11 = 0,55

p00(2) = 0,81 = (0,9)2 p11(2) = 0,3025 = (0,55)2

p00(3) = 0,729 = (0,9)3 p11(3) = 0,166375 = (0,55)3

p00(4) = 0,6561 = (0,9)4 p11(4) = 0,09150625 = (0,55)4

Logo, podemos concluir (e fcil de provar por induo) que:p00(n) = (0,9)np11(n) = (0,55)n

Obtemos assim duas sries geomtricas ambas com razo menor que 1 (0,9 e 0,55) e logo so convergentes, isto : (29)

Confirmamos assim o que j sabamos: estes dois estados so transientes.

Outra propriedade importante dos estados de uma Cadeia de Markov a sua periodicidade. O perodo de um estado k , p (k), pode ser definido como :p (k) = m.d.c.{n: pk,k(n) > 0} (30)

ou seja, o nmero mnimo de passos que o sistema leva a retornar ao estado k, partindo de k.Se p (k) = 1 dizemos que k aperidico, caso contrrio dizemos que peridico.

No nosso exemplo, temos que:{n: pi,i(n) > 0} = , com i ={0,1,2} (31)

logo, p (i) = 1, com i ={0,1,2}, ou seja, todos os estados so aperidicos.

Exemplo 2 :Vejamos rapidamente um exemplo em que os estados no so todos aperidicos. Consideremos a seguinte matriz de transio, P e o respectivo diagrama de transies:

Neste caso, para qualquer um dos estados, verifica-se facilmente que:

{n: pi,i(n) > 0} = {2, 4, 6, ..., 2t, ...} (32)

e logo, p (i) = 2, ou seja, ambos so estados peridicos, de perodo 2.

Tal como a recorrncia, a periodicidade tambm uma propriedade das classes de comunicao, ou seja, se um estado duma classe tem perodo t, ento todos os estados dessa classe tm perodo t.Os estados recorrentes podem ainda ser classificados quanto ao seu tempo mdio de retorno, mkk:O estado recorrente k diz-se recorrente positivo se mkk for finito, caso contrrio (i.e., for infinito) diz-se recorrente nulo.Se a Cadeia de Markov for finita todos os seus estados so recorrentes positivos.Se os estados recorrentes positivos forem aperidicos, dizem-se estados ergdicos.

5. DISTRIBUIO LIMITE E DISTRIBUIO ESTACIONRIAA noo de Cadeia de Markov envolve o conceito de um sistema dinmico que evolui ao longo do tempo. Assim do nosso interesse o estudo do comportamento ao fim de muito tempo.Imaginemos que queramos saber como se encontrava a nossa mquina ao fim de 3 meses, isto , vamos calcular a matriz de transio a 90 passos:

P(90) = P90 = (33)

Ou seja, ao fim de trs meses, sem haver qualquer interferncia exterior na mquina, esta entrar no estado de "avaria total" seja qual for o estado inicial, o que j seria de esperar, visto que este estado absorvente.

Esta igualdade das linhas da matriz deve-se ao facto de existir um estado absorvente na nossa cadeia, que leva tendncia de ao fim de vrias passagens o sistema ficar no estado de "avaria total", independentemente do estado inicial.

Exemplo 3: Consideremos um sistema de informao que transmite os dgitos "0" ou "1". Cada dgito transmitido passa por vrias etapas, podendo ser alterado. Os dgitos, "0" e "1", passam inalterados com probabilidade 1/2 e 2/3, respectivamente. Como se comporta o sistema ao fim de 20 etapas?

Vejamos a matriz de transio a 20 passos:

P(20) = P20 = (34)

Isto leva-nos a pensar que a probabilidade do sistema estar num dado estado ao fim de 20 passos, neste caso, independente do estado inicial, ou seja, existe uma probabilidade limite de ao fim de um grande nmero de passagens o sistema estar num estado j, independentemente do estado inicial. Isto leva-nos s distribuies limite e estacionria de uma Cadeia de Markov, ou seja, ao estudo do comportamento assinttico das respectivas probabilidades de transio.Diz-se que uma Cadeia de Markov com espao de estados E tem distribuio limite se existir uma distribuio de probabilidades {p k, k E}, com a propriedade de, para todo o j e k pertencentes a E: (35)

Esta distribuio no depende da distribuio inicial dos estados e logo, facilmente se prova que a probabilidade no condicional pk(n) tambm tende para p k quando n tende para .

Diz-se que uma Cadeia de Markov com espao de estados E tem distribuio estacionria se existir uma distribuio de probabilidades {p k, k E}, com a propriedade de, para todo k pertencente a E:

(36)O nome de "distribuio estacionria" deve-se ao fato que se se verificar a equao (36) ento , para todo o inteiro n: (37)

Mas ento em que condies podemos afirmar que existem estas distribuies e que so uma s?Existem vrios teoremas que nos do condies para a existncia de uma e de outra, mas vamos apenas considerar o seguinte:Para uma Cadeia de Markov irredutvel e ergdica tem-se que existe e independente de j. Alm disso,

onde os p ks so os nicos que satisfazem simultaneamente as equaes:

pk > 0 para k E (38)

Os pks chamam-se probabilidades estacionrias da Cadeia de Markov e relacionam-se com o tempo mdio de retorno da forma:

, para k E (39)

Observaes:1 - A existncia de distribuio estacionria no significa que o sistema fique sempre num mesmo estado. Continuam a existir transies entre os estados e existem probabilidades de transio, o que revela que existem probabilidades diferentes de o sistema estar num ou noutro estado.

2 - Note-se que vamos ter mais uma equao do que o nmero de variveis, no sistema (38), mas visto que a soluo nica, uma das equaes ser redundante e desaparecer. Obviamente que no pode ser a ltima, visto que a soluo pk = 0, para k E, verifica as restantes equaes mas no uma distribuio de probabilidades. Vejamos o exemplo 3:

p 0 = p 0 p00 + p 1 p10 =

p 1 = p 0 p01 + p 1 p11 =

p 0 + p 1 = 1

Obtm-se:p 0 = 0,6 e p 1 = 0,4.E logo, m0,0 = 1,667 etapas e m1,1 = 2,5 etapas.

Outros resultados importantes:Se j e k so estados recorrentes pertencentes a diferentes classes, devido definio de classe, ento: pj,k(n) = 0, para todo n. (40)Se k um estado transiente, ento , para todo j. (41)Este ltimo resultado mostra o que acontece com o nosso exemplo da mquina da Pepsi, que embora no seja uma cadeia irredutvel e ergdica tem distribuio limite e estacionria, no entanto, esta distribuio corresponde ao sistema se encontrar sempre no estado 2 independentemente do estado inicialCUSTO MDIO ESPERADO POR UNIDADE DE TEMPOConsideramos at aqui apenas as Cadeias de Markov irredutveis e ergdicas. O que acontece se no considerarmos que os estados so todos aperidicos?Neste caso o limite pode no existir. Se considerarmos o exemplo 2, em que vimos que os dois estados tinham periodicidade dois, o que acontece que, se o processo comear no estado 0:

(42)Logo, , no existe. No entanto, o limite da mdia de Cesro existe sempre para estados recorrentes, ou seja, para uma Cadeia de Markov irredutvel com estados recorrentes positivos tem-se:onde p ks verificam as equaes (38).Com este resultado podemos calcular o custo mdio esperado por unidade de tempo, que nos vai ser til para o estudo dos Processos de Deciso Markovianos.O custo mdio esperado incorrido nos primeiros n perodos dado por:onde C(Xt) a varivel aleatria que corresponde ao custo incorrido quando o processo est no estado Xt e toma um dos valores C(0), C(1),..., C(k),..., independentemente de t.

Usando o resultado (43) temos que o custo mdio esperado por unidade de tempo (limite) dado por:

Uma medida alternativa o custo mdio real por unidade de tempo (limite) que dado por:

para a maioria dos caminhos. Como se pode ver, as duas medidas levam ao mesmo resultado.Suponhamos no nosso exemplo 3 que existe um custo para o envio de dgitos, ou seja, se Xt = 0 ento C(0) = 2 u.m. e se Xt = 1 ento C(1) = 3 u.m.. Para este exemplo o custo esperado por unidade de tempo :

CUSTO MDIO ESPERADO POR UNIDADE DE TEMPO PARA FUNES DE CUSTOS COMPLEXASNo caso anterior vimos apenas funes de custo dependentes no estado em que o sistema se encontra no momento t. Vamos ver agora funes de custo que dependem no s do estado do sistema mas tambm doutra varivel aleatria.Consideremos as seguintes condies:{Xt} uma Cadeia de Markov irredutvel com todos os estados recorrentes positivos; Existe uma sequncia de variveis aleatrias {Dt}, independentes e identicamente distribudas (i.i.d.), associada Cadeia de Markov; Para cada valor m = 0, 1, 2, ..., fixo, incorrido um custo C(Xt, Dt+m) no momento t, para t = 0,1, 2, ...; A sequncia (X0, X1, ..., Xt) deve ser independente de Dt+m; Nestas condies temos o custo mdio esperado por unidade de tempo (limite) dado por: (47)

com f(k) = E[ C(k, Dt+m)] , sendo este valor esperado condicional calculado de acordo com a distribuio de probabilidade das variveis aleatrias Dt, dado o estado k.

Analogamente, o custo mdio real por unidade de tempo (limite), para a maioria dos caminhos, dado por,:

(48) Temos agora todas as ferramentas que precisamos para trabalharmos com os Processos de Deciso Markovianos.