Cadenas de Markov 2.1 (M14)

Capítulo 2.

2.- Cadenas de Markov. 2.1. Introducción.

Hay procesos estocásticos, tales que, la información de algún estado futuro Xn+1, dado que se sabe la información de los estados pasados X0 , X1, … , Xn –1 y del estado presente Xn, es independiente de los estados pasados y únicamente depende del estado presente Xn, por su forma de comportarse, estos procesos se aplican en diversas áreas, aquí analizaremos aquellos que tienen un espacio parametral de tiempo discreto T y un espacio de estados E, finito o contable infinito. Definición 2.1. Un proceso estocástico {Xn , n ∈ T }, con espacio parametral de tiempo discreto T y un espacio de estados E finito o contable infinito es una cadena de Markov si

P { Xn+1 = j | X0 = i0 , X1 = i1, … , Xn = i } = P { Xn+1 = j | Xn = i } = pij.

pij es la probabilidad de transición o de paso, del estado i en el tiempo n, al estado j en el tiempo n +1, es decir, pij es la probabilidad de transición o de paso del estado i al estado j en un paso. Sin pérdida de generalidad tomaremos a T y E como subconjunto de los números enteros. Definición 2.2. Si las pij no dependen de n, se dice que la cadena de Markov es homogénea.

La definición 2.2 nos dice que

P { Xn+1 = j | Xn = i } = P { Xm+1 = j | Xm = i } = pij con m ≠ n.

supondremos siempre que pij no dependen de n. A pij =P { X1 = j | X0 = i } también lo podemos poner como

Capítulo 2 2.1. Introducción 25 ________________________________________________________________________________

P { X1 = j | X0 = i } = Pi{ X1 = j }

Las probabilidades de transición pij satisfacen

pij ≥ 0, i, j ≥ 0 y . 1ijj E

p∈

=∑

Podemos escribir todas las probabilidades de transición del estado i en el tiempo n, al estado j en el tiempo n +1, de la siguiente forma matricial

estados de Xn+1

estados de Xn = P 00 01 02

10 11 12

20 21 22

0 1 2012

p p pp p pp p p

P es la matriz de probabilidades de transición. Definición 2.3. Una matriz P se llama estocástica si cada uno de sus elementos, pij ≥ 0, i, j ≥ 0 y , es decir cada uno de los elementos de la matriz es mayor o igual

que cero y en cada renglón su suma es uno.

1ijj E

p∈

=∑

Definición 2.4. Una matriz P se llama doblemente estocástica si cada uno de sus elementos pij ≥ 0 , i, j ≥ 0 , y 1ij

j Ep

∈

=∑ 1iji E

p∈

=∑ La definición 2.4 nos dice que una matriz es doblemente estocástica si tanto sus columnas como sus renglones suman uno. Ejemplo 2.1. Supóngase que la posibilidad de que el día de mañana llueva sólo depende de la situación climatológica de hoy y no de días previos, además supongamos que si llueve hoy, la probabilidad de que mañana llueva es α y si hoy no llueve, la probabilidad de que llueva mañana es β, esto quiere decir que si hoy llueve, entonces mañana no lloverá con probabilidad 1 – α y si hoy no llueve, la probabilidad de que mañana tampoco sería 1 – β, si consideramos que el estado 0 es que llueva y al estado 1

26 Cadenas de Markov Capítulo 2 ________________________________________________________________________________

00

1

0

que no llueva, claramente bajo los supuestos que hemos hecho éste ejemplo es una cadena de Markov con la siguiente matriz de transición,

P = 11

α αβ β

− −

Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad p de ganar $1 o perder $1 con probabilidad 1 – p , el jugador se retirará cuando se quede sin dinero o bien cuando haya duplicado su dinero original $N. Si consideramos Xn como el dinero que tienen el apostador después de la n-ésima vez que apuesta, Xn claramente es una cadena de Markov, ya que lo que va apostar únicamente dependerá del dinero que tenga actualmente y no de lo que haya jugado antes, Xn tienen espacio de estados E = {0, 1 , 2, … , 2N}, sus probabilidades de transición son

pij = p con j = i +1 , i = 1, 2, … , 2N – 1

pij = 1 – p con j = i – 1, i = 1, 2, … , 2N – 1 y

p00 = p2N,2N = 1

los estados 0 y 2N son estados absorbentes, este concepto lo definiremos más adelante,

de aquí obtenemos la siguiente matriz de transición

P =

1 0 0 0 0 01 0 0 0 0

0 1 0 0 0 0

0 0 0 0 1 00 0 0 0 0 0

p pp p

p p

− −

−

Ejemplo 2.3. Sea {Xn ; n = 0, 1, … } definido por

Xn = 1 2

0 sisi 1, 2,n

nY Y Y n

= + + + = …


con Y1, Y2, … , Yn , variables aleatorias discretas, independientes e idénticamente distribuidas, con distribución de probabilidad { pk ; k = 0, 1, 2, … }. Dado que Xn+1=Xn + Yn+1 , tenemos que,

P{Xn+1 = j | X0, X1, … , Xn } = P{Yn+1 = j – Xn | X0, X1, … , Xn } = nj Xp −

Claramente únicamente depende de Xn . Así tenemos que el proceso {Xn , n ∈ T } define una cadena de Markov con probabilidades de transición

pij = P{Xn+1 = j | Xn = i} =pj–i

y matriz de transición

P =

0 1 2 3

0 1 2

0 1

0

00 00 0 0

p p p pp p p

p pp

Teorema 2.1. Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov, para todo m, n ∈ T , con m, n ≥ 0 y i0, i1, …, im ∈ E

P{ Xn+1 = i1, … , Xn+m = im | Xn = i0 } = 0 1 1 2 1m mi i i i i ip p p

−

Demostración. P{ Xn+1 = i1, … , Xn+m = im | Xn = i0 }

= P{ Xn+2 = i2, … , Xn+m = im | Xn = i0, Xn+1 = i1} P{ Xn+1 = i1| Xn = i0 } por ser {Xn; n ∈ T , n ≥ 0} una cadena de Markov y por definición de probabilidad de

transición

= P{ Xn+2 = i2, … , Xn+m = im |Xn+1 = i1} 0 1i ip

repitiendo el primer paso

= P{ Xn+3 = i3, … , Xn+m = im |Xn+1 = i1, Xn+2 = i2} P{ X0 1i ip n+2 = i2|Xn+1 = i1}

= P{ Xn+3 = i3, … , Xn+m = im |Xn+2 = i2} 0 1i ip

1 2i ip


.

}=

y así sucesivamente hasta llegar a

P{ Xn+1 = i1, … , Xn+m = im | Xn = i0 } = 0 1 1 2 1m mi i i i i ip p p

−

Sea π ( i ) = P{ X0 = i } la distribución inicial de Xn . Corolario 2 1.1. Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov, la ley de distribución de probabilidades del vector aleatorio ( X0 = i0, X1 = i1, … , Xn = in ) depende de las probabilidades de transición pij y de la distribución inicial, es decir,

P{ X0 = i0, X1 = i1, … , Xn = in } = π (i0) 0 1 1 2 1n ni i i i i ip p p

−

Demostración.

P{ X0 = i0, X1 = i1, … , Xn = in } = P{ X1 = i1, … , Xn = in | X0 = i0 } P{ X0 = i0 }

Del teorema 2.1 y de la definición de distribución inicial

P{ X0 = i0, X1 = i1, … , Xn = in }= π (i0) 0 1 1 2 1n ni i i i i ip p p

−

Los para n, i, j ≥ 0, son los elementos de la matriz . n

ijp nP

Teorema 2.2. Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov, para m ∈ T , con m ≥ 0

P{ Xn+m = j | Xn = i} = m

ijp

para todo i, j ∈ E . Demostración. Demostremos por inducción.

Para m = 1, por definición, esto es claro. Por hipótesis de inducción se cumple para m = l, ahora verifiquemos si se

cumple para m = l + 1.

P{ Xn+l +1 = j | Xn = i } = 1{ , |n l n l nk E

P X j X k X i+ + +∈

= =∑


= 1{ | , } { |n l n l n n l nk E

P X j X k X i P X k X i+ + + +∈

= = = =∑ }=

}=

}

}=

= 1{ | } { |n l n l n l nk E

P X j X k P X k X i+ + + +∈

= = =∑

por hipótesis de inducción

= = lkj ik

k Ep p

∈∑ l

ik kjk E

p p∈∑

= 1lijp +

Así que para una cadena de Markov, la probabilidad de transición en m pasos se define como

P{ Xn+m = j | Xn = i} = . mijp

Teorema 2.3. Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov

P{ Xn = j } = 0{ } n

iji E

P X i p∈

=∑para todo j ∈ E . Demostración.

P{ Xn = j }= ∑ 0{ ,ni E

P X j X i∈

= =

= 0 0{ } { |ni E

P X i P X j X i∈

= =∑

por el teorema anterior

= 0{ } nij

i EP X i p

∈

=∑

Teorema 2.4. ( Ecuación de Chapman – Kolmogorov ) Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov, para todo m, n ∈ T , con m, n ≥ 0 e i, j ∈ E

n mijp + = n m

ik kjk E

p p∈∑


}

}

}=

Demostración. = P { Xn m

ijp +n+m = j | X0 = i }

= 0{ , |n m mk E

P X j X k X i+∈

= = =∑

= 0 0{ | , } { |n m m mk E

P X j X k X i P X k X i+∈

= = = = =∑

= P X∑ 0{ | } { |n m m mk E

j X k P X k X i+∈

= = =

=

m nik kj

k Ep p

∈∑

Ejemplo 2.4. Del ejemplo 2.1, consideremos que α = 0.7 (la probabilidad de que mañana llueva dado que hoy llueve) y β = 0.4 (la probabilidad de que mañana llueva dado que hoy no llueva), entonces la matriz de transición es:

P = 0.7 0.30.4 0.6

¿Cuál es la probabilidad de que llueva en 4 días dado que hoy está lloviendo? Tenemos que calcular , para obtenerlo calculemos la matriz de transición , luego entonces

400p 4P

2P = P P = y 0.61 0.390.52 0.48

= = 4P 2P 2P0.5749 0.42510.5668 0.4332

por tanto la probabilidad de que llueva dentro de 4 días dado que está lloviendo hoy es 0.5749.

Capítulo 2 2.2. Clasificación de estados. 31 ________________________________________________________________________________

2.2. Clasificación de estados. Definición 2.5. Si la probabilidad es no cero para alguna n ≥ 1 se dice que el estado i lleva al estado j o también que j es alcanzado o accesible desde el estado i se denota por i → j.

nijp

Definición 2.6. Se dice que los estados i, j se comunican si i → j y j → i , se denota por i ↔ j . Definición 2.7. Una cadena de Markov es irreducible si todos los estados se comunican. La definición anterior nos dice que una cadena de Markov es irreducible si cada estado es alcanzado desde cualquier otro, en algún número de pasos. Teorema 2.5. La comunicación es simétrica y transitiva es decir para estados i, j y k,

1) i ↔ j ⇒ j ↔ i 2) si i ↔ j y j ↔ k ⇒ i ↔ k

Demostración.

1) se cumplen inmediatamente a partir de la definición, probemos 2).

Si i ↔ j entonces existe n1 > 0, > 0 y 1nijp

j ↔ k entonces existe n2 > 0 , > 0 2njkp

usando Chapman Kolmogorov

1 2n n

ikp + = ≥ >0, 1 2n nir rk

r Ep p

∈∑ 1n

ijp 2njkp

lo que significa que si existe un n3 tal que

3n

ikp > 0 .


Definición 2.8. Un estado j que se comunica nuevamente con él, j ↔ j , se dice que es un estado de retorno, es decir, j es un estado de retorno si >0, para alguna n ≥ 1. n

jjp Definición 2.9. Dado un estado j una clase de comunicación Ej es definida como el conjunto de todos los estados k los cuales se comunican con j; es decir

k ∈ Ej si, y sólo si k ↔ j.

Podría pasar que Ej sea un conjunto vacío, es decir, que puede existir un estado j

que no se comunica ni con el mismo, j es un estado de no retorno.

Teorema 2.6. Si E1 y E2 son dos clases de comunicación, entonces E1 y E2 son disjuntos. Demostración.

Si para un estado que esté tanto en E1 como en E2, significa que E1 = E2, habremos probado que son disjuntos.

Supongamos que E1 y E2 tienen un estado i en común. Sean j y k dos estados tales que E1 = Ej y E2 = Ek , probemos que Ej = Ek.

Verifiquemos primero que Ej ⊂ Ek sea h ∈ Ej , dado que h ↔ j y j ↔ i , entonces h ↔i, como i ↔k entonces h ↔k, se cumple que Ej ⊂ Ek,, análogamente podemos probar que Ek ⊂ Ej, lo que significa que E1 = E2 cuando tienen un estado en común.

Con la definición de clase de comunicación, tenemos que una cadena de Markov es irreducible si la cadena consiste de una sola clase de comunicación.

Podemos entonces decir que todo estado j en una cadena de Markov o bien

pertenece a una clase de comunicación o es un estado de no retorno. Podemos enunciar el siguiente resultado. Teorema 2.7. El conjunto de estados E de una cadena de Markov puede escribirse como la unión de un finito o contable infinito, de conjuntos disjuntos Er ,

E = E1 ∪ E2 ∪ … ∪ Er ∪ … y EiEj = ∅ para i ≠ j, Donde cada conjunto Er es una clase de comunicación o contiene exactamente un estado de no retorno.


Cuando un proceso entra a un conjunto C de estados y ya no puede salir nunca de él, se dice que el conjunto C de estados es cerrado, un conjunto cerrado puede contener uno o más estados, definamos formalmente a un conjunto cerrado.

Definición 2.10. Un conjunto C de estados se dice que es cerrado si = 0, para alguna n ≥ 1 y para todo i ∈ C y j ∉ C.

nijp

Definición 2.11. j es un estado absorbente si, = 1 y = 0 para toda n ≥ 1 y para todo j ≠ k.

njjp n

jkp

La definición anterior nos dice que, si un conjunto cerrado C contiene solamente

un estado, entonces se le llama absorbente.

A partir de las definiciones es claro que si un proceso no contiene conjuntos cerrados será irreducible. Definición 2.12. El periodo d( i ) de retorno al estado i es definido como

d( i ) := m.c.d. {m : > 0 }. miip

Definición 2.13. El estado i es aperiódico si d( i ) = 1 y periódico si d( i ) >1. Definición 2.14. El tiempo de llegada a un estado j ∈ E, se define como

Tj = inf {n ≥ 1 | Xn = j }.

La probabilidad de empezar en el estado i y llegar al estado j en m pasos es, =Pm

ijf i{Tj= m }. Definamos a

fij = Pi{ Tj < ∞ } = = 1

{ }i jm

P T m∞

=

=∑1

mij

mf

∞

=∑

como la probabilidad de que el proceso esté en i y alcance alguna vez j. fij la podemos calcular teniendo en cuenta las siguientes opciones:

1) que de i pase a j en el primer paso con probabilidad pij o 2) que la primera transición sea a k ∈ {E – j } y después eventualmente pasar a j.


, 2,

De esto, podemos enunciar el siguiente resultado. Teorema 2.8. Para cada i, j ∈ E,

fij = pij + . { }

ik kjk E j

p f∈ −∑

Del teorema anterior podemos también deducir

mijf =

{ }

1

1

2ij

mik kj

k E j

p m

p f m−

∈ −

=

≥

∑ Definición 2.15. Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov, definimos a

Nj = { }0

kk

I X j∞

=

=∑

como el número de llegadas al estado j

De la definición anterior Pi{Nj = m } es la probabilidad, de estando en el estado i visitemos m veces el estado j. Teorema 2.9. Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov entonces

1) Pj {Nj = m } = ( ) ( 1 – f1m

jjf−

jj ) , m = 1, 2, …

2) Pi {Nj = m }= para i ≠ j.

( ) ( )1

1 0

1 1

ij

mij jj jj

f m

f f f m−

− =

− = …

Hacemos notar que significa que f( ) 1mjjf

−jj está elevado a la potencia m –1 , que es

muy diferente a como definimos . mjjf

Demostración.

Demostremos 1), el que suceda el evento Nj = m es equivalente a que ocurra < ∞, < ∞, … , T < ∞ , T = ∞, donde j

1jT2jT

mj 1mj +m representa la m-ésima llegada al

estado j.


El tiempo entre las llegadas es independiente es decir,

{T < ∞}, { – T < ∞},{T – < ∞}, … , { T – T = ∞ }

1j 2jT1j 3j 2jT

1mj + mj

son independientes, esto se debe a que Markov implica independencia de llegadas de j a j, sus respectivas probabilidades asociadas son:

1, fjj , fjj, … , 1 – fjj

la primera es uno porque ya estamos en j, luego entonces tenemos que

Pj{ Nj = m } = fjj fjj ( 1 – fjj ) = ( ) ( 1 – f1m

jjf−

jj ).

Ahora demostremos 2), para m = 0, significa que j nunca será alcanzado desde i, es decir

Pi {Nj = 0 }= Pi {Tj = ∞ } = 1– Pi {Tj < ∞ } = 1– fij .

Para m ≠ 0, la diferencia con el inciso anterior es que ya estamos en el estado j ( con probabilidad uno ) luego entonces sólo hace falta considerar la probabilidad de pasar de i a j por primera vez, esto sucederá con probabilidad

Pi {Tj < ∞ } = fij tenemos entonces que

Pi {Nj = m }= fij ( ) 1mjjf

− ( 1 – fjj )

Definición 2.16.

1) j es recurrente si Pj{ Tj < ∞ } = 1 , significa que si estamos en el estado j, la probabilidad de que el proceso regrese alguna vez al estado j es uno.

2) Si no es recurrente se dice que es transitorio. Es decir Pj{ Tj = ∞ } > 0. 3) Si j es recurrente y Ej( Tj ) = ∞ se dice que j es cero recurrente o recurrente nulo. 4) Si j es recurrente y Ej( Tj ) < ∞ se dice que es recurrente positivo.

Si fjj = 1 entonces j es recurrente, que fjj = 1 significa que tendremos un número

infinito de llegadas a j, P{Nj = ∞} = 1 y que para todo m, P{ Nj = m }= 0, también podemos ver que Ej( Nj ) = ∞.


Si fjj <1, tenemos que Pj{ Tj < ∞ } <1, lo que significa que Pj{ Tj = ∞ } > 0, esto significa que existe la probabilidad de nunca regresar a j, es decir, que j es transitorio. También podemos ver que si fjj <1, del teorema 2.9 es claro que la distribución de Nj cuando empieza en j es una geométrica con parámetro 1– fjj.

Teorema 2.10. Si fjj <1 entonces Nj iniciando en j se distribuye como una geométrica con parámetro 1– fjj. Definición 2.17. Sea R, la matriz con elementos rij = Ei( Nj ) con i, j ∈ E, a la matriz R se le llama matriz potencia.

rij = Ei( Nj ) = { }0

i nn

E I X j∞

=

=

∑

= { }0

i nn

P X j∞

=

=∑

= nij

n op

∞

=∑

en forma matricial nos quedaría que

R = I + P + + 2P

Teorema 2.11. 1) rjj = 11 jjf−

2) rij = fijrjj con i ≠ j. Demostración. El inciso 1 sale de que la distribución de Nj iniciando en j es una distribución geométrica, su valor esperado es

Ej( Nj ) = 11 jjf−

Probemos ahora 2,


rij = 1

{ }i jm

mP N m∞

=

=∑

= ( ) 1

1(1 )

mij jj jj

mmf f f

∞ −

=

−∑

= fij ( ) 1

1(1 )

mjj jj

mm f f

∞ −

=

−∑

= fij Ej( Nj )

= fij rjj

Podemos decir que j es recurrente si, y sólo si Ej( Nj ) = ∞ y j es transitorio si, y

sólo si Ej( Nj ) <∞. Teorema 2.12. 1) Si j es transitorio o recurrente nulo, entonces para todo i ∈ E

lim nijn

p→∞

= 0.

2) Si j es recurrente positivo y aperiódico, entonces

lim njjn

p→∞

= π ( j ) > 0

y también

= flim nijn

p→∞

ijπ ( j )

para todo i ∈ E. Demostración.

Aquí probaremos el caso cuando j es transitorio, para una demostración de j recurrente nulo y el inciso 2 puede encontrarse en Çinlar [ 1975, p. 301].

Si j es transitorio entonces rjj = Ej( Nj ) < ∞ , entonces

rij = fij rjj < rjj < ∞


rij =∑ < ∞ 0

nij

np

∞

=

luego entonces rij es finito solamente si = 0. lim nijn

p→∞

Teorema 2.13. Si j es recurrente y j → k entonces k → j y fkj = Pk {Tj < ∞ } = 1 . Demostración.

j → k significa que se puede pasar de j a k sin visitar a j, a la probabilidad de este evento le asignamos α > 0. Sean:

A = “ nunca visitar a j desde j ” y B = “Caminar de j a k y nunca regresar a j desde k ”

por ser B un caso especial de A tenemos que P{ A } ≥ P { B }, ahora bien

P{A} = 1 – fjj y P {B} = α ( 1 – fkj ) Por ser j recurrente fjj = 1, entonces

0 = 1 – fjj = P{A} ≥ P{B} = α ( 1 – fkj ) ≥ 0

entonces, α ( 1 – fkj ) = 0 como α > 0, entonces 1 – fkj = 0 , es decir, fkj = 1. Significa también que k → j .

Teorema 2.14. Si j es recurrente y j → k entonces k es recurrente. Demostración.

Si j → k significa que existe un s > 0 tal que > 0 , del teorema anterior

como j es recurrente y j → k entonces k → j, es decir, existe un m > 0 tal que >0 ,

es decir que > 0.

sjkp

mkjp

sjkp m

kjp Usando Chapman – Kolmogorov


m n lkkp + + = Pk{ Xm+n+l = k} = m n l

ki iki E

p p +

∈∑

considerando un caso particular de n l

ikp +

m n lki ik

i Ep p +

∈∑ ≥ m n l

ki ii iki E

p p p∈∑

ya que j ∈ E, tomamos el elemento j de la suma, nos queda que

m n lki ii ik

i Ep p p

∈∑ ≥ m n l

kj jj jkp p p

es decir, que

m n lkkp + + ≥ (1) m n l

kj jj jkp p p por otro lado

rkk = Ek( Nk ) = { }0

k nn

P X k∞

=

=∑

=∑ 0

nkk

np

∞

=

≥ nkk

n m lp

∞

= +∑

=∑ 0

n m lkk

np

∞+ +

=

por (1)

∑ ≥ 0

n m lkk

np

∞+ +

= 0

m n lkj jj jk

np p p

∞

=∑

= 0

m l nkj jk jj

np p p

∞

=∑

= Em lkj jkp p j( Nj )

como j es recurrente Ej( Nj ) = ∞, luego entonces Ek( Nk ) = ∞, luego entonces k es recurrente.

40 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ Teorema 2.15. Si j es recurrente, entonces existe un conjunto Cj cerrado e irreducible que contiene a j. Demostración.

Sea Cj := { j ∈ E, j →i } , como j es recurrente entonces si j →i entonces por el teorema 2.13 i → j entonces Cj := { i ∈ E, j ↔i }. Con la demostración de este teorema y el teorema 2.6. podemos enunciar el siguiente resultado. Teorema 2.16. Los estados recurrentes se dividen en una manera única en conjuntos cerrados e irreducibles. Teorema 2.17. Si {Xn; n ∈ T , n ≥ 0} es una cadena de Markov, con E irreducible entonces.

1) Todos los estados son recurrentes. 2) Todos los estados son transitorios.

Demostración. 1) Por el teorema anterior y el teorema 2.14 si j es recurrente y E es irreducible, entonces todo elemento de E debe ser recurrente. 2) Por el teorema 2.14, sabemos que para j, k ∈ E, si j es recurrente y j →k entonces k es recurrente, negando ambas proposiciones, tenemos que, si k es transitorio entonces j es transitorio, k → j .

Teorema 2.18. Si {Xn; n ∈ T , n ≥ 0} es una cadena de Markov, con E irreducible entonces. Todos los estados tienen la misma periodicidad.

Demostración.

Sea k un estado con periodicidad d( k ), como E es irreducible k ↔ j, entonces

existe s>0 y r > 0, tal que > 0 y > 0 , ahora bien, rjkp s

kjp

s rkkp + ≥ > 0 s

kjp rjkp


para el estado j, sea d( j ) su periodicidad, sea n un múltiplo de d( j ), supongamos que n no es múltiplo de d( k ), luego entonces para

s r nkkp + + ≥ s

kjp njjp r

jkp

como n no es múltiplo de d( k ), entonces = 0, lo que significa que =0, pero como > 0 entonces =0, es una contradicción ya que n

es un múltiplo de d( j ), entonces, por tanto d( k ) = d( j ).

s r nkkp + +

njjps

kjp njjp r

jkp skjp r

jkp

Teorema 2.19. Si {Xn; n ∈ T , n ≥ 0} es una cadena de Markov, y sea C < ∞ un subcojunto de estados irreducible, entonces no tiene estados transitorios, ni recurrentes nulos. Demostración.

Demostremos que C no puede tener estados transitorios, el caso de recurrente nulo es totalmente análogo. Sea j un estado transitorio por el teorema anterior significa que todos los estados en C son transitorios, ahora del teorema 2.12, si j es transitorio, entonces para algún i ∈ C

lim nijn

p→∞

= 0

para cada i ∈ C tenemos que = 1, entonces n

ijj C

p∈∑

1= = =0 lim

n→∞

nij

j Cp

∈∑ lim n

ijnj Cp

→∞∈∑

es una contradicción por lo que j no puede ser transitorio. Ejemplo 2.5. Sea P la siguiente matriz de transición.

P =

0.8 0 0.2 00 0 1 01 0 0 0

0.3 0.4 0 0.3

42 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ Dado que p13 >0 y p31 >0 y p12 = p14 = p32 = p34 = 0, los estados {1, 3} son cerrados e irreducibles, son recurrentes positivos por que son finitos, esto es por el teorema 2.19, los estados 2 y 4 son transitorios.

2 4

3 1 0.8

0.3 0.4

1

1

0.2

0.3

Obtengamos los elementos de la matriz R, sea {Xn } una cadena de Markov , con espacio de estados E y matriz de transición P.

Si j es un estado recurrente significa que:

fjj = 1 ⇒ rjj = ∞, ahora bien, si i es cualquier estado, entonces

i → j ⇔ fij > 0 ⇔ rij = fij rjj = ∞

y si i → j ⇔ fij = 0 ⇔ rij = 0.

Si j es transitorio e i es recurrente, tenemos que i → j por que si i → j e i es

recurrente entonces j es recurrente, caeríamos en una contradicción, así que

rij = 0 porque fij = 0.

Por último analicemos el caso en el que i, j son transitorios, sea D el conjunto de estados transitorios, sean Q y S las matrices que se obtienen a partir de P y R respectivamente, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes, es decir, Q y S tienen elementos

qij = pij y sij = rij, con i, j ∈ D.

la matriz de probabilidades de transición la podemos particionar de la siguiente manera.


P =

K 0

L Q

de manera similar tendríamos, para m ≥ 0 en los enteros

mP = ,

m

mm

K 0

L Q

aquí es la potencia m de K similar para Q pero LmK m es únicamente una matriz. Por definición

R = =

= m

0m

∞

=∑P

m

0

mm

0 0

m

m m

∞

=

∞ ∞

= =

∑

∑ ∑

K 0

L Q

'

'

K 0

L S

con S = = I + Q + + m

0m

∞

=∑Q 2Q

tenemos que,

SQ = Q + + + = QS 2Q 3Q

SQ = QS = S – I

( I – Q )S = I y S(I – Q) = I

Si D es finita entonces S es la inversa de I – Q . Si no es finita podemos tener muchas soluciones. Teorema 2.20. S es la solución minimal de ( I – Q )Y = I, Y ≥ 0. Demostración.

Hay que demostrar que si hay otra solución Y de ( I – Q )Y = I entonces Y ≥ S, sea Y una solución, Y ≥ 0

( I – Q )Y = I ⇒ Y = I + QY


.

= I + Q( I + QY)

= I + Q + Q Y 2

y sustituyendo Y sucesivamente

Y = I + Q + Q + + Q + Q Y, 2 n n+1

tenemos que

Y ≥ I + Q + Q + + Q 2 n

S = ≤ Y. m

0m

∞

=∑Q

Si Y es una solución y S es otra solución, entonces , H = Y – S ≥ 0, y

H = Y – S = I + QY – I – QS

= Q (Y – S )

= QH

cada columna h de H satisface

h = Qh ≥ 0

por otro lado, de S

sij = fijrjj ≤ rjj < ∞ porque i, j son estados transitorios, la única solución de ( I – Q )Y = I es S, si, y sólo si, la solución de h = Qh es h = 0. Corolario 2 20.1. S es la única solución a ( I – Q )Y = I, Y ≥ 0 si, y sólo si h = Qh, 0 ≤ h ≤ 1 implica que h = 0 . Ejemplo 2.6. X es una cadena de Markov con espacio de estados E = { 1, 2 , 3, 4, 5, 6, 7, 8} y matriz de transición


P =

0.4 0.3 0.3 0 0 0 0 00 0.6 0.4 0 0 0 0 0

0.5 0.5 0 0 0 0 0 00 0 0 0 1 0 0 00 0 0 0.8 0.2 0 0 00 0 0 0 0 0.4 0.6 0

0.4 0.4 0 0 0 0 0 0.20.1 0 0.3 0 0 0.6 0 0

o bien,

P =

0.4 0.3 0.30 0.6 0.4 0 0

0.5 0.5 0

0 10 0

0.8 0.2

0 0 0 0.4 0.6 00.4 0.4 0 0 0 0 0.20.1 0 0.3 0.6 0 0

Como podemos ver los estados 1, 2, 3 forman un conjunto irreducible, de

estados recurrentes positivos, los estados 4 y 5 forman otra clase de conjunto irreducible de estados recurrentes positivos y los estados 6, 7, y 8 son estados transitorios, los cuales únicamente pueden ir a los estados 1, 2 y 3, no tienen comunicación con los estados 4 y 5.

Calculemos R, para j recurrente e i cualquier estado tenemos que rij = ∞, en caso de que i → j , tenemos que rij = 0, únicamente nos hace falta calcular el caso en el que tanto i como j son estados transitorios (nos hace falta calcular la submatriz inferior del lado derecho), obtengamos Q que se obtienen a partir de P, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes

Q = 0.4 0.6 00 0 0.2

0.6 0 0

46 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes) es la inversa de I – Q

S = (I – Q )– 1 = =

10.6 0.6 00 1 0.20.6 0 1

−− −

−

125 75 151 15 75 1566

75 45 75

,

así tenemos que la matriz R para esta cadena de Markov es

R =

125 75 1566 66 66

15 75 1566 66 66

75 45 7566 66 66

0 0

0 0

0

∞ ∞ ∞

∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞

∞ ∞

∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞

Ahora calculemos los valores para la matriz F. Si i, j son recurrentes y pertenecen al mismo conjunto cerrado e irreducible entonces fij = 1.

Si i es recurrente y j es transitorio entonces fij = 0.

Si i, j son recurrentes, i ∈ E1 y j ∈ E2, E1 ∩ E2 = ∅ entonces fij = 0.

Si i, j son transitorios, entonces rij < ∞, del teorema 2.11.1

rjj = 11 jjf−

⇒ rjj ( 1 – fjj ) = 1

⇒ rjj – 1 = rjjfjj

⇒ fjj = 1 – 1

jjr

y del teorema 2.11.2


rij = fijrjj ⇒ fij = ij

jj

rr

Teorema 2.21. Si i es transitorio y C es un conjunto cerrado e irreducible de estados recurrentes

fij = fih para todo j, h ∈ C. Demostración.

Para j, h ∈ C , fjh = fhj = 1 , así si la cadena llega a un estado de C, éste también visita todos los otros estados, entonces fij = fih .

Sea C1 , C2 , … una clase de conjuntos cerrados e irreducibles y D es un conjunto de estados transitorios, donde P1, P2, … son las matrices de transición correspondientes a los conjuntos C1 , C2 , … y Q es la que está formada por los estados transitorios y Q1, Q2, … son las matrices de transición de los estados transitorios a los estados de la clase de conjuntos cerrados e irreducibles C1 , C2 , … respectivamente, la matriz P nos queda de la siguiente forma

P = .

1

2

3

1 2 3

P 0 0 0

0 P 0 0

0 0 P 0

Q Q Q Q

Como estamos interesados únicamente en saber cuando el conjunto Cj será alcanzado, sin pérdida de generalidad podemos considerarlos como estados absorbentes es decir cambiemos a P1, P2, … por 1, 1, … , así nuestra matriz de transición P la podemos rescribir de la siguiente forma

P =

1 2 3

11

1

0 0 0

0 0

0 0 0

b b b Q

0

48 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ donde el i-ésimo elemento de bj ( bj es un vector columna ) es, la probabilidad de estando en el estado transitorio i, llegue al conjunto Cj,

bj( i ) = , con i ∈ D j

ikk C

p∈∑

o más simple

P =

I 0

B Q con B = ( b1, b2, …, bm), los elementos de B son bij = , de aquí se sigue que

j

ikk C

p∈∑

nP =

nn

I 0

B Q

donde Bn =(I + Q + 2Q + + )B, los elementos de la matriz Bn-1Q nijb n, nos indican la probabilidad de que en n pasos vayamos desde el estado i a Cj o bien es la probabilidad que desde el estado i el proceso entre al Cj en un tiempo n o antes es decir ( lo podemos ver como X0 = i queremos llegar a Xn = Cj )

nijb = Pi { Tj < n +1}

entonces la probabilidad de que alcancemos a Cj a partir del estado transitorio i en algún momento sería

Pi { Tj < ∞ } = Plimn→∞

i { Tj ≤ n +1 }

= limn→∞

1n ijb +

Blimn→∞

n+1 = limn→∞ k 0

n

=

∑ kQ B

= k 0

∞

=

∑ kQ B

=SB

luego entonces si i es transitorio, fik = (sb)ij , para todo k ∈ Cj , por el teorema anterior podemos definir


gij = fik = (sb)ij

como la probabilidad de alcanzar el conjunto Cj desde el estado transitorio i. De todo lo anterior podemos concluir que para cada estado transitorio i y una clase recurrente Cj, la probabilidad de alcanzar el conjunto Cj desde el estado transitorio i, es

gij = fik = (sb)ij para todo k en Cj . Lema 2.1. Sea i un estado transitorio desde el cuál únicamente un número finito de estados transitorios puede ser alcanzado. Además, supóngase que hay únicamente una clase C de estados recurrentes, que puede ser alcanzado desde i. Entonces fij = 1 para todo j ∈ C. Demostración.

Al existir únicamente un conjunto de estados recurrentes que son alcanzados a partir del conjunto de estados transitorios D, tenemos que la matriz B se convierte en un vector columna, por definición , es decir, si 1 es el vector columna

formado por puros unos, por la definición

1ijj E

p∈

=∑

P 1 = 1

tenemos que, B + Q1 = 1 , o bien B = 1 – Q1 , entonces,

Bn =(I + Q + 2Q + + )B n-1Q

=(I + Q + Q2 + + Q )( 1 – Q1 ) n-1

=I 1+ Q1 + 1+ + Q 1 – Q1 – 1– – Q 1 2Q n-1 2Q n

= 1 – 1 nQ

Así si tomamos el límite

limn→∞

Bn = ( 1 – Q 1 ) limn→∞

n

dado que < ∞, entonces = 0, entonces el límite anterior nos queda

como B

∑ nQ limn→∞

nQ

limn→∞

n = 1 , obtenemos


gij = fik = 1, para todo k ∈ C.

Ejemplo 2.7. Ahora calculemos la matriz F de la cadena del ejemplo 2.6, si i, j son recurrentes y pertenecen a la misma clase entonces fij = 1, cuando pertenecen a diferentes clases fij = 0, si i es recurrente y j es transitorio fij = 0. Si i, j son transitorios usamos los resultados de R para calcular

fjj = 1 – 1

jjr, fij = ij

jj

rr

por ejemplo sea i = 6, j = 7, del ejemplo 2.6 r67 = 7566

y r77 = 7566

luego entonces

f67 = 1. Y usando el lema 2.1 para el caso en que i es transitorio y j es recurrente fij = 1, así

F =

0.472 1 0.20

0.12 0.12 0.20

0.60 0.60 0.12

1 1 11 1 1 0 01 1 1

1 10 0

1 1

1 1 11 1 1 01 1 1

2.3 Distribución estacionaria. Definición 2.18. Sea {Xn; n ∈ T , n ≥ 0} una cadena de Markov, con matriz de transición P, π es una distribución estacionaria con respecto a P o {Xn; n ∈ T , n ≥ 0} si, y sólo si

1) π es una distribución.

Capítulo 2 2.3. Distribución estacionaria 51 ________________________________________________________________________________

2) π =π P, es decir, π( j ) = ∑ para toda j ∈ E. ( ) iji E

i pπ∈

Teorema 2.22. Si {Xn; n ∈ T , n ≥ 0} es una cadena de Markov irreducible, aperiódica entonces todos los estados son recurrentes positivos si, y sólo si el sistema de ecuaciones lineales

π( j ) = , para toda j ∈ E ( ) iji E

i pπ∈∑

( )

j Ejπ

∈∑ = 1

tiene una solución π. Si existe una solución π esta es positiva, π ( j ) > 0 para toda j, π es única y

π ( j ) = para todo i, j ∈ E. lim nijn

p→∞

Demostración.

Si j es recurrente positivo y aperiódico por el teorema 2.12

lim nijn

p→∞

= τ ( j ) >0

ya que para todo i, j ∈ E, fij = 1, y

( )j E

jτ∈∑ = = = 1 lim n

ijnj Ep

→∞∈∑ lim n

ijn j Ep

→∞ ∈∑

τ es una distribución.

Sea = 1n

ijp + nik kj

k Ep p

∈∑

τ ( j ) = 1lim nijn

p +

→∞

= lim nik kjn k E

p p→∞ ∈

∑

= lim nik kjnk E

p p→∞∈

∑

= ( ) kjk E

k pτ∈∑


p

τ = τP

Todavía nos hace falta revisar su unicidad, sea π otra solución

π =π P = π PP

= π PPP

= π nP

π( j ) = para todo j ∈ E ( ) n

iji E

i pπ∈∑

= lim ( ) nijn i E

i pπ→∞ ∈

∑

= ∑ ( ) lim nijni E

i pπ→∞∈

= ∑ ( ) ( )i E

i jπ τ∈

=τ ( j ) ( )i E

iπ∈∑

= τ ( j )

Ahora demostremos la otra parte del teorema, es decir, hay que probar que la existencia de una solución π al sistema de arriba implica que todos los estados son recurrentes positivos. Sea π una distribución estacionaria

π = π P = π Pn

π( j ) = para todo j ∈ E. ( ) nij

i Ei pπ

∈∑

Supongamos que la cadena no es recurrente positiva por el teorema 2.12,

lim nijn

p→∞

= 0

entonces

π( j ) = = = 0 lim ( ) nijn i E

i pπ→∞ ∈

∑ ( ) lim nijni E

iπ→∞∈

∑


esto significa que = 0, esto es una contradicción, por tanto los estados son

recurrentes positivos.

( )j E

jπ∈∑

Ejemplo 2.8. Sea X una cadena de Markov, con matriz de transición

P=

0.2 0.8 0 0 0 0 00.7 0.3 0 0 0 0 00 0 0.3 0.5 0.2 0 00 0 0.6 0 0.4 0 00 0 0 0.4 0.6 0 00 0.1 0.1 0.2 0.2 0.3 0.1

0.1 0.1 0.1 0 0.1 0.2 0.4

podemos ver que los estados {0, 1} forman una clase de conjunto de recurrencia C1, los estados {2,3,4} forman otra clase de conjunto de recurrencia C2, ambos conjuntos está formado por estados aperiódicos y los estados {5, 6} son transitorios. Calculemos la matriz , para calcularla usamos el teorema 2.12.2 = flim n

n→∞P lim n

ijnp

→∞ijπ ( j ) y el resultado

del teorema 2.22. Del primer conjunto calculemos su probabilidad cuando n →∞, calculemos , donde 1lim n

n→∞P

P1 =

0.2 0.80.7 0.3

para calcularla tenemos que resolver el siguiente sistema de ecuaciones

π(0) = 0.2π(0)+0.7π(1)

π(1) = 0.8π(0)+0.3π(1)

π(0) + π(1) = 1

de la primera ecuación π(0) = 0.70.8

π(1), sustituyendo en la última ecuación

0.70.8

π(1)+π(1) = 1

54 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ de aquí

π(1)= 715

y π(0) = 815

para el otro conjunto de estados recurrentes tenemos la siguiente matriz de transición

P2 =

0.3 0.5 0.20.6 0 0.40 0.4 0.6

tenemos que resolver el siguiente sistema de ecuaciones

π(2) = 0.3π(2) + 0.6π(3)

π(3) = 0.5π(2) +0.4π(4)

π(4) = 0.2π(2) + 0.4π(3)+0.6π(4)

y además

π(2) + π(3) + π(4) = 1

de la ecuación uno y dos

π(3) = 76

π(2) y π(4) = 52

π(3)– 54

π(2)

ya que los estados son recurrentes y aperiódicos, sabemos que el sistema tiene solución

única, hacemos π(2)=1, obtenemos que π(3)= 76

y π(4)= 106

, sumamos las tres

cantidades π(2) + π(3) + π(4) = 236

y luego las dividimos entre la suma para hacer que

se cumpla la última condición, obtenemos que π(2)= 623

, π(3) = 723

y π(4)= 1023

, para

calcular por completo la matriz , nos hace falta calcular la matriz F, para esto

calculemos primero R,.

lim n

n→∞P

Q = 0.3 0.10.2 0.4


tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes) es la inversa de I – Q

S = (I – Q )-1 = = ,

10.7 0.10.2 0.6

−−−

1.5 0.250.5 1.75

así tenemos que la matriz R para esta cadena de Markov es

R =

0 0

0 0

1.5 0.250.5 1.75

∞ ∞

∞ ∞

∞ ∞ ∞ ∞ ∞ ∞

∞ ∞ ∞

∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞ ∞

Ahora calculemos la matriz F,

G = SB = = 1.5 0.250.5 1.75

0.1 0.50.2 0.2

0.2 0.80.4 0.6

entonces,

F =

1 13 7

313 7

1 10 0

1 1

1 1 10 1 1 1

1 1 1

0.2 0.2 0.8 0.8 0.80.4 0.4 0.6 0.6 0.6

0

ahora si, ya podemos obtener P∞,


lim n

n→∞P =

7 815 157 815 15

6 7 1023 23 236 7 1023 23 236 7 1023 23 23

1.4 1.6 4.8 5.6 815 15 23 23 232.8 3.2 3.6 4.2 615 15 23 23 23

0 0

0 0

0 00 0

Veamos ahora que ocurre en caso de que los estados sean periódicos.

Teorema 2.23. Sea X una cadena de Markov, irreducible con estados periódicos y recurrentes con periodo δ, entonces los estados pueden ser divididos en δ conjuntos disjuntos B1, B2, … ,Bδ tal que pij =0 a no ser que i ∈ B1 y j ∈ B2 o i ∈B2 y j ∈ B3 o … o i ∈Bδ y j ∈B1. Demostración

Sin pérdida de generalidad tomemos los estados 0 y j, dado que la cadena es irreducible 0→ j y j → 0, es decir, existen enteros r, s tal que

0r

jp >0 y β= >0 0sjp

00m sp + = = β 0

mjp 0

sjp 0

mjp

como el estado 0 tiene periodo δ, >0 si m + s = kδ, si >0 entonces m =kδ –s

se cumple que >0, si m = α, α +δ, α + 2δ,… . 00m sp +

0m

jp

0m

jpDefinimos para todo j ∈ Bα ,como el conjunto de todos los estados que se

pueden alcanzar desde 0 sólo en los pasos α, α +δ, α + 2δ, … y a Bα+1 el conjunto de todos los estados que se pueden alcanzados desde 0 en los pasos α +1, α +δ +1, α+2δ+1, …. Entonces pij = 0 excepto si, i ∈Bα y j ∈Bα+1 para α = 1, 2, …, δ.

Teorema 2.24. Sea P la matriz de transición de una cadena de Markov irreducible con estados periódicos, con periodo δ y B1, B2, … , Bδ definidos como el teorema anterior.


Entonces en la cadena de Markov con matriz de transición P = Pδ , las clases B1, B2, … , Bδ son conjuntos cerrados e irreducibles de estados aperiódicos. Demostración.

En δ pasos la cadena se mueve de B1 a B1, de B2 a B2 , …, de Bδ a Bδ, veamos esto paso por paso, en un paso sólo podemos llegar al conjunto inmediato a él, esto es, pij =0 a no ser que i ∈ B1 y j ∈ B2 o i ∈B2 y j ∈ B3 o … o i ∈Bδ y j ∈B1, en dos paso ocurriría lo siguiente, =0 a no ser que i ∈ B2

ijp 1 y j ∈ B3 o i ∈B2 y j ∈ B4 o … o i ∈Bδ

y j ∈B2, en δ–1 pasos, ocurriría lo siguiente, =0 a no ser que i ∈ B1ijpδ −

1 y j ∈ Bδ o

i∈B2 y j ∈ B1 o … o i ∈Bδ y j ∈Bδ–1, entonces como podemos ver en δ pasos, =0 a no ser que i ∈ B

ijpδ

1 y j ∈ B1 o i ∈B2 y j ∈ B2 o … o i ∈Bδ y j ∈Bδ, como se asevero al inicio, la matriz de transición en δ pasos la podemos poner de la siguiente forma,

δP = P =

1

2

P 0

P

0 Pδ

analicemos que ocurre con los estados de esta matriz de transición, podemos ver que cada una de las clases de conjuntos forman un conjunto cerrado e irreducible, además son aperiódicos, > 0 para i, j ∈ Bijp

α α, recordemos que ya no trabajamos con la matriz

P, ahora estamos trabajando sobre la matriz P .

A partir de la matriz P

j Eπ

∈∑

podemos calcular n → ∞, usando el teorema 2.22, podemos ver también que = δ . Hay que ver que no tiene límite cuando

n →∞ , excepto, cuando para todos los estados p

( )j nP

ij = 0 , sin embargo los límites de existen cuando n→∞, pero dependen del estado inicial i. Con el siguiente

teorema terminaremos con el estudio de los estados periódicos, sólo se demuestra la primera parte del teorema, la otra parte de la demostración se puede consultar en Çinlar [ 1975, p. 163].

δn +mP

Teorema 2.25. Sea P y Bα, definidos como en el teorema anterior y supóngase que la cadena es positiva. Entonces para m ∈ {0, 1, … , δ–1} ,


δlim n m

ijnp δ +

→∞=

( ) si B , B , (mod )

0 cualquier otro caso

j i j mα βπ β α∈ ∈ = +

π( j ), j ∈ E, son la única solución de

π( j ) = , = δ , j ∈ E. ( ) iji E

i pπ∈∑ ( )

j Ejπ

∈∑

Demostración.

Del teorema 2.24 la cadena correspondiente a =δP P , tiene δ clases de conjuntos, de estados recurrentes positivos y aperiódicos. Sea π1, π2, …,πδ, la distribución límite correspondiente de B1, B2, … Bδ y π( j ) = πα( j ) si j ∈ Bα. Sea m ∈{ 0, 1, … , δ–1} un valor fijo, supóngase que i ∈ Bα, y sea β =α +m(modδ ). Tenemos,

n mijp δ + = m np

ik kjk

p p∑

= Bsi B

0 cualquier otro c

m nik kj

kp p j

β

δβ

∈

∈

∑aso

δ

dado que =0 excepto si k ∈ Bmikp β , y para k ∈ Bβ , = 0 a no ser que j ∈ Bn

kjp δβ

también. Para k, j ∈ Bβ , = π( j ), independiente de k, tomando el límite en

ambos lados hemos demostrado que

lim nkjn

p δ

→∞

lim n mijn

p δ +

→∞=

( ) si B , B , (mod )

0 cualquier otro caso

j i j mα βπ β α∈ ∈ = +

Con este último teorema y junto con el teorema 2.22 podemos enunciar el siguiente resultado. Corolario 2.25.1. Sea X una cadena de Markov, y consideremos el sistema de

ecuaciones lineales


π( j ) = , j ∈ E ( ) iji E

i pπ∈∑

Entonces todos los estados son recurrentes no nulos o positivos, si, y sólo si, existe una solución π con

( )j E

jπ∈∑ = 1

y π( j ) >0, para cada j ∈ E, y no hay otra solución.

Hace falta completar nuestro estudio acerca de la relación de los tipos de estados y el límite de Pn cuando n → ∞. Si la cadena de Markov es finita, y ésta contiene estados transitorios, hay un momento en el que la cadena de Markov sale de los estados transitorios, pero si no es finita puede ocurrir que nunca salga de ellos.

Sea X una cadena de Markov, con matriz de transición P, A es el conjunto de estados transitorios de la cadena, tal que A ⊂ E, y sea Q la matriz que se obtienen a partir de P, al eliminar todos los renglones y columnas correspondientes a los estados recurrentes, es decir, Q tienen elementos

qij = pij con i, j ∈ A. Q2 la obtenemos de la siguiente forma,

2ijq =

1

1

ii iji A

q q∈∑

y en general Q sería, n

nijq =

1 1 2

1 2

n

n

ii i i i ji A i A i A

q q q∈ ∈ ∈∑ ∑ ∑

= Pi { X1 ∈ A, X2 ∈ A, …, Xn–1 ∈A, Xn = j }

= Pnij

j Aq

∈∑ i { X1 ∈ A, X2 ∈ A, …, Xn–1 ∈A, Xn ∈ A }

Si n crece, decrece porque n

ijj A

q∈∑

{X1 ∈ A, X2 ∈ A, …, Xn–1 ∈A } ⊇ { X1 ∈ A, X2 ∈ A, …, Xn–1 ∈A, Xn ∈ A }

60 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ Sea

f( i ) = = Plim nijn j A

q→∞ ∈

∑ limn→∞

i { X1 ∈ A, X2 ∈ A, …, Xn–1 ∈A, Xn ∈ A }

la probabilidad de que la cadena de Markov nunca salga de A, dado que empezó en i.

Teorema 2.26. f es la solución máxima de

h = Qh 0 ≤ h ≤ 1,

además f = 0 o f( i )=1. supi A∈

Demostración.

Sea fn( i ) = = Pnij

j Aq

∈∑ i {X1 ∈ A, X2 ∈ A, …, Xn–1 ∈A, Xn ∈ A }

f1 ≥ f2 ≥ f3 ≥

y

f = flim

n→∞n

tenemos que

fn+1( i ) = f ( )ik nk A

q k∈∑

tomando el límite

f( i ) = f( )ikk A

q k∈∑

luego entonces f es una solución a h = Qh, ahora probemos que es una solución máxima. Sea h otra solución, h ≤ 1

h = Qh entonces h = Q h ≤ Q 1 = fn nn

haciendo n → ∞ , h ≤ f, por tanto f es una solución máxima.


Sólo hace falta probar la última parte, para f = 0 es trivial, sea c = s f( i ) upi A∈

f = Q f ≤ c Q 1 ≤ cfn n

n para toda n, tomando límite por ambos lados f ≤ cf entonces 1 ≤ c, por lo tanto su f( i ) = 1. p

i A∈

Teorema 2.27. Sea X una cadena de Markov irreducible con matriz de transición P, y Q es la matriz que obtenemos a partir de P al eliminar la fila y columna k, k ∈ E. Todos los estados son recurrentes, si, y sólo si, la única solución de h = Qh es h = 0. Demostración.

Sea A = E–{ k }, como la cadena es irreducible de k podemos ir a A, y sea

f( i ) = Plimn→∞

i { X1 ∈ A, X2 ∈ A, …, Xn–1 ∈A, Xn ∈ A }

Si h = 0 es la única solución a h = Qh, f( i ) = 0 para todo i, esto significa que salimos del conjunto A y regresamos a k, entonces k es recurrente y como la cadena es irreducible todos los estados son recurrentes.

Ahora, si los estados son recurrentes significa que la probabilidad de quedarnos en A es cero ya que tenemos que regresar a k, por lo tanto f( i ) = 0 para todo i, lo que es lo mismo h = 0.

A continuación veremos como clasificar los estados en base a calcular . limn→∞

nP

Ejemplo 2.9. Sea X una cadena de Markov con espacio de estados E = {0, 1, …} y matriz de transición

P =

0 1 0 0 00 0 0

0 0 00 0 . . .0 0 0 . . .0 0 0 0 . .

q pq p

donde 0 < p < 1, q = 1 – p. Está cadena es llamada caminata aleatoria, si está en la posición i en el n-ésimo paso, el siguiente paso es a la posición i–1 o a i+1, con

62 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ probabilidad q y p respectivamente, excepto cuando está en i =0 es seguro que va a 1. Todos los estado pueden ser alcanzados uno del otro, lo que significa que la cadena es irreducible, si empezamos en el estado cero podemos regresar a él, en al menos 2 pasos, es decir el estado 0 es periódico con periodo δ = 2, lo que significa que la cadena es periódica con periodo δ = 2, lo que no podemos ver es si los estados son recurrentes positivo o bien transitorios. Para saber como son los estados vamos a emplear la teoría vista en esta sección. Resolvamos primero el sistema de ecuaciones que se obtienen a partir de π = πP, el sistema es el siguiente:

π(0) = qπ(1)

π(1) = π(0) + qπ(2)

π(2) = pπ(1) + qπ(3)

π(3) = pπ(2) + qπ(4)

y así sucesivamente, poniendo a π(1) en términos de π(0) y luego a π(2) en términos de π(0) y así sucesivamente tenemos que

π(1) = 1q

π(0)

π(2) = 1q

1 (0) (0)q

π π

−

= 2p

q π(0)

π(3) = 1q 2 (0) (0)p p

qqπ π

−

=

2

3pq

π(0)

en general tendríamos que

π( j ) = 1q

1jpq

−

π(0) = 1j

jpq

−

π(0) para j = 1, 2, 3, …

Si p < q, entonces pq

< 1 y


0( )

jjπ

∞

=∑ =

1

0

11 (j

j

pq q

π−∞

=

+

∑ 0)

= 1 11

1 pqq

π

+ − (0) = 2q

q p− π(0)

haciendo =1, tenemos que 0

( )j

jπ∞

=∑

π(0) = 2

q pq

− = 1 12

pq

−

(2.1)

Luego entonces para p < q,

π( j ) = 1

1 1 s2

1 1 s2

j

p jq

p p jq q q

−

− =

− ≥

i 0

i 1

(2.2)

por el teorema 2.22. podemos decir que para p < q los estados son recurrentes no nulos o positivos.

Si p ≥ q la serie converge únicamente si π(0) = 0, sabemos que para p ≥ q los estados no son recurrentes positivos, entonces los estados deben ser, recurrentes nulos o transitorios, para distinguir entre estos dos casos usaremos el teorema 2.27, excluyendo de P la fila y la columna del estado cero, obtenemos la siguiente matriz

Q =

0 0 0 00 0 0

0 0 00 0 . . .0 0 0 . . .0 0 0 0 . .

pq p

q p

el sistema de ecuaciones que se obtiene de h = hQ es:

h(1) = ph(2)

h(2) = qh(1) + ph(3)

h(3) = qh(2) + ph(4)


en general tenemos h( i ) = qh( i – 1) + ph( i + 1), de h( i ) = qh( i ) + ph( i ), sustituimos en la anterior ecuación

p(h( i +1) – h( i )) = q (h( i )– h( i – 1)), i = 2, 3, …

y de la primera ecuación

p(h(2)–h(1)) = qh(1)

sustituimos para obtener i = 2,

h(3) – h(2) = qp

(h(2)– h(1)) = 2

qp

h(1)

ahora lo hacemos para i = 3

h(4) – h(3) = 2

qp

(h(2)– h(1)) =

3qp

h(1)

y así sucesivamente iteramos sobre i, obtenemos que

h( i +1) – h( i ) = 1i

qp

−

(h(2)– h(1)) = i

qp

h(1) , i = 2, 3, …

luego entonces,

h( i +1) = (h( i +1) – h( i ))+(h( i ) – h( i –1 )) + +(h(2)– h(1))+h(1)

= 1

1i i

q q qp p p

− + + +

+ h(1)

la solución a h=hQ es de la siguiente forma

h( i ) = 1

1i

q qp p

− + + +

c , i = 1, 2, 3, …

donde c es una constante.


Si p = q, entonces tenemos que h( i ) = ic , para toda i ≥ 1 , la única forma de que para toda i se cumpla, 0 ≤ h( i ) ≤ 1 es que c =0. Por tanto si p = q, la única solución de h = hQ es h = 0, por el teorema 2.27 significa que los estados son recurrentes y como vimos ya anteriormente no son recurrentes no nulos, lo que significa los estados son recurrentes nulos cuando p = q.

Si p > q, entonces 0 < qp

< 1, la suma de lo que está dentro de los paréntesis

sería

S =1

1i

q qp p

−

+ + + =

1

1

iqpqp

−

−

tomando a c = 1 – qp

, se cumple que 0 ≤ h( i ) ≤ 1, para toda i = 1, 2, 3, … . Tenemos

que

h( i ) = 1 – i

qp

, para toda i = 1, 2, 3, …

entonces en este caso por el teorema 2.27 los estados son transitorios.

En este ejemplo ya vimos como clasificar los estados, ahora calculemos la distribución límite para la cadena. Para p < q, ya vimos que los estados son recurrentes no nulos y periódicos con periodo δ = 2, tenemos dos clases de conjuntos B1={ 0, 2, 4,…} y B2 = {1, 3, 5, …}, ya resolvimos el sistema π = πP, la única variante que habría

que hacer, es que según el teorema 2.25 = 2 y no =1 como lo

habíamos considerado, así de lugar de tener (2.1) tendríamos 0

( )j

jπ∞

=∑

0( )

jjπ

∞

=∑

π(0) = q pq− = 1 p

q−

y de lugar de tener (2.2) tendríamos


π( j ) = 1

1 s

1 1 sj

p jq

p p jq q q

−

− =

− ≥

i 0

i 1

luego entonces la distribución invariante para B1 y B2 es:

( π(0), π(2), π(4), …) = 3

2 41 1, , ,p p pq q q

−

…

y

( π(1), π(3), π(5), …) = 2 4

3 511 , , ,p p p

q q q q

−

…

por tanto tendríamos que

limn→∞

2nP = 1 pq

−

3

2 4

2 4

3 5

3

2 4

2 4

3 5

1

1

1 0 0 0

0 0 0

1 0 0 0

0 0 0

. . . . . .

. . . . . .

. . . . . .

p pq q

p pq q q

p pq q

p pq q q

y usando el teorema 2.25, obtenemos también

limn→∞

2n+1P = 1 pq

−

2 4

3 5

3

2 4

2 4

3 5

3

2 4

1

1

0 0 0

1 0 0 0

0 0 0

1 0 0 0

. . . . . .

. . . . . .

. . . . . .

p pq q q

p pq q

p pq q q

p pq q

2.4 Ejercicios. Ejemplo 2.10. Un artículo se almacena en una bodega de tal manera que se pueda satisfacer la demanda del artículo, la bodega puede almacenar hasta S artículos, si hay sm artículos entonces se llena la bodega hasta S, si la cantidad de artículos está entre [sm+1,S] no se hace nada, la demanda de artículos en la semana n es de Dn, y suponemos que {Dn} son variables aleatorias independientes e idénticamente distribuidas e independientes de la cantidad inicial X0 de artículos, la demanda de k unidades en la semana sucede con una probabilidad pk y consideremos a Xn como el nivel de la bodega al principio de la semana, cada semana se realiza la inspección en la bodega y en caso de que se requiera llenar la bodega, esta se llenará inmediatamente para iniciar la semana n con la bodega llena si es necesario. Tenemos el siguiente conjunto de estados E = {S, S-1, …, sm+1}, es decir, los valores que puede asumir el proceso en la semana n + 1, es;

Xn+1 = n n n n

n n

X D X D sS X D

− − − ≤

m

ms>

Es claro que Xn+1 únicamente depende de Xn y Dn es independiente de los niveles de la bodega.

La probabilidad de pasar de tener Xn = i artículos en la semana n en la bodega a tener Xn+1 = j artículos la calculamos de la siguiente manera: Para i ≠ S:

Si sm + 1 ≤ j ≤ i entonces tenemos que Dn = Xn – Xn+1 = i – j, por tanto pij = pi – j y para Xn+1 = j = S tenemos que, Xn – Dn ≤ sm o bien Xn – sm ≤ Dn , esta ocurra con la siguiente probabilidad

P{ i – sm ≤ Dn } = m

kk i s

p≥ −∑

Para i = S :

Si sm + 1 ≤ j ≤ S – 1 entonces tenemos que Dn = Xn – Xn+1 = S – j, por tanto pij = pS– j y para Xn+1 = j = S pueden pasar dos cosas si hay demanda, tenemos que, Xn

– Dn ≤ sm o bien Xn – sm ≤ Dn, esto ocurre con la siguiente probabilidad

P{ S – sm ≤ Dn } = m

kk S s

p≥ −∑


j i

S

j S

y la otra es que no tengamos demanda en toda la semana y esto ocurre con probabilidad p0 ambos eventos son disjuntos, entonces la probabilidad de que Xn+1 = S dado que Xn = S es :

p0 + m

kk S s

p≥ −∑

Las probabilidades de transición del estado i al estado j lo podemos poner de la siguiente forma: Si i ≠ S:

pij =

para

param

i j m

kk i s

p s

p j−

≥ −

≤ ≤

=

∑ Si i = S:

pij =

0

para 1

param

S j m

kk S s

p s

p p j S−

≥ −

≤ ≤ −

+ =

∑

Por construcción todos los estados se intercomunican, todos son accesibles uno del otro, tenemos que E < ∞, cerrado e irreducible y los estados son por tanto recurrentes positivos, esto es por el teorema 2.19. Ejemplo 2.11. A Mark Goldman, vicepresidente de NBS TV, se le encargó determinar una política de programación para la cadena. La NBS compite para captar televidentes con las cadena ABS y CBC. Al principio de cada temporada cada una de las cadenas intenta captar una mayor cantidad de televidentes, incluyendo nuevos programas y volviendo a programar otros.

Goldman se encontraba en problemas por que la NBS había tenido un mal desempeño en las últimas dos temporadas con el formato de sus programas. También habían surgido críticas porque la cadena tendía a cancelar sus programas con mucha rapidez si el número de televidentes era inicialmente bajo. Como resultado de las críticas se había decidido no cancelar ningún programa hasta que fuera evidente que seguiría teniendo un número reducido de televidentes.

Dado que los televidentes normales con bastante frecuencia tenderían a cambiar de cadena al principio de cada temporada con el objeto de ver programas nuevos o de

Capítulo 2 2.4. Ejercicios 69 ________________________________________________________________________________

volver a ver programas antiguos, Goldman ha decidido esperar a que se estabilice la proporción de televidentes que ven un programa determinado, para esto decidió estudiar el periodo en el que cada cadena estará ofreciendo un programa nuevo para que determine cuáles serán las proporciones de televidentes finales. Si se pueden predecir estos valores estará en posibilidades de tomar una decisión con respecto a un nuevo programa “X” de la NBS, sin tener que esperar hasta que las preferencias de los televidentes se vuelvan obvias a través de los datos de los “ratings” o recuentos de tasa de audiencia.

Goldman considera que la selección de un televidente se ve influenciada más que nada por el programa más reciente que ha observado en ese periodo y que las proporciones finales de la realidad son valores de estados estacionarios, con base en esto, decide utilizar un enfoque de cadena de Markov para abordar el problema. Considera que el problema de selección de los televidentes se ajusta a las consideraciones de este modelo con suficiente cercanía como para permitir aplicar el modelo al problema.

El grupo de trabajo de Goldman ha elaborado la siguiente matriz de transición

utilizando datos recopilados en años anteriores y referentes a la forma en que los televidentes tienden a cambiar de una cadena a otra, semana a semana, para el tipo de programas que se considera:

NBS CBC ABS

NBS 0.2 0.4 0.4CBC 0.3 0.3 0.4ABS 0.2 0.2 0.6

En esta matriz, los valores que se muestran son la fracción de televidentes que

verán el programa de cada cadena durante esta semana, dada la cadena que vieron la semana pasada. También se supone que todos los televidentes que vieron la televisión la semana pasada la verán esta semana.

Calculemos π = πP, por definición π( j ) = , obtenemos ( ) ij

i Ei pπ

∈∑

π(1) = 0.2 π(1) + 0.3 π(2) + 0.2 π(3)

π(2) = 0.4 π(1) + 0.3 π(2) + 0.2 π(3)

π(3) = 0.4 π(1) + 0.4 π(2) + 0.6 π(3)

y además π(1) + π(2) + π(3) = 1


donde π(1) es la proporción de televidentes que se mantendrán viendo la cadena NBS, π(2) es la proporción de televidentes que se mantendrán viendo la cadena CBC y π(3) es la proporción de televidentes que se mantendrán viendo la cadena ABS. Al resolver el anterior sistema de ecuaciones encontramos que

π(1) = 0.227

π(2) = 0.273

π(3) = 0.5

lo que significa que una vez que los televidentes se han decidido con respecto a los programas que les gusta ver, 22.7 % observará lo que la NBS le ofrece. Ejemplo 2.12. Consideremos nuevamente el ejemplo 2.1 , en el cual se consideraba que la posibilidad de que el día de mañana llueva sólo depende de la situación climatológica de hoy y no de días previos, además supusimos que si llueve hoy la probabilidad de que mañana llueva es α y si hoy no llueve la probabilidad de que llueva mañana es β, esto quiere decir que si hoy llueve entonces mañana no lloverá con probabilidad 1 – α y si hoy no llueve la probabilidad de que mañana tampoco sería 1 – β, consideramos que el estado 0 es que llueva y al estado 1 que no llueva, luego entonces por la definición 2.18 π (0) y π (1) están dadas por

π (0) = α π (0) +βπ (1)

π (1) = (1 – α ) π (0) +(1 – β )π (1)

con π (0) + π (1) = 1 π (0)(1 – α ) = β π (1)

Haciendo π(0) = 1, tenemos que π (1) = 1 αβ− , ambas deben sumar uno, sumamos las

dos y nos da 1β αβ

+ − , luego para que nos sumen uno las dividimos entre su suma,

nos queda,

π (0) = 1

ββ α+ −

y


π (1) = 11

αβ α−

+ −

que es la solución a las tres ecuaciones que tenemos arriba.

Si consideramos que α = 0.7 y β =0.4 (como en el ejemplo 2.4), tenemos que la

probabilidad estacionaria de que llueva, es π (0) = 47

= 0.571 .

Ejemplo 2.13. Un apostador tiene $u , en cada juego que apuesta tiene la probabilidad p de ganar $1 o perder $1 con probabilidad 1 – p , el jugador se retirará cuando se quede sin dinero ó bien cuando haya alcanzado a obtener en total $N. Si consideramos Xn como el dinero que tienen el apostador después de la n-ésima vez que apuesta, Xn claramente es una cadena de Markov, ya que lo que va apostar únicamente dependerá del dinero que tenga actualmente y no de lo que haya jugado antes, Xn tienen espacio de estados E = { 0, 1 , 2, … , N } , sus probabilidades de transición son

pij = p con j = i +1 , i = 1, 2, … , N – 1

pij = 1 – p con j = i – 1, i = 1, 2, … , N – 1 y

p00 = pNN = 1

Esta cadena de Markov la podemos separar en tres clases {0}, { 1, 2, …, N – 1}, y {N}, la primera y la última (el estado 0 y N ) son recurrentes y la otra es una clase de estados transitorios, esto significa que en algún momento dado el apostador o bien se queda arruinado o bien llega a ganar $N y se retira del juego.

Sea θi la probabilidad de empezar en i y que se alcance en algún momento el estado N, es decir, θi = Pi{TN < ∞} = fiN , es claro que una vez que entremos al estado 0 no podremos llegar nunca a N, por tanto θ0 = 0, para obtener θ para el resto de los estados usaremos el teorema 2.8 que nos dice que

fi N = piN + { }

ik kNk E N

p f∈ −∑

si estamos en el estado i, únicamente podemos ir al estado i + 1 ó al estado i – 1 y la única forma de que piN ≠ 0 es que i = N – 1 pero por ser N absorbente tenemos que fNN = 1 , luego entonces tenemos que:

θi = fiN =pi,i+1fi+1,N + pi,i –1 fi –1,N para i = 1, 2, … , N – 1

72 Cadenas de Markov Capítulo 2 ________________________________________________________________________________ o bien

θi = pi,i+1θi+1 + pi,i –1 θi-1

θi = pθi+1 + q θi-1

dado que p + q = 1 podemos ponerlo como sigue

pθi + qθi = pθi+1 + q θi-1 entonces

θi+1 – θi = qp

( θi – θi-1 )

dado que θ0 = 0, tenemos el siguiente sistema de ecuaciones

θ2 – θ1 = qp

( θ1 – θ0 ) = qp

θ1

θ3 – θ2 = qp

( θ2 – θ1 ) =qp

qp

θ1 =2

qp

1 θ

θi+1 – θi = qp

( θi – θi-1 ) =1i

qp

−

θ1

θN – θN – 1 = qp

( θN – 1 – θN – 2 ) =1N

qp

−

θ1

Ahora sumando las primeras i –1 ecuaciones, nos da

θi – θ1 = θ1

2 1iq q qp p p

− + + +

nos da que


θi =

( )( ) 1

1

1 1si 1, o bien21

1si 1, o bien2

iqp qP p

q pp

qiP pp

−

≠ ≠ − = =

Ahora usando el hecho de que θN =1, obtenemos

θ1 =

( )( )

1 1si 1, o bien21

1 1si 1, o bien2

N

qp q p

pqp

q pN p

−≠ ≠

− = =

sustituyendo θ1 en θi nos queda como,

θi =

( )( )

1 1si 1, o bien21

1si 1, o bien2

i

N

qp q p

pqp

i q pN p

−

≠ ≠−

= =

si hacemos que N → ∞ tendríamos que θi tendería a

θi =( ) 11 si

210 si2

iq pp

p

− >

≤

Así si p > ½, existe la probabilidad de que el apostador llegue a incrementar su fortuna infinitamente, pero si p ≤ ½, esté quedará quebrado.

Francisco Parreño Torres. Problemas de Ampliación de estadística.

PROBLEMAS DE CADENAS DE MARKOV

M1. Obtener el espacio de estados, la distribución inicial y la matriz de probabilidades de

transición de las CMDT homogéneas que se definen a continuación:

a)Un grupo de cuatro niños juega a un juego que consiste en lanzarse una pelota de uno a otro. En

cada momento el niño que tiene la pelota tiene la misma predisposición para lanzar la pelota a

cualquiera de los otros tres niños. Sea X0 la variable que describe el niño que tiene la pelota

inicialmente, y para n ≥1, Xn es el niño que tiene la pelota después del enésimo lanzamiento.

b) Se colocan dos bolas blancas y dos bolas negras en dos urnas de forma que cada urna contenga

dos bolas. En cada extracción se saca al azar una bola de cada urna. Las dos bolas extraídas se

intercambian de urna. Sea X0 el número de bolas blancas que hay inicialmente en la primera urna.

Para n ≥ 1, se define Xn como el número de bolas blancas que hay en la primera urna después de

haberse efectuado n extracciones, y por lo tanto n intercambios.

c) Considérese una partícula que realiza un recorrido aleatorio sobre una circunferencia en la que se

han marcado 4 puntos (representados por 0,1,2 y 3) en el sentido de las agujas del reloj. La partícula

tiene una probabilidad p de moverse al punto de su izquierda y 1-p de moverse al punto de su

derecha(sentido contrario a las agujas del reloj). Sea X0 la posición inicial de la partícula y, para n ≥

1, Xn describe la posición de la partícula después de n movimientos.

d)Una fábrica tiene dos máquinas, de las que sólo utiliza una en cada uno de los periodos de

tiempos considerados. La probabilidad de que se averíe una máquina en un día determinado es p.

Sólo hay un operario encargado de la reparación, que tarda dos días en repara una máquina, el

operario encargado de su reparación no acude a repararla hasta el día siguiente. Sea (Xn, Yn) el par

de variables que describen, respectivamente, el número de máquinas en condiciones de trabajar al

acabar el día n e Yn la variable que describe si el trabajo de este día se ha utilizado en repara una

máquina averiada que no ha sido totalmente reparada o no.

M2. En referencia al problema 1.a, obtener la probabilidad de que después del tercer

lanzamiento la pelota esté en manos del niño

a) Que la tenía al iniciarse el juego.

b) Que la tenía después del primer lanzamiento.

M3. En referencia al problema 1.b, obtener

a)P{Xn=1|X0=1},P{Xn=1}.

Problemas de Cadenas de Markov.

- 1 -


b)P{Xn=1,Xn-1=2, Xn-2=1|X0=1}, E{Xn}, E{Xn|Xn-1=1}

M4. Un petrolero realiza las travesías entre una Plataforma Petrolífera y una refinería y

viceversa de forma interrumpida tardando 12 horas en cada viaje. El barco es propulsado por dos

motores, cada uno de los cuales puede sufrir una avería durante el trayecto con una probabilidad de

0.1. El barco puede navegar con un motor averiado. En este caso, el mecánico de a bordo intenta

reparar el motor averiado, con una probabilidad de éxito de 0.6 en cada travesía. Si se averían los

dos motores, el barco es remolcado a su destino y debe permanecer amarrado en el puerto durante

24 horas (el tiempo de realizar dos viajes) para ser reparado por completo. Inicialmente el barco

navega en perfectas condiciones.

a) Comprobar que el sistema se puede modelizar mediante una cadena de Markov.

Definir los estados de la cadena, hallar la matriz de probabilidades de transición.

b) Clasificar los estados de la cadena y hallar las clases de equivalencia.

M5. Consideremos sucesivos lanzamientos independientes de una moneda con probabilidad p

de salir cara y probabilidad q=1-p de salir cruz. Consideremos el proceso estocástico {Xn, n≥3}

dónde Xn es una variable aleatoria que registra el número total de caras obtenidas en los

lanzamientos (n-2), (n-1) y enésimo de la moneda. Discutir si este proceso estocástico es ó no una

cadena de Markov.

M6. Se realiza una sucesión de experimentos que consiste cada uno de ellos en lanzar una bola

en una de tres cajas. La bola no puede caer fuera de alguna de estas cajas y la probabilidad de que la

bola caiga en cada una de ellas es 1/3. Sea Xn, n≥ 1 la variable aleatoria que describe el número de

cajas no vacías después del enésimo lanzamiento. Obtener la matriz de probabilidades de transición

y la matriz de probabilidades de transición de n pasos de la cadena.

M7. Estudiar los procesos estocásticos definidos por las matrices:

0.4 0.2 0.3

0.6 0.8 0.2

0 0 0.5

P 1 =

0 1/4 0

1 1/4 1/2

0 1/2 1/2

P 2 =


- 2 -


0.4 0 0.4 0.5

0.1 0.5 0.2 0.1

0.5 0.2 0 0.3

P 3 =

0 0.3 0.4 0.1

0.4 0.1 0.6 0.2

0.1 0.2 0 0.4

0.4 0.2 0.2 0.1

P 4 =

0.1 0.5 0.2 0.3

1/4 1/4 1/2

0 1/2 0

3/4 1/4 1/2

P 5 =

M8. Considerar un proceso markoviano con la siguiente matriz de probabilidades de

transición:

1/8 1/2 3/4

1/8 1/4 0

3/4 1/4 1/4

P =

a) ¿Cuál es el tiempo medio de primer paso de 3 a 2?

b) ¿Cuales deberían ser las probabilidades iniciales de estado π 0 = π 1 0 , π 2 0 , π 3 0 para que el proceso entrase en estado

estacionario después de una transición?

M9. Un taller de reparaciones puede efectuar el trabajo A o el trabajo B pero no los dos

simultáneamente; la tarea A requiere 2 días y la B 1 día. Los posibles estados del taller son pues:

1 = ninguna tarea, 2 = primer día de la tarea A

3 = segundo DIA de la tarea A 4 = tarea B

La probabilidad de una nueva demanda de tarea A al principio de cada día es a; la de la

tarea B es b. No hay colas, si el taller está a mitad de ejecución de una tarea A, la llegada de una

nueva demanda se pierde. La única ambigüedad se plantea cuando el taller termina un trabajo al


- 3 -


final de un día y tiene la posibilidad de empezar al día siguiente con una tarea A o una B. Las dos

políticas son posibles:

1) Empezar siempre con una tarea A con preferencia a una B

2) Empezar siempre con una tarea B con preferencia a una A

a) Demostrar que para la política 1 la matriz de probabilidades de transición es:

a 0 a a

0 1 0 0

P =

(1- a) (1- b) 0 (1- a) (1- b) (1- a) (1- b)

b (1- a) 0 b (1- a) b ( 1- a)

b) Encontrar las probabilidades límite de estados para este proceso

c) Encontrar la matriz de probabilidades de transición para la política 2

d) ¿Cual es la relación entre los porcentajes límite de días de desocupación de ambas políticas?

M10. El siguiente proceso de Markov empieza en el estado 1

0 0.4 0

0.5 0 0.2

0.5 0.6 0.8

P =

Encontrar las probabilidades de que:

a) El proceso esté en el estado 3 después de tres transiciones

b) Después de la tercera transición desde el estado 3 hasta el 2 las dos

transiciones siguientes sean 2→ 1 → 3 o 2→ 3 → 3 c) El proceso entre en el estado 2 exactamente una vez en las tres primeras transiciones

d) El proceso realice la transición 1 exactamente una vez en las tres primeras

transiciones

→ 2

e) El número esperado de veces que el proceso entrará en el estado 2 durante

las tres primeras transiciones.

M11. Supongamos que la probabilidad de que mañana llueva si hoy está lloviendo es 0.6, y que

la probabilidad de que mañana haga buen tiempo si hoy hace buen tiempo es 0.4.

a) Determinar la matriz de probabilidades de transición de la cadena de

Markov correspondiente.

b) Hallar la distribución de probabilidad del estado estacionario.


- 4 -


M12. Determinar las clases de las siguientes cadenas de Markov y decir si son o no recurrentes

0 1 0 0

0 0 1 1

1/3 0 0 0

a)

2/3 0 0 0

1 0 0 1/2

0 1/2 1/2 0

0 1/2 1/2 0

b)

0 0 0 1/2

M13. Consideremos el siguiente juego: un jugador apuesta una unidad en cada partida. Tiene

una probabilidad p de ganar y q=1-p de perder. seguirá jugando hasta que se arruina o alcanza

una fortuna de T unidades.

Sea Xn la fortuna del jugador en la enésima partida.

X n+1 =

Xn + 1 con probabilidad p

Xn - 1 con probabilidad q = 1 - p 0 < Xn < T

Xn+1 = Xn Xn = 0 ó T

X n es una cadena de Markov. Supongamos que las sucesivas partidas del juego son

independientes y que la fortuna inicial del jugador es X0

a) Determinar la matriz de probabilidades de transición de 1 paso de la

cadena de Markov

b) Hallar las clases de la cadena de Markov

M14. Supongamos que una red de comunicaciones transmite dígitos binarios 0 o 1. Al recorrer

la red, existe una probabilidad q de que el dígito binario se reciba de forma incorrecta en el siguiente

paso. Si X0 denota un dígito binario que entra en el sistema, X1 el dígito recibido después de la

primera transición, X2 el dígito recibido después de la segunda transición, ... Xn , entonces es una

cadena de Markov.

Hallar la matriz de probabilidades de transición y la distribución de probabilidad del

estado estacionario.

M15. Considerar la siguiente política (k,Q) de gestión de inventarios. Sean D1,D2,... las

demandas de un producto en los períodos 1,2,...., respectivamente. Si la demanda durante un

periodo excede el número de items disponibles, la demanda insatisfecha es retenida, de manera que

se satisface cuando llega el siguiente pedido de reposición del inventario. Denotemos por Zn


- 5 -


(n=0,1,2,...) la cantidad de inventario disponible menos el número de unidades retenidas antes de

efectuar un pedido de reposición de inventario al final del periodo n (Z0=0). Si Zn es cero o

positivo, no se retienen órdenes. Si Zn es negativo, entonces -Zn representa el número de unidades

de demanda retrasada y no queda inventario disponible. Si al principio del periodo n, Zn<k=1, se

efectua un pedido de reposición de 2m (Qm en el caso general) unidades, donde m es el menor

entero tal que Zn+2m>=1. (La cantidad pedida es el menor múltiplo entero de 2, que lleva el nivel

de inventario hasta al menos una unidad). Sean Dn variables aleatorias independientes e

identicamente distribuidas que toman cada uno de los valores 0,1,2,3,4 con probabilidad 1/5.

Denotemos por Xn el valor del stock disponible después de efectuar el pedido al final del periodo n

(X0=2). Resulta entonces:

Xn= Xn-1 - Dn+2m, Si Xn-1-Dn<1

(n=1,2,3,....)

Xn= Xn-1 - Dn, Si Xn-1-Dn >=1

y Xn es una cadena de Markov con solo dos estados: 1,2.

a) Encontrar la Matriz de Transiciones

b) Encontrar las probabilidades del estado estacionario

c) Suponer que el coste de efectuar un pedido de reposición es (3+3m).

El coste de mantenimiento del stock es Zn, si Zn>=0, y cero en caso contrario.

El coste de ruptura del stock es -4Zn, si Zn<0. Encontrar el coste medio

esperado por unidad de tiempo.

d) Comprobar que, en general, para una política (k,Q) los estados posibles son

k,k+1,k+2,......,k+Q-1.

M16. El Servicio Hidrológico de la Comunidad Autónoma de X planea construir un embalse

para regular la cuenca de uno de sus ríos con el objetivo de satisfacer los requerimientos de agua

para regadío. La capacidad máxima del embalse previsto será de 4.000.000 m3, o, de manera

abreviada 4 unidades de agua (1 unidad de agua = 1.000.000 m3 ).

Antes de proceder a la construcción el Servicio desearía tener alguna idea sobre la

efectividad del mismo a largo plazo. Para ello se ha llevado a cabo un estudio sobre los volúmenes

semanales de agua aportados por el río, encontrándose con que pueden aproximarse por medio de la

siguiente distribución de probabilidad discreta:

Aportación semanal

en unidades de agua 2 3 4 5

-------------------------------------------------------------------

Probabilidad 0.3 0.4 0.2 0.1


- 6 -


El Servicio está considerando la posibilidad de contratos de regadío que requerirán el

consumo de 2 unidades de agua por semana, pero adicionalmente, para mantener los estándares de

calidad del agua para otros usos, deberá dejar salir al menos 1 unidad de agua por semana. Por lo

tanto el objetivo semanal será dejar salir 3 unidades de agua. Si el estado del embalse (nivel del

embalse) más la aportación de agua del río es menor que esta cantidad se tendrá que dejar salir

menos agua, afectando la carencia a los regadíos. Si el embalse está lleno, cualquier exceso será

vertido por los aliviaderos. El nivel mínimo admitido del embalse (estado mínimo) no podrá ser

inferior a una unidad de agua.

a) Encontrar la matriz de probabilidades de transición, y comprobar que se trata de un proceso

markoviano.

b) ¿Cuál será el número medio de semanas transcurrido desde que el embalse se encuentra en

el estado con 2 unidades de agua hasta que esté totalmente lleno?

c) Supuesto el embalse en el estado mínimo con 1 unidad de agua, ¿Cuantas semanas tardará,

en promedio, en volver a estar en la misma situación?

d) Suponiendo que la primera semana partimos de una situación en la que se embalsaban 3

unidades de agua ¿Cual es la probabilidad de que dos semanas después se encuentre al

mínimo?.

M17. Una tienda de venta de ordenadores personales tiene un modelo particular cuyo stock

puede reponerse semanalmente.

Representemos por D1, D2,....., la demanda de este modelo durante la primera semana, la

segunda, etc.. Suponemos que las demandas Di son variables aleatorias independientes e

idénticamente distribuidas, que tienen una distribución de Poisson de parámetro λ=2. Supongamos

que X0 representa el número de unidades del modelo en el momento inicial, X1 el número de

unidades disponibles al final de la primera semana, X2 el número de unidades disponibles al final de

la segunda semana, y así sucesivamente. Supongamos que X0=3.

El sábado por la noche la tienda efectúa un pedido al almacén central que le es servido el

lunes por la mañana a primera hora. La tienda utiliza la siguiente política de gestión de stocks: si el

número de unidades disponibles al final de la semana es menor de 2 unidades, la tienda efectúa un

pedido de reposición de 3 unidades. En caso contrario no efectúa ningún pedido. Se supone que las

ventas se pierden cuando la demanda es superior al inventario disponible. Los posibles estados del

proceso son los enteros Xt que representan el número de unidades disponibles al final de cada

semana. Se pide:

a) Encontrar una expresión que permita evaluar iterativamente las variables aleatorias Xt.


- 7 -


b) Comprobar que las Xt, t=0,1,2,...., constituyen una cadena de Markov.

c) Calcular la matriz de probabilidades de transición.

d) Partiendo de un estado con tres unidades disponibles, ¿Cual es el tiempo medio hasta que el

stock es cero?

e) Suponiendo que cada unidad en stock comporta un coste semanal de 300 pts., ¿Cual seria el

coste medio semanal esperado a largo plazo?.

M18. Una máquina tiene dos piezas colocadas en paralelo de manera que para funcionar utiliza

solo una de ellas, quedando la otra de repuesto para reemplazar a la que trabaja cuando esta se

estropea, si está en condiciones de trabajar. Las piezas trabajan de manera que se estropean durante

un periodo de tiempo dado con una probabilidad q.

Supongamos que la pieza que está trabajando, en caso de que se estropee, lo hace al final

de un periodo, de manera que la pieza de repuesto empieza a trabajar, si está en condiciones de

hacerlo, al principio del periodo siguiente. Hay un único mecánico para reparar las piezas

estropeadas, que tarda dos periodos en reparar una pieza estropeada.

El proceso puede describirse mediante un vector Xt de dos componentes U y V, donde U

representa el número de piezas hábiles, trabajando o en condiciones de trabajar, al final del periodo

t-ésimo, y V toma el valor 1 si el mecánico requiere únicamente un periodo adicional para completar

una reparación, si ya está procediendo a ella, y 0 en caso contrario. Por lo tanto, el espacio de

estados consta de cuatro estados:

(2,0), (1,0), (0,1), y (1,1)

(Por ejemplo, el estado (1,1) implica que una componente opera y la otra necesita un periodo

adicional para acabar de ser reparada).

Denotemos los cuatro estados por 0,1,2 y 3 respectivamente (Es decir Xt = 0 quiere decir Xt =

(2,0), por ejemplo).

a) Comprobar que X t , t=0,1,2,......, es una cadena de Markov.

Hallar la matriz de probabilidades de transición.

b) Hallar la distribución de probabilidad del estado estacionario.

M19. Las familias de cierto país se clasifican según residan en áreas rurales, urbanas o

suburbanas. Los estudios de movilidad demográfica estiman que, en promedio, en el curso de un

año, el 15% de las familias urbanas cambia de residencia y se traslada a un área suburbana, y el 5%

a un área rural; mientras que el 6% de las familias residentes en áreas suburbanas se traslada a áreas

urbanas, y el 4% a áreas rurales, y finalmente el 4% de las familias rurales migra a las áreas urbanas

y el 6% a las suburbanas.


- 8 -


a) ¿Cuál es la probabilidad de que una familia que vive ahora en un área urbana siga

viviendo en un área urbana dentro de dos años?. ¿Y en una suburbana?. ¿Y en una

rural?.

b) Supongamos que en el presente el 40% de las familias del país viven en áreas urbanas,

el 35% en suburbanas y el 25% en rurales. ¿Qué porcentaje de familias vivirá en áreas

urbanas dentro de dos años?.

c) ¿Qué distribución de población es de prever en el futuro si las tendencias no cambian?.

M20. Un bosque consta de dos tipos de árboles: jóvenes (entre 0 y 3 mts de altura) y adultos

(más de 3 mts). Cada año, el 30% de los árboles jóvenes muere, el 10% se vende por $20 cada uno,

el 20% se mantiene entre 0 y 3 mts y el 40% crece superando los 3 mts. Cada año, el 40% de los

árboles adultos se vende por $50, el 20% se vende por $20, el 30% permanece en el bosque y un

10% muere.

a) ¿Cuál es la probabilidad de que un árbol joven muera antes de ser vendido ?

b) Si plantar un árbol joven cuesta $5, ¿cuál es el beneficio esperado para cada árbol

joven plantado ?

Soluciones: M1.

a) S={0,2,3},a=(0.25,0.25,0.25,0.25),

1 1 103 3 3

1 103 31 1 103 3 31 1 1 03 3 3

P

13

⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

b) S={0,1,2}, a=(1/6,4/6,1/6),

0 1 00.25 0.5 0.25

0 1 0P

⎡ ⎤⎢ ⎥= ⎢ ⎥⎢ ⎥⎣ ⎦

c) S={0,1,2,3},a=(0.25,0.25,0.25,0.25),

0 1 00 1 0

0 01 0 0

1

p pp p

Pp p

p p

−⎡ ⎤⎢ ⎥−⎢ ⎥=

−⎢ ⎥⎢ ⎥−⎣ ⎦

d) S={(0,0),(1,0),(1,1),(2,0),(2,1)},a=(p2,2*p*(1-p),0,(1-p)2,0),


- 9 -


2 2

2 2

(0,0) (1,0) (1,1) (2,0) (2,1)(0,0) 0 0 1 0 0(1,0) 0 0 0 1(1,1) 1 0 0 0(2,0) 2 (1 ) 0 (1 ) 0(2,1) 2 (1 ) 0 (1 ) 0

p pP

p pp p p pp p p p

−=

−− −− −

M2. a) p00

(3)=0.2215562 b) p00

(2)=0.332667

M3. a) Irreducible y aperiódica. P{Xn=1|X0=1},P{Xn=1}.Los dos son 0.666 ya que no importa el

estado inicial. b) P{Xn=1,Xn-1=2, Xn-2=1|X0=1} =p21*p12*p01

(n).Aplicando Chapman-Kolgomorv.

E{Xn}=0.999999, E{Xn|Xn-1=1}=1.aplicando definición de esperanza.

M4. a) S={0,1,2,3}

0 Dos motores funcionando.

1 Un motor funcionando.

2 Amarrado en el puerto dia 1.

3 Amarrado en el puerto dia 2.

0.81 0.18 0.01 00.54 0.42 0.04 0

0 0 01 0 0

P

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦

10

b) Irreducible y aperiódica.

M5.

Si.

M6.

1 2 03 3

2 103 3

0 0 1

P

⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

M7. a) P1: Estados{1,2} : clase absorbente. Estado 3:Transitorio. b) P2: Cadena irreducible y aperiódica. c) P3: Cadena irreducible y aperiódica. d) P4: Cadena irreducible y aperiódica. e) P5: Estado 2:Transitorio, Estados {1,3} clase absorbente.

M8.

a)µ32=52/3,b)πT=(9/20,3/40,19/40)


- 10 -


M9. a) π1=(1-a)(1-b)/(1+a), π2=π3=a/(1+a), π4=b(1-a)/(1+a)

b)

00 0 1 0

, (1 ), (100

AB aB b

P A aAB aB bAB aB b

⎡ ⎤⎢ ⎥⎢ ⎥= = −⎢ ⎥⎢ ⎥⎣ ⎦

)B b= −

00

1

pp

c) Mejor la política 2.

M10. a) p13

(3)=0.72 b) 0.68 c) 0.2 d) 0.4 e) 0.75

M11.

a) 0.6 0.40.6 0.4

P ⎡ ⎤= ⎢ ⎥

⎣ ⎦

b) π0=0.6, π1=0.4

M12. a) Una única clase de equivalencia periódica de periodo 3. b) Estados {2,3} clase comunicante cerrada, la 1 es absorbente y la 4 es transitoria.

M13.

a)

0 1 0 0 0 0 01 1 0 0 0 02 0 1 0

2 1 01 1

0 0 0

p pp p

PT pT p

T

⎡ ⎤⎢ ⎥−⎢ ⎥

−⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥− −⎢ ⎥− −⎢ ⎥⎢ ⎥⎣ ⎦

M O O O

b) C(0)={0}, C(1)={1,2,3,...,T-1}, C(T)=T

M14.

a) 1

1q q

Pq q−⎡ ⎤

= ⎢ ⎥−⎣ ⎦

b)π0=0.5,π1=0.5.

M15.

a) 0.6 0.40.4 0.6

P ⎡ ⎤= ⎢ ⎥

⎣ ⎦

b)π0=0.5,π1=0.5.

c)0.91

M16.


- 11 -


a)

0.7 0.2 0.1 00.3 0.4 0.2 0.10 0.3 0.4 0.30 0 0.3 0.7

P

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦

b)µ24=10 semanas

c)µ11=5 semanas

d)p31(2)=0.09

M17.

a)

{ }1 max 0, ( ).( ) 3 si 2( ) 0 si 0

i i i i i

i i i i i

i i i i i

iX X D P X DP X D X DP X D X D

+ = − + −

− = − <− = − ≥

b)Número finito de estados, verifica hipótesis Markoviana y estacionaria.

c)

0.3233 0.2707 0.2707 0.1353 0 00.1428 0.1805 0.2707 0.2707 0.1353 10.5940 0.2707 0.1353 0 0 20.3233 0.2707 0.2707 0.1353 0 30.1428 0.1805 0.2707 0.2707 0.1353 4

P

⎡ ⎤⎢ ⎥⎢ ⎥

= ⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

d)µ30=2.97 semanas

e)389.9 ptas/semana.

M18.

a)

(2,0) 1 0 0(1,0) 0 0 1(0,1) 0 1 0 0(1,1) 1 0 0

q qq q

P

q q

−⎡ ⎤⎢ ⎥−⎢ ⎥=⎢ ⎥⎢ ⎥−⎣ ⎦

b)

M19.

Nomenclatura de los estados: U=0,SU=1,R=2.

a)p22(2)=0.8144

b)0.31456 c) U 38/183,SU 90/183,R 55/183

M20.

a)0.446

b)14.69 $


- 12 -

Cadenas de Markov. Ejercicios resueltos Página 1

EJERCICIOS RESUELTOS DE CADENAS DE MARKOV 1) En un pueblo, al 90% de los días soleados le siguen días soleados, y al 80% de

los días nublados le siguen días nublados. Con esta información modelar el clima del pueblo como una cadena de Markov.

SOLUCIÓN: Se trata de una cadena de Markov con dos estados {Soleado, Nublado} que para abreviar representaremos por {S, N}, siendo la matríz de probabilidades de

transición:

=

8,02,0

1,09,0P

2) El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso en el que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a cada uno de los otros dos pisos, mientras que si un viaje comienza en el primer piso, sólo el 25% de las veces finaliza en el segundo. Por último, si un trayecto comienza en el segundo piso, siempre finaliza en el bajo. Se pide:

a) Calcular la matriz de probabilidades de transición de la cadena b) Dibujar el grafo asociado c) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre

en cada uno de los tres pisos.

SOLUCIÓN: a) Los estados de la cadena los denotaremos por { 0, 1 , 2} haciendo corresponder el 0 al bajo y 1 y 2 al primer y segundo piso respectivamente. Las probabilidades de transición son: p00 = P(Rn=0 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre en la planta baja si en la etapa anterior estaba en la planta baja. Obviamente es 0, porque se supone que de etapa a etapa el ascensor se mueve. p01 = P(Rn=1 / Rn-1=0), esto es la probabilidad de que el ascensor se encuentre en la planta primera si en la etapa anterior estaba en la planta baja. Obviamente es ½. Basta leer el enunciado. Y así sucesivamente vamos obteniendo las distintas probabilidades de transición cuya matriz es:

=

=001

0

0

222120

121110

020100

41

43

21

21

ppp

ppp

ppp

P

b)

0 1

2


c) qPq

rr =. , siendo q = (x,y,z) los valores de las probabilidades pedidas, añadiendo la ecuación x+y+z = 1

),,(

001

0

0

)..,( 41

43

21

21

xyxzyx =

, añadiendo x+y+z = 1. produce el siguiente sistema:

1

042

02

0434

=++=−+

=−=−−

zyx

zyx

yx

zyx

cuyas soluciones son: x=8/17; y = 4/17; z= 5/17

3º) Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo. Despues de estar trabajando un día en C, la probabilidad de tener que seguir trabajando en ella al día siguiente es 0,4, la de tener que viajar a B es 0,4 y la de tener que ier a A es 0,2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras que irá a A con probabilidad 0,2. Por último si el agente comercial trabaja todo un día en A, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0,1, irá a B con una probabilidad de 0,3 y a C con una probabilidad de 0,6.

a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo de cuatro días?

b) ¿Cuales son los porcentajes de días en los que el agente comercial está en cada una de las tres ciudades?

SOLUCIÓN: La matriz de transición P es la siguiente para el orden A,B,C

=4,04,02,0

6,02,02,0

6,03,01,0

P ; El apartado a) consiste en averiguar el término p433, es decir el

término que ocupa la fila 3 y la columna 3 de la matriz P4. lo cual se obtiene con la fila 3 y la columna 3 de P2, cuyos valores son:

−−−−

=52,030,018,0

48,0

48,02P , por tanto el término buscado es:

0,18.0,48+0,30.0,48+0,52.0,52= 0,5008


c) Nos piden las probabilidades estacionarias. Para ello hay que resolver el siguiente sistema:

),,(

4,04,02,0

6,02,02,0

6,03,01,0

).,,( zyxzyx =

; 1=++ zyx

Desarrollando resulta el sistema de ecuaciones lineales:

=++=−+=+−=++−

1

0666

0483

0229

zyx

zyx

zyx

zyx

elimino y en las dos primeras: -33x+12z = 0, y elimino y en las

dos últimas : 12z=6 ; de ambas se deduce que x =2/11=0,1818 y = 7/22=0.3181 z = 0,5. En porcentajes serían el 18,18% para la ciudad A, el 31,81 para B y el 50% para la ciudad C.

4º) Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que siga comprándola la vez siguiente. Si una persona compró Pepsi, hay 80% de que repita la vez siguiente. Se pide:

a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de que compre Coca Cola pasadas dos compras a partir de hoy?

b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora?

c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola.

d) Determinar el estado estable. SOLUCIÓN: La situación se puede modelar como una cadena de Markov con dos estados {Coca-Cola, Pepsi-Cola}= {C,P} La matriz de transición para el orden C,P, es:

=

8,02,0

1,09,0P

a) Se pide la probabilidad de transición en dos pasos, es decir que se pide el valor

en fila 2, columna 1 para la matriz P2, obteníendose que este es : 0,2.0,9+0,8.0,2 = 0,34

b) Al igual que en el apartado anterior se pide el valor de probabilidad de transición

en fila 1 y columna 1 para la matriz P3. La matriz es

=

562438

219781

1000

13P ;

esto quiere decir que la solución al problema es 0,781


c) El vector de probabilidad inicial es (0’6, 0’4), por tanto la probabilidad de

consumir ambos estados a partir de tres etapas es:

3).4,06,0( P . Calculamos primero P2, resultando que

=

6634

1783

100

12P ,

Por tanto

=

562438

219781

1000

13P , entonces el resultado solicitado es

)35626438(10000

1= (0’6438 , 0’3562) ; esto es que al cabo de tres compras el

64’38% comprará Coca Cola y el 35’62% comprará Pepsi Cola.

d) El estado estable se determina resolviendo el sistema de ecuaciones:

),(8,02,0

1,09,0),( yxyx =

añadiendo la ecuación x+y = 1, siendo x la probabilidad de

que una persona compre Coca Cola a largo plazo e y lo mismo de que compre Pepsi Cola.

El sistema resultante es:

=+=−=+−

1

02

02

yx

yx

yx

, obsérvese que las dos primeras ecuaciones son

la misma por tanto quedémonos con las dos últimas, obteniendo como solución: x = 2/3 ; y = 1/3. 5º) La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos.

G H I G 0,7 0,2 0,1 H 0,2 0,75 0,05 I 0,1 0,1 0,8

¿Cuáles son los porcentajes de mercado en el estado estable para las dos

cervecerías grandes.?


SOLUCIÓN: Tres estados {G, H, I} El problema consiste en resolver el sistema formado por las ecuaciones

siguientes:

1);,,().,,( =++= zyxzyxPzyx , siendo x la probabilidad de que el consumidor compre G, y de que el consumidor compre H y z la del que consumidor compre I.

De ambas expresiones se obtiene el siguiente sistema:

=++=−+=+−

=++−

1

020510

0102520

023

zyx

zyx

zyx

zyx

cuya solución es x = 9/26; y=10/26 z = 7/26

6º) En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un cliente de uno a otro. El 1 de septiembre, ¼ de los clientes va al S1, 1/3 al S2 y 5/12 al S3 de un total de 10.000 personas. Cada mes esl S1 retiene el 90% de sus clientes y pierde el 10% que se va al S2. Se averiguó que el S2 solo retiene el 5% y pierde el 85% que va a S1 y el resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que va al S1 y el 10% va al S2.

a) Establecer la matriz de transición b) ¿Cuál es la proporción de clientes para los supermercados el 1 de

noviembre? c) Hallar el vector de probabilidad estable.

SOLUCIÓN: a) La matriz de transición para el orden S1, S2, S3 es:

=4,01,05,0

10,005,085,0

01,09,0

P

b) Para el mes de noviembre (han transcurrido 2 meses desde 1 de septiembre), la proporción de clientes es

( )0883,00958,08158,0

17,0095,0735,0

045,00975,08575,0

01,0095,0895,0

12

5

3

1

4

1

12

5

3

1

4

1 2 =

=

P

La proporción es del 81,58% para S1, 9,58% para S2 y 8,83% para S3 c) El vector de probabilidad estable se obtiene resolviendo: 1);,,().,,( =++= zyxzyxPzyx


El sistema resultante es:

=++=−

=+−=++−

1

06

0109510

0508510

zyx

zy

zyx

zyx

de donde y = 2/31, z =1/93; x = 86/93

7º) Los consumidores de café en el área de Pontevedra usan tres marcas A, B, C. En marzo de 1995 se hizo una encuesta en lo que entrevistó a las 8450 personas que compran café y los resultados fueron: Compra en el siguiente mes TOTALES Compra actual Marca A Marca B Marca C Marca A = 1690 507 845 338 1690 Marca B = 3380 676 2028 676 3380 Marca C = 3380 845 845 1690 3380 TOTALES 2028 3718 2704 8450

a) Si las compras se hacen mensualmente, ¿cuál será la distribución del mercado de café en Pontevedra en el mes de junio?

b) A la larga, ¿cómo se distribuirán los clientes de café? c) En junio, cual es la proporción de clientes leales a sus marcas de café?

SOLUCIÓN: a) A la vista de las frecuencias anteriores, las probabilidades de transición, conservando el mismo orden que la tabla (A,B,C) es:

=5,025,025,0

2.06,02,0

2,05,03,0

P ; De marzo a Junio hay 4 etapas por lo que nos piden las

probabilidades de transición al cabo de 4 meses, las que vendrán dada por los coeficientes de P4

=354025

265123

265024

100

12P

=291546902395

283447912375

283447902376

10000

14P =

2915,0469,02395,0

2834,04791,02375,0

2834,04790,02376,0

b) A la larga se trata de la situación estable:

( ) ( )zyxzyx =

5,025,025.0

2,06,02,0

2,05,03,0

; x + y + z =1


=++=−+=+−=++−

1

0522

05,245

05,227

zyx

zyx

zyx

zyx

, resolviendo se obtiene: x = 5/21; y = 10/21; z = 2/7

c) En Marzo la proporción de clientes de A es: 2028/8450 = 0,24 ; para B es 3718/8450 = 0,44 y para C es 2704/8450 = 0,32.

En el mes de junio la proporción es:

( ) ( )296,0464,024,0

5,025,025,0

2.06,02,0

2,05,03,0

32,044,024,0 =

, es decir 24% para A,

46,4% para B y 29,6% para C.

Documents

Cadenas de Markov 2.1 (M14)