Una invitación al estudio de las cadenas de Markov · Taller de solucion de problemas de probabilidad, 21-25 de Enero de 2008. 2/ 1 Una invitacion al estudio de las cadenas de Markov

1/ 1

Una invitacion al estudio de las cadenas de Markov

Una invitacion al estudio de las cadenas deMarkov

Vıctor RIVERO

Centro de Investigacion en Matematicas A. C.

Taller de solucion de problemas de probabilidad, 21-25 de Enero de2008.

2/ 1


Introduccion

Preliminares

Preliminares(Ω,F ,P) un espacio de probabilidad

• Probabilidad condicional A,B ∈ F , tal que P(B) > 0, laprobabilidad del evento A dado B

P(A|B) =P(A ∩ B)

P(B).

• Formula de probabilidad total Sean B1, . . . ,Bn , . . . ∈ Ω, tales que∪∞k=1Bk = Ω entonces ∀A ∈ F

P(A) =∞∑

k=1

P(A ∩ Bk ) =∞∑

k=1

P(A|Bk ) P(Bk ).

• Formula de Bayes Sean A,B ,B1, . . . ,Bn ∈ F , tales que P(B) > 0y Ω = ∪n

k=1Bk se tiene que

P(A|B) =P(B |A) P(A)∑nk=1 P(B ∩ Bk )

=P(B |A) P(A)∑n

k=1 P(B |Bk ) P(Bk ).

3/ 1


Introduccion

Preliminares

• A,B ∈ F son independientes si

P(A ∩ B) = P(A) P(B)

• A,B ⊆ F son independientes si

P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.

• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .

• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.

4/ 1


Introduccion

Procesos Estocasticos


DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo. Unproceso estocastico es una coleccion de variables aleatorias,Xt : Ω→ E , t ∈ T, indexadas por algun conjunto T . Usualmente,

T =

0, 1, 2, . . . proceso estocastico a tiempo discreto,

R o R+ proceso estocastico a tiempo continuo.

El conjunto E es el espacio de estados. Si E es numerable se dice queel proceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.

Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.

5/ 1


Introduccion


Ejemplos de proceso estocastico

Ejemplo

Lanzamiento de una moneda, E = aguila, sol = 0, 1.

Xn =

aguila psol 1− p

, p ∈ [0, 1], n ∈ Z+ .

Ejemplo (Pacientes)

Sea Xn el numero de pacientes graves que solicitan tratamiento el dıa nen la sala de emergencias del hospital la Raza en Mexico D.F.E = 0, 1, . . . ,K donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por dıa.

En ambos ejemplos las variables aleatorias son independientesentre si.

6/ 1


Introduccion


Ejemplo (Ajedrez)

Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.

Ejemplo

Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.

Claramente, Xn+1 = Xn + Y (X0)n+1 donde Y (X0)

n+1 denota la distanciarecorrida en el periodo [n,n + 1[ y esta depende del punto inicial.

En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn−1.

Ejemplo (El merenguero)

Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n ∈ 0, 1, 2, . . .. El espacio deestados es E = 0, 1, . . . ,N + M , donde N =nuestra fortuna yM =fortuna del merenguero.

7/ 1


Introduccion


Ejemplo (Evolucion de una epidemia en una poblacion)

Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m). Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:

sano —>

contagiado (contagioso)

no contagiado (sano)

contagiado (contagioso)—>

enfermo

sano inmune

enfermo —>

sano inmune

muerto

sano inmune —> sano inmune,

muerto —> muerto.

8/ 1


Introduccion


Ejemplo (Procesos de Ramificacion)

Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zn∑i=1

X (n)i ,

donde X (n)i el numero de descendientes del i -esimo individuo presente en

la poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

9/ 1


Introduccion


Ejemplo (Inventarios)

Una tienda de aparatos electronicos vende ipod’s y opera bajo el siguienteesquema. Si al final del dıa el numero de unidades disponibles es 1 o 0, seordenan nuevas unidades para llevar el total a 5. Supondremos que lamercancıa llega antes de que la tienda abra al dıa siguiente. Sea Xn elnumero de unidades disponibles en la tienda al final del n-esimo dıa ysupongamos que diariamente el numero de clientes que compran un ipodes 0, 1, 2 o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.

Xn+1 =

(Xn −Dn+1)+ si Xn > 1(5−Dn+1)+ si Xn ≤ 1

Con Dn+1 la demanda el dıa n + 1.

10/ 1


Nociones basicas de cadenas de Markov

Definicion de Cadena de Markov

En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,

P (Evento del pasado ∩ Evento del futuro|Evento del presente)= P (Evento del pasado|Evento del presente)× P (Evento del futuro|Evento del presente) .

11/ 1



Definicion de Cadena de Markov

Cadenas de Markov

DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo, finitoo numerable. Un proceso estocastico o sucesion de variables aleatorias

Xn : Ω→ E ,n ∈ N,

se llama cadena de Markov con espacio de estados E si satisface lacondicion de Markov, es decir, si para todo n ≥ 1 y toda sucesionx0, x1, . . . , xn−1, xn , xn+1 ∈ E , se cumple:

P (Xn+1 = xn+1|Xn = xn ,Xn−1 = xn−1, . . . ,X0 = x0)= P (Xn+1 = xn+1|Xn = xn) .

(1)

La distribucion de X0 se llama distribucion inicial de la cadena y enmuchos casos la denotaremos por π(x ) = P(X0 = x ), x ∈ E .

12/ 1



Algunas precisiones

• Supondremos que E ⊆ Z, y en consecuencia E es ordenado.

• La familia

P (Xn+1 = y |Xn = x ) ,n ∈ N, x , y ∈ E,

se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.

• Para todo n ∈ N y x ∈ E se tiene que

1 = P (Xn+1 ∈ E |Xn = x )= P (∪y∈EXn+1 = y|Xn = x )

=∑y∈E

P (Xn+1 = y |Xn = x ) .

13/ 1



Algunas precisiones

• Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si

P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, ∀x , y ∈ E ,

diremos que la cadena es homogenea con respecto al tiempo.• En este curso solo nos interesaremos por las cadenas de Markov

homogeneas en el tiempo y en la mayorıa de los casos conespacio de estados E finito.

• La familia de probabilidades de transicion

P = Px ,y , (x , y) ∈ E × E,

sera llamada matriz de transicion de la cadena. P cumple que∑y∈E

Px ,y =∑y∈E

P (Xn+1 = y |Xn = x ) = 1, x ∈ E .

Se dice que P , es una matriz estocastica o de Markov.• Diremos que el proceso estocastico Xn ,n ∈ N es una cadena de

Markov (π,P), donde π es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

14/ 1



Ejemplos de matrices de transicion

Ejemplo (Merenguero)

En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n ≥ 0. Sn ,n ≥ 0 es unacadena de Markov con matriz de transicion

P(Sn+1 = j |Sn = i) = Pi,j =

1, si i , j = 0p si 0 < i < N + M , j = i + 11− p si 0 < i < N + M , j = i − 11 si i , j = N + M0 en otro caso

y ley inicial P(S0 = M ) = 1. ¿Cuando retirarse del juego? ¿Cual es laprobabilidad de que el merenguero pierda todo su capıtal?¿Cual esel tiempo promedio que durara el juego?

15/ 1



Ejemplos de matrices de transicion

Ejemplo (La cadena de Ehrenfest)

T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocasticoXn ,n ∈ N definido por

Xn = #moleculas presentes en la urna A al instante n, n ∈ N,

es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .¿Cuales son las probabilidades de transicion? Se tiene que

P0,j =

1 si j = 1,0 en otro caso

PN ,j =

1 j = N − 1,0 en otro caso,

Pi,j =

0, si|i − j | > 1,iN si j = i − 1,N−iN si j = i + 1,

0 si i = j .

, para i ∈ 1, 2, . . . ,N − 1.

16/ 1



Recurrencia aleatoria y simulacion


Sean X0 es una variable aleatoria que toma valores en E ,Yn : Ω→ S ,n ∈ N, una sucesion de variables aleatoriasindependientes entre si y de X0 y F : E × S → E . En general, cualquierfenomeno descrito por una relacion en recurrencia aleatoria de la forma

Xn+1 = F (Xn ,Yn+1), n ∈ N,

es una cadena de Markov.

17/ 1




Toda cadena de Markov con espacio de estados finito se puede simularusando esto. Sea Xn ,n ≥ 0 una cadena de Markov (π,P) y

E = 0, 1, . . . ,M . El proceso estocastico definido mediante X0 ∼ X0,

Xn+1 = F (Xn ,Yn+1),

para n ≥ 0, con F : E × [0, 1]→ E , definida como x ∈ E , z ∈ [0, 1],

F (x , z ) = mini ∈ E :i∑

j=0

Px ,j > z,

y Yi ∼ Uniforme[0, 1], tiene la misma distribucion que

X = (Xn ,n ≥ 0). Las probabilidades de transicion de X estan dadas por

P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

= P

(l−1∑j=0

Px ,j ≤ Yn+1 <

l∑j=0

Px ,j

)= Px ,l .

18/ 1


Ecuaciones de Chapman-Kolmogorov

• La probabilidad de que una cadena de Markov siga la trayectoriax0, x1, . . . , xn esta dada por

P(X0 = x0,X1 = x1, . . . ,Xn = xn)= P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn

.

¿Como se justifica esta identidad?

• Si A ⊆ En+1 es tal que

A = ∪(x0,x1,...,xn)∈Ax0, x1, . . . , xn

entonces

P ((X0,X1, . . . ,Xn) ∈ A)

=∑

(x0,x1,...,xn)∈A

P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn.

19/ 1



• Para x , y ∈ E se define a P(0)x ,y como

P(0)x ,y = δx ,y =

1 si x = y0 si x 6= y

.

A la funcion δ·,· se le conoce como la delta de Kronecker. A lamatriz cuyas entradas estan dadas por δx ,y , x , y ∈ E se ledenotara por I .

• Para m ≥ 1 y para x , y ∈ E denotaremos por P(m)x ,y a la probabilidad

de ir del estado x al estado y en m pasos, es decir

P(m)x ,y = P (Xn+m = y |Xn = x ) , para n ≥ 0.

20/ 1



Se dice que un vector λi , i ∈ E, es un vector de probabilidad si∑i∈E λi = 1. El producto de dos matrices se define como

ABx ,y =∑z∈E

Ax ,zBz ,y ,

y la de una matriz estocastica A y un vector de probabilidad λ como

λAy =∑x∈E

λxAx ,y .

El producto de dos matrices estocasticas es una matriz estocasticay el producto por la izquierda de un vector de probabilidad con unamatriz estocastica es un vector de probabilidad

21/ 1



Proposicion (Ecuaciones de Chapman-Kolmogorov)

Sea Xn ,n ∈ N una cadena de Markov con matriz de transicion P yvector de probabilidad inicial π(x ) = P(X0 = x ), x ∈ E . Se tiene que

P(Xn = y |X0 = x ) = P(n)x ,y =

∑z∈E

P(s)x ,z P(r)

z ,y , ∀n ∈ N ∀x , y ∈ E ,

donde r , s son cualesquiera dos enteros tales que r + s = n. En

particular, la matriz P (n)x ,y , (x , y) ∈ E × E es la n-esima potencia de la

matriz P . Ademas,P(Xn = y) = πP(n)

y .

22/ 1



La probabilidad de que en el intervalo [m,m + n] la cadena realice latrayectoria xm , xm+1, . . . , xm+n esta dada por

P(Xm = xm ,Xm+1 = xm+1, . . . ,Xm+n = xm+n)= P(Xm+1 = xm+1, . . . ,Xm+n = xm+n |Xm = xm) P(Xm = xm)= P(Xm = xm) Pxm ,xm+1 Pxm+1,xm+2 · · ·Pxm+n−1,xm+n

= πP(m)xm︸︷︷︸

ir del estado inicial a xm

Pxm ,xm+1 Pxm+1,xm+2 · · ·Pxm+n−1,xm+n︸︷︷︸realizar la trayectoria xm , xm+1, . . . xm+n

23/ 1



Un ejemplo menos simple pero mas interesante es: la probabilidad delevento “X visita el estado x en el instante k por la primera vez” estadada por

P (X visita el estado x en el instante k por la primera vez)

=∑

x0,x1,...,xk−1∈E\x

P(X0 = x0,X1 = x1, . . . ,Xk−1 = xk−1,Xk = x )

=∑

x0,x1,...,xk−1∈E\x

π(x0) Px0,x1 Px1,x2 · · ·Pxk−1,x .

24/ 1



Cadena con dos estados


Sea Xn ,n ≥ 0 una cadena de Markov con dos estados E = 0, 1, ymatriz de transicion dada por(

1− α αβ 1− β

),

para algunos α, β ∈ [0, 1], tales que 0 < α+ β < 2. ¿Cual es el valor dela probabilidad de ir de un estado a otro en n-pasos? La ecuacion deChapman-Kolmogorov implica

P(Xn = 0|X0 = 0) = P(n)0,0 , n ≥ 1.

25/ 1




Se tiene que P(0)(0,0) = 1, y para n ≥ 0,

P(n+1)(0,0) =

(P(n)×P

)(0,0)

= (1− α) P(n)(0,0) +βP(n)

(0,1) condicionando % posicion al tiempo n,

= (1− α) P(n)(0,0) +β(1−P(n)

(0,0)) P(n)(0,0) + P(n)

(0,1) = 1

= (1− α− β) P(n)(0,0) +β;

Se verifica mediante induccion que

P(n)(0,0) =

β

α+ β+

α

α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .

Y por lo tanto

P(n)(0,1) =

α

α+ β− α

α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .

26/ 1




Por simetrıa,

P(n)(1,1) =

α

α+ β+

β

α+ β(1− α− β)n ,

P(n)(1,0) =

β

α+ β− β

α+ β(1− α− β)n , n ∈ 2, 3, . . .

En resumen,

P(n) =1

α+ β

(β αβ α

)+

(1− α− β)n

α+ β

(α −α−β β

).

Se tiene que −1 < 1− α− β < 1, y por lo tanto para n suficientementegrande

P(n) ∼

(β

α+βα

α+ββ

α+βα

α+β

).

Es decir que para i = 0, 1

limn→∞

P(Xn = 0|X0 = i) =β

α+ β, lim

n→∞P(Xn = 1|X0 = i) =

α

α+ β

27/ 1




El lımite de P(n) es una matriz de transicion cuyos renglones son igualesal vector el vector λ := (λ0, λ1) definido por

λ0 =β

α+ β, λ1 =

α

α+ β.

Ademas, λ satisface el sistema de ecuaciones λP = λ,

(λ0, λ1)(

1− α αβ 1− β

)= (λ0, λ1)

y λ0 + λ1 = 1. Se dice que λ es un vector de probabilidad invariante.Teorema En general, si E es finito y ∃x ∈ E para el cual

limn→∞

P(n)x ,y := λ(y), ∀y ∈ E ,

entonces λ = (λ(z ))z∈E es un vector de probabilidad tal que λP = λ.

28/ 1



La cadena de Ehrenfest


Supongamos que en el modelo de Ehrenfest se tienen 4 partıculas, esto esN = 4 y se tiene que P esta dada por

P =

0 1 0 0 014 0 3

4 0 00 2

4 0 24 0

0 0 34 0 1

40 0 0 1 0

.

En un numero par (respectivamente, impar) de pasos solo podemosmovernos entre estados que se encuentran a distancia par(respectivamente, impar), por ejemplo, sı empezamos en 2 en un numeropar de pasos solo podemos movernos a los estados 0, 2, y 4.

29/ 1




Se intuye un comportamiento periodico

P(2) =

0.25 0 0.75 0 0

0 0.625 0 0.375 00.125 0 0.75 0 0.125

0 0.375 0 0.625 00 0 0.75 0 0.250

En general, para k ≥ 1,

P(2k) =

+ 0 + 0 +0 + 0 + 0+ 0 + 0 +0 + 0 + 0+ 0 + 0 +

P(2k+1) =

0 + 0 + 0+ 0 + 0 +0 + 0 + 0+ 0 + 0 +0 + 0 + 0

30/ 1




P(128) =

0.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

P(129) =

0 0.4 0 0.6 0

0.08333333 0 0.75 0 0.16666670 0.4 0 0.6 0

0.08333333 0.0 0.75 0 0.16666670 0.4 0 0.6 0

.

Las potencias pares de P mayores de 128 son iguales a P(128) y lasimpares a P(129).No puede haber un lımite de la matriz de transicion.

31/ 1



El modelo de Wright-Fisher

El modelo de Wright-FisherEl modelo de seleccion aleatoria para haploides simples, sin tomar encuenta mutacion ni seleccion se define como:• Tenemos una poblacion de tamano constante 2N genes compuestos

de individuos del tipo a y del tipo A.• La siguiente generacion se crea a partir de 2N ensayos Bernoulli

independientes: si la poblacion esta compuesta de j genes del tipo ay 2N − j del tipo A, cada ensayo resulta en un gen del tipo a o deltipo A con probabilidades

pj =j

2N, qj =

2N − j2N

,

respectivamente. La seleccion se realiza con remplazo.• Si Xn denota el numero de a-genes en la n-esima generacion,

entonces Xn ,n ≥ 1 es una CM con E = 0, 1, 2, . . . , 2N .• Sus probabilidades de transicion son

Pi,j = P(Xn+1 = j |Xn = i) =(

2Nj

)pji q

2N−ji ,

para i , j ∈ 0, 1, . . . , 2N .

32/ 1



El modelo de Wright-Fisher

Los estados 0 y 2N son absorbentes, pues no hay mutaciones. ¿Cual esla probabilidad de que la poblacion alcance la fijacion dado queinicialmente X0 = i , i.e. que la poblacion este compuesta porgenes solamente del tipo a o del tipo A.?¿Cual es la velocidad a la cual la fijacion ocurre? Sea Ta el primertiempo en el cual toda la poblacion es del tipo a, analogamente para TA.Nos interesa conocer el valor de P(Ta < TA) o P(minTa ,TA <∞) oE(Ta) y E(TA).En un modelo con mutaciones suponemos que un gen del tipo a mutaen uno del tipo A con probabilidad α y que uno del tipo A muta en unodel tipo a con probabilidad β. Entonces las probabilidad de escoger ungen del tipo a o del tipo A dado que la poblacion se compone de j genesdel tipo a y 2N − j del tipo A estan dadas por

pj = (1−α)j

2N+β

2N − j2N

, qj = αj

2N+(1−β)

2N − j2N

, j ∈ 0, 1, . . . , 2N .

Documents

Una invitación al estudio de las cadenas de Markov · Taller de solucion de problemas de probabilidad, 21-25 de Enero de 2008. 2/ 1 Una invitacion al estudio de las cadenas de Markov