Introducción a las cadenas de Markov: II Tiempo continuo · Introduccion a las cadenas de Markov: II Tiempo continuo Introduccion a las cadenas de Markov: II Tiempo continuo V ctor

1/ 30

Introduccion a las cadenas de Markov: II Tiempo continuo

Introduccion a las cadenas de Markov: IITiempo continuo

Vıctor RIVERO

Centro de Investigacion en Matematicas A. C.

XI Escuela de Probabilidad y Estadıstica, 29 de Febrero a 2 de Marzo,2012, CIMAT

2/ 30


Tiempos exponenciales

Una variable aleatoria exponencial, T ∼ Exp(λ), si

P(T ≤ t) = 1− e−λt , t ≥ 0.

E(T ) = 1λ , Var(T ) = 1

λ2 .

Perdida de memoria,

P(T > t + s|T > t) = e−λs , s ≥ 0.

Dicho de otro modo, distribucion de T − t condicionalmente aT > t , es Exp(λ).Si T1, . . . ,Tn son variables aleatorias independientes, tales queTi ∼ Exp(λi), i = 1, . . . ,n; λi > 0.

T = min{T1, . . . ,Tn} ∼ Exp(λ1 + λ2 + · · ·+ λn).

P(Ti = T ) =λi

λ1 + · · ·+ λn, i + 1, . . . ,n.

2/ 30




P(T ≤ t) = 1− e−λt , t ≥ 0.

E(T ) = 1λ , Var(T ) = 1

λ2 .

Perdida de memoria,

P(T > t + s|T > t) = e−λs , s ≥ 0.

Dicho de otro modo, distribucion de T − t condicionalmente aT > t , es Exp(λ).

Si T1, . . . ,Tn son variables aleatorias independientes, tales queTi ∼ Exp(λi), i = 1, . . . ,n; λi > 0.

T = min{T1, . . . ,Tn} ∼ Exp(λ1 + λ2 + · · ·+ λn).

P(Ti = T ) =λi

λ1 + · · ·+ λn, i + 1, . . . ,n.

2/ 30




P(T ≤ t) = 1− e−λt , t ≥ 0.

E(T ) = 1λ , Var(T ) = 1

λ2 .

Perdida de memoria,

P(T > t + s|T > t) = e−λs , s ≥ 0.


T = min{T1, . . . ,Tn} ∼ Exp(λ1 + λ2 + · · ·+ λn).

P(Ti = T ) =λi

λ1 + · · ·+ λn, i + 1, . . . ,n.

2/ 30




P(T ≤ t) = 1− e−λt , t ≥ 0.

E(T ) = 1λ , Var(T ) = 1

λ2 .

Perdida de memoria,

P(T > t + s|T > t) = e−λs , s ≥ 0.


T = min{T1, . . . ,Tn} ∼ Exp(λ1 + λ2 + · · ·+ λn).

P(Ti = T ) =λi

λ1 + · · ·+ λn, i + 1, . . . ,n.

3/ 30



Distribucion Gamma Γ(λ, r), λ, r > 0

P(Sr ≤ t) =λr

Γ(r)

∫ t

0

sr−1e−λsds, t ≥ 0;

donde Γ(r) =∫∞0

sr−1e−sds, r > 0.

Si R1, . . . ,Rn son v.a.i.i.d. con distribucion Exp(λ) entoncesSn :=

∑ni=1 Ri ∼ Γ(λ,n).

3/ 30



Distribucion Gamma Γ(λ, r), λ, r > 0

P(Sr ≤ t) =λr

Γ(r)

∫ t

0

sr−1e−λsds, t ≥ 0;

donde Γ(r) =∫∞0

sr−1e−sds, r > 0.Si R1, . . . ,Rn son v.a.i.i.d. con distribucion Exp(λ) entoncesSn :=

∑ni=1 Ri ∼ Γ(λ,n).

4/ 30


Procesos de Poisson

Procesos de PoissonModelan fenomenos que se repiten, entre dos ocurrencias del fenomenotranscurre un tiempo aleatorio de distribucion exponencial (λ). Elproceso N (0) = 0, N (t) = #ocurrencias del fenomeno en el intervalo(0, t ], para t ≥ 0, recibe el nombre de Proceso de Poisson.

Supongamos Tn denota el tiempo de la n-esima ocurrencia del fenomenode interes, n ≥ 1. Tn − Tn−1 ∼ Exp(λ), n ≥ 1 v.a.i.i.d. Entonces

N (t) = #{k ≥ 1 : Tk ≤ t} =∑n≥1

1{Tn≤t}, t ≥ 0,

satisface

N (0) = 0, N (t) ∈ Z+ .

Incrementos independientes:(N (t1)−N (t0),N (t2)−N (t1), . . . ,N (tk )−N (tk−1)), son variablesaleatorias independientes, para todo0 ≤ t0 ≤ t1 ≤ t2 ≤ · · · ≤ tk <∞, k ≥ 1.Incrementos estacionarios

P(N (t + s)−N (t) = k) =e−λs(λs)k

k !, k ∈ Z+, ∀t , s ≥ 0.

4/ 30


Procesos de Poisson

Procesos de PoissonModelan fenomenos que se repiten, entre dos ocurrencias del fenomenotranscurre un tiempo aleatorio de distribucion exponencial (λ). Elproceso N (0) = 0, N (t) = #ocurrencias del fenomeno en el intervalo(0, t ], para t ≥ 0, recibe el nombre de Proceso de Poisson.Supongamos Tn denota el tiempo de la n-esima ocurrencia del fenomenode interes, n ≥ 1. Tn − Tn−1 ∼ Exp(λ), n ≥ 1 v.a.i.i.d. Entonces

N (t) = #{k ≥ 1 : Tk ≤ t} =∑n≥1

1{Tn≤t}, t ≥ 0,

satisface

N (0) = 0, N (t) ∈ Z+ .


P(N (t + s)−N (t) = k) =e−λs(λs)k

k !, k ∈ Z+, ∀t , s ≥ 0.

4/ 30


Procesos de Poisson

Procesos de PoissonModelan fenomenos que se repiten, entre dos ocurrencias del fenomenotranscurre un tiempo aleatorio de distribucion exponencial (λ). Elproceso N (0) = 0, N (t) = #ocurrencias del fenomeno en el intervalo(0, t ], para t ≥ 0, recibe el nombre de Proceso de Poisson.Supongamos Tn denota el tiempo de la n-esima ocurrencia del fenomenode interes, n ≥ 1. Tn − Tn−1 ∼ Exp(λ), n ≥ 1 v.a.i.i.d. Entonces

N (t) = #{k ≥ 1 : Tk ≤ t} =∑n≥1

1{Tn≤t}, t ≥ 0,

satisface

N (0) = 0, N (t) ∈ Z+ .


P(N (t + s)−N (t) = k) =e−λs(λs)k

k !, k ∈ Z+, ∀t , s ≥ 0.

5/ 30


Procesos de Poisson

La propiedad de incrementos independientes y estacionarios esequivalente a decir que para todo t ≥ 0 la ley del proceso

N (s) := N (t + s)−N (t), s ≥ 0,

es independiente de la ley del proceso (N (u), u ≤ t), y ademas N tienelas mismas propiedades que N , es una copia aleatoria de N .

6/ 30


Procesos de Poisson

Definicion alternativa

DefinicionDiremos que un proceso estocastico {N (t), t ≥ 0} que toma valores en{0, 1, 2, . . .} es un proceso de Poisson de parametro λ si

N (0) = 0; si s < t , entonces N (s) ≤ N (t),

P(N (t + h) = n + m|N (t) = n) =

λh + o(h), m = 1o(h) m > 11− λh + o(h), m = 0

para s, t ≥ 0, las variables aleatorias N (t + s)−N (t) y N (t) sonindependientes.

7/ 30


Procesos de Poisson

• [Sobreposicion] Si (NA(t), t ≥ 0) y (NR(t), t ≥ 0) son procesos dePoisson independientes con intensidades λA, λR > 0,respectivamente, entonces (NA(t) + NB (t), t ≥ 0) es un proceso dePoisson de parametro λA + λR.

• [Enrarecimiento] Si N es un proceso de Poisson con parametroλ > 0, formado por ocurrencias de fenomenos del tipo A o R, y talque la probabilidad de que un fenomeno es del tipo A es pA, y deltipo R es pR, pA + pR = 1, entonces los procesos de conteo defenomenos del tipo A, respectivamente del tipo R, son procesos dePoisson independientes con parametros λpA y λpR, respectivamente.

7/ 30


Procesos de Poisson

• [Sobreposicion] Si (NA(t), t ≥ 0) y (NR(t), t ≥ 0) son procesos dePoisson independientes con intensidades λA, λR > 0,respectivamente, entonces (NA(t) + NB (t), t ≥ 0) es un proceso dePoisson de parametro λA + λR.

• [Enrarecimiento] Si N es un proceso de Poisson con parametroλ > 0, formado por ocurrencias de fenomenos del tipo A o R, y talque la probabilidad de que un fenomeno es del tipo A es pA, y deltipo R es pR, pA + pR = 1, entonces los procesos de conteo defenomenos del tipo A, respectivamente del tipo R, son procesos dePoisson independientes con parametros λpA y λpR, respectivamente.

8/ 30


Procesos de Poisson

Procesos de Poisson Compuesto

Ejemplo (Proceso de Poisson Compuesto)

Sea {Sn ,n ≥ 0} una caminata aleatoria en R, y {N (t), t ≥ 0} unproceso de Poisson de parametro λ > 0; los procesos son independientes.El proceso (Z (t) = SN (t), t ≥ 0), recibe el nombre de proceso de Poisson(λ,F ) con F (x ) = P(S1 − S0 ≤ x ), x ∈ R .Muy utilizado en teorıa de la ruina.

9/ 30


Cadenas de Markov subordinadas

Una manera de construir procesos que tienen la propiedad de Markov atiempo continuo es utilizando una cadena de Markov {Yn ,n ≥ 0}, conmatriz de transicion {Px ,y , x , y ∈ E}, y un proceso de Poisson deparametro λ > 0, y supondremos que ambos procesos son independientes.Sea {X (t), t ≥ 0} el proceso definido mediante la relacion

X (t) = YN (t), t ≥ 0.

Es decir, que X (t) = Yn si Tn ≤ t < Tn+1, conTk = inf{t > 0 : N (t) = k}.

Tiene la propiedad de Markov: El estado del proceso al tiempo t + ssolamente depende del estado al tiempo t y no de lo ocurrido en tiemposanteriores.

P(Xt+s = y | Xt = x , (Xu , u < t))= P(Xt+s = y | Xt = x )= P(Xs = y | X0 = x ), x , y ∈ E , t , s ≥ 0.

9/ 30



Una manera de construir procesos que tienen la propiedad de Markov atiempo continuo es utilizando una cadena de Markov {Yn ,n ≥ 0}, conmatriz de transicion {Px ,y , x , y ∈ E}, y un proceso de Poisson deparametro λ > 0, y supondremos que ambos procesos son independientes.Sea {X (t), t ≥ 0} el proceso definido mediante la relacion

X (t) = YN (t), t ≥ 0.

Es decir, que X (t) = Yn si Tn ≤ t < Tn+1, conTk = inf{t > 0 : N (t) = k}.Tiene la propiedad de Markov: El estado del proceso al tiempo t + ssolamente depende del estado al tiempo t y no de lo ocurrido en tiemposanteriores.

P(Xt+s = y | Xt = x , (Xu , u < t))= P(Xt+s = y | Xt = x )= P(Xs = y | X0 = x ), x , y ∈ E , t , s ≥ 0.

10/ 30



Utilizando una cadena de Markov {Yn ,n ≥ 0}, con matriz de transicion{Px ,y , x , y ∈ E}, y un proceso de Poisson de parametro λ > 0, se tieneque

P(Xt+s = y | Xt = x ) =∞∑

k=0

e−λs(λs)k

k !P (k)

x ,y ,

para todo s, t ≥ 0, x , y ∈ E .

Para observar verdaderas transiciones supondremos que Px ,x = 0, paratodo x ∈ E .

10/ 30



Utilizando una cadena de Markov {Yn ,n ≥ 0}, con matriz de transicion{Px ,y , x , y ∈ E}, y un proceso de Poisson de parametro λ > 0, se tieneque

P(Xt+s = y | Xt = x ) =∞∑

k=0

e−λs(λs)k

k !P (k)

x ,y ,

para todo s, t ≥ 0, x , y ∈ E .Para observar verdaderas transiciones supondremos que Px ,x = 0, paratodo x ∈ E .

11/ 30



Probabilidades de transicion infinitesimalesPara h > 0 pequeno, se tiene

P(Xh = y | X0 = x )= P(Xh = y , N (h) = 0| X0 = x ) + P(Xh = y , N (h) = 1| X0 = x )

+ P(Xh = y , N (h) ≥ 2| X0 = x )= P(Y0 = y |Y0 = x ) P(N (h) = 0) + P(Y1 = y |Y0 = x ) P(N (h) = 1)

+ P(Xh = y , N (h) ≥ 2| X0 = x )

Tenemos que

P(Y0 = y |Y0 = x ) P(N (h) = 0) = δx (y)(1−λh+o(h)) = δx (y)(1−λh)+o(h),

P(Y1 = y |Y0 = x ) P(N (h) = 1) = Px ,y(λh + o(h)) = Px ,yλh + o(h),

P(Xh = y , N (h) ≥ 2| X0 = x ) ≤ P(N (h) ≥ 2) = o(h).

11/ 30






+ P(Xh = y , N (h) ≥ 2| X0 = x )

Tenemos que



P(Xh = y , N (h) ≥ 2| X0 = x ) ≤ P(N (h) ≥ 2) = o(h).

11/ 30






+ P(Xh = y , N (h) ≥ 2| X0 = x )

Tenemos que



P(Xh = y , N (h) ≥ 2| X0 = x ) ≤ P(N (h) ≥ 2) = o(h).

11/ 30






+ P(Xh = y , N (h) ≥ 2| X0 = x )

Tenemos que



P(Xh = y , N (h) ≥ 2| X0 = x ) ≤ P(N (h) ≥ 2) = o(h).

12/ 30



Se sigue que para x , y ∈ E y h > 0 pequeno

P(Xh = y | X0 = x )− δx (y)h

= −λδx (y) + λPx ,y +o(h)h

,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λ(Px ,y − δx (y))

=

λPx ,y , si x 6= y−λ(1− Px ,x︸︷︷︸

=0

) = −λ∑

z∈E\{x} Px ,z , si x = y .

La matriz Q = {Qx ,y , x , y ∈ E} puede ser representada como

Q = λ(P − I ),

con λ > 0 el parametro del proceso de Poisson, P la matriz de transicionde Y , I la matriz identidad en E . Q contiene toda la informacionnecesaria para describir a la cadena de Markov {Xt , t ≥ 0}.Q tiene la propiedad de Qx ,y ≥ 0 si x 6= y ∈ E , y

0 =∑y∈E

Qx ,y = λ(∑y∈E

Px ,y −1) ⇒ λ =∑y 6=x

Qx ,y = −Qx ,x , x ∈ E .

12/ 30




P(Xh = y | X0 = x )− δx (y)h


,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λ(Px ,y − δx (y))

=

λPx ,y , si x 6= y−λ(1− Px ,x︸︷︷︸

=0

) = −λ∑

z∈E\{x} Px ,z , si x = y .


Q = λ(P − I ),


0 =∑y∈E

Qx ,y = λ(∑y∈E

Px ,y −1) ⇒ λ =∑y 6=x

Qx ,y = −Qx ,x , x ∈ E .

12/ 30




P(Xh = y | X0 = x )− δx (y)h


,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λ(Px ,y − δx (y))

=

λPx ,y , si x 6= y−λ(1− Px ,x︸︷︷︸

=0

) = −λ∑

z∈E\{x} Px ,z , si x = y .


Q = λ(P − I ),

con λ > 0 el parametro del proceso de Poisson, P la matriz de transicionde Y , I la matriz identidad en E . Q contiene toda la informacionnecesaria para describir a la cadena de Markov {Xt , t ≥ 0}.

Q tiene la propiedad de Qx ,y ≥ 0 si x 6= y ∈ E , y

0 =∑y∈E

Qx ,y = λ(∑y∈E

Px ,y −1) ⇒ λ =∑y 6=x

Qx ,y = −Qx ,x , x ∈ E .

12/ 30




P(Xh = y | X0 = x )− δx (y)h


,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λ(Px ,y − δx (y))

=

λPx ,y , si x 6= y−λ(1− Px ,x︸︷︷︸

=0

) = −λ∑

z∈E\{x} Px ,z , si x = y .


Q = λ(P − I ),


0 =∑y∈E

Qx ,y = λ(∑y∈E

Px ,y −1) ⇒ λ =∑y 6=x

Qx ,y = −Qx ,x , x ∈ E .

13/ 30



Una cadena de Markov subordinada tiene la propiedad de Markov, eltiempo de permanencia en un estado sigue una distribucion exponencialcon parametro λ, independiente del estado, y las transiciones se dansiguiendo a la cadena de Markov subyacente {Yn ,n ≥ 0} si el proceso seencuentra en el estado x y ocurre un salto este sera al estado y ∈ E conprobabilidad Px ,y .

14/ 30


Cadenas de Markov

Un modelo mas general permitirıa que el tiempo de permanencia siga unadistribucion exponencial con un parametro que dependa de la posicion enla que se encuentra el proceso.

Para x ∈ E ,

P(Xh = y | X0 = x )− δx (y)h

= −λx δx (y) + λxPx ,y +o(h)h

,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λx (Px ,y − δx (y))

=

λxPx ,y , si x 6= y−λx (1− Px ,x︸︷︷︸

=0

) = −λx

∑z∈E\{x} Px ,z , si x = y .

La matriz Q = {Qx ,y , x , y ∈ E} satisface Qx ,y ≥ 0 si x 6= y ;Qx ,x = −

∑z∈E\{x}Qx ,z = −λx . Ademas, conociendo Q se obtiene P :

para x 6= y , Px ,y = Qx,y

−Qx,x, y ∈ E \ {x}, Px ,x = 0.

14/ 30


Cadenas de Markov

Un modelo mas general permitirıa que el tiempo de permanencia siga unadistribucion exponencial con un parametro que dependa de la posicion enla que se encuentra el proceso.Para x ∈ E ,

P(Xh = y | X0 = x )− δx (y)h


,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λx (Px ,y − δx (y))

=

λxPx ,y , si x 6= y−λx (1− Px ,x︸︷︷︸

=0

) = −λx

∑z∈E\{x} Px ,z , si x = y .




−Qx,x, y ∈ E \ {x}, Px ,x = 0.

14/ 30


Cadenas de Markov


P(Xh = y | X0 = x )− δx (y)h


,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λx (Px ,y − δx (y))

=

λxPx ,y , si x 6= y−λx (1− Px ,x︸︷︷︸

=0

) = −λx

∑z∈E\{x} Px ,z , si x = y .




−Qx,x, y ∈ E \ {x}, Px ,x = 0.

14/ 30


Cadenas de Markov


P(Xh = y | X0 = x )− δx (y)h


,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λx (Px ,y − δx (y))

=

λxPx ,y , si x 6= y−λx (1− Px ,x︸︷︷︸

=0

) = −λx

∑z∈E\{x} Px ,z , si x = y .


∑z∈E\{x}Qx ,z = −λx .

Ademas, conociendo Q se obtiene P :


−Qx,x, y ∈ E \ {x}, Px ,x = 0.

14/ 30


Cadenas de Markov


P(Xh = y | X0 = x )− δx (y)h


,

Qx ,y : = limh→0+

P(Xh = y | X0 = x )− δx (y)h

= λx (Px ,y − δx (y))

=

λxPx ,y , si x 6= y−λx (1− Px ,x︸︷︷︸

=0

) = −λx

∑z∈E\{x} Px ,z , si x = y .




−Qx,x, y ∈ E \ {x}, Px ,x = 0.

15/ 30


Cadenas de Markov

Sea {Πx ,y , x , y ∈ E} una matriz de transicion y (Zt , t ≥ 0) un procesoestocastico que toma valores en E y tiene la siguiente dinamica:

Iniciando en Z0 = x , permanece en esa posicion por un tiempoexponencial de parametro λx , digamos T1;al tiempo T1 el proceso se desplaza por un salto a alguna posicionen E \ {x}, digamos y , con probabilidad Πx ,y ,

a partir del tiempo T1 el proceso se comporta como si su estadoinicial fuera y , es decir, permanece en y un tiempo exponencial deparametro λy , digamos T2 − T1, independiente del tiempo T1 y delas posiciones anteriores, al tiempo T2 se mueve a alguna posicionz ∈ E \ {y}, con probabilidad Πy,z ....

15/ 30


Cadenas de Markov


Iniciando en Z0 = x , permanece en esa posicion por un tiempoexponencial de parametro λx , digamos T1;

al tiempo T1 el proceso se desplaza por un salto a alguna posicionen E \ {x}, digamos y , con probabilidad Πx ,y ,


15/ 30


Cadenas de Markov




15/ 30


Cadenas de Markov




16/ 30


Cadenas de Markov

El proceso (Zt , t ≥ 0) tiene la propiedad de Markov: el estado delproceso al tiempo t + s solamente depende del estado al tiempo t y node lo ocurrido en tiempos anteriores.

P(Zt+s = y | Zt = x , (Zu , u < t))= P(Zt+s = y | Zt = x )= P(Zs = y | Z0 = x ), x , y ∈ E , t , s ≥ 0.

17/ 30


Cadenas de Markov

Las probabilidades de transicion de (Zt , t ≥ 0) satisfacen parat ≥ 0, x , y ∈ E .

P(Zt = y |Z0 = x ) =: Px ,y(t)

= δx (y)e−λx t +∫ t

0

λxe−λx s

∑z∈E\{x}

Πx ,zPz ,y(t − s)

ds

= δx (y)e−λx t + e−λx t

∫ t

0

λxeλxu

∑z∈E\{x}

Πx ,zPz ,y(u)

du

18/ 30


Cadenas de Markov

Entonces, para t pequeno

P(Zt = y |Z0 = x )− δx (y)t

= −δx (y)(1− e−λx t)

t+

e−λx t

t

∫ t

0

λxeλxu

∑z∈E\{x}

Πx ,zPz ,y(u)

du

= −δx (y)λx + o(1) + λx

∑z∈E\{x}

Πx ,zPz ,y(0) + o(1)

= −δx (y)λx + λxΠx ,y + o(1)

De donde que para x , y ∈ E ,

Qx ,y = limt→0

P(Zt = y |Z0 = x )− δx (y)t

= −δx (y)λx + λxΠx ,y

=

{λxΠx ,y , si x 6= y−λx , si x = y .

19/ 30


Cadenas de Markov

Receta

En una cadena de Markov a tiempo continuo, las entradas de la Q-matrizson:

para x 6= y , Qx ,y es el parametro del tiempo exponencial al cual serealiza una transicion del estado x al estado y ,−Qx ,x es el parametro del tiempo exponencial al cual del estado xse realiza una transicion, por lo tanto −Qx ,x =

∑z∈E\{x}Qx ,z .

20/ 30


Cadenas de Markov

Ejemplo (Sistema de espera M /M /1)

Imaginemos un banco con un solo cajero que da servicio a clientes, estosse forman en una unica fila en espera de ser atendidos si el cajero estaocupado. Los clientes llegan segun un proceso de Poisson de parametroλ, y los tiempos de servicio son independientes entre si y del numero declientes en espera, y siguen una ley exponencial de parametro µ. SeaX (t) el numero de clientes en el banco al tiempo t . {X (t), t ≥ 0} es unacadena de Markov con espacio de estados E = Z+ y Q-matriz

Qx ,y =

λ, si y = x + 1µ, si y = x − 1,−(λ+ µ), si y = x ,

x , y ∈ Z+;

Πx ,y =

λ

λ+µ , si y = x + 1µ

λ+µ , si y = x − 1,0, en otro caso,

, x , y ∈ Z+

20/ 30


Cadenas de Markov

Ejemplo (Sistema de espera M /M /1)

Imaginemos un banco con un solo cajero que da servicio a clientes, estosse forman en una unica fila en espera de ser atendidos si el cajero estaocupado. Los clientes llegan segun un proceso de Poisson de parametroλ, y los tiempos de servicio son independientes entre si y del numero declientes en espera, y siguen una ley exponencial de parametro µ. SeaX (t) el numero de clientes en el banco al tiempo t . {X (t), t ≥ 0} es unacadena de Markov con espacio de estados E = Z+ y Q-matriz

Qx ,y =

λ, si y = x + 1µ, si y = x − 1,−(λ+ µ), si y = x ,

x , y ∈ Z+;

Πx ,y =

λ

λ+µ , si y = x + 1µ

λ+µ , si y = x − 1,0, en otro caso,

, x , y ∈ Z+

21/ 30


Cadenas de Markov

Ejemplo (Sistema de espera M /M /∞)

Un sistema de servicio tiene una infinidad de servidores, ası que no seforma una fila de espera. Clientes llegan al sistema segun un proceso dePoisson de parametro λ > 0. Los tiempos de servicio (inicianinmediatamente al integrarse al sistema) son independientes y tienen unaduracion exponencial(µ). Sea Xt el numero de servidores ocupados altiempo t , t ≥ 0.

X = {Xt , t ≥ 0} es una cadena de Markov con espaciode estados E = Z+, y Q matriz,

Qx ,y =

λ, si y = x + 1xµ, si y = x − 1,−(λ+ µx ), si y = x ,

x , y ∈ Z+;

Πx ,y =

λ

λ+xµ , si y = x + 1xµ

λ+xµ , si y = x − 1,0, en otro caso,

, x , y ∈ Z+

21/ 30


Cadenas de Markov

Ejemplo (Sistema de espera M /M /∞)

Un sistema de servicio tiene una infinidad de servidores, ası que no seforma una fila de espera. Clientes llegan al sistema segun un proceso dePoisson de parametro λ > 0. Los tiempos de servicio (inicianinmediatamente al integrarse al sistema) son independientes y tienen unaduracion exponencial(µ). Sea Xt el numero de servidores ocupados altiempo t , t ≥ 0. X = {Xt , t ≥ 0} es una cadena de Markov con espaciode estados E = Z+, y Q matriz,

Qx ,y =

λ, si y = x + 1xµ, si y = x − 1,−(λ+ µx ), si y = x ,

x , y ∈ Z+;

Πx ,y =

λ

λ+xµ , si y = x + 1xµ

λ+xµ , si y = x − 1,0, en otro caso,

, x , y ∈ Z+

22/ 30


Cadenas de Markov

Ejemplo (Sistema de espera M /M /k/s,)Ocurren llegadas de agentes al sistema segun un proceso de Poisson deparametro λ, hay k servidores cuyos respectivos tiempos de atencion sedistribuyen exponencialmente con parametro µ, los servicios inicianinmediatamente al ingresar un agente al sistema y que un servidor estalibre, en caso contrario el agente espera su turno en una fila de espera; elsistema solamente puede recibir s ≥ k clientes, incluyendo los que estanen servicio. El proceso estocastico {X (t), t ≥ 0}, donde X (t) denota elnumero de clientes en el sistema al tiempo t es una Cadena de Markovcon espacio de estados E = {0, 1, . . . , k , . . . , s}.

Qx ,y =

λ, si 0 ≤ x < s, y = x + 1,(x ∧ k)µ, si 0 < x ≤ s, y = x − 1,−(µ(x ∧ k) + λ), si 0 < x = y < s−µk , si x = s = y ,−λ, si x = 0 = y ,0, en otro caso.

donde a ∧ b = min{a, b}, para a, b ∈ R .

22/ 30


Cadenas de Markov

Ejemplo (Sistema de espera M /M /k/s,)Ocurren llegadas de agentes al sistema segun un proceso de Poisson deparametro λ, hay k servidores cuyos respectivos tiempos de atencion sedistribuyen exponencialmente con parametro µ, los servicios inicianinmediatamente al ingresar un agente al sistema y que un servidor estalibre, en caso contrario el agente espera su turno en una fila de espera; elsistema solamente puede recibir s ≥ k clientes, incluyendo los que estanen servicio. El proceso estocastico {X (t), t ≥ 0}, donde X (t) denota elnumero de clientes en el sistema al tiempo t es una Cadena de Markovcon espacio de estados E = {0, 1, . . . , k , . . . , s}.

Qx ,y =

λ, si 0 ≤ x < s, y = x + 1,(x ∧ k)µ, si 0 < x ≤ s, y = x − 1,−(µ(x ∧ k) + λ), si 0 < x = y < s−µk , si x = s = y ,−λ, si x = 0 = y ,0, en otro caso.

donde a ∧ b = min{a, b}, para a, b ∈ R .

23/ 30


Cadenas de Markov

Ejemplo

Despues de reparar una maquina esta funciona durante un tiempoexponencial de parametro λ y falla de nuevo. Cuando esto ocurre unproceso de reparacion inicia. Este consiste en una sucesion de k distintasetapas. Primero viene la etapa 1, luego la 2, y ası sucesivamente. Lostiempos necesarios para concluir estas etapas son independientes, y lai -esima etapa dura un tiempo exponencial de parametro µi , parai ∈ {1, . . . , k}. Estos tiempos son tambien independientes del tiempo defuncionamiento de la maquina. Sea X (t) la etapa en la que se encuentrala maquina, entendiendo al estado 0 como en funcionamiento,E = {0, 1, . . . , k}. X es una cadena de Markov con Q-matriz

Q =

−λ λ 0 0 0 00 −µ1 µ1 0 0 00 0 −µ2 µ2 0 0

0 0 0. . .

. . . 0

0 0 0 0. . .

. . .

µk 0 0 0 0 −µk

24/ 30


Cadenas de Markov

Ejemplo

La superficie de una bacteria consiste de varios sitios que moleculasextranjeras, malignas y benignas, ocupan durante cierto tiempo.

Consideramos un sitio y suponemos que las moleculas llegan a estesegun un proceso de Poisson de parametro λ, de entre la cuales unaproporcion 0 < α < 1 es benigna.

Las moleculas malignas se quedan en el sitio durante un tiempoexponencial de parametro µ1, mientras que las benignas lo hacendurante un tiempo exponencial de parametro µ2.

Una molecula que llega al sitio lo ocupa solamente si el sitio seencuentra libre de moleculas.

¿Se puede usar una Cadena de Markov a tiempo continuo para modelarel estado de la bacteria? Suponiendo que el sitio ha sido observadodurante un periodo de tiempo suficientemente prolongado ¿cual es laproporcion de tiempo que el sitio se encuentra ocupado por con unamolecula benigna (maligna)?

24/ 30


Cadenas de Markov

Ejemplo






24/ 30


Cadenas de Markov

Ejemplo






24/ 30


Cadenas de Markov

Ejemplo





¿Se puede usar una Cadena de Markov a tiempo continuo para modelarel estado de la bacteria?

Suponiendo que el sitio ha sido observadodurante un periodo de tiempo suficientemente prolongado ¿cual es laproporcion de tiempo que el sitio se encuentra ocupado por con unamolecula benigna (maligna)?

24/ 30


Cadenas de Markov

Ejemplo






25/ 30


Cadenas de Markov

En cualquier tiempo el sitio puede estar desocupado {0} u ocupado poruna molecula maligna {1} u ocupado por una molecula benigna {2}. Sea{X (t), t ≥ 0} el estado de la cadena al tiempo t .

Q =

−λ λ(1− α) λαµ1 −µ1 0µ2 0 −µ2

.

26/ 30


Cadenas de Markov

Ejemplo (Open Jackson Netwoks)

Consideremos una red que consiste de N estaciones de serviciointer-conectadas.

La estacion “p”, 1 ≤ p ≤ N , recibe clientes procedentes del exteriory aquellos enviados de otras estaciones.

Las llegadas a la estacion p constituyen un proceso de Poisson deparametro λ0

p .

Cada estacion tiene su fila de espera. La tasa a la cual los clientesdejan la estacion p es µp(n), si n es el numero de clientes presentesen la estacion p. Por ejemplo,

µp(n) =

{µp1{n>0}, si la fila es M /M /1(n ∧ sp)µp , si la fila es M /M /sp

.

Un cliente que deja la estacion “p” va a la estacion “q” conprobabilidad rp,q , 1 ≤ q ≤ N . Y deja el sistema con proba rp,0.rp,p = 0.

26/ 30


Cadenas de Markov





p .


µp(n) =


.


26/ 30


Cadenas de Markov





p .


µp(n) =


.


26/ 30


Cadenas de Markov





p .


µp(n) =


.


27/ 30


Cadenas de Markov

Ejemplo (Open Jackson Netwoks (continuacion))

El proceso Xt = (X 1t ,X

2t , . . . ,X

Nt ) del numero de clientes presentes

en las N estaciones al tiempo t es una cadena de Markov a tiempocontinuo con espacio de estados E = (Z+)N .

Sea ep = (0, . . . , 0, 1, 0, . . . , 0) el p-esimo vector canonico.

Las entradas fuera de la diagonal de la Q-matriz que no son ceroson:

Qx ,x+ep= λ0

p , x ∈ E , 1 ≤ p ≤ N ,

Qx+ep ,x = µp(xp + 1)rp,0, x ∈ E , 1 ≤ p ≤ N ,

Qx+ep ,x+eq = µp(xp + 1)rp,q , 1 ≤ p 6= q ≤ N , x ∈ E .

27/ 30


Cadenas de Markov



2t , . . . ,X


en las N estaciones al tiempo t es una cadena de Markov a tiempocontinuo con espacio de estados E = (Z+)N .Sea ep = (0, . . . , 0, 1, 0, . . . , 0) el p-esimo vector canonico.


Qx ,x+ep= λ0

p , x ∈ E , 1 ≤ p ≤ N ,



27/ 30


Cadenas de Markov



2t , . . . ,X


en las N estaciones al tiempo t es una cadena de Markov a tiempocontinuo con espacio de estados E = (Z+)N .Sea ep = (0, . . . , 0, 1, 0, . . . , 0) el p-esimo vector canonico.


Qx ,x+ep= λ0

p , x ∈ E , 1 ≤ p ≤ N ,



28/ 30


Cadenas de Markov

Ecuacion Backward

Derivando en t la igualdad

P(Zt = y |Z0 = x ) =: Px ,y(t)

= δx (y)e−λx t + e−λx t

∫ t

0

λxeλxu

∑z∈E\{x}

Πx ,zPz ,y(u)

du

se tiene

P ′x ,y(t) = −λxP ′x ,y(t) +∑

z∈E\{x}

λxΠx ,zPz ,t(t)

=∑z∈E

Qx ,zPz ,t(t) = (QP(t))x ,y .

Equivalentemente, P ′(t) = QP(t), t ≥ 0.

29/ 30


Cadenas de Markov

Si E es finito se puede verificar que la solucion a la ecuacion backward seescribe

P(t) = etQ :=∞∑

n=0

tn

n!Q(n), t ≥ 0,

es decir

Px ,y(t) = etQ |x ,y :=∞∑

n=0

tn

n!Q(n)

x ,y , t ≥ 0, x , y ∈ E .

30/ 30


Cadenas de Markov

Ecuacion Forward

P ′(t) = P(t)Q , t ≥ 0.

P ′x ,y(t) =∑z∈E

Px ,z (t)Qz ,y , t ≥ 0, x , y ∈ E .

Documents

Introducción a las cadenas de Markov: II Tiempo continuo · Introduccion a las cadenas de Markov: II Tiempo continuo Introduccion a las cadenas de Markov: II Tiempo continuo V ctor