CADENAS DE MARKOV

Procesos estocsticosUn proceso estocstico se define como una coleccin indexada de variables aleatorias {Xt}, donde el ndice t toma valores de un conjunto T dado.

Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xt representa una caracterstica de inters cuantifcable en el tiempo t.

Por ejemplo, Xt puede representar los niveles de inventario al fi nal de la semana t.

Estados (M +1 ; se etiquetan 0, 1, 2, ..., M)

Estado del sistema en el tiempo t, de manera que sus nicos valores posibles son 0, 1, . . ., M.

Puntos del tiempo dados, etiquetados t = 0, 1, 2, . . .

De esta forma, los procesos estocsticos

{Xt}= {X0, X1, X2, . . .}

Proporcionan un representacin matemtica de la forma en que evoluciona la condicin del sistema fsico a travs del tiempo.

Ejemplo de climaEl clima en el pueblo de Centerville puede cambiar con rapidez de un da a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) maana es de alguna forma mayor si hoy esta seco, es decir, si no llueve.

En particular, la probabilidad de que maana este seco es de 0.8 si hoy esta seco, pero es de solo 0.6 si hoy llueve.

Estas probabilidades no cambian si se considera la informacin acerca del clima en los das anteriores a hoy.

La evolucin del clima da tras da en Centerville es un proceso estocstico:

Si se comienza en algn da inicial (etiquetado como da 0), el clima se observa cada da t, para t = 0, 1, 2,)

El estado del sistema en el dia t puede ser:

Estado 0= El dia t es seco

o bien

Estado 1= El da t es lluvioso

Asi, para t =0, 1, 2, . . ., la variable aleatoria Xt toma los valores,

0 si da t es seco1 si da t es lluvioso

Ejemplo de inventariosLa tienda de fotografa de Dave tiene el siguiente problema de inventario:

El negocio tiene en almacn un modelo especial de cmara que se puede solicitar cada semana.

Sean D1, D2, . . . Representan las demandas respectivas de esta cmara (el numero de unidades que se venderan si el inventario no se agota) durante la primera, segunda semanas, . . ., respectivamente

Entonces, la variable aleatoria Dt (para t = 1, 2, . . .) es:

Dt =numero de cmaras que se venderian en la semana t si el inventario no se agota.

(Este numero incluye las ventas perdidas cuando se agota el inventario.)

Se supone que las Dt son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin Poisson con media de 1.

Sea X0 el numero de cmaras que se tiene en el momento de iniciar el proceso, X1 el numero de cmaras que se tienen al final de la semana 1, X2 el numero de cmaras al final de la semana 2, etc.,

entonces la variable aleatoria Xt (para t = 0, 1, 2, . . .) es

Xt =numero de cmaras disponibles al fi nal de la semana t.

Suponga que X0 = 3, de manera que la semana 1 se inicia con tres cmaras a mano.

{Xt} ={X0, X1, X2, . . .}

Es un proceso estocstico donde la variable aleatoria Xt representa el estado del sistema en el tiempo t, a saber

Estado en el tiempo t =numero de cmaras disponibles al fi nal de la semana t.

Como propietario de la tienda, Dave deseara aprender mas acerca de como evoluciona este proceso estocstico a travs del tiempo mientras se utilice la poltica de pedidos actual que se describe a continuacin.

Al final de cada semana t (sbado en la noche), la tienda hace un pedido que le entregan en el momento de abrir la tienda el lunes. La tienda usa la siguiente poltica para ordenar:

Si Xt =0, ordena 3 cmaras.Si Xt mayor que 0, no ordena ninguna cmara.

En consecuencia, el nivel de inventarios flucta entre un mnimo de cero y un mximo de tres cmaras, por lo que los estados posibles del sistema en el tiempo t (al final de la semana t) son:

Estados posibles = 0, 1, 2, o 3 cmaras disponibles.

Como cada variable aleatoria Xt (t =0, 1, 2, . . .) representa el estado del sistema al final de la semana t, sus nicos valores posibles son 0, 1, 2, 3. Las variables aleatorias Xt son dependientes

CADENAS DE MARKOVEs necesario hacer algunos supuestos sobre la distribucin conjunta de X0, X1, . . . para obtener resultados analticos. Un supuesto que conduce al manejo analtico es que el proceso estocstico es una cadena de Markov, que tiene la siguiente propiedad esencial:

La probabilidad condicional de cualquier evento futuro dados cualquier evento pasado y el estado actual Xt =i, es independiente de los eventos pasados y solo depende del estado actual del proceso.(propiedad Markoviana)

Las probabilidades condicionales de una cadena de Markov se llaman probabilidades de transicin (de un paso), si:

entonces se dice que las probabilidades de transicin (de un paso) son estacionarias. As, tener probabilidades de transicin estacionarias implica que las probabilidades de transicin no cambian con el tiempo.

La existencia de probabilidades de transicin (de un paso) estacionarias tambin implica que, para cada i, j y n (n 5 0, 1, 2, . . .),

para toda t =0, 1, . . . Estas probabilidades condicionales se llaman probabilidades de transicinde n pasos.

Las probabilidades de transicin de n pasos pij (n) son simplemente la probabilidad condicional de que el sistema se encuentre en el estado j exactamente despus de n pasos (unidades de tiempo), dado que comenz en el estado i en cualquier tiempo t.

Como las pij (n) son probabilidades condicionales, deben ser no negativas y, como el proceso debe hacer una transicin a algn estado, deben satisfacer las propiedades

Una notacin conveniente para representar las probabilidades de transicin de n pasos es la matriz de transicin de n pasos

Observe que la probabilidad de transicion en un renglon y columna dados es la de la transicion del estado en ese renglon al estado en la columna. Las cadenas de Markov tienen las siguientes propiedades:

1. Un numero finito de estados.2. Probabilidades de transicin estacionarias.Tambin se supondr que se conocen las probabilidades iniciales P{X0 = i} para toda i.

Formulacin del ejemplo del clima como una cadena de MarkovEn el ejemplo del clima que se presento, recuerde que la evolucin del clima da tras da en Centerville se ha formulado como un proceso estocstico {Xt} (t = 0, 1, 2, . . .) donde

Si usamos otra notacin que se introdujo en esta seccin, las probabilidades de transicin (de un paso) son

para toda t 5 1, 2, . . ., por lo que estas son las probabilidades de transicin estacionarias. Adems,

Por lo tanto, la matriz de transicin es

donde estas probabilidades de transicin se refieren a la transicin del estado del rengln al estado de la columna. Tenga en mente que el estado 0 hace referencia a un da seco, mientras que el estado 1 significa que el da es lluvioso, as que estas probabilidades de transicin proporcionan la probabilidad del estado del clima el da de maana, dado el estado del clima del da de hoy.

Ejemplo de acciones.

Considere el siguiente modelo del valor de una accin:

Al final de un da dado se registra el precio. Si la accin subi, la probabilidad de que suba maana es de 0.7. Si la accion bajo, la probabilidad de que suba maana es de solo 0.5. (Para simplificar, cuando la accion permanezca con el mismo precio se considerara un aumento.)

Esta es una cadena de Markov, donde los estados posibles de cada da son los siguientes:

Estado 0: El precio de la accin subi este da.Estado 1: El precio de la accin bajo este da.

La matriz de transicin que muestra cada probabilidad de ir desde un estado particular hoy hasta un estado particular maana, esta dada por

***