Cadenas de markovUNIDAD 4

INVESTIGACIÓN DE OPERACIONES II

Sumario

• Procesos estocásticos• Concepto de cadena de Markov• Ecuaciones de Chapman-Kolmogorov• Clasificación de estados• Cadenas absorbentes• Distribución estacionaria

Proceso estocástico

•Es un modelo matemático que describe el comportamiento de un sistema dinámico sometido a un fenómeno de naturaleza aleatorio.

Características de un proceso estocástico

•Es una función aleatoria que varía en el tiempo.

•Sus valores no pueden ser predichos con exactitud, sino con cierta probabilidad.

Ejemplo de proceso estocástico• Lanzamos una moneda al aire 6 veces.

• La cosecha de uva sea exitosa en el 2015 y en el 2016.

• Sus valores no pueden ser predichos en el futuro con exactitud sino con probabilidad.

proceso estocástico

•Si para un sistema S compuesto por n estados diferentes, se conoce la probabilidad de pasar de un estado a otro, estamos en presencia de un PROCESO ESTOCÁSTICO.

Proceso estocástico

• Un proceso estocástico se puede expresar mediante una matriz cuadrada P llamada “MATRIZ DE PROBABILIDAD” ó “MATRIZ DE TRANSICIÓN ó “MATRIZ ESTOCÁSTICA”.

P =

S1 S2 … Sm

S1 P11 P12 … P1m

S2 P21 P22 … P2m

… … … … …

Sm Pm1 Pm2 … Pmm

Representación de un proceso estocástico

GrafoÁrbol

Representación del Proceso estocástico

• Cuando no se especifica el estado inicial del sistema se utiliza un grafo. También llamado DIAGRAMA DE TRANSICIÓN DE ESTADOS.

• Cuando se especifica el estado inicial se utiliza el árbol.

Clasificación de los procesos estocásticos

• Procesos aleatorios puros: Cuando la probabilidad de que el sistema se encuentre en el estado Sj en la fecha tm es independiente de todos los estados anteriores ocurridos en fechas anteriores.

• Proceso de tipo Markov: Cuando la probabilidad de un suceso depende solamente del suceso inmediatamente anterior a él.

Cadenas de Markov

Definición

• Las cadenas de Markov y los procesos de Markov son un tipo especial de procesos estocásticos que poseen la siguiente propiedad:• Propiedad de Markov: Conocido el estado del

proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, “dado el presente, el futuro es independiente del pasado”

DIAGRAMA DE TRANSICIÓN DE ESTADOS

• El diagrama de transición de estados (DTE) de una Cadena de Markov (CM) es un grafo dirigido cuyos nodos son los estados de la CM y cuyos arcos se etiquetan con la probabilidad de transición entre los estados que unen. Si dicha probabilidad es nula, no se pone arco.

i jqij

EJEMPLO DIAGRAMA DE TRANSICIÓN DE

ESTADOS

• Sea una línea telefónica de estados ocupado=1 y desocupado=0. Si en el instante t está ocupada, en el instante t+1 estará ocupada con probabilidad 0,7 y desocupada con probabilidad 0,3. Si en el instante t está desocupada, en el t+1 estará ocupada con probabilidad 0,1 y desocupada con probabilidad 0,9.

LINEA TELEFÓNICA

7,03,0

1,09,0Q

0 10,9

0,1

0,3

0,7

EJEMPLO 2Para un proceso se utiliza una máquina que se deteriora a lo largo del tiempo. Periódicamente es necesario inspeccionarla, teniendo en cuenta los siguientes estados:

S1: la máquina se encuentra en estado perfecto

S2: la máquina presenta un deterioro no importante u puede seguir operando.

S3:la máquina presente un deterioro importante, con rendimiento muy bajo, pero puede seguir operando.

S4:la máquina no puede seguir trabajando y por lo tanto debe ser remplazada por una nueva.

SIENDO LA MATRIZ DE PROBAbilidad

S1 S2 S3 S4

S1 0 7/8 1/16 1/16

S2 0 3/4 1/8 1/8

S3 0 0 1/2 1/2

S4 1 0 0 0

Suponer que el estado inicial de la máquina es S1, represente el proceso

estocástico.

Cómo los estados del sistema son “independientes”. Por lo tanto, la probabilidad de que el sistema partiendo del estado S1 se encuentre en el estado S2 en dos pasos es:(S1 , S2 , S2 )

P12(2) = P12 P22 = 0.65625

¿Cuál es la probabilidad de que el sistema se encuentre en S3

, partiendo de S1 ?

P13(2) = P12 P23 + P13 P33 = 7/8 * 1/8 + 1/16

* ½= 0.140625

• En resumen se dice que un proceso estocástico {Xt} es una cadena de Markov de estado finito si:

• Está formado por un número finito de estados

• Cumple con la probabilidad Markoviana

• Se da un conjunto de probabilidades iniciales P

Análisis de Markov

• Llamado así en honor de un matemático ruso que desarrollo el método en 1907.

• Permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado.

Cadenas de Markov homogénea

•Una CM es homogénea si la probabilidad para que, encontrándose el sistema en el estado Si en el instante n=β llegue al estado Sj en el instante n=α (es decir en (α – β) pasos) ,depende sólo de Si y de Sj y de d= (α – β) independientemente de los dos instantes α y β

Estados de una cadena de Markov

• Estados comunicantes: Si Sj es consecuente de Si , y Si es consecuente de Sj , entonces se dice que Si y Sj son estados comunicantes

1 0 0 00 0 ½ ½

0 ½ 0 ½ ½

½

0 0

Diagrama de transición de estados

3

1

1/21/2

1/2

1/2

2

4

1/2

1/2

1C1={S1,S3,S4}

C2={S1}

• Un conjunto formado por estados comunicantes entre sí, se denomina “clase comunicante”.

• Las clases comunicantes constituyen una subred fuertemente conexa, (para cualquier par de estados Si, Sj , existe por lo menos un camino que los relaciona).

Estados sin retorno

• Un estado Si es sin retorno cuando no se comunica con ningún otro estado del sistema. consecuente de Si , y Si es consecuente de Sj , entonces se dice que Si y Sj son estados comunicantes.

3

1

24

1/3

1/2

1/2

2/3

1/3

1/3

1/3

1/3

S1 es un estado sinRetorno, pero si Tiene descendientes

Estados absorbentes

1/3 1/3 1/3

2/3 0 1/3

0 0 1

Un estado es absorbente cuando la probabilidad de que se quede en su mismo estado es igual a 1 , es decir no cambia de estado.

El estado Si es absorbente si pij = 1

Cadenas de Markov irreducibles ó ergódicas• Una CM es irreducible si cada estado sj

se puede alcanzar desde cualquier otro estado si después de un número finito de transiciones.

• Una CM es ergódica si se encuentra por lo menos un circuito que pasa por todos los nodos (estados), en otras palabras, “todos los estados del sistema pertenecen a la misma clase comunicante

La siguiente CM es irreducible

1

4 3

2

La siguiente CM no es irreducible