Unidad IV Cadenas de MarkovUNI-NORTECARRERAS ING. DE SISTEMAS E INDUSTRIAL I semestre 2008MaestroIng. Julio Rito Vargas Avils.

Sumario

Procesos estocsticosConcepto de cadena de MarkovEcuaciones de Chapman-KolmogorovClasificacin de estadosCadenas absorbentesDistribucin estacionaria

Procesos estocsticos

Procesos estocsticosUn sistema informtico complejo se caracteriza por demandas de carcter aleatorio y por ser dinmicoNecesitamos una herramienta que modele procesos aleatorios en el tiempo, y para ello usaremos los procesos estocsticosUn proceso estocstico es una familia de variables aleatorias parametrizadas por el tiempo

Procesos estocsticosUn proceso estocstico es una familia de variables aleatorias definida sobre un espacio de probabilidad. Es decir:

Procesos estocsticosTendremos que X es una funcin de dos argumentos. Fijado =0, obtenemos una funcin determinista (no aleatoria):

Procesos estocsticosAsimismo, fijado t=t0, obtenemos una de las variables aleatorias de la familia:

Procesos estocsticosEl espacio de estados S de un proceso estocstico es el conjunto de todos los posibles valores que puede tomar dicho proceso:

Ejemplo de proceso estocsticoLanzamos una moneda al aire 6 veces. El jugador gana 1 cada vez que sale cara (C), y pierde 1 cada vez que sale cruz (F).Xi = estado de cuentas del jugador despus de la i-sima jugadaLa familia de variables aleatorias {X1, X2,, X6} constituye un proceso estocstico

Ejemplo de proceso estocstico={CCCCCC,CCCCCF,}card() = 26 = 64P()=1/64 T={1, 2, 3, 4, 5, 6}S={6, 5, , 1, 0, 1, 2, , 5, 6}X1()={1, 1}X2()={2, 0, 2}X3()={3,-1 1, 3}

Ejemplo de proceso estocsticoSi fijo , por ejemplo 0=CCFFFC, obtengo una secuencia de valores completamente determinista:X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0, X5(0)= 1, X6(0)=0Puedo dibujar con estos valores la trayectoria del proceso:

Ejemplo de proceso estocstico

Ejemplo de proceso estocsticoSi fijo t, por ejemplo t0=3, obtengo una de las variables aleatorias del proceso:Los posibles valores que puede tomar el proceso en t0=3 son: X3()={3, 1, 1, 3}

Ejemplo de proceso estocsticoPodemos hallar la probabilidad de que el proceso tome uno de estos valores:

Clasificacin de los procesos estocsticos

S discretoS continuoT discretoCadenaSucesin de variables aleatorias continuasT continuoProceso puntualProceso continuo

Ejemplos de los tipos de procesos estocsticosCadena: Ejemplo anteriorSucesin de variables aleatorias continuas: cantidad de lluvia cada cada mesProceso puntual: Nmero de clientes esperando en la cola de un supermercadoProceso continuo: velocidad del viento

Concepto de cadena de MarkovEn honor al matemtico ruso Andrei Andreyevich Markov,

Cadenas de MarkovLas cadenas de Markov y los procesos de Markov son un tipo especial de procesos estocsticos que poseen la siguiente propiedad:

Propiedad de Markov: Conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, dado el presente, el futuro es independiente del pasado

Cadenas de MarkovSlo estudiaremos las cadenas de Markov, con lo cual tendremos espacios de estados S discretos y conjuntos de instantes de tiempo T tambin discretos, T={t0, t1, t2,}Una cadena de Markov (CM) es una sucesin de variables aleatorias Xi, iN, tal que:que es la expresin algebraica de la propiedad de Markov para T discreto.

Probabilidades de transicinLas CM estn completamente caracterizadas por las probabilidades de transicin en una etapa, Slo trabajaremos con CM homogneas en el tiempo, que son aquellas en las quedonde qij se llama probabilidad de transicin en una etapa desde el estado i hasta el estado j

Matriz de transicinLos qij se agrupan en la denominada matriz de transicin de la CM:

Propiedades de la matriz de transicinPor ser los qij probabilidades,Por ser 1 la probabilidad del suceso seguro, cada fila ha de sumar 1, es decir,Una matriz que cumpla estas dos propiedades se llama matriz estocstica

Diagrama de transicin de estadosEl diagrama de transicin de estados (DTE) de una CM es un grafo dirigido cuyos nodos son los estados de la CM y cuyos arcos se etiquetan con la probabilidad de transicin entre los estados que unen. Si dicha probabilidad es nula, no se pone arco.ijqij

Ejemplo: lnea telefnicaSea una lnea telefnica de estados ocupado=1 y desocupado=0. Si en el instante t est desocupada, en el instante t+1 estar ocupada con probabilidad 0,7 y desocupada con probabilidad 0,3. Si en el instante t est desocupada, en el t+1 estar ocupada con probabilidad 0,1 y desocupada con probabilidad 0,9.

Ejemplo: lnea telefnica010,90,10,30,7

Ejemplo: buffer de E/SSupongamos que un buffer de E/S tiene espacio para M paquetes. En cualquier instante de tiempo podemos insertar un paquete en el buffer con probabilidad o bien el buffer puede vaciarse con probabilidad . Si ambos casos se dan en el mismo instante, primero se inserta y luego se vaca.Sea Xt=n de paquetes en el buffer en el instante t. Suponiendo que las inserciones y vaciados son independientes entre s e independientes de la historia pasada, { Xt } es una CM, donde S={0, 1, 2, , M}

Ejemplo: buffer de E/S0123(1)(1)(1)1+1+1+1(1)M1(1)

Ejemplo: Lanzamiento de un dadoSe lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 , y cada vez que sale 5 6 se gana 1 . El juego acaba cuando se tienen 0 100 .Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una CMS={0, 1, 2, , 100}

Ejemplo: Lanzamiento de un dado01232/31452/32/32/32/32/31/31/31/31/310099989712/32/31/31/32/31/31/31/3

Ejemplo: organismos unicelularesSe tiene una poblacin de organismos unicelulares que evoluciona as: cada organismo se duplica con probabilidad 1p o muere con probabilidad p. Sea Xn el n de organismos en el instante n. La CM { Xn } tendr S = { 0, 1, 2, 3, } = NSi hay i organismos en el instante n, en el instante n+1 tendremos k organismos que se dupliquen e ik que mueran, con lo que habr 2k organismos.

Ejemplo: organismos unicelularesMediante la distribucin binomial podemos hallar las probabilidades de transicin qi,2k (el resto de probabilidades son nulas):

Ecuaciones de Chapman-Kolmogorov

Ecuaciones de Chapman-KolmogorovTeorema: Las probabilidades de transicin en n pasos vienen dadas por la matriz p(n):Para toda i=0,1,2,M j=0,1,.M y cualquier m=1,2,n-1 y cualquier n=m+1, m+2, Demostracin: Por induccin sobre nCaso base (n=1). Se sigue de la definicin de qij

Ecuaciones de Chapman-KolmogorovHiptesis de induccin. Para cierto n, suponemos cierta la conclusin del teorema.Paso inductivo (n+1). Para cualesquiera i,jS,

Ecuaciones de Chapman-KolmogorovPor este teorema sabemos que la probabilidad de transitar de i hasta j en n pasos es el elemento (i,j) de Qn. Para evitar computaciones de potencias elevadas de matrices, se intenta averiguar el comportamiento del sistema en el lmite cuando n, llamado tambin comportamiento a largo plazoA continuacin estudiaremos esta cuestin

Clasificacin de estados

Clasificacin de estadosProbabilidad de alcanzar un estado:Diremos que un estado jS es alcanzable desde el estado iS sii ij0. Esto significa que existe una sucesin de arcos (camino) en el DTE que van desde i hasta j.Un estado jS es absorbente sii qjj=1. En el DTE,j1

Subconjuntos cerradosSea CS, con C. Diremos que C es cerrado sii iC jC, j no es alcanzable desde i, o lo que es lo mismo, ij=0. En particular, si C={i}, entonces i es absorbente. S siempre es cerrado.Un subconjunto cerrado CS se dice que es irreducible sii no contiene ningn subconjunto propio cerrado

Estados recurrentes y transitoriosSi S es irreducible, se dice que la CM es irreducible. En el DTE, esto ocurre sii dados i,j cualesquiera, j es alcanzable desde iDiremos que un estado jS es recurrente sii jj=1. En otro caso diremos que j es transitorio. Se demuestra que una CM slo puede pasar por un estado transitorio como mximo una cantidad finita de veces. En cambio, si visitamos un estado recurrente, entonces lo visitaremos infinitas veces.

Estados recurrentes y transitoriosProposicin: Sea CS cerrado, irreducible y finito. Entonces iC, i es recurrenteEjemplos: La CM de la lnea telefnica es irreducible. Como adems es finita, todos los estados sern recurrentes. Lo mismo ocurre con el ejemplo del bufferEjemplo: En el lanzamiento del dado, tenemos los subconjuntos cerrados {0}, {100}, con lo que la CM no es irreducible. Los estados 0 y 100 son absorbentes, y el resto son transitorios

Estados recurrentes y transitoriosProposicin: Sea iS recurrente, y sea jS un estado alcanzable desde i. Entonces j es recurrente.Demostracin: Por reduccin al absurdo, supongamos que j es transitorio. En tal caso, existe un camino A que sale de j y nunca ms vuelve. Por ser j alcanzable desde i, existe un camino B que va desde i hasta j. Concatenando el camino B con el A, obtengo el camino BA que sale de i y nunca ms vuelve. Entonces i es transitorio, lo cual es absurdo porque contradice una hiptesis.

Cadenas recurrentes y transitoriasProposicin: Sea X una CM irreducible. Entonces, o bien todos sus estados son recurrentes (y decimos que X es recurrente), o bien todos sus estados son transitorios (y decimos que X es transitoria).Ejemplo: Estado de cuentas con un to rico (fortunes with the rich uncle). Probabilidad p de ganar 1 y 1p de perder 1 . Cuando me arruino, mi to me presta dinero para la prxima tirada:

Cadenas recurrentes y transitorias01p21p3ppp1p1p1p1ppn+11ppp1p1pn

Cadenas recurrentes y transitoriasEsta cadena es irreducible e infinita. Se demuestra que es transitoria sii p>0,5 y recurrente en otro caso (p0,5)La cadena es transitoria cuando la tendencia global es ir ganando dinero. Esto implica que una vez visitado un estado, al final dejaremos de visitarlo porque tendremos ms dinero.

PeriodicidadSea jS tal que jj>0. SeaSi k>1, entonces diremos que j es peridico de periodo k. El estado j ser peridico de periodo k>1 sii existen caminos que llevan desde j hasta j pero todos tienen longitud mk, con m>0

PeriodicidadEjemplo: En la siguiente CM todos los estados son peridicos de periodo k=2:ijlmEjemplo: En la siguiente CM todos los estados son peridicos de periodo k=3:213546

PeriodicidadProposicin: Sea X una CM irreducible. Entonces, o bien todos los estados son peridicos de periodo k (y decimos que X es peridica de periodo k), o bien ningn estado es peridico (y decimos que X es aperidica)En toda CM peridica de periodo k, existe una particin de S, ={A1, A2, , Ak}, de tal manera que todas las transiciones van desde Ai hasta A(i mod k)+1

PeriodicidadEjemplo de CM peridica de periodo k=3:mijklA1A2A3

Cadenas ergdicasSea X una CM finita. Diremos que X es ergdica sii es irreducible, recurrente y aperidicaEjemplo: Analizar la siguiente CM, con S={a, b, c, d, e}:

Ejemplos1 Dibujar el DTE:dbcea1/41/43/41/21/41/21/21/31/31/32/31/3

Ejemplos2 Hallar los conjuntos cerradosTomado un estado i, construimos un conjunto cerrado Ci con todos los alcanzables desde l en una o ms etapas (el propio i tambin se pone):Ca={a, c, e}=Cc=CeCb={b, d, a, c, e}=Cd=SLa CM no ser irreducible, ya que Ca es un subconjunto propio cerrado de S

Ejemplos3 Clasificar los estadosRecurrentes: a, c, eTransitorios: b, dPeridicos: ningunoAbsorbentes: ninguno4 Reorganizar Q. Dada una CM finita, siempre podemos agrupar los estados recurrentes por un lado y los transitorios por otro, y hacer:

EjemplosEn nuestro caso, la nueva ordenacin de S es S={a, c, e, b, d}, con lo que obtenemos:5 Clasificar la cadena. No es irreducible, con lo cual no ser peridica, ni aperidica, ni recurrente, ni transitoria ni ergdica.

EjemplosEjemplo: Analizar la siguiente CM, con S={a, b, c, d, e, f, g}:

Ejemplos1 Dibujar el DTE:aecbfdg10,810,20,40,20,40,70,311

2 Hallar los conjuntos cerradosCa={a, c, e}=Cc=CeCf={f, d}=CdCg={g}S3 Clasificar los estadosRecurrentes: a, c, d, e, f, gTransitorios: bPeridicos: a, c, e (todos de periodo 2)Absorbentes: g

Ejemplos4 Reorganizar Q. Cuando hay varios conjuntos cerrados e irreducibles de estados recurrentes (por ejemplo, n conjuntos), ponemos juntos los estados del mismo conjunto:

EjemplosEn nuestro caso, reordenamos S={a, c, e, d, f, g, b} y obtenemos:

Ejemplos5 Clasificar la cadena. No es irreducible, con lo cual no ser peridica, ni aperidica, ni recurrente, ni transitoria ni ergdica.Ejemplo: Nmero de xitos al repetir indefinidamente una prueba de Bernouilli (probabilidad p de xito). No es CM irreducible, porque por ejemplo C1={1, 2, 3, } es cerrado. Todos los estados son transitorios.0123p1pppp1p1p1p

EjemplosEjemplo: Recorrido aleatorio. Es una CM irreducible y peridica de periodo 2. Se demuestra que si pq, todos los estados son recurrentes, y que si p>q, todos son transitorios.0112q3pppqqq

EjemplosLa siguiente CM es irreducible, recurrente y peridica de periodo 3. No es ergdica.ijk

EjemplosLa siguiente CM es irreducible, aperidica, recurrente y ergdica.jik

EjemplosLa siguiente CM es irreducible, aperidica, recurrente y ergdicajik

EjemplosLa siguiente CM es irreducible, aperidica, recurrente y ergdicakij

EjemplosLa siguiente CM es irreducible, aperidica, recurrente y ergdicajik

EjemplosLa siguiente CM no es irreducible, y por tanto no es de ninguno de los dems tipos. 1 y 4 son recurrentes; 2 y 3 son transitorios.1432

EjemplosLa siguiente CM no es irreducible, y por tanto no es de ninguno de los dems tipos. Todos los estados son recurrentes y ninguno es peridico.1212

EjemplosLa siguiente CM es irreducible, recurrente y peridica de periodo 3. No es ergdica.1342

EjemplosLa siguiente CM no es irreducible, y por tanto no es de ninguno de los dems tipos. Ningn estado es peridico. 4 es transitorio, y el resto recurrentes. 1 es absorbente.1423

EjemplosLa siguiente CM no es irreducible, y por tanto no es de ninguno de los dems tipos. Ningn estado es peridico. 4 y 5 son transitorios, y el resto recurrentes. 3 es absorbente.15243

EjemplosLa siguiente CM es no es irreducible, y por tanto tampoco de ninguno de los dems tipos. 4 es absorbente, y el resto son transitorios.1432

EjemplosLa siguiente CM no es irreducible y por tanto no es de ninguno de los dems tipos. 1,3 y 5 son recurrentes de periodo 3. 2 y 6 son recurrentes, pero no peridicos. 4 es transitorio.162543

Cadenas absorbentes

Concepto de cadena absorbenteSea X una CM cuyos estados son todos transitorios o absorbentes. En tal caso diremos que X es absorbente.Si X es finita y absorbente, reordenamos S poniendo primero los estados transitorios y obtenemos:

Resultados sobre cadenas absorbentesProposicin: El nmero medio de etapas que se estar en el estado transitorio jS antes de la absorcin, suponiendo que empezamos en el estado transitorio iS, viene dado por el elemento (i,j) de (IQ)1Nota: La etapa inicial tambin se cuenta, es decir, en la diagonal de (IQ)1 todos los elementos son siempre mayores o iguales que 1

Resultados sobre cadenas absorbentesProposicin: La probabilidad de ser absorbido por un estado absorbente jS, suponiendo que empezamos en el estado transitorio iS, viene dada por el elemento (i,j) de la matriz (IQ)1 R, que se denomina matriz fundamental de la CM

Ejemplo de CM absorbenteEn un juego participan dos jugadores, A y B. En cada turno, se lanza una moneda al aire. Si sale cara, A le da 1 a B. Si sale cruz, B le da 1 a A. Al principio, A tiene 3 y B tiene 2 . El juego contina hasta que alguno de los dos se arruine. Calcular:La probabilidad de que A termine arruinndose.La probabilidad de que B termine arruinndose.El nmero medio de tiradas que tarda en acabar el juego.

Ejemplo de CM absorbenteTendremos una CM con un estado por cada posible estado de cuentas de A: S={1, 2, 3, 4, 5, 0}. Descomponemos Q:

Ejemplo de CM absorbenteRealizamos los clculos necesarios:

Ejemplo de CM absorbenteProbabilidad de que A termine arruinndose.La ruina de A est representada por el estado 0, que es el 2 estado absorbente. Como empezamos en el 3er estado transitorio (A empieza con 3 ), debemos consultar la 3 fila, 2 columna de (IQ)1R, que nos da una probabilidad de 0,4 de que A empiece con 3 y termine en la ruina.Probabilidad de que B termine arruinndoseComo es el suceso contrario del apartado a), su probabilidad ser 10,4=0,6. Tambin podramos haber consultado la 3 fila, 1 columna de (IQ)1R.

Ejemplo de CM absorbenteNmero medio de tiradas que tarda en acabar el juegoSumamos los nmeros medios de etapas que se estar en cualquier estado transitorio antes de la absorcin, suponiendo que empezamos en el 3er estado transitorio. Dichos nmeros medios son los que forman la 3 fila de la matriz (IQ)1. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.Nota: si observamos la 1 columna de (IQ)1R, vemos que los valores van creciendo. Esto se debe a que, cuanto ms dinero tenga al principio A, ms probabilidad tiene de ganar el juego.

Distribucin estacionaria

Concepto de distribucin estacionariaTeorema: Sea X una CM irreducible, aperidica y recurrente. Entonces,Diremos que una CM alcanza la distribucin estacionaria sii existen los lmites del teorema anterior y adems se cumple que:

Existencia de la distribucin estacionariaTeorema: Sea X finita y ergdica. Entonces la distribucin estacionaria existe y viene dada por la solucin de las siguientes ecuaciones:Este teorema no slo dice cundo existe distribucin estacionaria (en los casos finitos), sino que adems nos dice cmo calcularla.

Nomenclatura para las ecuacionesA las primeras ecuaciones del teorema se les llama ecuaciones de equilibrio, porque expresan que lo que sale de j (izquierda) es igual a lo que entra en j (derecha):A la ltima ecuacin se le llama ecuacin normalizadora, ya que obliga a que el vector formado por los pj est normalizado (en la norma 1)

EjemplosEjemplo: Hallar la distribucin estacionaria (si existe) del ejemplo de la lnea telefnica.010,90,10,30,71 Comprobar que la CM es finita y ergdica, para as saber que existe la distribucin estacionaria. Lo es, con lo cual dicha distribucin existe.

EjemplosO lo que es ms fcil,3 Plantear la ecuacin normalizadora:2 Plantear las ecuaciones de equilibrio (una por nodo):

Ejemplos4 Resolver el sistema. Hay dos mtodos:Utilizar un algoritmo estndar de sistemas de ecuaciones lienales para resolver todas las ecuaciones conjuntamente, por ejemplo, Gauss. El sistema debe tener solucin nica. En nuestro caso,

EjemplosLa solucin verdadera ser de la forma (3k,k)T. Aplicando la normalizadora,Con lo cual la solucin verdadera es (075,025)TEncontrar una solucin cualquiera de las ecuaciones de equilibrio. Para ello le daremos un valor no nulo a nuestra eleccin a una sola de las incgnitas. Una vez conseguida esa solucin, la solucin verdadera ser un mltiplo de ella (usaremos la normalizadora). En nuestro caso, haciendo p1=1,

EjemplosEjemplo: Hallar, si existe, la distribucin estacionaria para esta CM con S={1, 2, 3}:

Ejemplos1321 Dibujamos el DTE y as comprobamos ms fcilmente que la CM es finita y ergdica:

Ejemplos2 y 3 Planteamos las ecuaciones:4 Resolvemos. Para ello fijamos p1=1 y hallamos una solucin para las ecuaciones de equilibrio:

EjemplosPor tanto la solucin verdadera ser de la forma:Normalizamos y obtenemos la solucin verdadera:

EjemplosEjemplo: Hallar la distribucin estacionaria, si existe, en el ejemplo del buffer.1 Ya vimos que la CM es finita y ergdica2 y 3 Planteamos las ecuaciones de equilibrio nodo a nodo y expresndolas como salidas=entradas (usar QT sera ms difcil):

Ejemplos4 Podemos despejar pi en la ecuacin de cada nodo i, y as observamos que los pi forman una progresin geomtrica, cuya razn llamaremos :

Ejemplos Usando la suma de los M1 primeros trminos de una sucesin geomtrica y la ecuacin normalizadora, llegamos a la solucin:

Ejemplo #1El departamento de estudios de mercado de una fbrica estima que el 20% de la gente que compra un producto un mes, no lo comprar el mes siguiente. Adems, el 30% de quienes no lo compren un mes lo adquirir al mes siguiente. En una poblacin de 1000 individuos, 100 compraron el producto el primer mes. Cuntos lo comprarn al mes prximo? Y dentro de dos meses ?.

Para resolver este tipo de problemas, lo primero es hacer un esquema.

A la vista del esquema podemos pasar a construir la matriz de probabilidades de transicin:

0100.800.2010.300.70

CalculoMatriz inicial El primer mes comprarn 350 y no comprarn 650El segundo mes comprarn 475 y no comprarn 525

Ejemplo #2:El clima en el pueblo de Centerville puede cambiar con rapidez de un da a otro. sin embargo, las posibilidades de tener clima seco (sin lluvia) maana es de alguna forma mayor si hoy est seco, es decir, no llueve. En particular, la probabilidad de que maana est seco es de 0.8 si hoy est seco, pero es de slo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la informacin acerca del clima en los das anteriores a hoy. La evolucin del clima da tras da en Centerville es un proceso estocstico. Si se comienza en algn da inicial, el clima se observa cada da t, para t=0,1,2,El estado del sistema en el da t puede ser.Estado 0 = El da t es seco. OEstado 1= El da t es lluvioso

La matriz P contiene los estados posibles, del problema. Debe leerse que la si hoy es un da seco la probabilidad que maana sea seco es 0.8.Si hoy es un seco, la probabilidad que maana sea lluvioso es 0.2. Si hoy es un da lluvioso, la probabilidad que maana sea seco es 0.6.Si hoy es un da lluvioso ,la probabilidad que maana sea lluvioso es 0.4

El proceso estocstico proporciona una representacin matemtica de la forma como evoluciona el clima Centerville a travs del tiempo.

Matrices de transicin de estados en n pasos del clima:

La probabilidad del estado del clima dos, tres, cuatro, cinco das a futuro se puede conocer a partir de las matrices de transicin de dos, tres, cuatro y cinco pasos que se calculan bajo las ecuaciones de Chapman Kolmogorov. Partiendo de la matriz de transicin de un paso. Observe que en la matriz de cinco pasos, las dos filas tienen elementos idnticos. Esto se denomina proba-bilidad del estado estable de la cadena de Markov.

Ejemplo #3:Hay tres marcas nacionales de cerveza principales (B,M,S). Piense en el volumen total (en galones) que se consumieron el ao pasado de estas tres cervezas. En la grfica se muestra la proporcin del total del mercado( o sea, la participacin en el mercado) de cada marca. Sharon Sheralik es la gerente de la fbrica que produce la cerveza B. Le gustara recuperar su posicin como fabricante de cerveza nmero 1 en la nacin. Ella espera cambiar su posicin en el mercado modificando su estrategia de mercado y el envase. Espera aumentar su participacin en el extenso mercado cervecero, en tanto que conserva una ventaja entre los jvenes solteros. Sabe que con una nueva campaa ganar y perder clientes ante sus dos competidores. Lo que Sharon necesita es una estimacin del efecto global.

Marca de cervezaParticipacin en el mercadoB0.3M0.5S0.2

Una cadena de Markov ofrece a Sharon un nuevo modelo para analizar este problema. Para usarlo, suponga que se puede describir el comportamiento de un consumidor individual mediante una cadena de Markov. Los estados del sistema son las marcas de cerveza que los consumidores podran comprar. Una probabilidad de transicin pij es la probabilidad de que un cliente que compra esta vez la marca i cambie a la marca j la prxima vez.En la tabla siguiente se muestra la matriz de transicin de un paso para este problema. Esta matriz indica que:1.- el 85% de la gente que compr B la ltima vez, la comprar otra vez; 2.- El 10% se aficionar a M;3.- el 5% comprar S. Las dems fila tienen una representacin similar.La matriz de probabilidades estacionarias se puede calcular con las ecuaciones de Chapman Kolmogorov.

0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 P(1)=P(2)= 0.85 0.1 0.05 0.85 0.1 0.05 0.08 0.85 0.07 0.08 0.85 0.07 0.13 0.17 0.7 0.13 0.17 0.7 0.737 0.1785 0.0845 0.1451 0.7424 0.1125 0.2151 0.2765 0.5084 =P(3)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 0.737 0.1785 0.0845 0.1451 0.7424 0.1125 0.2151 0.2765 0.5084 X 0.651715 0.23979 0.108495 0.197352 0.664675 0.13797 0.2710469 0.34296 0.3859 =

BMSB0.850.100.05M0.080.850.07S0.130.170.70

P(4)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 X 0.651715 0.23979 0.108495 0.197352 0.664675 0.13797 0.2710469 0.34296 0.3859 P(4)= 0.5872452999 0.2874371499 0.1253175499 0.2388596899 0.6081643600 0.1529759499 0.3080056899 0.3842415499 0.3077527599 P(5)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 0.5872452999 0.2874371499 0.1253175499 0.2388596899 0.6081643600 0.1529759499 0.3080056899 0.3842415499 0.3077527599 XP(5)= 0.5384447583 0.3243500909 0.1372051503 0.2715707587 0.5668315864 0.1615976545 0.3325520191 0.4097238556 0.2577241248

0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 P(6)= 0.5384447583 0.3243500909 0.1372051503 0.2715707587 0.5668315864 0.1615976545 0.3325520191 0.4097238556 0.2577241248 XP(6)= 0.5014627213 0.3528669286 0.1456703494 0.2971893668 0.5364355256 0.1663751070 0.3489512609 0.4253335804 0.2257151581 P(7)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 0.5014627213 0.3528669286 0.1456703494 0.2971893668 0.5364355256 0.1663751070 0.3489512609 0.4253335804 0.2257151581 XP(7)= 0.4734098128 0.3748471208 0.1517430655 0.3171545677 0.5139729016 0.1688725299 0.3599782287 0.4348002463 0.2052215242

0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 P(8)=XP(8)= 0.4734098128 0.3748471208 0.1517430655 0.3171545677 0.5139729016 0.1688725299 0.3599782287 0.4348002463 0.2052215242 0.4521127090 0.3917573551 0.1561299348 0.3326526435 0.4973007532 0.1700466023 0.3674443122 0.4404656913 0.1920899955 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 P(9)=X 0.4521127090 0.3917573551 0.1561299348 0.3326526435 0.4973007532 0.1700466023 0.3674443122 0.4404656913 0.1920899955 0.4359332826 0.4047471117 0.1593196045 0.3446448655 0.4848788270 0.1704763064 0.3725366201 0.4437955681 0.1836678107 P(9)=

0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 P(10)=XP(10)= 0.4359332826 0.4047471117 0.1593196045 0.3446448655 0.4848788270 0.1704763064 0.3725366201 0.4437955681 0.1836678107 0.4236346077 0.4147127060 0.1616526849 0.3539003616 0.4755924616 0.1705071755 0.3760365879 0.4457034227 0.1782599881 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 XP(11)=P(11)= 0.4236346077 0.4147127060 0.1616526849 0.3539003616 0.4755924616 0.1705071755 0.3760365879 0.4457034227 0.1782599881 0.4142812820 0.4223502173 0.1633684991 0.3610286371 0.4686298484 0.1703415131 0.3784611720 0.4467557661 0.1747830605

0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 XP(12)=P(12)= 0.4142812820 0.4223502173 0.1633684991 0.3610286371 0.4686298484 0.1703415131 0.3784611720 0.4467557661 0.1747830605 0.4071650120 0.4281984578 0.1646365285 0.3665091261 0.4633962921 0.1700945802 0.3801542553 0.4473016387 0.1725441044 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 XP(13)=P(13)= 0.4071650120 0.4281984578 0.1646365285 0.3665091261 0.4633962921 0.1700945802 0.3801542553 0.4473016387 0.1725441044 0.4017488855 0.4326734002 0.1655777124 0.3707167560 0.4594538396 0.1698294027 0.3813459817 0.4475543162 0.1710997004

P(14)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 X 0.4017488855 0.4326734002 0.1655777124 0.3707167560 0.4594538396 0.1698294027 0.3813459817 0.4475543162 0.1710997004 P(14)= 0.3976255273 0.4360954899 0.1662789808 0.3739433721 0.4564784378 0.1695781883 0.3821913908 0.4476427160 0.1701658913 P(15)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 XP(15)= 0.3976255273 0.4360954899 0.1662789808 0.3739433721 0.4564784378 0.1695781883 0.3821913908 0.4476427160 0.1701658913 0.3944856049 0.4387111459 0.1668032470 0.3764153058 0.4542293014 0.1693553909 0.3827956653 0.4476436493 0.1695606834

P(16)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 XP(16)= 0.3944856049 0.4387111459 0.1668032470 0.3764153058 0.4542293014 0.1693553909 0.3827956653 0.4476436493 0.1695606834 0.3920940780 0.4407095866 0.1671963332 0.3783075548 0.4525268533 0.1691655898 0.3832306963 0.4476019847 0.1691673169 P(17)= 0.85 0.1 0.05 0.08 0.85 0.07 0.13 0.17 0.7 X 0.3920940780 0.4407095866 0.1671963332 0.3783075548 0.4525268533 0.1691655898 0.3832306963 0.4476019847 0.1691673169 P(17)= 0.3902722565 0.4422359331 0.1674918080 0.3797550965 0.4512367311 0.1690081701 0.3835460018 0.4475432006 0.1689107954

P(25)= 0.384437 0.447154 0.1684 0.384437 0.447154 0.1684 0.384437 0.447154 0.1684 Observe que en la matriz de veinte y cinco pasos, las tres filas tienen elementos idnticos. Esto se denomina probabilidad del estado estable de la cadena de Markov o Matriz estacionariaEsto implica que la ventaja en el mercado de B aumentar al nuevo nivel de 0.38. Sea ha acercado a su competidor ms fuerte, de un 20% a pasado a un 7% de diferencia. De hecho esto depende de que la matriz de transicin sea una buena representacin de cmo reaccionarn los clientes ante la nueva campaa promocional.

Solucin por medio programacin lineal:[0.85B + 0.08M + 0.13S, 0.1B + 0.85M + 0.17S, 0.05B + 0.07M + 0.7S]B = 0.85B + 0.08M + 0.13SM = 0.1B + 0.85M + 0.17S S = 0.05B + 0.07M + 0.7S

PPL:Funcin objetivo Max BSujeto a: 0.15B 0.08M -0.13S=0-0.1B + 0.15M 0.17S=0-0.05B 0.07M + 0.3S=0 B>0 M>0 S>0

Combined Report for MARKOV

16:43:24FridayJune062008DecisionSolution Unit Cost or Total ReducedBasisAllowableAllowableVariableValue Profit c(j) Contribution CostStatusMin. c(j)Max. c(j)B0.3844 1.0000 0.3844 0basic 0MM0.4472 0 0 0basic -M0.1786S0.1684 0 0 0basic-0.217418.5000ObjectiveFunction(Max.) =0.3844Left Hand Right HandSlack Shadow AllowableAllowable ConstraintSideDirectionSideor Surplus Price Min. RHSMax. RHSC1 0.0000=0 0 4.2973 0 0.1100C20.0000=0 0 0 0 MC30.0000=0 0 0.5807 0 0.1375C41.0000=1.0000 0 0.3844 0 M

En una poblacin de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete diario y 2500 fuman ms de un paquete diario. En un mes hay un 5% de probabilidad de que un no fumador comience a fumar un paquete diario, o menos, y un 2% de que un no fumador pase a fumar ms de un paquete diario. Para los que fuman un paquete, o menos, hay un 10% de probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar ms de un paquete diario. Entre los que fuman ms de un paquete, hay un 5% de probabilidad de que dejen el tabaco y un 10% de que pasen a fumar un paquete, o menos. Cuntos individuos habr de cada clase el prximo mes? Y dentro de dos meses?

Ejemplo #4Poblacin No fumanFuman 1Fuman 2

Ejemplo 4

Ejemplo 4Despus de un mes habrn NF=5025, FC=2500, FCC=2475Despus de dos mes habrn NF=5047, FC=2499, FCC=2455

01200.930.050.0210.100.800.1020.050.100.85

Qu pasara si hubisemos partido de otra matriz de estado ?Supongamos que al comienzo del estudio partimos con:10.000 personas 4,000 no fumadores 3,500 fuman 1 paquete, o menos, diario 2,500 fuman ms de un paquete diario.

En este caso la matriz de probabilidades de transicin no cambia,slo tenemos que modificar X. Por lo tanto la situacin a la que tiende este tipo de problemas es independiente de la matriz de estado inicial.

Problema #5:

La cervecera ms importante de la costa este (con etiqueta A) ha contratado a un analista de IO para analizar su posicin en el mercado. En especial, la empresa est preocupada por las actividades de su mayor competidor (con etiqueta B). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov que incluya tres estados: Los estados A y B representan a los clientes que beben cerveza que producen las mencionadas cerveceras y el estado C representa todas las dems marcas. Los datos se toman cada mes y el analista construye la siguiente matriz de transicin (de un paso) con datos histricos.

Cules son los porcentajes de mercado en el estado estable de las dos cerveceras grandes?

ABCA0.700.200.10B0.200.750.05C0.100.100.80

Solucin:(usar IOtutor o WinQSB, para obtener la matriz estable)

P(21)=

ABCA0.3460.3850.269B0.3460.3850.269C0.3460.3850.269

**********