Embed Size (px)
Citation preview
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Curso de posgrado MATEMATICA DISCRETA
T. N. Hibbard - J. F. Yazlle
Facultad de Ciencias Exactas
Universidad Nacional de Salta
Cap. 7: PROBABILIDAD DISCRETA YCADENAS DE MARKOV
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Espacio de probabilidad discreta
Par (Ω,P), donde:
Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).
P : Ω→ [0, 1] con∑
e∈Ω P(e) = 1 (la cuantıa).
Evento
Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =
∑e∈A P(e) (frecuencia con que ocurre
A).
Ejemplos
1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).
2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Espacio de probabilidad discreta
Par (Ω,P), donde:
Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).
P : Ω→ [0, 1] con∑
e∈Ω P(e) = 1 (la cuantıa).
Evento
Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =
∑e∈A P(e) (frecuencia con que ocurre
A).
Ejemplos
1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).
2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Espacio de probabilidad discreta
Par (Ω,P), donde:
Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).
P : Ω→ [0, 1] con∑
e∈Ω P(e) = 1 (la cuantıa).
Evento
Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =
∑e∈A P(e) (frecuencia con que ocurre
A).
Ejemplos
1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).
2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Espacio de probabilidad discreta
Par (Ω,P), donde:
Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).
P : Ω→ [0, 1] con∑
e∈Ω P(e) = 1 (la cuantıa).
Evento
Cualquier subconjunto de Ω.
Dado A ⊂ Ω, P(A) =∑
e∈A P(e) (frecuencia con que ocurreA).
Ejemplos
1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).
2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Espacio de probabilidad discreta
Par (Ω,P), donde:
Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).
P : Ω→ [0, 1] con∑
e∈Ω P(e) = 1 (la cuantıa).
Evento
Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =
∑e∈A P(e) (frecuencia con que ocurre
A).
Ejemplos
1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).
2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Espacio de probabilidad discreta
Par (Ω,P), donde:
Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).
P : Ω→ [0, 1] con∑
e∈Ω P(e) = 1 (la cuantıa).
Evento
Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =
∑e∈A P(e) (frecuencia con que ocurre
A).
Ejemplos
1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).
2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Espacio de probabilidad discreta
Par (Ω,P), donde:
Ω: espacio muestral (conjunto a lo sumo numerable deeventos elementales).
P : Ω→ [0, 1] con∑
e∈Ω P(e) = 1 (la cuantıa).
Evento
Cualquier subconjunto de Ω.Dado A ⊂ Ω, P(A) =
∑e∈A P(e) (frecuencia con que ocurre
A).
Ejemplos
1 Moneda honesta: Ω = C ,X, P(C ) = 12 = P(X ).
2 Dado honesto: Ω = 1, 2, 3, 4, 5, 6, P(e) = 16 para todo e.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Probabilidad condicional
Dados eventos A y B,
P(A|B) =P(A ∩ B)
P(B)
Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).
Variable aleatoria
Cualquier funcion f de Ω en los reales.
Esperanza
E(f ) =∑e∈Ω
P(e)f (e)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Probabilidad condicional
Dados eventos A y B,
P(A|B) =P(A ∩ B)
P(B)
Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).
Variable aleatoria
Cualquier funcion f de Ω en los reales.
Esperanza
E(f ) =∑e∈Ω
P(e)f (e)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Probabilidad condicional
Dados eventos A y B,
P(A|B) =P(A ∩ B)
P(B)
Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).
Variable aleatoria
Cualquier funcion f de Ω en los reales.
Esperanza
E(f ) =∑e∈Ω
P(e)f (e)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Introduccion
Probabilidad condicional
Dados eventos A y B,
P(A|B) =P(A ∩ B)
P(B)
Observacion: P((A ∩ B)|C ) = P(A|(B ∩ C ))P(B|C ).
Variable aleatoria
Cualquier funcion f de Ω en los reales.
Esperanza
E(f ) =∑e∈Ω
P(e)f (e)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.
4 En cualquier otro caso, el jugador vuelve a arrojarsucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.
la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?
¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
El pase ingles
REGLAS DE JUEGO
1 El jugador arroja dos dados honestos y observa su suma s.
2 Si s ∈ 7, 11, el jugador gana.
3 Si s ∈ 2, 3, 12, el jugador pierde.4 En cualquier otro caso, el jugador vuelve a arrojar
sucesivamente los dos dados hasta que ocurra una de lassiguientes cosas:
la suma de la nueva tirada sea s, en cuyo caso el jugadorgana.la suma de la nueva tirada sea 7, en cuyo caso el jugadorpierde.
¿PROBABILIDAD DE QUE EL JUGADOR GANE?¿PROMEDIO DE TIROS PARA TERMINAR EL JUEGO?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets,
y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos.
Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,
debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set.
En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos
yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p.
(Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Tenis
Un partido de tenis consta de 3 sets, y gana el partido el quegana al menos 2 de ellos. Cada set se compone de games,debiendose ganar 6 games para ganar el set. En cada game hayun solo sacador.
Para ganar un game, se debe ganar al menos cuatro puntos yterminar con una ventaja de al menos dos puntos sobre eloponente.
El que saca, gana un punto con probabilidad p. (Usualmente,p > 1
2 .)
¿PROBABILIDAD DE QUE EL SACADOR GANE ELGAME?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Mas caras que cruces
Celia entrega 10 pesos a Diego.
Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.
Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.
¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Mas caras que cruces
Celia entrega 10 pesos a Diego.
Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.
Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.
¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Mas caras que cruces
Celia entrega 10 pesos a Diego.
Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.
Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.
¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Mas caras que cruces
Celia entrega 10 pesos a Diego.
Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.
Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.
¿ESTE JUEGO FAVORECE A DIEGO
, A CELIA O ANINGUNO DE LOS DOS?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Mas caras que cruces
Celia entrega 10 pesos a Diego.
Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.
Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.
¿ESTE JUEGO FAVORECE A DIEGO, A CELIA
O ANINGUNO DE LOS DOS?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Mas caras que cruces
Celia entrega 10 pesos a Diego.
Diego arroja una moneda honesta hasta que el numero decaras supere al numero de cruces.
Cuando ello se produce, Diego entrega a Celia 1 centavopor cada tiro que hizo.
¿ESTE JUEGO FAVORECE A DIEGO, A CELIA O ANINGUNO DE LOS DOS?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).
n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e,
¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ?
¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Proceso estocastico a valores en E
Familia de variables aleatorias Xnn∈TPara cada n ∈ T , Xn : Ω→ E .
Aquı consideraremos T = N (tiempo discreto) y E a lo sumonumerable (espacio de estados discreto).n = 0: instante inicial X0: estado inicial
Preguntas naturales
¿Distribucion de Xn?
¿Influyen en esa distribucion los valores X0,X1, . . . ,Xn−1?
Dados e, f ∈ E , y suponiendo que X0 = e, ¿existe n > 0tal que Xn = f ? ¿Cuanto vale ese n en promedio?
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :
P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) =
P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
La condicion markoviana
Para todo entero n ≥ 0 y todos j , in, . . . , i0 ∈ E :P (Xn+1 = j |Xn = in, . . . ,X0 = i0) = P (Xn+1 = j |Xn = in)
Cadena de Markov
Proceso estocastico que satisface la condicion markoviana.
Cadenas homogeneas
Aquellas en que para todo n ≥ 0 y todos i , j ∈ E ,
P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) = pij
Matriz de transicion de la cadena:
P = (pij)i ,j∈E
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.
Forma conveniente de representacion de cadenas homogeneas
Mediante un grafo dirigido:
Conjunto de vertices E .
Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .
Ejemplo
E = X ,C P =
12
12
12
12
(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.
Forma conveniente de representacion de cadenas homogeneas
Mediante un grafo dirigido:
Conjunto de vertices E .
Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .
Ejemplo
E = X ,C P =
12
12
12
12
(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.
Forma conveniente de representacion de cadenas homogeneas
Mediante un grafo dirigido:
Conjunto de vertices E .
Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0,
y se le asocia el valor pij .
Ejemplo
E = X ,C P =
12
12
12
12
(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.
Forma conveniente de representacion de cadenas homogeneas
Mediante un grafo dirigido:
Conjunto de vertices E .
Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .
Ejemplo
E = X ,C P =
12
12
12
12
(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.
Forma conveniente de representacion de cadenas homogeneas
Mediante un grafo dirigido:
Conjunto de vertices E .
Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .
Ejemplo
E = X ,C
P =
12
12
12
12
(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.
Forma conveniente de representacion de cadenas homogeneas
Mediante un grafo dirigido:
Conjunto de vertices E .
Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .
Ejemplo
E = X ,C P =
12
12
12
12
(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Cadenas de Markov
Todas las Cadenas de Markov que consideramos aquı seranhomogeneas.
Forma conveniente de representacion de cadenas homogeneas
Mediante un grafo dirigido:
Conjunto de vertices E .
Dados i , j ∈ E , hay una arista desde i hasta j cuando, ysolo cuando, pij > 0, y se le asocia el valor pij .
Ejemplo
E = X ,C P =
12
12
12
12
(Representa el revoleo continuo de una moneda honesta, siendoXn el resultado del n-esimo tiro.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)
Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0:
Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P
Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1,
pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:
Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1,
pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ecuaciones de Chapman-Kolmogorov
Transiciones en n pasos
pij (n) = P (Xn = j |X0 = i)
(por homogeneidad, ∀m ∈ N, pij (n) = P (Xm+n = j |Xm = i)Matriz de transicion de n pasos: Pn = (pij(n))i ,j∈E
Ecuaciones de Chapman-Kolmogorov
Para todo n ≥ 0: Pn+1 = Pn · P Pn = Pn
Observacion
∀i , j , k ∈ E ,m, n ≥ 1, pij (m + n) ≥ pik (m) pkj (n).Mas generalmente:Para todos m1,m2, . . . ,mr ≥ 1 y todos losestados i , j , k1, k2, . . . , kr−1, pij (m1 + m2 + · · ·+ mr ) ≥pik1 (m1) pk1k2 (m2) · · · pkr−1j (mr )
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribucion de Xn
Definicion
µ(n) = (P (Xn = i))i∈E
(µ(0) es la distribucion inicial de la cadena.)
Lema
Para todo n ≥ 1:µ(n) = µ(0)Pn
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribucion de Xn
Definicion
µ(n) = (P (Xn = i))i∈E
(µ(0) es la distribucion inicial de la cadena.)
Lema
Para todo n ≥ 1:µ(n) = µ(0)Pn
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribucion de Xn
Definicion
µ(n) = (P (Xn = i))i∈E
(µ(0) es la distribucion inicial de la cadena.)
Lema
Para todo n ≥ 1:µ(n) = µ(0)Pn
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)fij =
∑∞n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente)
si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)fij =
∑∞n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)fij =
∑∞n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)fij =
∑∞n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)fij =
∑∞n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:
fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)(Convencion: fij (0) = 0.)
fij =∑∞
n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)fij =
∑∞n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)
fij =∑∞
n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Estados persistentes y transitorios
Sea e ∈ E .
e es persistente (o recurrente) si
P (Xn = e para algun n ≥ 1 |X0 = e) = 1
(Es decir, P ((X1 = e ∨ X2 = e ∨ . . .) |X0 = e) = 1.)
e es transitorio si no es persistente.
Primera visita
Para i , j ∈ E y n ≥ 1:fij(n) = P(Xn = j ,Xn−1 6= j , . . . ,X1 6= j |X0 = i)
(Convencion: fij (0) = 0.)fij =
∑∞n=1 fij (n)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Lema
j es persistente si, y solo si, fjj = 1
Funciones generatrices
Para i , j ∈ E ,
Pij (x) =∞∑n=0
pij (n) xn Fij (x) =∞∑n=0
fij (n) xn
Lema
Para i , j ∈ E cualesquiera,
Pij (x) = δij + Fij (x)Pjj (x)
(δii = 1, y si i 6= j , δij = 0.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Lema
j es persistente si, y solo si, fjj = 1
Funciones generatrices
Para i , j ∈ E ,
Pij (x) =∞∑n=0
pij (n) xn
Fij (x) =∞∑n=0
fij (n) xn
Lema
Para i , j ∈ E cualesquiera,
Pij (x) = δij + Fij (x)Pjj (x)
(δii = 1, y si i 6= j , δij = 0.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Lema
j es persistente si, y solo si, fjj = 1
Funciones generatrices
Para i , j ∈ E ,
Pij (x) =∞∑n=0
pij (n) xn Fij (x) =∞∑n=0
fij (n) xn
Lema
Para i , j ∈ E cualesquiera,
Pij (x) = δij + Fij (x)Pjj (x)
(δii = 1, y si i 6= j , δij = 0.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Lema
j es persistente si, y solo si, fjj = 1
Funciones generatrices
Para i , j ∈ E ,
Pij (x) =∞∑n=0
pij (n) xn Fij (x) =∞∑n=0
fij (n) xn
Lema
Para i , j ∈ E cualesquiera,
Pij (x) = δij + Fij (x)Pjj (x)
(δii = 1, y si i 6= j , δij = 0.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Lema
j es persistente si, y solo si, fjj = 1
Funciones generatrices
Para i , j ∈ E ,
Pij (x) =∞∑n=0
pij (n) xn Fij (x) =∞∑n=0
fij (n) xn
Lema
Para i , j ∈ E cualesquiera,
Pij (x) = δij + Fij (x)Pjj (x)
(δii = 1, y si i 6= j , δij = 0.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Lema
j es persistente si, y solo si, fjj = 1
Funciones generatrices
Para i , j ∈ E ,
Pij (x) =∞∑n=0
pij (n) xn Fij (x) =∞∑n=0
fij (n) xn
Lema
Para i , j ∈ E cualesquiera,
Pij (x) = δij + Fij (x)Pjj (x)
(δii = 1, y si i 6= j , δij = 0.)
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Teorema
Un estado j es persistente si, y solo si,∑∞
n=1 pjj (n) =∞.
Consecuentemente, un estado j es transitorio si, y solo si,∑∞n=1 pjj (n) <∞.
Corolario
Sean i , j ∈ E .
1 Si j es persistente y fij > 0, entonces∑∞
n=0 pij (n) =∞.
2 Si j es transitorio, entonces∑∞
n=0 pij (n) <∞.
Corolario
Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Teorema
Un estado j es persistente si, y solo si,∑∞
n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞
n=1 pjj (n) <∞.
Corolario
Sean i , j ∈ E .
1 Si j es persistente y fij > 0, entonces∑∞
n=0 pij (n) =∞.
2 Si j es transitorio, entonces∑∞
n=0 pij (n) <∞.
Corolario
Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Teorema
Un estado j es persistente si, y solo si,∑∞
n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞
n=1 pjj (n) <∞.
Corolario
Sean i , j ∈ E .
1 Si j es persistente y fij > 0, entonces∑∞
n=0 pij (n) =∞.
2 Si j es transitorio, entonces∑∞
n=0 pij (n) <∞.
Corolario
Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Teorema
Un estado j es persistente si, y solo si,∑∞
n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞
n=1 pjj (n) <∞.
Corolario
Sean i , j ∈ E .
1 Si j es persistente y fij > 0, entonces∑∞
n=0 pij (n) =∞.
2 Si j es transitorio, entonces∑∞
n=0 pij (n) <∞.
Corolario
Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Teorema
Un estado j es persistente si, y solo si,∑∞
n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞
n=1 pjj (n) <∞.
Corolario
Sean i , j ∈ E .
1 Si j es persistente y fij > 0, entonces∑∞
n=0 pij (n) =∞.
2 Si j es transitorio, entonces∑∞
n=0 pij (n) <∞.
Corolario
Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Teorema
Un estado j es persistente si, y solo si,∑∞
n=1 pjj (n) =∞.Consecuentemente, un estado j es transitorio si, y solo si,∑∞
n=1 pjj (n) <∞.
Corolario
Sean i , j ∈ E .
1 Si j es persistente y fij > 0, entonces∑∞
n=0 pij (n) =∞.
2 Si j es transitorio, entonces∑∞
n=0 pij (n) <∞.
Corolario
Cualquier cadena de Markov con cantidad finita de estadosposee al menos un estado persistente.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Tiempo medio de retorno
Re =
∑∞n=0 nfee (n) si e es persistente
∞ si e es transitorio
Persistencia nula y positiva
Un estado persistente e se dice nulo si Re =∞, y positivo (ono nulo) si Re <∞.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Tiempo medio de retorno
Re =
∑∞n=0 nfee (n) si e es persistente
∞ si e es transitorio
Persistencia nula y positiva
Un estado persistente e se dice nulo si Re =∞, y positivo (ono nulo) si Re <∞.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Tiempo medio de retorno
Re =
∑∞n=0 nfee (n) si e es persistente
∞ si e es transitorio
Persistencia nula y positiva
Un estado persistente e se dice nulo si Re =∞
, y positivo (ono nulo) si Re <∞.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Clasificacion de estados
Tiempo medio de retorno
Re =
∑∞n=0 nfee (n) si e es persistente
∞ si e es transitorio
Persistencia nula y positiva
Un estado persistente e se dice nulo si Re =∞, y positivo (ono nulo) si Re <∞.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Comunicacion de estados
Sean i , j ∈ E .
Comunicacion
i → j si ∃n ≥ 0 : pij (n) > 0.
Intercomunicacion
i ↔ j cuando i → j y j → i .
Lema
↔ es de equivalencia en E .
Proposicion
↔ preserva el tipo de estado (transitorio o persistente).
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Comunicacion de estados
Sean i , j ∈ E .
Comunicacion
i → j si ∃n ≥ 0 : pij (n) > 0.
Intercomunicacion
i ↔ j cuando i → j y j → i .
Lema
↔ es de equivalencia en E .
Proposicion
↔ preserva el tipo de estado (transitorio o persistente).
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Comunicacion de estados
Sean i , j ∈ E .
Comunicacion
i → j si ∃n ≥ 0 : pij (n) > 0.
Intercomunicacion
i ↔ j cuando i → j y j → i .
Lema
↔ es de equivalencia en E .
Proposicion
↔ preserva el tipo de estado (transitorio o persistente).
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Comunicacion de estados
Sean i , j ∈ E .
Comunicacion
i → j si ∃n ≥ 0 : pij (n) > 0.
Intercomunicacion
i ↔ j cuando i → j y j → i .
Lema
↔ es de equivalencia en E .
Proposicion
↔ preserva el tipo de estado (transitorio o persistente).
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Comunicacion de estados
Sean i , j ∈ E .
Comunicacion
i → j si ∃n ≥ 0 : pij (n) > 0.
Intercomunicacion
i ↔ j cuando i → j y j → i .
Lema
↔ es de equivalencia en E .
Proposicion
↔ preserva el tipo de estado (transitorio o persistente).
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Periodicidad
Perıodo de un estado
Para e ∈ E ,
d (e) = mcd n ≥ 1 : pee (n) > 0
(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)
Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.
Proposicion
↔ preserva el perıodo.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Periodicidad
Perıodo de un estado
Para e ∈ E ,
d (e) = mcd n ≥ 1 : pee (n) > 0
(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)
Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.
Proposicion
↔ preserva el perıodo.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Periodicidad
Perıodo de un estado
Para e ∈ E ,
d (e) = mcd n ≥ 1 : pee (n) > 0
(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)
Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.
Proposicion
↔ preserva el perıodo.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Periodicidad
Perıodo de un estado
Para e ∈ E ,
d (e) = mcd n ≥ 1 : pee (n) > 0
(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)
Estados aperiodicos: los de perıodo 1.
Estados ergodicos: los persistentes positivos aperiodicos.
Proposicion
↔ preserva el perıodo.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Periodicidad
Perıodo de un estado
Para e ∈ E ,
d (e) = mcd n ≥ 1 : pee (n) > 0
(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)
Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.
Proposicion
↔ preserva el perıodo.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Periodicidad
Perıodo de un estado
Para e ∈ E ,
d (e) = mcd n ≥ 1 : pee (n) > 0
(Consideramos d (e) =∞ si ∀n ≥ 1, pee (n) = 0.)
Estados aperiodicos: los de perıodo 1.Estados ergodicos: los persistentes positivos aperiodicos.
Proposicion
↔ preserva el perıodo.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Irreducibilidad y cerradura
Sea C ⊂ E .
C es irreducible si ∀i , j ∈ C , i ↔ j .
C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.
Clasificacion de cadenas
Cadena irreducible: ↔ tiene una sola clase deequivalencia.
Cadena aperiodica: todos los estados son aperiodicos.
Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Irreducibilidad y cerradura
Sea C ⊂ E .
C es irreducible si ∀i , j ∈ C , i ↔ j .
C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.
Clasificacion de cadenas
Cadena irreducible: ↔ tiene una sola clase deequivalencia.
Cadena aperiodica: todos los estados son aperiodicos.
Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Irreducibilidad y cerradura
Sea C ⊂ E .
C es irreducible si ∀i , j ∈ C , i ↔ j .
C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.
Clasificacion de cadenas
Cadena irreducible: ↔ tiene una sola clase deequivalencia.
Cadena aperiodica: todos los estados son aperiodicos.
Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Irreducibilidad y cerradura
Sea C ⊂ E .
C es irreducible si ∀i , j ∈ C , i ↔ j .
C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.
Clasificacion de cadenas
Cadena irreducible: ↔ tiene una sola clase deequivalencia.
Cadena aperiodica: todos los estados son aperiodicos.
Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Irreducibilidad y cerradura
Sea C ⊂ E .
C es irreducible si ∀i , j ∈ C , i ↔ j .
C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.
Clasificacion de cadenas
Cadena irreducible: ↔ tiene una sola clase deequivalencia.
Cadena aperiodica: todos los estados son aperiodicos.
Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Irreducibilidad y cerradura
Sea C ⊂ E .
C es irreducible si ∀i , j ∈ C , i ↔ j .
C es cerrado si ∀i ∈ C , j /∈ C , pij = 0.
Clasificacion de cadenas
Cadena irreducible: ↔ tiene una sola clase deequivalencia.
Cadena aperiodica: todos los estados son aperiodicos.
Cadena ergodica: irreducible y aperiodica con todos susestados persistentes positivos.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Teorema de la Descomposicion
El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como
E = T ∪ C1 ∪ C2 ∪ · · ·
donde:
T : el conjunto de estados transitorios de la cadena.
C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Teorema de la Descomposicion
El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como
E = T ∪ C1 ∪ C2 ∪ · · ·
donde:
T : el conjunto de estados transitorios de la cadena.
C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Teorema de la Descomposicion
El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como
E = T ∪ C1 ∪ C2 ∪ · · ·
donde:
T : el conjunto de estados transitorios de la cadena.
C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Descomposicion
Teorema de la Descomposicion
El conjunto E de estados de una cadena de Markov se puedeparticionar de manera unica como
E = T ∪ C1 ∪ C2 ∪ · · ·
donde:
T : el conjunto de estados transitorios de la cadena.
C1,C2, . . .: conjuntos irreducibles y cerrados de estadospersistentes.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov:
unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v
invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena:
vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.
Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .
Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena,
y para todos i , j ∈ E , lımn→∞
pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Distribuciones estacionarias
Distribuciones estacionarias
Vector de distribucion para E : ∀i ∈ E , 0 ≤ vi ≤ 1 y∑i∈E vi = 1.
Distribucion estacionaria para una cadena de Markov: unvector de distribucion v invariante por multiplicacion por lamatriz de transicion de la cadena: vP = v.
Teorema
Sea Xnn∈N una cadena de Markov ergodica.Para cada estado j , sea vj = 1/Rj .Entonces, v es la unica distribucion estacionaria que posee lacadena, y para todos i , j ∈ E , lım
n→∞pij(n) = vj .
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet,
y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′,
sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .
Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 0
1− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
Sea E ′ = 1, 2, . . . ,N una enumeracion de las paginas deInternet, y para cada i ∈ E ′, sea Si la cantidad de paginas weba las que puede accederse por enlace desde la pagina i .Sean E = 0 ∪ E ′ y p un real entre 0 y 1.
Para cada i ∈ E , sea Pii = 0.
Para cada i ∈ E ′, sea P0i = 1/N.
Para cada i ∈ E , sea Pi0 =
1 si Si = 01− p si Si > 0
Para cada i , j ∈ 1, . . . ,N con i 6= j ,
Pij =
pSi
si hay arista de i a j en G
0 en caso contrario
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
P resulta ergodica.
Para n suficientemente grande, Pn0j es cercano a 1/Rj (por
el teorema).
Luego, Pn0j es una medida de la relevancia de la pagina en
la red, y se utiliza esta informacion para rankeo de paginas.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
P resulta ergodica.
Para n suficientemente grande, Pn0j es cercano a 1/Rj (por
el teorema).
Luego, Pn0j es una medida de la relevancia de la pagina en
la red, y se utiliza esta informacion para rankeo de paginas.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
P resulta ergodica.
Para n suficientemente grande, Pn0j es cercano a 1/Rj (por
el teorema).
Luego, Pn0j es una medida de la relevancia de la pagina en
la red, y se utiliza esta informacion para rankeo de paginas.
PROBABIL.DISCRETA Y
CADENASDE MARKOV
Probabilidaddiscreta
Introduccion
Ejemplos
Pase Ingles
Tenis
Mas C que X
Cadenas deMarkov
Generalidades
Ecuaciones deChapman-Kolmogorov
Clasificacion deestados
Comunicacion deestados
Periodicidad
Descomposicion
Distribucionesestacionarias
Aplicacion
Ejemplo de aplicacion de Cadenas de Markov
P resulta ergodica.
Para n suficientemente grande, Pn0j es cercano a 1/Rj (por
el teorema).
Luego, Pn0j es una medida de la relevancia de la pagina en
la red, y se utiliza esta informacion para rankeo de paginas.
