5_Markovljevi_lanci

TKT - radni materijal Predavanje 5

1

Sadržaj SADRŽAJ ..................................................................................................................................................... 1 6 MARKOVLJEVI LANCI......................................................................................................................... 2

6.1 MARKOVLJEVI LANCI S DISKRETNIM PARAMETROM ............................................................................. 2 6.1.1 Homogeni Markovljev lanac........................................................................................................ 2 6.1.2 Računanje stacionarnih vjerovatnosti.......................................................................................... 4

6.2 MARKOVLJEVI LANCI S KONTINUALNIM PARAMETROM ........................................................................ 6 6.2.1 Dijagram stanja CTMC ............................................................................................................... 9


2

6 Markovljevi lanci Markovljevi procesi su oni stohastički procesi čije buduće stanje ovisi samo o trenutnom stanju. Ova osobina naziva se svojstvo odsustva pamćenja. Isto svojstvo ima i Poissonov proces, pa je Poissonov proces posebna vrsta Markovljevog procesa. Markovljevi procesi mogu imati diskretan ili kontinualan skup stanja, pa razlikujemo DTMC (Discreet Time Markov Chain) – Diskretne Markovljeve lance, te CTMC (Continious Time Markov Chain) – kontinualne Markovljece lance.

6.1 Markovljevi lanci s diskretnim parametrom

6.1.1 Homogeni Markovljev lanac Neka Markovljev lanac {Xn, n ≥ 0} ima skup diskretnih stanja E = {0, 1, 2, . . .}. Skup stanja može biti beskonačan ili konačan. Oznaka Xn = i neka znači da se Markovljev lanac u n-tom koraku nalazi u stanju i. Za opći Markovljev lanac vrijedi sljedeće:

{ } { }nnnnnn iXjXPiXiXiXjXP ======= ++ 111001 ,...,, Vjerovatnost

P(Xn+1 = j | Xn = i) zovemo prelaznom vjerovatnošću iz stanja in u stanje jn+1. U općem slučaju ta se vjerovatnost mijenja ovisno o vrijednosti parametra n. Definisat ćemo matricu prelaznih vjerovatnosti. Definicija 6.1 (Matrica prelaznih vjerovatnosti (Transition Probability Matrix)) Prelaz iz stanja i u koraku n - 1 u stanje j u koraku n opisan je prelaznom vjerovatnošću:

Prelazna vjerovatnosti ( )n

ijp je član matrice prelaznih vjerovatnosti na mjestu (i, j). Matrica prelaznih vjerovatnosti u n-tom koraku je


3

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

=

OMMMM

ML

MMOMM

KL

KK

ijn

in

in

ijnnn

jnnn

ppp

pppppp

nP)(

1)(

0)(

)(11

)(10

)(

0)(

01)(

00)(

)(

ili u skraćenom obliku

Zbir elemenata svakog horizontalnog retka ove matrice jednak je jedan:

U općem slučaju matrica prelaznih vjerovatnosti može ovisiti o koraku n. Međutim, za naše potrebe pretpostavit ćemo da je matrica jednaka za svaki korak. Takve Markovljeve lance zovemo homogenim. Kod homogenog DTMC, matrica prelaznih vjerovatnosti ima oblik:

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

==

OMMMM

ML

MMOMM

KL

KK

ijii

ij

j

ppp

pppppp

PnP10

1110

00100

)(

Slika 1

Na slici 1 ilustrovane su prelazne vjerovatnosti za homogeni DTMC sa stanjima 1,...6. Na lijevoj strani slike ilustrovan je prelaz iz stanja Xn=2 u trenucima n i n+2 u bilo koje drugo stanje, sa prikazanim vjerovatnoćama prelaza. Na desnoj strani su ilustrovane vjerovatnoće prelaza iz stanja Xn=3. Suma svih prelaznih vjerovatnosti iz jednog stanja jednaka je jedinici (sistem mora da dospije u jedno od mogućih stanja).


4

Posmatrajmo matricu P. Njeni elementi opisuju vjerovatnoće prelazaka između bilo koja dva stanja DTMC. Ako je kod DTMC opisanog matricom P moguće preći iz bilo kojeg stanja u bilo koje drugo stanje u konačnom broju koraka, kažemo da je ovaj Markovljev lanac ireducibilan. Kod ireducibilnih Markovljevih lanaca vrijedi: Postoji matrica Π jednaka:

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

==Π∞→

M

r

r

OMMMM

ML

MMOMM

KL

KK

ππ

πππ

ππππππ

j

j

j

n

nPiml

10

10

10

Reci matrice Π su svi jednaki, tj. postoji jπ koji ne ovisi od i takav da je

ip nijnj ∀=

∞→,lim )(π

jπ se zovu stacionarne vjerovatnosti i one čine vektor stacionarnih vjerovatnosti πr .

Markovljev lanac za kojeg postoji prvi limes zove se ergodički Markovljev lanac.

6.1.2 Računanje stacionarnih vjerovatnosti

Znamo da vrijedi:

[ ] )1()( −⋅= npPnp T vr

U stacionarnom stanju (pustimo u prethodnom izrazu ∞→n

lim ) ova jednačina prelazi u:

ππ rr⋅= TP

Gdje je

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

= Mr

1

0

ππ

π


5

U cilju nalaženja stacionarnih vjerovatnosti, sada trebamo riješiti sistem linearnih jednačina:

ππ rr⋅= TP

∑ =j

j 1π

Dakle za potpuno određivanje DTMC, dovoljno je poznavati matricu P. Stacionarno stanje ne ovisi o početnom stanju. DTMC se grafički opisuju pomoću dijagrama stanja. Na dijagramu stanja, krugovima su prikazana stanja – vrijednosti koje uzima Markovljev lanac Xn, a strelicama između krugova sa dodijeljenim vrijednostima označava se postojanje vjerovatnoće prelaza između dva stanja. Sa dijagrama stanja se odmah može očitati matrica P i riješiti stacionarne vjerovatnosti sistema. Primjer dijagrama stanja za DTMC sa dva stanja je dat na slici 2:

Slika 2

Matrica P za ovaj dijagram stanja je:

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

=

85

83

32

31

P

Prilikom primjene DTMC na proučavanja u prometu, stanje obično označava broj zauzetih linija ili broj paketa koje treba poslužiti.


6

6.2 Markovljevi lanci s kontinualnim parametrom Ako dopustimo da proces promijeni svoje stanje u bilo kojem trenutku u vremenu i ako buduće stanje procesa ovisi samo o sadašnjem, takav proces zovemo Markovljev lanac kontinualan u vremenu (CTMC). Definicija 6.5 (Markovljev lanac s kontinualnim parametrom (kontinualan u vremenu)) Slučajni proces s diskretnim stanjima X(t) je Markovljev lanac kontinualan u vremenu ako za sve brojeve n ∈ N, i svaku sekvencu t1, t2, . . . , tn, tn+1 takvu da je t1 < t2 < . . . < tn < tn+1 vrijedi:

Slika 6.7: Trajektorija Markovljevog lanca kontinualnog u vremenu

Tipična trajektorija Markovljevog lanca kontinualnog u vremenu prikazana je na slici 6.7. Definicija 6.6 (Matrica prelaznih vjerovatnosti) Neka su s i t vremena iz parametarskog skupa Markovljevog lanca kontinualnog u vremenu. Uslovna vjerovatnost:

[ ] ( ) ( )( )isXjtXPp tsji ===,

,

zove se prelazna vjerovatnost Markovljevog lanca iz stanja i u stanje j . Matrica


7

[ ]

[ ] [ ] [ ]

[ ] [ ] [ ]

[ ] [ ] [ ]

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

=

OMMMM

MM

MMOMM

LK

LK

tsij

tsi

tsi

tsj

tsts

tsj

tsts

ts

ppp

pppppp

P,,

1,

0

,1

,11

,10

,0

,01

,00

,

sastavljena od elemenata pij

[s,t] se zove matrica prelaznih vjerovatnosti Markovljevog lanca kontinualnog u vremenu. Proces se u nekom vremenskom trenutku t može nalaziti samo u jednom stanju. Zbir vjerovatnosti prelaza iz jednog stanja u sva sljedeća moguća stanja jednak je 1, tj.:

Nađimo sada vjerovatnost da je proces nakon nekog intervala dužine tΔ u stanju j: Ako se proces u trenutku (t+ tΔ ) nalazi u stanju j, onda se:

• u trenutku t nalazio u stanju 1, pa je nakon vremena tΔ skočio u stanje j, ili • se u trenutku t nalazio u stanju 2 pa je nakon vremena tΔ skočio u stanje j ili • se u u trenutku t nalazio u stanju 3 pa je u nakon vremena tΔ skočio u stanje j ili • itd.

Možemo napisati:

( ) ∑∀

Δ⋅=+Δ⋅+Δ⋅=Δ+i

ijiijjoj tptp tptp tptpttp )()(...)()()()( 10 (1)

Uvedimo sada oznake:

ttp

imlq ij

tij Δ

Δ=

→Δ

)(0

ttp

imlq ii

tii ΔΔ

=→Δ

)(0

Ove dvije veličine nazvaćemo gustoće prelaza ili intenziteti prelaza. Njih možemo smjestiti u matricu prelaznih intenziteta (infinitezimalnu matricu):

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

OMM

L

L

1110

0100

qqqq

Q


8

Znamo odranije da je suma svih vjerovatnosti prelazaka u drugo stanje + vjerovatnost ostanka u trenutnom stanju u vremenskom intervalu tΔ jednaka jedinici:

( ) ∑≠

Δ−=Δijj

ijii tptp,

)(1

Diferenciramo li posljednju jednačinu dobijamo:

∑≠

−=ijj

ijii qq,

Odnosno, suma svih horizontalnih redova matrice Q mora biti jednaka 0. Zanima nas kako odrediti stacionarne vjerovatnosti za CTMC. Napišimo ponovo izraz (1)

( ) ∑∀

Δ⋅=Δ+i

ijij tptpttp )()(

podijelimo i lijevu i desnu stranu sa tΔ i pustimo da 0→Δt :

( )∑∀

→Δ→Δ Δ

Δ⋅=

Δ

Δ+

i

ij

tij

t ttp

tpt

ttp )(lim)(lim

00

odnosno:

∑∀

⋅=′i

ijij qtpp )(

Kod ireducibilnog Markovljevog procesa postoji limes u stacionarnom stanju:

jjtijttptp π==

∞→∞→)(lim)(lim

Tako da je u stacionarnom stanju:

∑∀

⋅=′i

ijij qp π

U matričnom obliku ovo pišemo:

QP ⋅Π=′ U stacionarnom stanju je izvod jp′ jednak nuli, pa vrijedi:

Q⋅Π=0r


9

Kako je matrica

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

=ΠM

r

r

OMMMM

ML

MMOMM

KL

KK

ππ

πππ

ππππππ

j

j

j

10

10

10

Možemo pisati i

Q⋅= πrr0

gdje je [ ],...., 10 πππ =v Posljednji izraz služi za rješavanje stacionarnih vjerovatnosti za CTMC.

6.2.1 Dijagram stanja CTMC CTMC se grafički opisuju pomoću dijagrama stanja. Na dijagramu stanja, krugovima su prikazana stanja –vrijednosti koje uzima Markovljev proces, a strelicama između krugova sa dodijeljenim vrijednostima označava se gustoća prelaza. Sa dijagrama stanja se odmah može očitati matrica Q i riješiti stacionarne vjerovatnosti sistema. Primjer dijagrama stanja za CTMC je dat na slici 3:

Slika 3

Matrica prelaza za gornji dijagram stanja je:

Uočimo sada jednu sličnost između izraza za intenzitet prelaza i svojstva regularnosti Poissonovog procesa:


10

ttp

imlq ij

tij Δ

Δ=

→Δ

)(0

⇒ ( )totqtp ijij Δ+Δ⋅=Δ )( - definicija intenziteta prelaza (2)

( ){ } ( )tottttXP Δ+Δ⋅==Δ+ λ1, - definicija regularnosti Poissonovog procesa (3)

Vidimo da je Poissonov dolazni proces ujedno i CTMC sa intenzitetom prelaza jednakim λ . Odavde možemo prikazati dijagram stanja i matricu prelaza za Poissonov dolazni proces:

Slika 4: Dijagram stanja za Poissonov proces

Documents

5_Markovljevi_lanci