Vje be - Slucajni procesi IV. dioVjeºbe - Slu£ajni procesi IV. dio. Dekompozicija skupa stanja i apsorpcijske vjerojatnosti onPa²anje Markovljevog lanca nakon m -tog rakoka Jako

Dekompozicija skupa stanja i apsorpcijske vjerojatnosti Pona²anje Markovljevog lanca nakon m-tog koraka Jako Markovljevo svojstvo

Vjeºbe - Slu£ajni procesi

IV. dio


Dekompozicija skupa stanja i apsorpcijske vjerojatnosti

Denicija 1.

Neka je Xn, n ∈ N0 Markovljev lanac sa skupom stanja S i matricomprijelaznih vjerojatnosti Π. Za B ⊆ S deniramo prvo vrijeme

pogaanja tog skupa kao

TB = min n ≥ 0 : Xn ∈ B,

uz konvenciju da je min ∅ := +∞.

Napomena 1.

U slu£aju B = j za j ∈ S zbog jednostavnosti pi²emo Tj umjestopreciznijeg Tj.


Denicija 2.

Kaºemo da je stanje j ∈ S dostiºno iz stanja i ∈ S (oznaka i −→ j) akoje

P(Tj <∞|X0 = i) > 0,

tj. stanje j dostiºno je iz stanja i ako lanac s pozitivnom vjerojatno²¢uposjeti stanje j krenuv²i iz stanja i .

Propozicija 1.

Sljede¢a svojstva stanja Markovljevog lanca su ekvivalentna:

(i) i −→ j ,

(ii) p(n)ij > 0 za neko n ≥ 0,

(iii) pii1 · pi1i2 · · · · · pin−1j > 0 za neka stanja i1, . . . , in−1 i neki n > 0.


Denicija 3.

Kaºemo da stanja i i j komuniciraju (oznaka i ←→ j) ako je i −→ j ij −→ i .

Napomena 2.

Relacija komuniciranja je relacija ekvivalencije na S × S i induciraparticiju skupa stanja S na klase komuniciranja:

klasu Ci £ine sva stanja iz skupa S koja meusobno komuniciraju(i ∈ Ci ⊂ S je predstavnik klase, no svaki element klase moºe igratiulogu njezinog reprezentanta),

klasa moºe biti kona£no ili beskona£no mnogo, ali svakako manje ilijednako broju elemenata skupa S,

unija svih klasa jednaka je cijelom skupu stanja S,

klase su meusobno disjunktne.


Denicija 4.

Markovljev lanac Xn, n ∈ N0 je ireducibilan ako se prostor stanja Ssastoji samo od jedne klase komuniciranja, tj. ako i ←→ j za sva stanjai , j ∈ S.

Napomena 3.

Ako su svi elementi matrice prijelaznih vjerojatnosti Markovljevog lancapozitivni, onda je svako stanje dostiºno iz bilo kojeg drugog stanja jer jepij > 0, za sve i , j ∈ S. Takav Markovljev lanac je ireducibilan, nopozitivnost elemenata matrice prijelaznih vjerojatnosti nije nuºan uvjetireducibilnosti Markovljevog lanca.


Denicija 5.

Podskup skupa stanja C ⊂ S je zatvoren ako ∀i ∈ C vrijedi

P(TS\C =∞|X0 = i) = 1.

Napomena 4.

Skup C ⊂ S je zatvoren ako lanac gotovo sigurno ne moºe napustiti skupC jednom kad se nae u njemu.


Denicija 6.

Za stanje j ∈ S kaºemo da je apsorbiraju¢e ako je j zatvoren podskupskupa S.

Napomena 5.

Ako je j ∈ S apsorbiraju¢e stanje Markovljevog lanca, tada vjerojatnostiP(Tj <∞|X0 = i), i ∈ S, nazivamo apsorpcijskim vjerojatnostima.Ako je B ⊂ S zatvoren podskup skupa stanja S, tada su apsorpcijskevjerojatnosti oblika P(TB <∞|X0 = i), i ∈ S.


Teorem 1.

Neka je hBi = P(TB <∞|X0 = i), za svaki i ∈ S. VektorhB = (hBi , i ∈ S) je minimalno nenegativno rje²enje sustava linearnihjednadºbi

hBi = 1, za i ∈ B,

hBi =∑j∈S

pijhBj , za i /∈ B.

Napomena 6.

Minimalnost zna£i da ako je (xi , i ∈ S) neko drugo nenegativno rje²enjegornjeg sustava, tada vrijedi xi ≥ hBi za sve i ∈ S.


Teorem 2.

Neka je gBi = E [TB |X0 = i ], za svaki i ∈ S, o£ekivano vrijeme pogaanjaskupa B ako lanac kre¢e iz stanja i . Vektor gB = (gBi , i ∈ S) jeminimalno nenegativno rje²enje sustava linearnih jednadºbi

gBi = 0, za i ∈ B,

gBi = 1 +∑j∈S

pijgBj , za i /∈ B.


Zadaci

Zadatak 1.

Neka je Markovljev lanac Xn, n ∈ N0 zadan sljede¢om matricomprijelaznih vjerojatnosti i skupom stanja S:

Π =

1

2

1

20

1

2

1

4

1

4

0 1

3

2

3

, S = 0, 1, 2;

a) Prikaºite shematski prostor stanja i prijelazne vjerojatnosti ovogMarkovljevog lanca usmjerenim grafom.

b) Odredite dekompoziciju skupa stanja na klase komuniciranja. Je lilanac ireducibilan?

c) Naite (ako postoje) zatvorene podskupove skupa stanja S teidenticirajte (ako postoje) apsorbiraju¢a stanja.


Zadatak 2.


Π =

1

2

1

20 0

1

2

1

20 0

1

4

1

4

1

4

1

4

0 0 0 1

, S = 0, 1, 2, 3;





Zadatak 3.


Π =

1

40 0 0 3

4

0 2

3

1

6

1

60

0 1

3

1

3

1

30

0 1

6

1

2

1

30

3

40 1

80 1

8

, S = 0, 1, 2, 3, 4;





Zadatak 4.


Π =

1

30 2

30 0 0

0 1

40 3

40 0

2

30 1

30 0 0

0 1

50 4

50 0

1

4

1

40 0 1

4

1

41

6

1

6

1

6

1

6

1

6

1

6

, S = 0, 1, 2, 3, 4, 5.





Zadatak 5.

Navedite primjer:

a) ireducibilnog Markovljevog lanca sa skupom stanja S = 0, 1, 2,b) Markovljavog lanca s proizvoljnim kona£nim skupom stanja od kojih

su dva stanja apsorbiraju¢a,

c) za svaki od navedenih primjera odredite dekompoziciju skupa stanjana klase komuniciranja.


Zadatak 6.

Zadan je Markovljev lanac Xn, n ∈ N0 sa skupom stanjaS = 0, 1, 2, 3 i matricom prijelaznih vjerojatnosti

Π =

1

2

1

4

1

40

1

2

1

40 1

4

0 0 1 00 0 0 1

.

a) Prikaºite shematski ovaj Markovljev lanac usmjerenim grafom.Odredite dekompoziciju skupa stanja S na klase komuniciranja teidenticirajte apsorbiraju¢a stanja.

b) Odredite vjerojatnost da ovaj lanac bude apsorbiran u stanju 3 akoje poznato da je krenuo iz stanja i ∈ S, tj. za svaki i ∈ S odredite

P(T3 <∞|X0 = i).

c) Odredite o£ekivano vrijeme do apsorbcije ako je poznato da jeMarkovljev lanac krenuo iz stanja i ∈ S.


Zadatak 7.

Zadan je Markovljev lanac Xn, n ∈ N0 sa skupom stanja S = 0, 1, 2, 3, 4 imatricom prijelaznih vjerojatnosti

Π =

0 3

4

1

40 0

0 1

2

1

20 0

1

4

1

2

1

40 0

0 0 0 3

8

5

8

0 1

30 1

3

1

3

.

a) Prikaºite shematski prostor stanja usmjerenim grafom. Odredite dekompozicijuskupa stanja S na klase komuniciranja. Koja klasa komuniciranja je zatvorenpodskup skupa stanja?

b) Odredite apsorpcijske vjerojatnosti ovog Markovljevog lanca ako je poznato da jelanac krenuo iz stanja i ∈ S, tj. za svaki i ∈ S odredite

P(T <∞|X0 = i),

gdje je T vrijeme £ekanja do ulaska Markovljevog lanca u zatvoren podskupskupa stanja.

c) Odredite o£ekivano vrijeme ulaska Markovljevog lanca u zatvoren podskup skupastanja ako je poznato da je krenuo iz stanja i ∈ S, tj. za svaki i ∈ S odredite

E [T |X0 = i ].


Zadatak 8.

Zadan je Markovljev lanac Xn, n ∈ N0 sa skupom stanja S = 0, 1, 2, 3 imatricom prijelaznih vjerojatnosti

Π =

0 1

4

3

40

0 7

80 1

81

4

1

4

1

4

1

4

0 2

50 3

5

.

a) Prikaºite shematski prostor stanja usmjerenim grafom. Odredite dekompozicijuskupa stanja S na klase komuniciranja. Koja klasa komuniciranja je zatvorenpodskup skupa stanja?

b) Odredite apsorpcijske vjerojatnosti ovog Markovljevog lanca ako je poznato daje lanac krenuo iz stanja i ∈ S, tj. za svaki i ∈ S odredite

P(T <∞|X0 = i),

gdje je T vrijeme £ekanja do ulaska Markovljevog lanca u zatvoren podskupskupa stanja.

c) Odredite o£ekivano vrijeme ulaska Markovljevog lanca u zatvoren podskupskupa stanja ako je poznato da je krenuo iz stanja i ∈ S, tj. za svaki i ∈ Sodredite

E [T |X0 = i ].


Zadatak 9.

Zadan je Markovljev lanac Xn, n ∈ N0 sa skupom stanjaS = 0, 1, 2, 3, 4 i matricom prijelaznih vjerojatnosti

Π =

0 0 0 1

2

1

2

0 1 0 0 00 0 1 0 00 0 0 1 01

3

1

3

1

30 0

.

a) Prikaºite shematski prostor stanja usmjerenim grafom. Odreditedekompoziciju skupa stanja S na klase komuniciranja teidenticirajte apsorbiraju¢a stanja ovog Markovljevog lanca.

b) Odredite vjerojatnost da ovaj lanac bude apsorbiran u stanju 1 akoje poznato da je krenuo iz stanja i ∈ S.

c) Odredite o£ekivano vrijeme do apsorbcije ako je poznato da jeMarkovljev lanac krenuo iz stanja i ∈ S.


Zadatak 10.

Kockar ima 2 kn i ºeli na brzinu do¢i do 5 kn, a kad to uspije, prestajeigrati. Moºe igrati igru sa sljede¢im pravilima: baca se simetri£an nov£i¢,ako igra£ pogodi stranu dobiva onoliko koliko je uloºio i vra¢a mu se ulog,a ako proma²i gubi novac koji je uloºio. Kockar se odlu£uje za sljede¢ustrategiju: ako ima manje ili to£no 2kn, ulagat ¢e sve ²to ima, a ako imavi²e od 2kn, ulagat ¢e onoliko koliko mu treba da bi do²ao do 5kn.

(a) Modelirajte kockarev kapital kroz vrijeme slu£ajnim procesom.Objasnite za²to je to Markovljev lanac.

(b) Sastavite matricu prijelaznih vjerojatnosti. Odredite dekompozicijuskupa stanja na klase komuniciranja.

(c) Koja je vjerojatnost da ¢e kockar uspjeti u svom naumu da osvoji5kn? Kolika je vjerojatnost da ¢e izgubiti sve novce?

(d) Koliko ¢e se o£ekivano puta baciti nov£i¢ prije nego igra zavr²i?

(e) Odredite je li sljede¢a strategija bolja ili lo²ija za kockara: uvijekulaºe samo po 1kn.


Pona²anje Markovljevog lanca nakon m-tog koraka

Neka je Xn, n ∈ N0 Markovljev lanac sa skupom stanja S ,po£etnom distribucijom λ i matricom prijelaznih vjerojatnosti Π.

Ako znamo da je u m-tom koraku lanac do²ao u stanje i , ondabudu¢e kretanje lanca ne ovisi o stanjima prije m-tog koraka.

Posljedica ove £injenice je da vjerojatnost

P(Xm+n = im+n, . . . ,Xm+1 = im+1|Xm = im) = pim im+1 ·. . .·pim+n−1im+n

ne ovisi o po£etnoj distribuciji ovog Markovljevog lanca.


Teorem 3.

Neka je Xn, n ∈ N Markovljev lanac sa skupom stanja S, po£etnomdistribucijom λ i matricom prijelaznih vjerojatnosti Π. Tada je, uvjetnona Xm = i , slu£ajan proces Xm+n, n ∈ N0 Markovljev lanac spo£etnom distribucijom

δi (j) =

1 , j = i0 , j 6= i

, j ∈ S

i istom matricom prijelaznih vjerojatnosti Π. Novi Markovljev lanacXm+n, n ∈ N0, uvjetno na Xm = i , je nezavisan o slu£ajnimvarijablama X0,X1, . . . ,Xm.


Zadaci

Zadatak 11.

Promotrimo Markovljev lanac kojim modeliramo niz uzastopnih uspjeha(zadatak 11 - vjeºbe III. dio).

a) Pretpostavimo da je P(X0 = k) =1

2k+1, k ∈ N0. Izra£unajte

sljede¢e vjerojatnosti:

P(X0 = 1,X1 = 2,X2 = 3,X3 = 4),P(X0 = 0,X1 = 1,X2 = 2, . . . ,Xn−1 = n − 1,Xn = n).

b) Pretpostavimo da znamo da se ovaj Markovljev lanac nakon nkoraka na²ao u stanju 0. Kori²tenjem matrice prijelaznihvjerojatnosti i po£etne distribucije novog Markovljevog lancaXn+k , k ∈ N0 odredite

P(Xn = 0,Xn+1 = 1,Xn+2 = 2, . . . ,Xn+m−1 = m − 1,Xn+m = m),jednodimenzionalnu distribuciju Markovljevog lanca Xn+k , k ∈ N0nakon jednog koraka, tj. distribuciju slu£ajne varijable Xn+1.


Jako Markovljevo svojstvo

Napomena 7.

Za dano vrijeme zaustavljanja T : Ω→ N0 ∪ ∞ deniramo slu£ajnuvarijablu

XT (ω) = Xn(ω), ako je T (ω) = n.

Uo£imo:

XT je denirana je samo na skupu T <∞,XT je zaista slu£ajna varijabla na Ω′ = T <∞:

XT = i =∞⋃n=0

Xn = i ,T = n.


Teorem 4.

Neka je Xn, n ∈ N0 Markovljev lanac s po£etnom distribucijom λ imatricom prijelaznih vjerojatnosti Π te neka je T vrijeme zaustavljanja zataj proces. Tada je, uvjetno na XT = i , slu£ajan proces XT+n, n ∈ N0Markovljev lanac s po£etnom distribucijom δi i matricom prijelaznihvjerojatnosti Π. Osim toga, Markovljev lanac XT+n, n ∈ N0 nezavisanje od slu£ajnih varijabli X0,X1, . . . ,XT uvjetno na XT = i .


Zadaci

Zadatak 12.

Klijent banke na teku¢em ra£unu moºe imati nenegativan iznos novca (stanje 0),moºe biti u dozvoljenom minusu (stanje 1) ili u nedozvoljenom minusu (stanje 2).Promjene stanja u kojemu se nalazi klijent tijekom vremena moºemo modeliratiMarkovljevim lancem Xn, n ∈ N0 sa skupom stanja S = 0, 1, 2 i matricomprijelaznih vjerojatnosti

Π =

1

2

1

3

1

61

3

1

2

1

61

2

1

3

1

6

.

a) Denirajte slu£ajnu varijablu T kojom modeliramo vrijeme prvog ulaskaklijenta banke u nedozvoljeni minus i pokaºite da je ta slu£ajna varijablavrijeme zaustavljanja ovog Markovljevog lanca.

b) Pretpostavimo da je poznato da se klijent na²ao u nedozvoljenom minusu.Izra£unajte vjerojatnost da nakon tri uplate na teku¢i ra£un klijent raspolaºenenegativnim iznosom novca te izra£unajte

P(XT = 2,XT+1 = 1,XT+2 = 1,XT+3 = 0).

c) Promotrite Markovljev lanac XT+n, n ∈ N0. Denirajte slu£ajnu varijablukojom modeliramo vrijeme prvog ulaska klijenta banke u nenegativno stanjena teku¢em ra£unu i pokaºite da je ta slu£ajna varijabla vrijeme zaustavljanjaovog Markovljevog lanca.

Documents

Vje be - Slucajni procesi IV. dioVjeºbe - Slu£ajni procesi IV. dio. Dekompozicija skupa stanja i apsorpcijske vjerojatnosti onPa²anje Markovljevog lanca nakon m -tog rakoka Jako