View
130
Download
10
Category
Preview:
DESCRIPTION
gbvghjkjlghjgchfjhk
Citation preview
1
MARKOVLJEVI PROCESI
2
Ciljevi ovog poglavlja su slijedeći:
Razumjeti Markovljev proces kao specifičnu vrstu stohastičkog procesa
Naučiti zakon vjerovatnoće za Markovljeve lance sa diskretnim parametrom vremena
Upoznati osobine matrice prelaznih vjerovatnoća Shvatiti problem ergodičnosti Markovljevih lanaca Razumjeti Markovljev model kod kojeg se promjena
stanja mjeri efektima Naučiti opšti postupak primjene Markovljevih lanaca Na konkretnim primjerima naučiti rješavati probleme
pomoću Markovljevih lanaca
3
OSNOVE MARKOVLJEVIH PROCESA
Za stohastički proces x(t),tT se kaže da je Markovljev kada momentima t1<t2<...<tk odgovara raspored promjenljivih x(t1),x(t1),...,x(tk), tako da za realne veličine x1,x2,...,xk postoji uslovna vjerovatnoća
1k1kkk
1k1k2211kk
x)t(x/x)t(xP
x)t(x...,,x)t(x,x)t(x/x)t(xP
4
Ako se neki sistem može naći u n stanja Si, i= n1, , onda Markovljev model ima zakon vjerovatnoće determinisan sa:
- vjerovatnoćama za moment tk i stanje Si,
iikS pS)t(xPpi
,
- uslovnim vjerovatnoćama ijikj1k1kkS,S pS)t(x/S)t(xP)t,t(p
ji i
- inicijalnom vjerovatnoćom p0.
5
Vjerovatnoće pij nazivaju se prelazne vjerovatnoće i one objašnjavaju kolika je vjerovatnoća da će sistem iz stanja Si u trenutku tk preći u stanje Sj u trenutku tk+1. To se grafički može predstaviti kao na slici 2.1.
S1 p11 S1 S2 S2 Si pij Sj Sn Sn tk tk+1
Slika 2.1. Vjerovatnoće prelaska sistema iz trenutka tk u trenutak tk+1
6
Ove vjerovatnoće mogu se predstaviti matrično tzv. matricom prelaznih vjerovatnoća (Markovljeva matrica, tranzitivna ili prelazna matrica, stohastička matrica)
nnnj2n1n
inij2i1i
n2j22221
n1j11211
p...p...pp
..................
p...p...pp
..................
p...p...pp
p...p...pp
P
7
Karakteristike matrice prelaznih vjerovatnoća su slijedeće:
- 0 pij 1,
-
n
1jij n,1i ,1p i
- stepenovana matrica Pk je takođe stohastička matrica sa istim osobinama kao i matrica P i označava vjerovatnoću prelaska sistema u k koraka.
8
Posmatrajmo Markovljev lanac sa n stanja i matricom prelaznih vjerovatnoća P. Neka je vektor p(0)=p1
(0) p2(0) ... pn
(0) inicijalni vektor stanja sistema u trenutku 0 i neka vektor p(k)=p1
(k) p2(k) ... pn
(k) definiše vjerovatnoće stanja u trenutku k (vektor stanja). Ako je sistem u trenutku k-1 bio u stanju i, tada je vjerovatnoća da će u trenutku k biti u stanju j određena relacijom
n
1iik
)1k(i
)k(j 1,2,...k ,ppp
ili u matričnoj notaciji za svih n stanja (jednačina Chapman-Kolmogorova)
p(k) = p(k-1)P.
Ako se koriste izrazi p(1)=p(0)P, p(2)=p(1)P=p(0)P2,... , prethodno definisana matrična relacija može se napisati u obliku
p(k) = p(0)Pk
9
Često se Markovljevim lancima izračunavaju vjerovatnoće prelaska sistema S iz stanja Si u stanje Sj u m koraka. Na slici 2.2 taj prelaz razmatran je preko stanja Si(1),, Si(2),....
Si Sj Si(1) Si(m-1) Si(2)
Slika 2.2. Vjerovatnoće prelaska sistema u m koraka
10
Uslovne vjerovatnoće prelaska kroz opisani niz stanja su pii(1),pi(1)i(2),…,pi(m-1)j, respektivno. Zbir odgovarajućih izraza za sva moguća stanja predstavlja uslovnu vjerovatnoću da će se sistem naći u stanju Sj u trenutku t+m ako je u trenutku t
bio u stanju Si. Ovu vjerovatnoću označimo sa mji
mij )S,S(pp gdje je
m=1,2,.... Vjerovatnoća prelaska u m koraka dobiva se korištenjem jednačine
n
1r
sij
)sm(ir
mij ppp , m s 1 ili izračunavanjem elemenata matrice Pm.
11
PROBLEM ERGODIČNOSTI MARKOVLJEVIH LANACA
Neka za Markovljev lanac sa konačno mnogo stanja važi da su svi elementi
matrice P strogo pozitivni. Tada za svako j= n,1 važi da je
j
tij
tpplim
gdje vrijednosti jp ne zavise od i, te se nazivaju finalne, granične ili ergodične
vjerovatnoće (vjerovatnoće stabilnog stanja). Brojevi jp ako se postave u
obliku matrice reda, onda ujedno predstavljaju redove granične matrice P koja
se definiše relacijom t
tPlimP
.
12
Brojevi
n
1ijijj ,ppp j= n,1 i jednačine
n
1ij 1p služe za jednostavnije
izračunavanje finalne vjerovatnoće ako se koristi matrična jednačina
pP = p,
gdje je
p = p1+ p2
+ ... pn+ i 1 p...pp n21 .
13
Markovljev model kod koga se promjena stanja mjeri
efektima
Posmatrajmo skup S čija je evolucija opisana Markovljevim lancem. Neka su vjerovatnoće promjene stanja tog sistema date matricom prelaznih vjerovatnoća
P=pij, i= n,1 , j= n,1 . Neka se prelazak iz i-tog u j-to stanje mjeri efektima koje ćemo obilježiti sa kij i koji će respektivno odgovarati vjerovatnoćama promjena stanja.
14
Efekti kij obrazuju matricu efekata K=kij, i= n,1 , j= n,1 . Očekivana vrijednost ukupnih efekata W izračunava se prema Belmanovom principu za promjenu stanja poslije t vremenskih perioda. Po njemu je očekivani efekat ostvaren počev od i-tog stanja za t vremenskih jedinica jednak
n
1j1tij
n
1jijijt )j(wpkp)k(w
ili u matričnoj notaciji
wt = Q+Pwt-1, gdje je
n
2
1
q
...
q
q
Q i
n
1jijiji kpq .
15
Primjena Markovljevih lanaca
Primjer 1.: Neka se na tržištu može nabaviti artikal A od četiri različita proizvođača. Početna vjerovatnoća da će kupac kupiti artikal A od proizvođača
Pj, j= 4,1 , iznosi [0,4 0,2 0,3 0,1]. Istraživanjem tržišta mogu se utvrditi prelazne vjerovatnoće što je predstavljeno matrično.
1,01,03,05,0
1,06,02,01,0
1,02,04,03,0
0,01,02,07,0
P
Odrediti: a) učešće pojedinih proizvođača u prodaji artikla A u naredna 2 perioda i b) sve moguće vjerovatnoće prelaska sistema u 2 koraka.
16
Rješenje:
a)
1,0 3,0 2,0 4,0)0(p
06,027,025,042,0)1(p
1,01,03,05,0
1,06,02,01,0
1,02,04,03,0
01,02,07,0
1,0 3,0 2,0 4,0P)0(p)1(p
058,0 260,0 256,0 426,0P)1(p)2(p
b)
05,018,027,050,0
09,042,025,024,0
07,024,029,040,0
03,017,024,056,0
P 2
17
Ergodičnost Markovljevih lanaca
Primjer 2.: Izračunati vektor stabilnog stanja p i graničnu matricu P ako je poznata matrica prelaznih vjerovatnoća.
640,0220,0140,0
317,0600,0083,0
225,0175,0600,0
P
18
Rješenje:
Vektor stabilnog stanja p= [p1+ p2
+ p3+] (vektor finalnih vjerovatnoća) možemo
izračunati iz sistema homogenih jednačina
pP = p,
odnosno
[p1+ p2
+ p3+]·
640,0220,0140,0
317,0600,0083,0
225,0175,0600,0
= [p1+ p2
+ p3+]
i
1ppp 321 .
19
Tako dobivamo sistem jednačina
0,6p1+ + 0,083p2
+ + 0,14p3+ = p1
+ – 0,4p1+ + 0,083p2
+ + 0,14p3+ = 0
0,175p1+ + 0,6p2
+ + 0,22p3+ = p2
+ 0,175p1+ – 0,4p2
+ + 0,22p3+ = 0
0,225p1+ + 0,317p2
+ + 0,64p3+ = p3
+
p1+ + p2
+ + p3+ = 1 p1
+ + p2+ + p3
+ = 1.
20
Da bismo sistem mogli rješavati Kramerovim pravilom eliminisaćemo treću jednačinu.
D =
111
22,04,0175,0
14,0083,04,0
= 0,332
Dp1+ =
111
22,04,00
14,0083,00
= 0,074 p1+ = Dp1
+/D = 0,223
Dp2+ =
111
22,00175,0
14,004,0 = 0,113 p2
+ = Dp2+/D = 0,339
Dp3+ =
111
04,0175,0
0083,04,0
= 0,145 p3+ = Dp3
+/D = 0,438
21
Prema tome, vektor stabilnog stanja ima slijedeće elemente
p = 438,0339,0223,0 .
On nam pokazuje stanje kada će evolucija tržišta da se stabilizuje.
Pošto vektor stabilnog stanja ujedno predstavlja i redove granične matrice P , slijedi da je
438,0339,0223,0
438,0339,0223,0
438,0339,0223,0
PlimP t
t.
22
Promjene izražene efektima
Primjer 3.: Proizvođač robe široke potrošnje u svoj asortiman uvodi novi proizvod. Pretpostavimo dvije mogućnosti (stanja):
1. Postoji tražnja za proizvodom te njegovo uvođenje donosi pozitivne efekte,
2. Ne postoji tražnja za novim proizvodom te njegovo uvođenje ne donosi pozitivne efekte.
23
Nakon nekoliko lansiranja novog proizvoda utvrđena je matrica prelaznih vjerovatnoća
6,04,0
5,05,0P
što znači da ako je postojala tražnja za proizvodom vjerovatnoća je 0,5 da će i u narednom periodu postojati tražnja za proizvodom. Ako nije postojala tražnja onda je vjerovatnoća da će u narednom periodu postojati tražnja za proizvodom 0,4, a da neće postojati tražnja vjerovatnoća je 0,6. Uz pretpostavku da je
64
48K i
0
0wo
izračunati očekivanu vrijednost ukupnih efekata u toku tri perioda.
24
Rješenje:
2
1
q
645,085,0kpkpkpq 12121111
2
1jj1j11
2)6(6,044,0kpkpkpq 22222121
2
1jj2j22
w1 = Q+Pw0
2
6
0
0
6,04,0
5,05,0
2
6w1
8,0
8
2
6
6,04,0
5,05,0
2
6w2
72,0
6,9
8,0
8
6,04,0
5,05,0
2
6w3
Recommended