MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik …personal.fmipa.itb.ac.id/khreshna/files/2011/02/Bab-4-ProsStok1.pdf · Tentang Kuliah Proses Stokastik Matriks stokastik Matriks

Tentang Kuliah Proses StokastikMatriks stokastik

Matriks stokastik n-langkahLebih jauh tentang matriks stokastik

Rantai MarkovLatihan

MA5181 PROSES STOKASTIKBab 4 Matriks Stokastik dan Rantai Markov

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

“(not just) Always Listening, Always Understanding”

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Rantai Markov




Tentang Kuliah Proses Stokastik

Bab 1 : Tentang Peluang

Bab 2 : Peluang dan Ekspektasi Bersyarat*

Bab 3 : Proses Poisson

Bab 4 : Proses Renewal

Bab 5 : Rantai Markov





Ujian tanggal 4.12.12





Misalkan disebuah Bank terdapat 2 orang teller A dan B yangsibuk melayani nasabah Uvi dan Ivi. Tidak ada orang lain yangantre. Seseorang, Ovi, yang datang akan dilayani salah satu telleryang telah selesai dengan nasabahnya. Diketahui waktu layanan(service time) teler A dan B adalah peubah acak-peubah acak yangberdistribusi identik eksponensial dengan parameter λ. Berapapeluang bahwa Ovi adalah nasabah pertama yang akanmeninggalkan Bank? Berapa peluang bahwa Ovi adalah nasabahterakhir yang akan meninggalkan Bank?





Urusan admin(istrasi) untuk wisuda Juli nanti di ITB lumayanribet. Mahasiswa harus ke meja 1 lalu ke meja 2 dan terakhir kemeja 3. Waktu yang dihabiskan di setiap meja i adalalah p.a.eksponensial dengan parameter θi , i = 1, 2, 3. Saat Iger datang kegedung RACC, terlihat seorang mahasiswa A sedang berada dimeja 3. Berapa peluang Iger masih ada di gedung RACC ketikamahasiswa A selesai berurusan dengan meja 3?





Matriks stokastik

Perhatikan matriks-matriks berikut:

P =

(0.5 0.51 0

), P =

0.7 0 0.3 00.5 0 0.5 00 0.4 0 0.6

0.2 0.2 0.2 0.4

,





yang memiliki sifat-sifat (i) memiliki jumlah baris dan kolom samaatau matriks bujursangkar, (ii) jumlah unsur-unsur di setiap barisadalah satu, (iii) tidak selalu memiliki jumlah unsur-unsur di setiapkolom sama dengan satu, (iv) nilai setiap unsurnya diantara noldan satu.





Matriks dengan sifat-sifat diatas dikatakan sebagai matriksstokastik atau matriks peluang transisi, dimana setiap unsurmatriks Pij adalah peluang berpindahnya keadaan i (pada waktu t)ke keadaan j (pada waktu t + 1); disebut juga peluang transisi.Keadaan-keadaan i dan j adalah anggota dari ruang keadaan St(analog dengan ruang sampel) yang bernilai integer (dan hingga);ruang keadaan juga mendefinisikan peubah acak, sebut Xt . Kitatahu bahwa 0 ≤ Pij ≤ 1; berpindahnya keadaan i ke j memberikanindikasi bahwa Pij adalah peluang bersyarat.





Contoh/Latihan

1. Suatu matriks stokastik dengan ruang keadaan {0, 1, 2},

P =

0.1 0.2 0.70.9 0.1 00.1 0.8 0.1

.

Diketahui P(X0 = 0) = 0.3,P(X0 = 1) = 0.4,P(X0 = 2) = 0.3.Hitung P(X0 = 0,X1 = 1,X2 = 2).





Solusi: 0





2. Diketahui matriks peluang transisi untuk ruang keadaan{0, 1, 2} sbb:

P =

0.7 0.2 0.10 0.6 0.4

0.5 0 0.5

Hitung P(X2 = 1,X3 = 1 |X1 = 0) danP(X1 = 1,X2 = 1 |X0 = 0).





Solusi: 0.12; 0.12





3. Suatu matriks stokastik yang didefinisikan pada ruang keadaan{0, 1, 2},

P =

0 1/3 2/34/5 1/5 0

0 0 1

Hitung E (X3|X2 = 1)





Solusi:

E (Y3|Y2 = 1) =2∑

x3=0

x3 P(X3 = x3|X2 = 1)

= (0) + (1)P(X3 = 1|X2 = 1) + (2)P(X3 = 2|X2 = 1)

= 1/5





Matriks stokastik yang didefinisikan diatas lebih tepat dikatakansebagai matriks peluang transisi satu langkah, karena unsurmatriks Pij berada pada ruang waktu {t, t + 1}; keadaanberpindah satu-langkah ke keadaan berikutnya.





Matriks stokastik n-langkah

Pandang matriks stokastik satu-langkah:

P =

(1/3 2/3

0 1

);

kita ingin menentukan matriks stokastik dua-langkah. Artinya,matriks yang didefinisikan pada ruang keadaan yang sama namunruang waktu {t, t + 2}.





Jadi, jika sebelumnya kita mempunyai

Pij = P1ij = P(Xt+1 = j) |Xt = i),

sekarang kita ingin mendapatkan

P2ij = P(Xt+2 = j |Xt = i).





Perhatikan bahwa, untuk mendapatkan peluang transisi yangmenyatakan berpindahnya keadaan “0” (pada waktu t) ke keadaan“0” pada waktu t + 2 atau P2

00, misalnya, kita mungkinmendapatkannya melalui peluang total,





P200 = P(Xt+2 = 0 |Xt = 0)

= P(Xt+2 = 0,Xt+1 = 0 |Xt = 0) + P(Xt+2 = 0,Xt+1 = 1 |Xt = 0)

= P(Xt+2 = 0 |Xt+1 = 0,Xt = 0)P(Xt+1 = 0 |Xt = 0)

+ P(Xt+2 = 0 |Xt+1 = 1,Xt = 0)P(Xt+1 = 1 |Xt = 0)

= P(Xt+2 = 0 |Xt+1 = 0)P(Xt+1 = 0 |Xt = 0)

+ P(Xt+2 = 0 |Xt+1 = 1)P(Xt+1 = 1 |Xt = 0)

= P00P00 + P10P01.





Begitu pula dengan P201,P

210 dan P2

11, yang dapat melewatikeadaan “0” atau “1” pada waktu t + 1.





Persamaan Chapman-Kolmogorov

Misalkan Pnij menyatakan peluang transisi n-langkah suatu proses

di keadaan i akan berada di keadaan j ,

Pnij = P(Xt+n = j |Xt = i), n ≥ 0, i , j ≥ 0.





Persamaan Chapman-Kolmogorov adalah alat untuk menghitungpeluang transisi n + m-langkah:

Pn+mij =

∞∑k=0

PnikP

mkj ,

untuk semua n,m ≥ 0 dan semua i , j . PnikP

mkj menyatakan peluang

suatu proses dalam keadaan i akan berada di keadaan j dalamn + m transisi, melalui keadaan k dalam n transisi/langkah.





Peluang Transisi Tak Bersyarat

Peluang transisi P2ij , atau secara umum Pn

ij , yang telah kita hitungdiatas adalah peluang bersyarat. Kini, apabila ingin dihitungP(Xt+n = j) atau P(Xn = j), kita gunakan konsep peluang total,

P(Xn = j) =∞∑i=0

P(Xn = j |X0 = i)P(X0 = i) =∞∑i=0

Pnij αi ,

dengan αi = P(X0 = i), i ≥ 0 adalah peluang tak bersyarat padakeadaan awal atau t = 0. Catatan:

∑∞i=0 αi = 1.





Perkalian matriksKebebasan dalam matriks stokastikPerkalian n matriksLimit peluangUnsur Pij dan sifat keadaan“Waktu” dalam matriks stokastikMatriks stokastik dari matriks stokastikMatriks stokastik khusus

Perkalian matriks

Misalkan kita memiliki matriks stokastik P. Apa yang dapat kitalakukan (lagi) terhadap matriks tersebut?






Misalkan

P =

(P00 P01

P10 P11

).






Kita ingin menghitung perkalian matriks P · P = P2,

P · P =

(P00 P01

P10 P11

)·(

P00 P01

P10 P11

)=

(P200 + P01P10 P00P01 + P01P11

P10P00 + P11P10 P10P01 + P211

).






Kebebasan dalam matriks stokastik

Misalkan

P =

(0.7 0.30.7 0.3

),

Apakah yang dapat anda katakan tentang matriks dengan setiapunsur pada suatu baris sama dengan unsur pada baris lain di kolomyang sama?






Perhatikan bahwa,

P(Xt = 0|Xt−1 = 0)

= P(Xt = 0|Xt−1 = 1)

= 0.7






dan kita tahu melalui peluang total

P(Xt = 0) = P(Xt = 0|Xt−1 = 0)P(Xt−1 = 0)

+ P(Xt = 0|Xt−1 = 1)P(Xt−1 = 1)

α = 0.7 · α + 0.7 · (1− α),

sehingga diperoleh α = 0.7.






Dengan kata lain

P(Xt = 0|Xt−1 = 0) = 0.7 = P(Xt = 0).

Artinya, barisan p.a. Xt saling bebas.






Perkalian n matriks

Misalkan

P =

(1− α αβ 1− β

),

dimana 0 < α, β < 1. Jika α = 1− β maka unsur-unsur di setiapbaris sama. Dengan kata lain, X1,X2, . . . merupakan p.a. yangbersifat i.i.d. dengan P(Xn = 0) = β dan P(Xn = 1) = α. Jikaα 6= 1− β maka distribusi peluang Xn bergantung keluaran dariXn−1.






Tentukan Pn.






Pn = 1α+β

(β αβ α

)+ (1−α−β)n

α+β

(α −α−β β

)






Misalkan

A =

(β αβ α

)dan

B =

(α −α−β β

)






Kita dapat menuliskan:

Pn = (α + β)−1[A + (1− α− β)nB]

dan menunjukkan bahwa

AP = A,

BP = (1− α− β)nB






Kemudian, dengan induksi matematika kita tunjukkan

P1 = P,

danPnP = Pn+1.






Limit peluang

Misalkan

P =

(1− α αβ 1− β

).

Karena 0 < α, β < 1, maka

|1− α− β| < 1.






Akibatnya,|1− α− β|n → 0,

untuk n→∞ dan

limn→∞ P =

(β

α+βα

α+ββ

α+βα

α+β

).






Misalkan matriks stokastiks P berukuran 2× 2. Matriks tersebutmemiliki limit peluang yang direpresentasikan dalam matriks π,

P =

(P00 P01

P10 P11

),

dan

π =

(π0π1

).






Tentukan PT π dan selesaikan persamaan matriks

PT π = π

dimana jumlah unsur matriks π haruslah sama dengan 1.






Untuk

P =

(1− α αβ 1− β

),

diperoleh:

π =

(π0π1

)=

(β

α+βα

α+β

).






Bagaimana jika P adalah matriks segitiga atas/bawah? Apakah Pharus memiliki invers?






Unsur Pij dan sifat keadaan

Pandang matriks stokastik

P =

(P00 P01

P10 P11

),

dimana Pij dapat bernilai nol atau satu atau diantaranya.






Jika Pij > 0, artinya keadaan j dapat dicapai (diakses) darikeadaan i , atau

i → j .

Jika i juga dapat diakses dari j , dikatakan maka kedua keadaandikatakan berkomunikasi,

i ↔ j .






Diskusi:Adakah hubungan antara sifat komunikasi dua keadaan dengankebebasan dalam matriks stokastik?






Bagaimana jika kita mempunya matriks stokastik identitas

P =

(1 00 1

)?

Apa yang dapat kita katakan tentang keadaan j?






Bagaimana dengan

P =

(0 10 1

)?






“Waktu” dalam matriks

Pandang matriks stokastik berukuran 3× 3 atau dengan ruangkeadaan {0, 1, 2},

P =

1 0 0α β γ0 0 1

,

dimana α, β, γ > 0 dan α + β + γ = 1.






Jika, pada waktu t, proses berada di keadaan 0 atau 2, makaproses akan tetap berada di keadaan itu. Sementara itu, jika prosesberada di keadaan 1, proses akan bergerak ke keadaan lain; jika kekeadaan 0 atau 2, maka berlaku proses seperti yang dijelaskansebelumnya.






Diskusi:

Ke keadaan mana, 0 atau 2, proses akan berakhir?

Berapa lama (langkah) proses menuju keadaan tersebut?






Misalkan T = min{n ≥ 0;Xn = 0 atauXn = 2}. Tentukan

u = P(XT = 0|X0 = 1)

danv = E (T |X0 = 1).






Pada langkah pertama, setelah langkah 0, proses mungkin beradadi keadaan 0, 1 atau 2 dengan peluang berturut-turut α, β, γ. JikaX1 = 0 maka T = 1 dan XT = 0; jika X1 = 2 maka T = 1 danXT = 2. Jika X1 = 1 maka proses berlanjut,

P(XT = 0|X1 = 0) = 1,

P(XT = 0|X1 = 1) = u,

P(XT = 0|X1 = 2) = 0.






Dengan menggunakan konsep peluang total,

u = P(XT = 0|X0 = 0)

=2∑

k=0

P(XT = 0|X1 = k ,X0 = 1)P(X1 = k |X0 = 1)

=2∑

k=0

P(XT = 0|X1 = k)P(X1 = k |X0 = 1)

= 1 · α + u · β + 0 · γ,

atauu =

α

1− β=

α

α + γ.






Sementara itu,

v = E (T |X0 = 1)

=2∑

k=0

E (1 + T |X1 = k ,X0 = 1)

= 1 + E (T |X1 = 0,X0 = 1)P(X1 = 0|X0 = 1)

+ E (T |X1 = 1,X0 = 1)P(X1 = 1|X0 = 1)

+ E (T |X1 = 2,X0 = 1)P(X1 = 2|X0 = 1)

= 1 + 0 · α + v · β + 0 · γ,

atau

v =1

1− β.






Catatan:Perhatikan bahwa p.a. T , yang menyatakan langkah untukmencapai proses/keadaan yang absorbing, berdistribusi geometrikdengan distribusi peluang

P(T > k |X0 = 1) = βk , k = 0, 1, . . . ,

dan ekspektasi

E (T |X0 = 1) =1

1− β.






Diskusi:Bagaimana dengan matriks stokastik berikut,

=

1 0 0 0P10 P11 P12 P13

P20 P21 P22 P23

0 0 0 1

?






Matriks stokastik dari matriks stokastik

Misalkan barisan p.a. {Xt} didefinisikan melalui matriks stokastikberikut:

P =

(1− α αβ 1− β

),

Tentukan E (sXt ).






Fungsi pembangkit peluang atau f.p.p,

G (s, t) = E (sXt )

= s0 P(Xt = 0) + s1 P(Xt = 1)

= P(Xt = 0) + P(Xt = 1).

Untuk t = 0,

G (s, 0) = P(X0 = 0) + P(X0 = 1)






Untuk t = 1,

G (s, 1) = P(X1 = 0) + P(X1 = 1)

= P(X1 = 0|X0 = 0)P(X0 = 0) + P(X1 = 0|X0 = 1)P(X0 = 1)

+ P(X1 = 1|X0 = 0)P(X0 = 0) + P(X1 = 1|X0 = 1)P(X0 = 1)

= (1− α)P(X0 = 0) + βP(X0 = 1)

+ αP(X0 = 0) + (1− β)P(X0 = 1)

= P(X0 = 0) + P(X0 = 1)






Pandang proses {Xt} diatas. Definisikan

Yt =t∑

i=0

Xi .

Apakah proses {Yt} membentuk suatu matriks stokastik?Tentukan GYt (s, t).






Untuk t = 0, 1, 2, . . .,

Y0 = X0

Y1 = X0 + X1

Y2 = X0 + X1 + X2

...

Nilai yang mungkin untuk p.a. Y0 adalah 0 dan 1, dengan peluang

P(Y0 = 0) = P(X0 = 0)

danP(Y0 = 1) = P(X0 = 1)






Nilai yang mungkin untuk p.a. Y1 adalah 0,1 dan 2, denganpeluang

P(Y1 = 0)

= P(Y1 = 0|Y0 = 0)P(Y0 = 0) + P(Y1 = 0|Y0 = 1)P(Y0 = 1)

= P(X0 + X1 = 0|X0 = 0)P(X0 = 0)

+ P(X0 + X1 = 0|X0 = 1)P(X0 = 1)

= P(X1 = 0|X0 = 0)P(X0 = 0) + 0

= (1− α)P(X0 = 0)






P(Y1 = 1)

= P(Y1 = 1|Y0 = 0)P(Y0 = 0) + P(Y1 = 1|Y0 = 1)P(Y0 = 1)

= P(X0 + X1 = 1|X0 = 0)P(X0 = 0)

+ P(X0 + X1 = 1|X0 = 1)P(X0 = 1)

= P(X1 = 1|X0 = 0)P(X0 = 0)

+ P(X1 = 0|X0 = 1)P(X0 = 1)

= αP(X0 = 0) + β P(X0 = 1)






P(Y1 = 2)

= P(Y1 = 2|Y0 = 0)P(Y0 = 0) + P(Y1 = 2|Y0 = 1)P(Y0 = 1)

= P(X0 + X1 = 2|X0 = 0)P(X0 = 0)

+ P(X0 + X1 = 2|X0 = 1)P(X0 = 1)

= P(X1 = 2|X0 = 0)P(X0 = 0)

+ P(X1 = 1|X0 = 1)P(X0 = 1)

= 0 + (1− β)P(X0 = 1)






Dapatkah anda menentukan f.p.p dari proses dengan matriksstokastik berikut:

P =

1 0 0α β γ0 0 1

?






Matriks stokastik khusus

1. Suatu rantai Markov memiliki ruang keadaan {0, 1, 2, 3, 4}.Diketahui P0,4 = 1. Jika rantai berada di keadaan i , i > 0, makakeadaan berikutnya adalah 0, 1, . . . , i − 1 dengan peluang sama(when the chain is in state i , i > 0, the next state is equally likelyto be any of the state 0, 1, . . . , i − 1). Tentukan m.p.t dari rantaiMarkov diatas. Tentukan pula peluang limit/jangka panjang untuksetiap keadaan.






Solusi:

P =

0 0 0 0 11 0 0 0 0

1/2 1/2 0 0 01/3 1/3 1/3 0 01/4 1/4 1/4 1/4 0






dengan peluang limit

π0 = π1 + (1/2)π2 + (1/3)π3 + (1/4)π4

π1 = (1/2)π2 + (1/3)π3 + (1/4)π4

π2 = (1/3)π3 + (1/4)π4

π3 = (1/4)π4

π4 = π0,

dan π0 + π1 + π2 + π3 + π4 = 1. Diperoleh

π0 = 12/37;π1 = 6/37;π2 = 4/37;π3 = 3/37;π4 = 12/37.






2. Misalkan X1,X2, . . . sampel acak dari X dengan fungsi peluangberikut:

k 0 1 2 3

P(X = k) 0.1 0.3 0.2 0.4

Diketahui Y0 = 0 dan Yn = maks{X1, . . . ,Xn}. Proses {Yt}membentuk suatu rantai Markov. Tentukan m.p.t nya.






Solusi:

P =

0.1 0.3 0.2 0.40 0.4 0.2 0.40 0 0.6 0.40 0 0 1

dengan keadaan-keadaan: 0, 1, 2, 3.






3. Malena melantunkan 3 koin; M menyatakan keluaran Muka.Misalkan X1 menyatakan banyaknya muncul M. Kemudian,koin-koin yang memiliki keluaran M dilantunkan. Misalkan X2 totalbanyaknya B (termasuk dari koin yang tidak dilantunkan dilantunan kedua). Malena kini melantunkan semua koin yang punyakeluaran B dan misalkan X3 menyatakan total banyaknya M(termasuk dari koin yang tidak dilantunkan). Malena melakukanini terus menerus. Proses {Xn} adalah suatu rantai Markov,dengan X0 = 3. Tentukan m.p.t nya.





Definisi

Proses stokastik {Xn} adalah Rantai Markov:

n = 0, 1, 2, . . .

nilai yang mungkin dari Xn adalah hingga atau terhitung

memiliki peluang transisi atau peluang berpindahnya keadaan“i” (pada waktu t = n) ke keadaan “j” (pada waktut = n + 1),

P(Xn+1 = j |Xn = i ,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= Pij (∗)

distribusi bersyarat Xn+1, diberikan keadaan-keadaan lampau(past states) X0,X1, . . . ,Xn−1 dan keadaan sekarang (presentstate) Xn, hanya bergantung pada keadaan sekarang(Sifat Markov)

keadaan-keadaan (states): i0, i1, . . . , in−1, i , j





Rantai Markov direpresentasikan dalam suatu matriks peluangtransisi atau matriks stokastik

P =

P00 P01 P02 · · ·P10 P11 P12 · · ·

......

...Pi0 Pi0 Pi0 · · ·

......

...

,

dimana Pij ≥ 0, i , j ≥ 0;∑∞

j=0 Pij = 1, i = 0, 1, . . ..





Perhatikan (*),

P(Xn+1 = j |Xn = i ,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= P

(Xn+1 = j |Xn = i

)= Pij ,

yang disebut sebagai peluang transisi satu-langkah atau one-steptransition probability.





Kita tahu bahwa peluang bersama

P(Xn = i ,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)dapat dihitung dengan sifat peluang bersyarat berikut.

P(Xn = i ,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= P

(Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)× P

(Xn = i |Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= P

(Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)× P

(Xn = i |Xn−1 = in−1

)= · · ·= pi0 · · · Pin−1,in





1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka Rezakan mengajukan klaim pada waktu t + 1 dengan peluang α; jikaRez tidak mengajukan klaim asuransi saat ini maka di masa depanRez akan mengajukan klaim asuransi dengan peluang β. Matrikspeluang transisinya adalah...





Solusi:

P =

(1− β β1− α α

)dengan keadaan-keadaan:’0’ tidak mengajukan klaim’1’ mengajukan klaim





Misalkan β = 0.3 dan α = 0.6. Diketahui α0 = P(X0 = 0) = 0.4dan α1 = P(X0 = 1) = 0.6, maka peluang (tak bersyarat) bahwatidak mengajukan klaim 4 hari lagi adalah...





P(X4 = 0) = 0.4P400 + 0.6P4

10

= (0.4)(0.5749) + (0.6)(0.5668) = 0.57





2. Keadaan hujan pada suatu hari bergantung pada keadaan hujandalam dua hari terakhir. Jika dalam dua hari terakhir hujan makabesok akan hujan dengan peluang 0.7; Jika hari ini hujan dankemarin tidak hujan maka besok akan hujan dengan peluang 0.5;jika hari ini tidak hujan dan kemarin hujan maka besok akan hujandengan peluang 0.4; jika dalam dua hari terakhir tidak hujan makabesok hujan dengan peluang 0.2. Matriks peluang transisinyaadalah...





Solusi:

P =

0.7 0 0.3 00.5 0 0.5 00 0.4 0 0.60 0.2 0 0.8

dengan keadaan-keadaan:’0’ (00) = hari ini dan kemarin hujan’1’ (10) = hari ini hujan, kemarin tidak hujan’2’ (01) = hari ini tidak hujan, kemarin hujan’3’ (11) = hari ini dan kemarin tidak hujan





Jika hari Senin dan Selasa hujan, berapa peluang bahwa hariKamis akan hujan?





Solusi:

P2 =

0.49 0.12 0.21 0.180.35 0.2 0.15 0.30.2 0.12 0.2 0.40.1 0.16 0.1 0.64

Peluang hujan pada hari Kamis adalahP200 + P2

01 = 0.49 + 0.12 = 0.61





3. Tiga item produk A dan tiga item produk B didistribusikandalam dua buah paket/kotak sedemikian hinga setiap paket terdiriatas tiga item produk. Dikatakan bahwa sistem berada dalamkeadaan i , i = 0, 1, 2, 3 jika dalam paket pertama terdapat i produkA. Setiap saat (langkah), kita pindahkan satu item produk darisetiap paket dan meletakkan item produk tersebut dari paket 1 kepaket 2 dan sebaliknya. Misalkan Xn menggambarkan keadaan darisistem setelah langkah ke-n. Matriks peluang transisinya adalah...





Solusi:

P =

0 1 0 0

1/9 4/9 4/9 00 4/9 4/9 1/90 0 1 0

dengan keadaan-keadaan:’0’ terdapat 0 produk A di paket pertama’1’ terdapat 1 produk A di paket pertama’2’ terdapat 2 produk A di paket pertama’3’ terdapat 3 produk A di paket pertama





4. Menurut Kemeny, Snell dan Thompson, Tanah Australiadiberkahi dengan banyak hal kecuali cuaca yang baik. Merekatidak pernah memiliki dua hari bercuaca baik secaraberturut-turut. Jika mereka mendapatkan hari bercuaca baik makaesok hari akan bersalju atau hujan dengan peluang sama. Jika hariini mereka mengalami salju atau hujan maka besok akan bercuacasama dengan peluang separuhnya. Jika terdapat perubahan cuacadari salju atau hujan, hanya separuh dari waktu besok akanmenjadi hari bercuaca baik. Tentukan matriks peluang transisi dariRantai Markov yang dibentuk dari keadaan-keadaan diatas.





Solusi:

P =

1/2 1/4 1/41/2 0 1/21/4 1/4 1/2

dengan keadaan-keadaan:’0’ cuaca hujan’1’ cuaca baik’2’ cuaca salju





5. Sebagai calon atlet, setiap pagi Laila meninggalkan rumahnyauntuk berlari pagi. Laila akan pergi lewat pintu depan ataubelakang dengan peluang sama. Ketika meninggalkan rumah, Lailamemakai sepatu olah raga atau bertelanjang kaki. Ketika pulang,Laila akan masuk lewat pintu depan atau belakang dan meletakkansepatunya dengan peluang sama. Diketahui bahwa Laila memiliki 4pasang sepatu olah raga. Bentuklah suatu Rantai Markov dariproses diatas.





Solusi:

P =

3/4 1/4 0 0 01/4 1/2 1/4 0 0

0 1/4 1/2 1/4 00 0 1/4 1/2 1/40 0 0 1/4 3/4

dengan keadaan-keadaan:’0’ (4,0) = 4 sepatu didepan, 0 dibelakang’1’ (3,1) = 3 sepatu didepan, 1 dibelakang’2’ (2,2) = 2 sepatu didepan, 2 dibelakang’3’ (1,3) = 1 sepatu didepan, 3 dibelakang’4’ (0,4) = 0 sepatu didepan, 4 dibelakang





6. Lena akan melantunkan koin terus menerus hingga diperolehkeluaran B,B,M (2 keluaran Belakang berturut-turut yangkemudian diikuti oleh keluaran Muka). Bentuklah rantai Markovyang mungkin. Perhatikan bahwa jika lantunan Lena adalah M,lalu B, lalu M artinya adalah Lena harus mengulang lantunan dariawal.





7. Suatu sistem reservasi maskapai penerbangan memiliki 2komputer; hanya 1 yang beroperasi pada setiap waktu. Sebuahkomputer akan “rusak” pada suatu hari dengan peluang θ. Adasebuah fasilitas/bengkel perbaikan komputer yang dapat membuatkomputer kembali normal (dapat dipakai) dalam waktu 2 hari.Fasilitas/bengkel tersebut diatur sedemikian hingga hanya 1komputer yang dapat ditangani setiap waktu. Bentuklah rantaiMarkov yang dapat memodelkan situasi diatas...





8. Ani tinggal tidak jauh dari kampus. Cukup berjalan kaki sajadari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujandatang hampir setiap hari. Mau tidak mau, Ani menggunakanpayung dalam perjalanan kos-kampus atau kampus-kos. Jika harihujan dan payung ada ditempat Ani berada maka Ani akanmenggunakan payung tersebut. Jika hari tidak hujan, Ani selalulupa untuk membawa payung. Misalkan θ adalah peluang hujansetiap kali Ani akan menuju kampus atau kos. Jika Ani memiliki 3buah payung, bentuklah suatu rantai Markov dari proses diatas!





Solusi:

P =

0 0 0 10 0 1− θ θ0 1− θ θ 0

1− θ θ 0 0

dengan keadaan-keadaan:’0’, ’1’, ’2’, ’3’ yang menyatakan jumlah payung





9. Dua tim futsal wanita di MA-ITB akan memainkan tujuhrangkaian pertandingan. Hasil setiap pertandingan saling bebas.Setiap pertandingan akan dimenangkan oleh tim A dengan peluangα dan oleh tim B dengan peluang 1− α. Misalkan keadaan suatusistem direpresentasikan oleh pasangan (a, b) dimana amenyatakan banyak pertandingan yang dimenangkan A dan bbanyak pertandingan yang dimenangkan B. Bentuklah rantaiMarkov untuk masalah tersebut. Catatan: a + b ≤ 7 danrangkaian pertandingan akan berakhir apabila a = 4 atau b = 4.





10. Model penyebaran gosip ala Ika adalah sbb: Jumlah orangdalam sebuah “gank” adalah N = 5, sebagian sudah dengar gosipdan sisanya belum. Dalam setiap waktu, 2 orang akan dipilihsecara acak dari gank tersebut dan keduanya (diasumsikan)berinteraksi. Pemilihan orang-orang tersebut dilakukan s.d.hinteraksi antara setiap pasangan adalah sama. Jika satu orang darisuatu pasangan sudah dengar gosip, yang lain belum, maka gosipakan disebarkan ke orang yang belum dengar dengan peluang 0.1.Misalkan Xn menyatakan jumlah orang yang dengar gosip diakhirperiode ke-n. Bentuklah suatu matriks stokastik yang mungkin.





Solusi: Keadaan: 0, 1, 2, 3, 4, 5, yang menyatakan jumlah orangyang dengar gosip.P00 = 1,P55 = 1. Cukup jelas. Jika tidak ada/semua orang dengargosip maka PASTI keadaan berubah ke tidak ada/semua orangdengar gosip.

Pi ,i+1 = 0.1C i1 C

5−i1

C 52

= 0.01(i)(5− i),

Pii = 1− 0.01(i)(5− i),

untuk i = 1, 2, 3, 4.





P =

1 0 0 0 0 00 0.96 0.04 0 0 00 0 0.94 0.06 0 00 0 0 0.94 0.06 00 0 0 0 0.96 0.040 0 0 0 0 1


Documents

MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik …personal.fmipa.itb.ac.id/khreshna/files/2011/02/Bab-4-ProsStok1.pdf · Tentang Kuliah Proses Stokastik Matriks stokastik Matriks