INTRODUCTION

Misal {X n , n=0,1,2 , …,} adalah suatu proses stokastik dimana nilai dari X n adalah hingga atau

terhitung. Himpunan nilai yang mungkin dari proses ini akan ditunjukkan oleh himpunan bilangan bulat

non negative {0,1,2,…}. Jika X n=i maka suatu proses dikatakan berada dalam keadaan i, pada waktu n.

Kita misalkan kapanpun suatu proses ada di keadaan , selanjutnya akan terdapat peluang Pij yang akan

ada di keadaan j. Misalkan

P {Xn+1= j|X n=i , X n−1=in−1, …, X1=i1 , X0=i0 }=Pij (4.1)

Untuk semua i0 ,i1 , …., in−1, i , j dan n ≥ 0.

distribusi bersyarat keadaan mendatang X n+1 , diberikan keadaan lampau (past states) X 0, X1 ,…, Xn−1

dan keadaan sekarang (present state) X n. keadaan mendatang bebas dari keadaan lampau dan hanya

bergantung pada keadaan sekarang.

Pij merupakan peluang bahwa proses akan berada di keadaan j dari keadaan i; dimana

Pij ≥ 0 ; i , j≥ 0 ;∑j=0

∞

Pij=1 ,i=0,1 ,….

Maka matriks peluang transisi satu langkah Pij adalah

P=¿

Contoh

1.(Ramalan Cuaca). Misalkan kesempatan hujan besok bergantung pada keadaan apakah hujan atau tidak

hari ini dan tidak hujan pada keadaan lalu. Misalkan juga peluang jika hari ini hujan, maka besok hujan

adalah α dan jika tidak hujan hari ini, maka besok hujan adalah β. Kita katakan proses tersebut berada

pada keadaan 0 jika besok hujan, dan keadaan 1 jika besok tidak hujan. Maka diperoleh rantai markov

peluang transisi dengan 2-keadaan sebagai berikut :

P=‖α 1−αβ 1−β‖

2.(Random Walk Model). Suatu rantai markov yang mana ruang keadaan diberikan oleh bilangan bulat

i=0 , ± 1 ,± 2 , …. Dikatakan random walk jika beberapa nilai 0< p<1 ,

Pi ,i+1=p=1−Pi ,i−1

Random Walks adalah proses melangkah dari suatu objek di garis bilangan dimana objek itu dapat

bergerak ke kanan dengan peluang p atau ke kanan dengan peuang 1−p.

CHAMPAN-KOLMOGOROV EQUATIONS

Sebelumnya telah didefinisikan peluang transisi satu langkah pada persamaan (4.1). sekarang

didefiniskan, peluang transisi n−¿langkah Pijn adalah peluang proses yang berada pada keadaan i akan

berada pada keadaan j setelah n transisi.

Pijn=P {Xn+k= j|Xk=i } , n≥ 0 ,i , j ≥0

Persamaan The Chapman-Kolmogorov adalah alat untuk menghitung peluang transisi n + m-langkah:

Pijn+m=∑

k=0

∞

Pikn Pkj

m n ,m≥ 0 i , j ≥ 0 (4.2)

Pikn Pkj

mmenyatakan peluang suatu proses dalam keadaan i akan berada di keadaan j dalam n +m transisi,

melalui keadaan k dalam n transisi/langkah.

Contoh 3: Misalkan pada contoh 1 α=0.7 β=0.4 . Hitunglah peluangbahwa akan hujan 4 hari jika dari

sekarang hujan.

Solusi : Peluang transisi 1 langkah diberikan oleh

P=‖0.7 0.30.4 0.6‖

Maka,

P(2 )=P2=‖0.7 0.30.4 0.6‖‖0.7 0.3

0.4 0.6‖=‖0.61 0.390.52 0.48‖

P(4)=(P¿¿2)2=‖0.61 0.390.52 0.48‖‖0.61 0.39

0.52 0.48‖=‖0.5749 0.42510.5668 0.4332‖¿

CLASSIFICATION OF STATES

1. ACCESSIBLE

Keadaan j dikatakan accessible (dapat dicapai) dari keadaan i , dinotasikan dengan jika

Pijn ≥ 0untuk suatu n ≥ 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika dan hanya jika

dimulai dari keadaan i proses akan masuk ke keadaan j . Jika keadaan j tidak dapat diakses dari

keadaan i maka peluang masuk ke keadaan j dari keadaan i adalah nol.

2. COMMUNICATE

Dua keadaan i dan j dikatakan communicate jika accessible satu sama lain. Dinotasikan i↔ j.

Relasi dari sifat komunikasi diatas adalah :

(i)keadaan i communicate dengan keadaan i , untuk semua i≥ 0 dinotasikan i↔ i

(ii) i↔ j maka j ↔i (Jika keadaan i berkomunikasi dengan keadaan j maka keadaan j berko-

munikasi dengan keadaan i)

(iii)i↔ j dan j ↔ k makai ↔ k (Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j

berkomunikasi dengan keadaan k maka keadaan i berkomunikasi dengan keadaan k ).

Berdasarkan relasi komunikasi, semua keadaan dalam rantai Markov dapat diklasifikasikan ke

dalam kelas-kelas komunikasi yang terpisah (disjoint) dan lengkap (exhaustive).

3. IRREDUCIBLE

Rantai markov dikatakan tidak dapat direduksi (irre-ducible) jika hanya terdapat sebuah kelas dan

semua keadaan berkomunikasi satu sama lain.

4. RECURRENT dan TRANSIENT

Untuk setiap keadaan i, misalkan f ipeluang bahwa dimulai dari keadaaniproses akan pernah

kembali ke keadaan i. Keadaan i dikatakan recurrent jika f i=1. Dikatakan transient jika f i<1

• Jika keadaan i recurrent maka proses akan terus kembali ke keadaan idengan peluang satu.

Dengan definisi rantai Markov, proses akan dimulai lagi ketika kembali ke keadaan i, dan

seterusnya, sehingga keadaan i akan dikunjungi lagi. Jika keadaan i recurrent maka dimulai dari

keadaan imaka proses akan kembali ke keadaan i terus dan terus sebanyak tak hingga kali.

• Misalkan keadaan i transient. Setiap kali proses kembali ke keadaan i, terdapat kemungkinan

(peluang yang positif) sebesar 1−f i bahwa proses tidak pernah kembali ke keadaan i. Dengan

demikian, dimulai dari keadaan i, peluang bahwa proses berada di i sebanyak tepat n periode/kali

adalah f in−1 (1−f i ) , n ≥ 1.Jika keadaan i transient maka, dimulai dari keadaani, banyak

periode/kali bahwa proses akan berada di keadaan i adalah peubah acak geometrik dengan

parameter 1−f i.

“Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i, maka banyak periode/kali yang

diharapkan (expected number of time periods) bahwa proses akan berada di keadaan i adalah tak

hingga"

Misalkan

I n=1 , jika Xn=i

¿0 , jika X n≠ i

Misalkan ∑n=0

∞

I n menyatkan banyak periode/kali bahwa proses berada dalam keadaan i, dan

E(∑n=0

∞

I n∨Y 0=i)=∑n=0

∞

E ¿¿)

¿∑n=0

∞

P ¿¿ )

¿∑n=0

∞

Piin

Proposisi

Keadaan i adalah

Recurrent jika ∑n=0

∞

P iin=∞ Transient jika ∑

n=0

∞

P iin<¿ ∞

Catatan:

• Pada rantai Markov dengan keadaan hingga, tidak semua keadaan bersfat transient

• Jika keadaan i recurrent dan keadaan i berkomunikasi (communicate) dengan keadaan j maka keadaan

j recurrent"

• Semua keadaan pada rantai Markov (hingga) yang tidak dapat direduksi adalah recurrent.

LIMIT PELUANG TRANSISI

Matriks peluang transisi dari contoh 3 diatas

P(4)=‖0.5749 0.42510.5668 0.4332‖

Matriks peluang transisi P(8 )=P(4) . P(4 )

P(8 )=‖0.572 0.4280.570 0.430‖

MatriksP(8 ) hampir identik dengan P(4). Selain itu, setiap baris dari P(8 ) hampir memiliki unsur yang

identik. Nampaknya, Pijn konvergen ke suatu nilai, untuk n → ∞, yang sama untuk semua i. Dengan kata

lain, terdapat limit peluang (limiting probability) bahwa proses akan berada di keadaan j setelah

sekian/banyak langkah/transisi. Nilai limit ini saling bebas dengan nilai pada keadaan awal.

Keadaan i dikatakan memiliki periode d jika Piin=0 untuk n yang tidak dapat dibagi oleh d (d suatu

integer). Contoh, suatu proses dimulai dari keadaan i akan kembali ke i pada waktu 2; 4; 6; 8; maka

keadaan i memiliki periode 2. Suatu keadaan yang memiliki periode 1 disebut aperiodik. Jika keadaan i

memiliki periode d dan keadaan i berkomunikasi dengan keadaan j maka keadaan j juga memiliki

perioded . Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan positive recurrent jika, dimulai

dari keadaan i, waktu harapan hingga proses kembali ke i adalah hingga. Pada rantai Markov yang

memiliki keadaan hingga, semua keadaan yang recurrent adalah positive recurrent. Suatu keadaan yang

positive recurrent dan aperiodik disebut ergodik.

Teorema

Untuk rantai Markov yang ergodik dan tidak dapat direduksi, limn → ∞

Pijnada dan saling bebas dari i.