Rantai Markov Diskrit

8/16/2019 Rantai Markov Diskrit

1/34

i

ESTIMASI INTERVAL KONFIDENSI UNTUK

PROBABILITAS TRANSISI RANTAI MARKOV DISKRIT

Oleh

NUR ITSNAINI HASANAH

M0105054

SKRIPSI

ditulis dan diajukan untuk memenuhi sebagian persyaratan

memperoleh gelar Sarjana Sains Matematika

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SEBELAS MARET

SURAKARTA

2011


2/34

ii

SKRIPSIESTIMASI INTERVAL KONFIDENSI UNTUK

PROBABILITAS TRANSISI RANTAI MARKOV DISKRIT

yang disiapkan dan disusun oleh

NUR ITSNAINI HASANAH

M0105054

dibimbing oleh

Pembimbing I,

Dra. Yuliana Susanti, M.Si NIP. 19611219 198703 2 001

Pembimbing II,

Drs. Pangadi, M.Si NIP. 19571012 199103 1 001

telah dipertahankan di depan Dewan Penguji

pada hari Senin tanggal 7 Februari 2011

dan dinyatakan telah memenuhi syarat.

Anggota Tim Penguji Tanda tangan

1. Drs. Sugiyanto, M.Si NIP. 19611224 199203 1 003 1.

2. Dra. Etik Zukhronah, M.Si NIP. 19661213 099203 2 001 2.

3. Drs. Muslich, M.Si NIP. 19521118 197903 1 001 3.

Surakarta, Maret 2011Disahkan olehFakultas Matematika dan Ilmu Pengetahuan Alam

Dekan,

Prof. Dr. Sutarno, M.Sc, Ph.D NIP. 19600809 198612 1 001

Ketua Jurusan Matematika,

Drs. Sutrima, M.Si NIP. 19661007 199302 1 001


3/34

iii

ABSTRAK

NUR ITSNAINI HASANAH, 2011, ESTIMASI INTERVAL KONFIDENSI

UNTUK PROBABILITAS TRANSISI RANTAI MARKOV DISKRIT

ABSTRAK . Rantai Markov diskrit adalah proses stokastik dengan ruang state dan ruang parameternya diskrit serta memenuhi sifat Markov. Rantai Markovditentukan dengan probabilitas awal dan probabilitas transisi. Jika probabilitastransisi tidak diketahui maka perlu untuk membuat inferensi tentang probabilitastransisi dari data. Salah satu cara penyelesaian analisis statistik pada rantaiMarkov adalah membawa rantai Markov tersebut ke metode chi kuadrat yangdiaplikasikan dalam kasus multinomial. Tujuan dari penulisan ini adalahmenyajikan interval konfidensi untuk probabilitas transisi rantai Markov diskrit.

Hasil pembahasan menunjukkan bahwa interval konfidensi 100(1- )%untuk 6 . ditentukan oleh U p p L p ijijij ˆˆ dengan L p ijˆ sebagai batas bawah

interval dan U p ijˆ sebagai batas atas interval, untuk i, j = 1,2,…, r.

Kata kunci : interval konfidensi, probabilitas transisi, rantai Markov diskrit.


4/34

iv

ABSTRACT

NUR ITSNAINI HASANAH, 2011, CONFIDENCE INTERVAL FORTRANSITION PROBABILITY FROM DISCRETE MARKOV CHAIN

ABSTRACT . The discrete markov chain is stochastic process whose state and parameter space are discrete and satisfies Markov property. It depends on initialstate and transition probability. If the transition probability is unknown so itarises the problem of making inferences about them from data. One of the way tosolve the statistical analysis of markov chain is to carry over the markov chain tothe chi square methods which applied in the multinomial case. The aim of thistask is to find confidence interval for transition probability from discrete markovchain.

The result shows that the 100(1- )% confidence interval for transition probability 6 . is determined by U p p L p ijijij ˆˆ where L p ijˆ as lower bound and

U p ijˆ as upper bound, for i, j = 1,2,…, r .

Key words: confidence interval, transition probability, discrete markov chain.


5/34

v

PERSEMBAHAN

Karya tulis ini penulis persembahkan untuk

Bapak Ibu dan keluarga yang penulis sayangi.

Orang-orang yang memberi nasihat, saran, dan kritik pada penulis.


6/34

vi

KATA PENGANTAR

Bismillahirrahmanirrahim.

Alhamdulillah, segala puji hanya bagi Allah ‘Azza wa Jalla yang telah

memberikan pertolongan dan rahmat-Nya sehingga penulis dapat menyelesaikan

skripsi ini. Semoga shalawat dan salam senantiasa tercurah kepada Nabi

Muhammad Shallallahu ‘alaihi wa Sallam, keluarga dan para shahabatnya. Pada

kesempatan ini penulis mengucapkan terima kasih kepada:

1. Ibu Dra. Yuliana Susanti, M.Si selaku pembimbing I atas bimbingan dan

arahannya dalam mengerjakan skripsi ini,

2. Bapak Drs. Pangadi, M.Si selaku pembimbing II atas bimbingan dan

arahannya,

3. NOVI MOTOR Kartasura, atas kesediaannya memberikan informasi yang

dibutuhkan penulis,

4. Semua pihak yang membantu dalam penyelesaian skripsi ini.

Penulis berharap semoga penulisan skripsi ini bermanfaat bagi pembaca.

Februari 2011

Penulis


7/34

vii

DAFTAR ISI

HALAMAN JUDUL ……………………………………………………….. i

PENGESAHAN ……………………………………………………………... ii

ABSTRAK ………………………………………………………………….. iii

ABSTRACT ………………………………………………………………….. iv

PERSEMBAHAN …………………………………………………………… v

KATA PENGANTAR ………………………………………………………. vi

DAFTAR ISI ………………………………………………………………... viiDAFTAR SIMBOL …………………………………………………………. viii

BAB I PENDAHULUAN ……………………………………………………

1.1 Latar belakang Masalah ………………………………………………….

1.2 Rumusan Masalah ……………………………………………………….

1.3 Batasan Masalah …………………………………………………………

1.4 Tujuan dan Manfaat Penulisan …………………………………………..

BAB II LANDASAN TEORI ………………………………………………..

2.1 Tinjauan Pustaka …………………………………………………………

2.2 Kerangka Pemikiran ……………………………………………………..

1

1

2

3

3

4

4

12

BAB III METODE PENULISAN …………………………………………... 13

BAB IV PEMBAHASAN …………………………………………………...

4.1 Model Rantai Markov ……………………………………………………

4.2 Penduga Maksimum Likelihood …………………………………………

4.3 Distribusi Asimtotik dari Penduga 6 . …………………………………...

4.4 Interval Konfidensi untuk Probabilitas Transisi …………………………

4.5 Contoh Kasus …………………………………………………………….

14

14

15

17

19

22

BAB V PENUTUP …………………………………………………………..

5.1 Kesimpulan ………………………………………………………………

5.2 Saran ……………………………………………………………………..

26

26

26

DAFTAR PUSTAKA ………………………………………………………. 27

LAMPIRAN ………………………………………………………………… 28


8/34

viii

DAFTAR SIMBOL

S : ruang sampel

: ruang parameter

: parameter

X : variabel random

x : nilai variabel random

f ( x) : fungsi kepadatan probabilitas ( probability density function ) dari

variabel random X F ( x) : fungsi distribusi kumulatif dari variabel random X

, , … , : fungsi kepadatan probabilitas bersama dari variabel random

, … ,

| : fkp bersyarat dari 2 x diberikan 1 = 1

: harga harapan dari X

z : variansi dari X

, : kovariansi dari X dan Y

: fungsi pembangkit momen

L( ) : fungsi likelihood

, , : gradien , ,

6 . : probabilitas transisi dari state i ke state j

6 . : penduga probabilitas transisi

. : jumlah transisi dari state i ke state j


9/34

1

BAB I

PENDAHULUAN

1.1 Latar Belakang Masalah

Proses stokastik merupakan cara untuk mempelajari hubungan dinamis

dari suatu runtun peristiwa atau proses yang kejadiannya bersifat tidak pasti.

Proses stokastik banyak digunakan untuk memodelkan perubahan dari sebuah

sistem yang mengandung ketidakpastian sehingga model deterministik tidak dapat

digunakan untuk menganalisis sistem tersebut.

Ross (1983) memberikan definisi proses stokastik }),({ T t t X Î sebagai

barisan variabel random yang diberi indeks waktu t yang nilainya berubah-ubah

sesuai dengan himpunan indeks T . Nilai dari variabel random X (t ) tersebut

dinamakan state pada saat t . Menurut Parzen (1962), proses stokastik parameter

diskrit { },...2,1,0),( =t t X atau proses stokastik parameter kontinu { }0),( ³t t X

disebut sebagai proses Markov jika untuk sembarang harga nt t t t ...210

probabilitas bersyarat dari )( nt X diberikan )(),...,( 10 -nt X t X hanya bergantung pada )( 1-nt X atau bisa dituliskan sebagai

])(,...,)()([ 1100 -- === nnnn xt X xt X xt X P = ])()([ 11 -- == nnnn xt X xt X P .

Pada dasarnya proses stokastik dikelompokkan berdasarkan sifat ruang

parameter dan sifat ruang state (state space ). Berdasarkan sifat ruang

parameternya, proses stokastik digolongkan menjadi proses stokastik parameter

diskrit dan proses stokastik parameter kontinu. Berdasarkan sifat ruang state -nya,

proses stokastik digolongkan menjadi proses stokastik dengan ruang state diskrit

dan proses stokastik dengan ruang state kontinu.

Rantai Markov waktu diskrit T t X t Î,{ } adalah proses stokastik yang

mempunyai ruang state berupa himpunan berhingga atau terhitung dengan

himpunan indeks T = {0, 1, 2,…} yang memenuhi

],...,,[ 111100 -- ==== nnnn x X x X x X x X P = ][ 11 -- == nnnn x X x X P .


10/34

2

Proses Markov dikatakan sebagai rantai Markov jika ruang state nya diskrit.

Probabilitas bersyarat ][ 1 i X j X P nn ==

- biasa disebut dengan probabilitastransisi rantai Markov.

Jika probabilitas transisi tidak diketahui atau probabilitas transisi tersebut

merupakan fungsi dari parameter yang tidak diketahui maka perlu untuk membuat

inferensi tentang probabilitas transisi dari data empiris. Dalam statistik, inferensi

adalah proses penarikan kesimpulan tentang distribusi populasi berdasarkan

distribusi sampel yang diambil dari populasi tersebut. Salah satu cabang penting

dari inferensi statistik adalah estimasi (pendugaan) yang terdiri dari dua macamyaitu estimasi titik dan estimasi interval. Tujuan estimasi titik adalah menduga

nilai parameter yang tidak diketahui. Estimasi titik sendiri tidak memberikan

informasi akurasinya. Estimasi interval diperlukan untuk mengetahui seberapa

dekat atau seberapa besar harapan estimasi titik itu mendekati nilai yang

sebenarnya. Selain itu, estimasi interval sendiri bisa digunakan dalam proses

pengambilan kesimpulan.

Dalam banyak literatur, kebanyakan para peneliti mengunakan metode

maksimum likelihood untuk mengestimasi probabilitas transisi rantai markov

sebagaimana dalam Spring 2009. Sulistyowati (2003) telah membahas tentang

estimasi titik dan uji hipotesis dalam rantai Markov. Oleh karena itu, dalam

skripsi ini akan dibahas mengenai interval konfidensi untuk probabilitas transisi

rantai Markov dan dikaji ulang tentang pendugaan probabilitas transisi rantai

Markov dengan metode maksimum likelihood.

1.2 Rumusan Masalah

Permasalahan yang dibahas dalam penulisan skripsi ini adalah bagaimana

menentukan interval konfidensi untuk probabilitas transisi rantai Markov diskrit.


11/34

3

1.3 Batasan Masalah

Berdasarkan pada rumusan masalah di atas, pembahasan dalam skripsi ini

dibatasi pada penerapan metode maksimum likelihood dalam mengestimasi

probabilitas transisi rantai Markov orde satu dengan ruang state berhingga

(diskrit).

1.4 Tujuan dan Manfaat Penulisan

Tujuan dari penulisan skripsi ini adalah mampu menyajikan interval

konfidensi untuk probabilitas transisi rantai Markov diskrit. Dengan tercapainya

tujuan ini, penulisan skripsi ini diharapkan dapat menambah pengetahuan tentang

inferensi statistik pada rantai Markov khususnya pada estimasi interval konfidensi

probabilitas transisinya.


12/34

4

BAB II

LANDASAN TEORI

2.1 Tinjauan Pustaka

Untuk mendukung pembahasan dalam skripsi ini dibutuhkan teori-teori

dasar berikut.

2.1.1. Ruang Sampel, Kejadian, Probabilitas dan Variabel Random

Beberapa definisi yang berkaitan dengan ruang sampel, kejadian,

probabilitas dan variabel random berikut diambil dari Bain dan Engelhardt (1992).

Definisi 2.1.1 Ruang sampel S dari suatu percobaan adalah himpunan semua

hasil (outcome) yang mungkin dari percobaan tersebut.

Definisi 2.1.2 Suatu kejadian (event) adalah sembarang subset dari hasil yang

termuat dalam ruang sampel.

Definisi 2.1.3 Probabilitas adalah kemungkinan terjadinya suatu peristiwa

diantara keseluruhan peristiwa yang mungkin terjadi.

Definisi 2.1.4 Variabel random X adalah suatu fungsi yang memetakan setiap

hasil yang mungkin e dalam ruang sampel S dengan bilangan real sedemikian

sehingga X(e) = x, x Î R.

Definisi 2.1.5 Jika himpunan semua nilai yang mungkin dari variabel random X

merupakan himpunan terhitung * , * , … ,* atau * , * , … maka variabel

random X disebut variabel random diskrit. Fungsi * = [ = * ] untuk x =

* , * , … disebut fungsi kepadatan probabilitas diskrit.

Definisi 2.1.6 Fungsi distribusi kumulatif dari variabel random X didefinisikan

untuk sembarang bilangan real dengan * = [ ≤ * ] .

Definisi 2.1.7 Variabel random X disebut variabel random kontinu jika fungsi

distribusi kumulatifnya bisa dinyatakan sebagai * = % .

Definisi 2.1.8 Fungsi kepadatan probabilitas bersama dari variabel random

diskrit X = , … , didefinisikan sebagai * , * , … ,* = [ = * , =

* , … , = * ] .


13/34

5

Definisi 2.1.9 Jika 1 X dan 2 X merupakan variabel random diskrit atau kontinu

dengan fungsi kepadatan probabilitas bersama * , * ) maka fungsi kepadatan probabilitas bersyarat dari 2 x diberikan 1 X = 1 x didefinisikan sebagai

* | * =,

untuk nilai-nilai 1 x sedemikian sehingga * > 0 dan nol untuk nilai yang lain.

Definisi 2.1.10 Jika X variabel random dengan fungsi kepadatan probabilitas

)( x f maka harga harapan (expected value) dari X didefinisikan sebagai

* = ∑ * * ) jika X diskrit

* = * * ) %* jika X kontinu

Definisi 2.1.11 Variansi dari variabel random X diberikan oleh

l * = [ − ) ]

Definisi 2.1.12 Kovariansi dari pasangan variabel random X dan Y didefinisikan

dengan

)])([(),( y x Y X E Y X Cov m m --=

Definisi 2.1.13 Jika X variabel random maka)()( tX X e E t M =

Disebut fungsi pembangkit momen dari X jika harga harapan ini ada untuk semua

nilai t dalam suatu interval ht h


14/34

6

dengan * * …* =!

! !… ! .

Distribusi multinomial digunakan ketika dipunyai sebuah percobaan dengan k

kemungkinan hasil, yang masing-masing terjadi dengan probabilitas i p .

Percobaaan diulang sebanyak n kali dan k X X X ,...,, 21 mengukur jumlah

kejadian masing-masing kelas (hasil). Karena terdapat n percobaan, maka

jumlah keseluruhan hasil adalah n xk

ii =å

=1 , dan karena probabilitas memperoleh

hasil i sebesar i p , maka 11 =å=k

ii p .

2.1.3. Distribusi Normal, Gamma dan Chi Kuadrat

Definisi berikut diambil dari Bain dan Engelhardt (1992).

Definisi 2.1.11 Suatu variabel random X mengikuti distribusi normal dengan

mean m dan variansi 2s jika mempunyai fungsi kepadatan probabilitas

2]/)[( 2

2

1

),;( s m

s p s m -= x

e x f

untuk ¥


15/34

7

Definisi 2.1.14 Jika X ~ GAM ( 2,2v ) maka variabel X dikatakan berdistribusi

2 c dengan derajat bebas v dinotasikan dengan X ~ 2 c (v).

Teorema 2.1.1 Jika X ~ 2 c (v) maka

v X Var

v X E

t t M v x

2)(

)(

)21()( 2

==

-= -

Teorema 2.1.2 Jika )(~ 2 ii v X c , i = 1,..., n, maka

)(~1

2

1åå

===

n

ii

n

ii v X Y c .

Teorema 2.1.3 Jika )1,0(~ N Z maka )1(~ 22 c Z .

Teorema 2.1.4 (Teorema Limit Pusat) Jika n X X ,..,1 adalah sampel random

dari sebuah distribusi dengan mean m dan variansi 2s , maka distribusi limit

dari s

m

n

n X

Z

n

i

i

n

-

=

å=1 adalah distribusi normal standar, )1,0(~ N Z Z

d n ¾® ¾

untuk ¥®n .

Definisi 2.1.15 Misalkan ,..., 21 Y Y adalah deretan variabel random dengan fungsi

distribusi kumulatif ),...(),( 21 yG yG sedemikian sehingga untuk tiap n = 1, 2, ...

berlaku ][)( yY P yG nn £= . Jika untuk suatu fungsi distribusi kumulatif )( yG

berlaku )()(lim yG yG nn =¥® untuk semua nilai y dan )( yG kontinu maka ,..., 21 Y Y

dikatakan konvergen dalam distribusi ke )(~ yGY yang dinotasikan dengan

Y Y d n ¾® ¾ .

2.1.4. Metode Maksimum Likelihood

Metode maksimum likelihood adalah metode yang cukup sering digunakan

untuk menduga nilai parameter. Ide dasar metode ini adalah menggunakan sebuah


16/34

8

nilai dari ruang parameter yang menghasilkan peluang terbesar untuk menduga

nilai parameter yang tidak diketahui. Berikut ini adalah beberapa definisi tentang

fungsi likelihood dan penduga maksimum likelihood yang dinyatakan oleh Bain

dan Engelhardt (1992).

Definisi 2.1.16 Fungsi kepadatan probabilitas bersama dari n variabel random

n X X ,..,1 yang diberi nilai n x x ,..,1 adalah );,..,( 1 q n x x f dan disebut sebagai

fungsi likelihood. Untuk n x x ,..,1 tetap, fungsi likelihood adalah fungsi dari q

yang dinotasikan dengan L( q ). Jika n X X ,..,1 adalah sampel random dari

);( q x f maka

L(q ) = );()...;( 1 q q n x f x f .

Definisi 2.1.17 Misalkan L( q ) = );,..,( 1 q n x x f , WÎq , merupakan fungsi

likelihood. Untuk suatu himpunan pengamatan { n x x ,..,1 }, nilai q ̂ di dalam W

yang memaksimumkan L( q ) disebut penduga maksimum likelihood dari q . Jadi,

q ̂ adalah nilai dari q yang memenuhi

);,..,( 1 q n x x f = );,...,( 1 q q n x x f maksWÎ .

2.1.5. Metode Pengali Lagrange

Metode Pengali Lagrange digunakan untuk mencari nilai maksimum atau

nilai minimum fungsi f ( x, y, z ) terhadap kendala g( x, y, z ) = k . Langkahnya adalah

a. Menyelesaikan persamaan Lagrange

),,(),,( z y xg z y x f Ñ=Ñ l

konstanta l disebut pengali Lagrange .

b. Menghitung f di semua titik ( x, y, z ) yang dihasilkan dari langkah (a). Nilai

yang terbesar adalah nilai maksimum f , sedangkan nilai yang terkecil adalah

nilai minimum f .

(Dawkins, 2007 ).


17/34

9

2.1.6. Statistik Cukup

Definisi 2.1.18 (Bain dan Engelhardt, 1992)

Suatu fungsi variabel random yang tidak bergantung pada parameter yang tidak

diketahui disebut statistik.

Definisi 2.1.19 (Bain dan Engelhardt, 1992)

Misalkan X = ),..,( 1 n X X mempunyai fungsi kepadatan probabilitas bersama

);,..,( 1 q n x x f dan T = ),..,( 1 k T T adalah sebuah vektor statistik. T adalah statistik

cukup bersama untuk q jika fungsi kepadatan probabilitas bersyarat )(v f t V tidak

bergantung pada q , dengan V merupakan vektor statistik yang lain. Dalam kasus

satu dimensi cukup dikatakan bahwa T adalah statistik cukup untuk q .

Definisi 2.1.20 Kriteria Faktorisasi (Bain dan Engelhardt, 1992)

Jika X mempunyai fungsi kepadatan probabilitas bersama );,..,( 1 q n x x f dan T =

),..,( 1 k T T maka k T T ,..,1 merupakan statistik cukup bersama untuk q jika dan

hanya jika

),...,();();,..,(11 nn

x xht g x x f q q =

dengan g(t; q ) tidak bergantung pada n x x ,..,1 dan h( n x x ,..,1 ) tidak mengandung

q .

Menurut Laurence dan Chein-I Chang (1993), dalam model rantai Markov

bisa ditunjukkan bahwa state awal dan jumlah transisi membentuk suatu statistik

cukup dengan kriteria faktorisasi.

2.1.7. Interval Konfidensi untuk q Definisi 2.1.21 (Bain dan Engelhardt, 1992)

Misalkan n X X ,..,1 mempunyai fungsi kepadatan probabilitas bersama

);,..,( 1 q n x x f . Sedangkan L dan U adalah statistik dengan ),..,( 1 n X X l L = dan

),..,( 1 n X X uU = . Jika diketahui suatu data percobaan n x x ,..,1 , maka dipunyai

nilai pengamatan ),..,( 1 n x xl dan ),..,( 1 n x xu . Interval ( ),..,( 1 n x xl , ),..,( 1 n x xu )

dikatakan sebagai interval konfidensi 100 ( a -1 )% untuk q jika


18/34

10

a q -=


19/34


20/34

12

0][lim 0 >===¥® jnn i X j X P p , untuk j = 1, 2,…, r .

Konvergensi di atas menyatakan bahwa dalam jangka waktu yang lama

( ∞ ), probabilitas proses berada di state j adalah jp , tanpa memperhatikan

dimana rantai tersebut berawal.

Beberapa definisi tentang sifat state rantai Markov berikut dinyatakan oleh

Ross (1983).

Definisi 2.1.22 State j dikatakan dapat dicapai dari state i , j i ® , jika terdapat

0³n sedemikian sehingga 0>nij p . Jika ji ® dan i j ® maka i dan j

dikatakan saling berkomunikasi, ditulis ji « .

Suatu rantai Markov dikatakan irreducible jika semua state-nya saling

berkomunikasi satu sama lain.

Definisi 2.1.23 Untuk sebarang i dan j, nij f menyatakan probabilitas dari state i

pertama kali tiba di j dalam n langkah, yang dinyatakan sebagai

}1,...,2,1,,Pr{ 0 i X nk j X j X f k nn

ij =-=¹== .

Definisi 2.1.24 Suatu state i dikatakan recurrent jika 1=ii f (probabilitas bahwa

i akan kembali ke i adalah 1) sedangkan state i dikatakan non-recurrent atau

transient jika 1


21/34

13

BAB III

METODE PENULISAN

Dalam penulisan skripsi ini metode yang digunakan adalah studi literatur,

yaitu keseluruhan bahan untuk penelitian ini diambil dari buku-buku referensi

terutama yang berhubungan dengan proses stokastik (rantai Markov) dan inferensi

statistik khususnya tentang estimasi interval konfidensi.

Sesuai dengan tujuan penulisan, yaitu menyajikan interval konfidensi pada

rantai Markov diskrit, maka langkah-langkah yang ditempuh dalam penelitian iniadalah

1. Mengkaji ulang penduga maksimum likelihood untuk probabilitas transisi

rantai Markov.

2. Mengkaji ulang distribusi asimtotik dari penduga ij p .

3. menentukan interval konfidensi simultan untuk probabilitas sel dalam

distribusi multinomial.

4.

menentukan interval konfidensi untuk probabilitas transisi rantai Markov.


22/34

14

BAB IV

PEMBAHASAN

Pada bab ini dibahas tentang penduga maksimum likelihood untuk

probabilitas transisi rantai Markov diskrit, sifat-sifat penduganya dan interval

konfidensinya.

4.1 Model Rantai Markov

Misalkan { X k } adalah rantai markov dengan ruang state berhingga, dengan

ij p menyatakan probabilitas proses berada di state j pada waktu k dan berada di

state i pada waktu k – 1,

][ 1 i X j X P p k k ij === - , untuk i, j = 1, 2, …, r

dan probabilitas awal

][ 0 i X P p i == .

Misalkan x = },...,,{ 10 n x x x adalah sampel dari rantai Markov orde satu

dengan probabilitas transisi ij p dan probabilitas awal i p . Jika x adalah realisasi

dari variabel random X maka probabilitas bahwa X = x adalah

],...,,[ 1100 nn x X x X x X P ===

= ´== -- ],...,[ 1100 nn x X x X P ][ 11 -- == nnnn x X x X P

= ],...,[ 2200 -- == nn x X x X P . ][ 2211 ---- == nnnn x X x X P . ][ 11 -- == nnnn x X x X P

= ][.][ 001100 x X x X P x X P === … ][ 11 -- == nnnn x X x X P

=nn x x x x x

p p p1100

...-

= Õ === -r

jinn j X i X P x X P

,100 ][.][

= Õr

jiij x p p

,0

.

Kemudian didefinisikan ijs adalah jumlah transisi dari state i ke j, maka


23/34

15

],...,,[ 1100 nn x X x X x X P === = 0 x p Õr

ji

sij

ij p,

. (4.1)

Berdasarkan definisi 2.1.20, persamaan (4.1) menunjukkan bahwa ijs dan

state awal membentuk suatu statistik cukup yaitu T = { ijs x ,0 } dengan

),...,( 1 n x xh = 1.

4.2 Penduga Maksimum Likelihood untuk ij p

Misalkan },...,,{ 10 n x x x adalah realisasi dari n + 1 variabel random.

Fungsi likelihood untuk sampel ini adalah

L( p ) = ],...,,[ 1100 nn x X x X x X P === = 0 x p Õr

ji

sij

ij p,

(4.2)

dengan ijs menyatakan jumlah transisi satu langkah dari state i ke j.

Fungsi log-likelihood dari persamaan (4.2) adalah

å+=r

ji

ijij x ps p p L,

lnln)(ln0

. (4.3)

Untuk memperoleh estimasinya, persamaan (4.3) diturunkan terhadap ij p ,

diperoleh

ij

ij

ij p

s

p p L =

¶¶ )(ln

.

Jika persamaan di atas disamadengankan nol maka hasilnya akan menyatakan

bahwa estimasi probabilitas transisi bernilai ¥ . Oleh karena itu, digunakan

metode Pengali Lagrange untuk memaksimumkan ln L( p ). Didefinisikan fungsitujuan dari permasalahan ini adalah memaksimumkan )(ln p L , dengan r

konstrain, 1=år

jij p , untuk masing-masing i, dan r l l l ,...,, 21 sebagai konstanta

pengali Lagrange . Diperoleh fungsi baru,

M = ÷÷ ø

öççè

æ -- åå

=1)(ln

1

r

jij

r

ii p p L l


24/34

16

= ÷÷

ø

öçç

è

æ --+ ååå

=1lnln

1,

0

r

jij

r

ii

r

jiijij x p ps p l

Untuk memaksimumkan fungsi )(ln p L , maka fungsi M di atas diturunkan

terhadap ij p dan il .

§ 0=¶M¶

ij p

0=- iij

ij

p

sl

i

ijij

s p

l =

§ 0=¶M¶

il

1=år

jij p

Karena persamaan konstrain,

1=år j i

ijsl

Û ir

jijs l =å

maka diperoleh penduga maksimum likelihood untuk ij p yaitu

å=

=r

jij

ijij

s

s p

1

ˆ .

Dengan demikian matriks estimasi probabilitas transisinya adalah

ú

úúúúúúúúúúú

û

ù

ê

êêêêêêêêêêê

ë

é

=

úúúú

û

ù

êêêê

ë

é

=

ååå

ååå

ååå

===

===

===

r

jrj

rr n

jrj

r r

jrj

r

r

j j

r r

j j

r

j j

r

j j

r r

j j

r

j j

rr r r

r

r

s

s

s

s

s

s

s

s

s

s

s

s

s

s

s

s

s

s

p p p

p p p

p p p

P

11

2

1

1

12

2

12

22

12

21

11

1

11

12

11

11

21

22221

11211

ˆˆˆ

ˆˆˆ

ˆˆˆ

.


25/34

17

4.3 Distribusi Asimtotik dari Penduga ij p

Misalkan prosesnya dianggap stasioner, maka bisa diasumsikan bahwaik i i X P p p === ][ untuk semua k . Kemudian ip mengandung informasi tentang

probabilitas transisi ij p karena memenuhi persamaan å=

=r

k kuuu p

1

p p .

Menurut Sulistyowati (2003),

ii

n ns

p =÷ ø öç

è æ

¥®lim p . (4.4)

Selanjutnya, persamaan (4.4) akan digunakan untuk mengetahui distribusiasimtotik dari penduga ij p . Berikut ini penjelasan Billingsley (1960) tentang

distribusi asimtotik dari penduga ij p . Misalkan β = 6144 , … ,14 , … ,1 4 , …1

adalah vektor parameter dan β = ( 144 , … ,1̂4 , … ,1̂ 4 , …1̂ ) adalah vektor

penduga parameter dengani

ijij s

s p =ˆ , maka ( β − β ) konvergen dalam

distribusi ke distribusi normal dengan mean 0 dan matriks kovariansi S yang

komponennya diberikan oleh

, = ( 1 − 1 1 ) . (4.5)

denganîíì=

01

uvd untuk u = v

untuk u ≠ v

Misalkan diketahui variabel random independen 1 X dan inW (i = 1, 2,…, r

; n = 1, 2,…) sedemikian sehingga & 4 = = dan ijin p jW P == ][ .

Selanjutnya variabel inW diilustrasikan dalam bentuk berikut

,...,...,,............................

,...,...,,

,...,...,,

21

22221

11211

rnr r

n

n

W W W

W W W

W W W

.

Mula-mula 1 X disampel. Misalkan diperoleh 1 X = i, maka variabel pertama baris

ke-i disampel, hasilnya 2 X . Misalkan 2 X = j, maka variabel pertama pada baris

ke- j disampel, hasilnya 3 X , dan seterusnya. Kemudian 2 X didefinisikan sebagai


26/34

18

11 xW dan seterusnya sampai 1+n X didefinisikan sebagai n xnW . Pengilustrasian di

atas bisa ditulis}12,,{}11,{ 111 1 +££===+££= -- nk xW x X nk x X k k xk k k .

Karena variabel-variabel tersebut independen, maka

}{}...{}{}11,{ 12111 1 +====+££= nnaak k awPawPa xPnk a xP n

=1a

p21aa

p ...1+nn aa

p .

Sehingga jelas bahwa, untuk i tetap, ),...,( 1 ir i ss adalah jumlah transisi untuk

),...,( 1 iisi ww . Karena s

i dekat dengan

inp (berdasarkan persamaan (4.4)), maka

),...,( 1 ir i ss bisa dibandingkan dengan ),...,( 1 ir i f f yang merupakan jumlah transisi

dari ),...,( ][1 inii ww p . Karena masing-masing baris inw independen, kemudian

berdasarkan teorema limit pusat untuk percobaan multinomial, variabel random

i

ijiijij

n

pn f

p

p g

][-= akan berdistribusi normal asimtotik dengan matriks kovariansi

yang diberikan oleh persamaan (4.5). Selanjutnya, variabel random

i

ijiijij

n

pss

p g

-=' akan mempunyai distribusi limit yang sama dengan ijg karena

n

pss

n

pn f ijiijijiij --- ][ p

konvergen dalam probabilitas ke 0 pada saat n ® ∞. Kemudian, berdasarkan

persamaan (4.4), variabel F ij = )ˆ( b b -is mempunyai distribusi limit yang sama

dengan . Hal ini bisa dibuktikan dengan uraian berikut.

Variabel = ( − ) bisa dinyatakan dengan = /

.

= − 1

= −

= − 1 .


27/34

19

=(

. =/

Karena ( / ) → , maka dan mempunyai distribusi yang sama.

4.4 Interval Konfidensi untuk Probabilitas Transisi

Salah satu cara sistematis untuk menyelesaikan analisis statistik pada

rantai Markov adalah membawa rantai Markov tersebut ke metode chi kuadrat

yang diaplikasikan dalam kasus multinomial. Oleh karena itu, sebelum membahas

interval konfidensi untuk probabilitas transisi rantai Markov, terlebih dahulu

dibahas tentang interval konfidensi untuk parameter multinomial (dalam hal ini

adalah probabilitas sel).

4.4.1 Interval Konfidensi untuk Parameter Multinomial

Distribusi multinomial digunakan untuk situasi dimana terdapat lebih dari

2 hasil yang mugkin pada setiap percobaan. Dengan kata lain, untuk n percobaan

independen, terdapat k hasil yang mungkin yang masing-masing memiliki

probabilitas.

Sebelum menurunkan interval konfidensi simultan, digunakan

pertidaksamaan Bonferroni untuk mempertimbangkan semua parameter secara

simultan. Untuk masing-masing parameter yang tak diketahui i p , i = 1, 2, …, k ,

ada interval ( uili p p , ), masing-masing dengan koefisien konfidensi k a

. Anggap E i

adalah kejadian dimana ( uili p p , ) mengandung i p . Sehingga i E merupakan

komplemen dari E i , atau kejadian dimana ( uili p p , ) tidak mengandung i p .

Probabilitas i E menjadi

k E P i

a =][ untuk i = 1, 2, …, k. (4.6)

Untuk memperoleh interval konfidensi simultan, semua kejadian E i harus

terjadi secara simultan. Sehubungan dengan probabilitas simultan semua kejadian

dan komplemennya, diperoleh


28/34

20

]...[1]...[ 11 k k E E P E E P ÈÈ-=ÇÇ

dan jelas bahwa& 4 … ≤ & 4 + … + & .

Sehingga

& 4 ∩ …∩ ≥ 1 − 6& 4 + … + & . (4.7)

Dengan mensubstitusikan persamaan (4.6) ke persamaan (4.7), bisa disimpulkan

bahwa

& 4 ∩ …∩ ≥ 1 − .

Hasil di atas menyatakan bahwa untuk parameter yang tak diketahui 14 , … ,1 ,

jika ( 11 , ul p p ),…,( uk lk p p , ) adalah interval konfidensi 100[1- k a

]% untuk tiap i p ,

i = 1, 2, …, k , maka probabilitas paling sedikit (1 - a ) bahwa interval konfidensi

ini secara simultan mengandung k p p ,...,1 .

Untuk menurunkan interval konfidensi, masing-masing parameter i p , i =

1, 2, …, k diperlakukan sebagai sebuah variabel random binomial. Pendekatan

normal untuk variabel binomial menyatakan

n p p

p p Z

ii

ii

)1(

)ˆ(--= ~ Z a /2 (0,1).

Dengan mengkuadratkan variabel di atas, diperoleh

)1(~)1(

)ˆ( 22

2a c

ii

ii

p p

p pn Z

--= (4.8)

dengan )1(2a c adalah batas atas (1-a ) dari distribusi chi kuadrat dengan derajat

bebas satu.

Pertidaksamaan Bonferroni diterapkan pada variabel chi kuadrat untuk

memperhitungkan semua parameter secara simultan. Persamaan (4.8) ditulis

kembali menjadi

( 1 − 1 ) = ,4 1 (1 − 1 ) .

Persamaan di atas kemudian diberlakukan untuk semua parameter ( 1 ,…, 1 ) dan

diganti dengan . Sehingga diperoleh


29/34

21

)1()ˆ( 2 1,/2

iik ii p p p pn -=- a c untuk semua i = 1, 2, …, k. (4.9)

Persamaan (4.9) diuraikan menjadi61̂ − 21 1 + 1 = ,4 1 − ,4 1

1 − 2 1 1̂ + 1 = ,4 1 − ,4 1

+ ,4 1 + ( − 2 1 − ,4 ) 1 + 1 = 0

Sehingga diperoleh interval konfidensi untuk probabilitas multinomial yaitu

)(2

)ˆ)((4)ˆ2()ˆ2(2

1,/

221,/

221,/

21,/

k

ik k ik iui n

pnn pn pn p

a

a a a

c

c c c

++---+---

= sebagai batas

atas interval dan

)(2

)ˆ)((4)ˆ2()ˆ2(2

1,/

221,/

221,/

21,/

k

ik k ik ili n

pnn pn pn p

a

a a a

c

c c c +

+-------= sebagai batas

bawah interval.

4.4.2 Interval Konfidensi untuk Probabilitas Transisi Rantai Markov DiskritInterval konfidensi untuk probabilitas transisi rantai Markov ditentukan

dengan analog pada distribusi multinomial. Misalkan { X k } adalah rantai markov

dengan ruang state berhingga, dengan ij p menyatakan probabilitas proses berada

di state j pada waktu k dan berada di state i pada waktu k – 1.

Diketahui matriks jumlah transisi S berikut

S =

úúúú

û

ù

êêêê

ë

é

rr r r

r

r

sss

sss

sss

...

...

...

21

22221

11211

.

Matriks di atas bisa dituliskan dalam bentuk tabel berikut.


30/34

22

State 1 2 … r Jumlah

1 11s 12s … r s1 =å=r

j js

11 1s

2 21s 22s … r s2 =å=

r

j js

12 2s

…

r 1r s 2r s … rr s =å=

r

jrjs

1r s

Karena 11

=å=

r

jij p , maka interval konfidensi 100(1- a )% untuk probabilitas transisi

1 bisa ditentukan dengan

)1()ˆ( 2 1,/2

ijijr ijiji p p p ps -=- a c untuk i, j = 1, 2, …, r

yang mempunyai penyelesaian

)(2

)ˆ)((4)ˆ2()ˆ2(ˆ

21,/

221,/

221,/

21,/

r i

ijir ir ijir iji

ij

s

pss ps psU p

a

a a a

c

c c c

+

+---+---= (4.10)

sebagai batas atas interval dan

)(2

)ˆ)((4)ˆ2()ˆ2(ˆ

21,/

221,/

221,/

21,/

r i

ijir ir ijir iji

ij s

pss ps ps L p

a

a a a

c

c c c

+

+-------= (4.11)

sebagai batas bawah interval.

4.5 Contoh Kasus

Dianggap bahwa penjualan dan pembelian mobil menurut jenis badan

mobil memenuhi sifat Markov. Artinya seseorang memutuskan untuk membeli

mobil berdasarkan bentuk badan mobil yang dia miliki sebelumnya. Jenis badan

mobil yang diamati adalah sedan, pick up, dan wagon (kijang). Data diperoleh

dari hasil penjualan dan pembelian mobil dalam satu tahun terakhir (tahun 2009 –

2010) dari dealer mobil NOVI MOTOR Kartasura yang melayani penjualan mobil

dengan cara tukar tambah. Data disajikan dalam tabel berdasarkan pada model

badan ( body ) mobil berikut.


31/34

23

Mobil yang

dibeli

Mobil yang

dijual

Jumlah

Pick up Pick up 48

Pick up Sedan 13

Pick up Wagon 11

Sedan Pick up 36

Sedan Sedan 35

Sedan Wagon 47

Wagon Pick up 37

Wagon Sedan 13

Wagon Wagon 36

Misalkan state 1 untuk mobil jenis pick up, state 2 untuk sedan, dan state 3 untuk

wagon. Misalkan ijs menyatakan jumlah konsumen yang mengganti mobil i

dengan mobil j , untuk i, j = 1, 2, 3. Nilai dari ijs dapat dinyatakan dalam tabel

berikut.

1(pick up) 2(sedan) 3(wagon) is

1(pick up) 48 13 11 72

2(sedan) 36 35 47 118

3(wagon) 37 13 36 86

js 121 61 94 276

Jika diasumsikan bahwa perpindahan jenis badan mobil dianggap stabil maka

dapat ditentukan estimasi probabilitas transisi denganå

=

=r

jij

ijij

s

s p

1

ˆ . Matriks

estimasi probabilitas transisi untuk masalah ini adalah


32/34


33/34

25

)7311,5(2

)ˆ)(7311,5(4)7311,5ˆ2()7311,5ˆ2(,ˆ

3

23333

2333333

33

+

+---±---=

s

pss ps ps LU p

Hasilnya ditunjukkan pada tabel berikut.

ij p ij p̂ Interval konfidensi 95 %

Batas bawah Batas atas

11 p 0,6667 0,525822 0,845322

12 p 0,1805 0,097001 0,335877

13 p 0,1528 0,077405 0,301632

21 p 0,3051 0,21462 0,433725

22 p 0,2966 0,207268 0,424434

23 p 0,3983 0,297546 0,533172

31 p 0,4302 0,310731 0,595603

32 p 0,1152 0,055897 0,237418

33 p 0,4186 0,300271 0,583559

Dari hasil yang diperoleh, terlihat bahwa dengan tingkat kepercayaan 95%,

jumlah pembeli yang tetap mempertahankan mobil jenis pick up sekitar

52,5822% sampai dengan 84,5322%, yang menukar pick up dengan sedan 9,7%

sampai dengan 33,5877%, dan seterusnya.


34/34

26

BAB V

PENUTUP

5.1 Kesimpulan

Berdasarkan pembahasan pada bab sebelumnya, dapat diambil kesimpulan

bahwa interval konfidensi 100(1- a )% untuk probabilitas transisi Z 6 ditentukan oleh

U p p L p ijijij ˆˆ ££ , dengan

)(2

)ˆ)((4)ˆ2()ˆ2(ˆ

21,/

221,/

221,/

21,/

r i

ijir ir ijir iji

ij s

pss ps psU p

a

a a a

c

c c c

+

+---+---=

sebagai batas atas interval dan

)(2

)ˆ)((4)ˆ2()ˆ2(ˆ

21,/

221,/

221,/

21,/

r i

ijir ir ijir iji

ij s

pss ps ps L p

a

a a a

c

c c c

+

+-------=

sebagai batas bawah interval, untuk i, j = 1, 2, …, r .

5.2 Saran

Dalam penulisan skripsi ini, pembahasan mengenai interval konfidensi pada

rantai Markov didasarkan pada analogi dari distribusi multinomial. Sebagai saran,

penentuan interval konfidensi bisa juga ditentukan dengan metode bootstrap atau

metode yang lainnya.

Documents

Rantai Markov Diskrit