MARKOV CHAIN

Rizky Pravira Fajar 21100114140051

Muhammad Malkan Alhasani 21100114120009

Irvan Sakti Nugroho 21100114140063

Rinaldo Siagian 21100114140085

Messach Togu Ebenz W 21100113120018

Aditya Febrianto Ramadhan 21100113140067

Nashir Idzharul Huda 21100113130090

M Taufiqurrahman 21100113130016

1Teknik Geologi Universitas Diponegoro, Semarang, Indonesia

ABSTRAK

Prinsipnya, ketika kita mengamati rangkaian probabilitas percobaan, semua hasil masa lalu bisa mempengaruhi prediksi untuk

percobaan berikutnya. Tahun 1907, A.A. Markov mulai mempelajari teori baru yang yang berkaitan dengan probabilitas, dalam

proses ini hasil percobaan tertentu dapat mempengaruhi hasil percobaan berikutnya. Makalah ini akan membahas apakah proses

stokastik itu, yang merupakan dasar dari Markov Chain, bagaimana prinsip dasar, teorema yang berlaku, status-status Markov

Chain, lalu bagaimana penerapan atau aplikasinya. Contoh studi kasus mendapatkan hasil yaitu perkiraan ramalan cuaca pada

hari Senin π (3) )1484.,42.,4316(.)2()3( P , maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan.

Keywords: markov chain, stokastik, state

_____________________________________________________________________________________________________________________

Pendahuluan

Sebagian besar penelitian probabilitas

menangani proses percobaan independen, ini

merupakan proses dasar teori probabilitas klasik dan

mengarah ke statistik. Kita telah melihat bahwa

ketika urutan eksperimen membentuk independen

maka hasil yang mungkin untuk setiap percobaan

adalah sama dan terjadi dengan probabilitas yang

sama. Lebih lanjut, pengetahuan dari hasil percobaan

sebelumnya tidak mempengaruhi hasil berikutnya

percobaan.

Teori probabilitas modern memungkinkan

mengetahui pengaruh hasil sebelumnya untuk

memprediksi hasil percobaan selanjutnya.

Prinsipnya, ketika kita mengamati rangkaian

probabilitas percobaan, semua hasil masa lalu bisa

mempengaruhi prediksi untuk percobaan berikutnya.

Oleh karena itu dalam makalah ini akan menjelaskan

lebih jauh tentang teori tersebut, yaitu Proses Markov

berupa Markov Chain dan penerapan teori tersebut.

Markov Chain sangat berkaitan erat dengan teori

probabilitas. Untuk memberikan dasar analisis

terlebih dahulu kita harus mengetahui asumsi,

definisi, sampai beberapa teorema yang diperlukan.

Maka masalah yang akan dalam makalah ini adalah

apakah proses stokastik itu yang merupakan dasar

dari Markov Chain, bagaimana prinsip dasar, teorema

yang berlaku, statys-status Markov Chain, lalu

bagaimana penerapan atau aplikasinya

Tujuan pembuatan makalah tentang Markov

Chain ini yaitu mengetahui proses-proses stokastik,

mengetahui prinsip dasar Markov Chain, mengetahui

teorema- teorema yang berlaku pada Markov Chain,

mengetahui status-status Markov Chain, dan

mengaplikasikan perhitungan Markov Chain.

Tinjauan Pustaka

Sejarah Markov Chain Markov Chain baru diperkenalkan sekitar

tahun 1907, oleh seorang Matematisi Rusia

Andrei A. Markov (1856-1922). Andrey Markov

menghasilkan hasil pertama (1906) untuk proses

ini, murni secara teoritis. Sebuah generalisasi ke

bentuk tak terbatas dalam ruang diskrit diberikan

oleh Kolmogorov (1936). Rantai Markov terkait

dengan gerakan Brown dan ergodic hipotesis,

dua topik dalam fisika yang penting dalam

tahun-tahun awal abad ke-20, tetapi tampaknya

Markov lebih fokus pada perluasan hukum

bilangan besar dalam percobaaan-percobaaan.

Model ini berhubungan dengan suatu rangkaian

proses dimana kejadian akibat suatu suatu

eksperimen hanya tergantung pada kejadian yang

langsung mendahuluinya dan tidak tergantung

pada rangkaian kejadian sebelum-sebelumnya

yang lain. Pada 1913, ia menerapkan temuannya

untuk pertama kalinya untuk 20.000 pertama

Pushkin huruf "Eugene Onegin".

Proses Acak

Pengelompokkan tipe populasi dari proses

acak bisa digambarkan sebagai jika X adalah

proses acak, maka populasi dari proses acak

adalah semua nilai yang mungkin yang bisa

dimasukkan dalam suatu proses contohnya

Jika X adalah proses acak yang

menggambarkan suatu persamaan, maka

populasi dari X dapat digambarkan sebagai suatu

nilai yang memenuhi persamaan tersebut. Jika

populasi dari S dari suatu proses acak X dapat

dihiting (contoh S={1,2,3,...}), dalam hal ini X

disebut Discrete Time Random Process

perubahan state terjadi pada titik-titik integer.

Jika populasi dari S dari suatu proses acak X

tidak dapat dihitung ( contoh S = ∞) maka X

disebut Continuous Time Random Process

perubahan state (discrete state) terjadi pada

sembarang waktu.

Markov Chain merupakan proses acak di

mana semua informasi tentang masa depan

terkandung di dalam keadaan sekarang (yaitu

orang tidak perlu memeriksa masa lalu untuk

menentukan masa depan). Untuk lebih tepatnya,

proses memiliki properti Markov, yang berarti

bahwa bentuk ke depan hanya tergantung pada

keadaan sekarang, dan tidak bergantung pada

bentuk sebelumnya. Dengan kata lain, gambaran

tentang keadaan sepenuhnya menangkap semua

informasi yang dapat mempengaruhi masa depan

dari proses evolusi. Suatu Markov Chain

merupakan proses stokastik berarti bahwa semua

transisi adalah probabilitas (ditentukan oleh

kebetulan acak dan dengan demikian tidak dapat

diprediksi secara detail, meskipun mungkin

diprediksi dalam sifat statistik)

Konsep Dasar Markov Chain

Apabila suatu kejadian tertentu dari suatu

rangkaian eksperimen tergantung dari beberapa

kemungkinan kejadian , maka rangkaian

eksperimen tersebut disebut Proses Stokastik.

Markov Chain adalah sebuah Proses Markov

dengan populasi yang diskrit (dapat dihitung)

yang berada pada suatu discrete state (position)

dan diizinkan utk berubah state pada time

discrete. Continuous Markov memiliki indeks

kontinu.

Status-statusnya adalah:

1. Reachable State

Status j reachable dari status i apabila

dalam rantai dpat terjadi transisi dari status i

ke status j melalui sejumlah transisi

berhingga;

Terdapat n, 0 ≤ n ≤ ∞, sehingga Pnij > 0

2. Irreduceable Chain

Jika dalam suatu rantai Markov setiap

status reachable dari setiap status lainnya,

rantai tersebut adalah irreduceable.

3. Periodic State

Suatu status i disebut periodic dengan

peroda d > 1, jika pnii > 0, hanya untuk n =

d, 2d, 3d,. . .; sebaliknya jika pnii > 0, hanya

untuk n = 1, 2, 3, ... maka status tersebut

disebut aperiodic.

(note: fi(0) didefinisikan = 1 untuk semua i)

5. Probability of Ever Return

Probabilitas akan kembalimya ke status

i setelah sebelumnya meninggalkan i.

6. Transient State

Suatu status disebut transient jika

probabilitas fi < 1; yaitu bahwa setelah dari

i melalui sejumlah transisi terdapat

kemungkinan tidak dapat kembali ke i.

7. Recurrent State

Suatu status disebut recurrent jika

probabilitas fi = 1; yaitu bahwa setelah dari i

melalui sejumlah transisi selalu ada

kemungkinan untuk kembali ke i.

8. Mean Recurrent Time of State

Untuk suatu status recurrent, jumlah

step rata-rata untuk kembali ke status i

9. Null Recurrent State

Suatu Recurrent State disebut recurrent

null jika mi = ∞

10. Positive Recurrent State

Suatu recurrent state disebut positive

recurrent atau recurrent nonnull jika mi <

∞

11. Communicate State

Dua status, i dan j, dikatakamn

berkomunikasi jika i reachable dari j dan

juga reachable dari i ; ditulis dengan

notasi

1

)(

n

n

i iff

1

)(

n

n

i infm

ji

TtuntukytXyS ,)(:

12. Ergodic

Rantai Markov disebut ergodic jika,

irreduceable, aperiodic, dan seluruh status

positive recurrent

Metodologi

Pada pembuatan paper ini sendiri terdapat

beberapa metode digunakan dalam penyusunan paper

yaitu pencarian data melalui sumber buku referensi

yang ada dan juga media cetak yang ada.

Pembahasan

Fisika

Sistem Markovian muncul secara luas dalam

termodinamika dan mekanika statistik,

probabilitas setiap kali digunakan untuk

mewakili unmodelled diketahui atau rincian dari

sistem, jika dapat diasumsikan bahwa dinamika

waktu-invarian, dan bahwa tidak ada sejarah

yang relevan perlu dipertimbangkan yang tidak

sudah termasuk di keadaan bagian deskripsi.

Kimia

Sebuah algoritma yang berdasarkan rantai

Markov digunakan untuk memfokuskan

pertumbuhan berdasarkan fragmen-bahan kimia

di silico menuju kelas yang diinginkan dari

senyawa seperti obat-obatan atau produk alami.

Sebagai molekul tumbuh, sebuah fragmen dipilih

dari molekul baru lahir sebagai "saat ini"

keadaan. Hal ini tidak menyadari masa lalu

(yaitu, tidak menyadari apa yang sudah terikat

untuk itu). Ini kemudian transisi ke keadaan

berikutnya ketika sebuah fragmen yang melekat

padanya.

Pengujian

Beberapa teoretikus telah mengusulkan

gagasan tentang rantai Markov uji statistik

(MCST), sebuah metode Markov conjoining

rantai untuk membentuk suatu 'Markov selimut',

mengatur rantai ini di beberapa lapisan rekursif (

'wafering') dan memproduksi lebih efisien set uji

- sampel - sebagai pengganti pengujian lengkap.

MCST juga memiliki kegunaan dalam keadaan

dunia berbasis jaringan; Chilukuri et al. 'S

makalah berjudul "Temporal Ketidakpastian

Penalaran Bukti Jaringan untuk Aplikasi untuk

Fusion dengan Obyek Deteksi dan Pelacakan"

(ScienceDirect) memberikan latar belakang yang

sangat baik dan studi kasus untuk menerapkan

MCSTs ke lebih beragam aplikasi.

Teori Queueing

Rantai Markov juga dapat digunakan untuk

model berbagai proses dalam teori queueing, dan

statistik. Seperti model ideal dapat menangkap

banyak statistik keteraturan sistem. Bahkan

tanpa menjelaskan struktur penuh dari sistem

sempurna, seperti model-model sinyal dapat

sangat efektif memungkinkan kompresi data

melalui pengkodean entropi teknik seperti

pengkodean aritmatika. Mereka juga

memungkinkan efektif estimasi keadaan dan

pengenalan pola. Dunia sistem telepon selular

tergantung pada algoritma Viterbi untuk

kesalahan-koreksi, sementara model Markov

tersembunyi adalah secara ekstensif digunakan

dalam pengenalan suara dan juga dalam

bioinformatika, misalnya untuk daerah pengkode

/ gen prediksi

Statistik

Metode Rantai Markov juga menjadi sangat

penting untuk menghasilkan angka acak urutan

mencerminkan secara akurat distribusi

probabilitas sangat rumit yang diinginkan,

melalui proses yang disebut rantai Markov

Monte Carlo (MCMC). Dalam beberapa tahun

terakhir ini telah merevolusionerkan kepraktisan

Inferensi Bayesian metode, yang memungkinkan

berbagai distribusi posterior menjadi simulasi

dan parameter yang ditemukan secara numerik.

Ilmu sosial

Rantai Markov biasanya digunakan dalam

menggambarkan argumen, di mana saat ini

kondisi konfigurasi struktural hasil masa depan.

Contoh adalah umumnya berpendapat hubungan

antara pembangunan ekonomi dan bangkitnya

demokrasi. Sekali suatu keadaan mencapai

tingkat tertentu perkembangan ekonomi,

konfigurasi faktor struktural, seperti ukuran

borjuis komersial, rasio tinggal di pedesaan

perkotaan, tingkat politik mobilisasi, dll, akan

menghasilkan probabilitas yang lebih tinggi

transisi dari otoriter aturan demokratis

Pembahasan

Cuaca kota Bekasi dapat diperkirakan

sebagai berikut

1. Jika hari ini cerah maka besok akan

berpeluang 60% cuaca cerah, 30% berawan,

dan 10% akan turun hujan.

2. Jika hari ini berawan maka besok akan

berpeluang 40% cuaca cerah, 45% berawan,

dan 15% akan turun hujan.

3. Jika hari ini hujan maka besok akan

berpeluang 15% cuaca cerah, 60% berawan,

dan 25% akan turun hujan

Jika pada hari Jumat hujan maka perkiraan

cuaca hari Senin? Terlihat jelas bahwa perkiraan

cuaca dapat diselesaikan dengan Discrete Time

Markov Chain

4. Proses selanjutnya hanya tergantung pada

proses saat ini.

5. Waktu diskrit dan populasi diskrit.

6. Stasioner dari waktu ke waktu

Discrete Time Markov Chain terdapat 3

fase, kita misalkan 1= cerah, 2= berawan, 3=

hujan, dan sebelum hari Jumat kita anggap 0,

maka 15% peluang akan cerah, 60% akan

berawan, dan 25% hujan

Akan sangat bermanfaat menampilkan

Discrete Time Markov Chain secara grafis.

Lingkaran melambangkan fase dan anak panah

diberi angka peluang yang akan terjadi, dari soal

diatas model grafiknya

Kesimpulan

Kesimpulan yang dapat diambil pada penulisan

makalah tentang Markov Chain adalah:

1. Proses stokastik adalah suatu kejadian tertentu

dari suatu rangkaian eksperimen tergantung dari

beberapa kemungkinan kejadian.

2. Prinsip dasar Markov Chain adalah sebuah

Proses Markov dengan populasi yang diskrit (

dapat dihitung) yang berada pada suatu discrete

state (position) dan diizinkan untuk berubah state

pada time discrete. Sebuah rantai Markov adalah

suatu urutan dari variabel-variabel acak X 1, X 2,

X 3,...... dengan sifat Markov yaitu, mengingat

keadaan masa depan dan masa lalu keadaan yang

independen, dengan kata lain nilai yang mungkin

untuk membentuk Xi S disebut ruang keadaan

rantai.

3. Teorema- teorema yang berlaku pada Markov

Chain yaitu teorema mengenai Relasi

Ekovalensi, teorema mengenai Irreducible,

teorema mengenai Limiting Probability

4. Status-status Markov Chain adalah Reachable

State, Irreduceable Chain, Periodic State,

Probability of First Return, Probability of Ever

Return, Transient State, Recurrent State, Mean

Recurrent Time of State, Null Recurrent State,

Positive Recurrent State, Communicate Stat, dan

Ergodic.

5. Perhitungan Markov Chain didapatkan hasil

cuaca pada hari Senin π (3)

maka 42% peluang akan cerah, 42% akan

berawan, dan 15% hujan

Referensi

[1] Kismanto Prihantoro. Markov Chain. Mahasiswa Jurusan

Teknik Industri, Universitas Gunadarma

)1484.,42.,4316(.)2()3( P