PENGENALAN POLA 2.1

BAYESIAN DECISION THEORYT. INFORMATIKA FMIPA UNIVERSITAS UDAYANA

SEMESTER GANJIL- 2013

Agus Muliantara (muliantara@cs.unud.ac.id)

Mengapa harus Probabilitas

Uncertainty/ ketidakteraturan

Contoh

Jika ada ikan yang ditangkap di perairan samudara

atlantik, maka ikan tersebut lebih mirip ikan salmon

dibandingkan ikan sea-bass

2

Materi Kuliah

Peluang suatu kejadian

Beberapa Hukum peluang

Peluang bersyarat

Peluang Total

Teorema Bayes

3

Peluang suatu kejadian

Peluang

sebuah bilangan yang menyatakan seberapa

mungkinkah suatu peristiwa akan muncul saat

percobaan acak dilakukan

Ruang sampel /sample space (S)

Himpunan semua peristiwa yang mungkin terjadi

4

Ruang sampel dan pemetaannya ke fungsi distribusi

peluang

5

Beberapa Hukum peluang

Ai kumpulan kejadian dalam ruang sample S

Nilai peluang adalah tak negatif

Keseluruhan ruang sampel memiliki nilai peluang 1

Untuk 2 peristiwa berbeda dan tak beririsan dalamsuatu ruang sampel, peluang gabungan penjumlahan peluang masing-masing peristiwa

6

7

Peluang Bersyarat8

Peluang munculnya 2,4,6 setelah munculnya 1,2,3,4,5 adalah (2/6) / (5/6) = 2/5

Jika A dan B dua peristiwa dalam ruang sampel S

Peluang peristiwa A jika diketahui peristiwa B munculdidefinisikan sebagai peluang bersyarat

Peluang bersyarat P(A|B) dibaca sebagai

Peluang terjadinya A bila kejadian B sudah diketahuiterjadi

Peluang A dengan syarat B

9

Konsep peluang bersyarat dalam diagram Venn

Mula-mula peristiwa B adalah sebesar lingkaran yang diarsir pada gambar 1

Bukti baru A terjadi memberikan efek bahwa ruangsampel S (seluruh kotak) tereduksi menjadi A (lingkarantebal gambar 2) dan peristiwa B menciut menjadi AB

Gambar 1 Gambar 2

10

B A B A

Peluang Total

Misalkan B1, B2, , BN adalah peristiwa yang saling bebas

(mutually exclusive) yang gabungannya sama dengan ruang

sampel S. Himpunan ini bernama partisi dari S

Maka semua peristiwa dalam S dapat dinyatakan sebagai

11

Karena B1, B2, ., BN saling bebas maka

Dan

maka

12

= | ()

Contoh Peluang Total

My mood can take one of two values

Happy, Sad

The weather can take one of three values

Rainy, Sunny, Cloudy

We can compute P(Happy) and P(Sad) as follows:

P(Happy) =P(Happy/Rainy)+P(Happy/Sunny)+P(Happy/Cloudy)

P(Sad) =P(Sad/Rainy)+P(Sad/Sunny)+P(Sad/Cloudy)

13

TEOREMA BAYES

Jika suatu peristiwa A terjadi, berapakah peluang

terjadinya peristiwa B?

Dengan memakai definisi peluang bersyarat dan

teorema peluang total maka akan diperoleh

14

15

Peluang terjadinya peristiwa B Jika peristiwa A terjadi

Peluang termasuk Kategori B Jika fitur A diketahui

Contoh Teorema Bayes (1)

Sakit dan gejala

dimana

( / ) ( )( / )

( )

P Symptom Disease P DiseaseP Disease Symptom

P Symptom

( ) ( / ) ( )

( / ) ( )

P Symptom P Symptom Disease P Disease

P Symptom Disease P Disease

16

Contoh Teorema Bayes (2)

Contoh : sea bass & salmon

Kondisi alami acak

Kemungkinan penangkapan sama

P(1) = P(2) (uniform priors)

P(1) + P( 2) = 1 (exclusivity and exhaustivity)

17

Aturan Keputusan dengan hanya informasi awal

Putuskan 1 if P(1) > P(2) kalau tidak putuskan 2

Menggunakan informasi kelas kondisional

P(x | 1) and P(x | 2) menunjukkan perbedaan sinarantara sea bass dan salmon

P(x | 1) kemungkinan tingkat sinar pada ikan sea bass

18

KK19

Bentuk alternatif untuk menentukan

keputusan menggunakan teorema Bayes:

Dimana untuk 2 variabel,

Posterior = (Likelihood x Prior) / Evidence

2

1

)()|()(j

j

jj PxPxP

20

21

22

Keputusan diberikan kemungkinan posterior x adalah observasiyang mana:

Bila P(1 | x) > P(2 | x) , maka kondisi(state) yang benar = 1Bila P(1 | x) < P(2 | x) , maka kondisi yang benar = 2

Kemungkinan kesalahan

P(error | x) = P(1 | x) bila diputuskan 2P(error | x) = P(2 | x) bila diputuskan 1

23

Minimisasi kemungkinan kesalahan

Putuskan 1 if P(1 | x) > P(2 | x);

kalau tidak putuskan 2

Jadi:

P(error | x) = min [P(1 | x), P(2 | x)]

(Keputusan Bayes)

Bayes untuk KLASIFIKASI 0/1

Input: x = [x1,x2]T ,Output: C {0,1}

Prediksi:

lainnya 0

)|0()|1( bila 1pilih

atau

lainnya 0

50)|1( bila 1pilih

2121

21

C

C

C

C

,xxCP ,xxCP

. ,xxCP

24

Aturan Bayes (Bayes rule)

untuk klasifikasi 0/125

CCC

| |

1|1|0

00|11|

110

CC

CCCC

CC

Teori Keputusan Bayesian

26

Misalkan {1, 2,, c} menyatakan himpunan dari c kategori dan {1, 2,, a} menyatakan himpunan dariaksi2 yang dimungkinkan

Misalkan (i | j) adalah kerugian yang terjadi untukmengambil aksi i bila kondisi yang seharusnya adalah j ,maka resiko keseluruhan:

R = Sum of all R(i | x) , i = 1,,a

dengan

cj

j

jjii xPxR1

)|()|()|(

Pilih aksi i yang menghasilkan R(i | x) minimum

27

Untuk klasifikasi 2 kategori:

1 untuk memutuskan1,

2 untuk 2 dan ij = (i | j)

Kerugian yang terjadi bila memutuskan i kalau kondisisebenarnya adalah j disebut resiko kondisional:

R(1 | x) = 11P(1 | x) + 12P(2 | x)

R(2 | x) = 21P(1 | x) + 22P(2 | x)

28

Bila R(1 | x) < R(2 | x) keputusan 1 diambil

Hal ini ekuivalen dengan putuskan 1 bila:

(21- 11) P(x | 1) P(1) > (12- 22) P(x | 2) P(2)

dan putuskan2 bila sebaliknya

)(

)(.

)|(

)|(

1

2

1121

2212

2

1

P

P

xP

xP

Ambil aksi 1 atau putuskan 1 ,kalau tidakambil aksi 2 atau putuskan 2

Likelihood ratio:

bila,

Klasifikasi minimum error rate

29

cjiji

jiji ,...,1,

1

0),(

Fungsi kerugian zero-one:

1

1

)|(1)|(

)|()|()|(

j

ij

cj

j

jjii

xPxP

xPxR

Sehingga kerugian kondisional menjadi

Contoh Nave Bayes Classifier30

31

CCC

| |

CCC

| |

32

Tugas33

Tugas membuat program Bayes (1 minggu)

Tugas membuat resume dari paper yang dipilih (2

minggu)

TERIMA KASIH