Upload
vodang
View
221
Download
0
Embed Size (px)
Citation preview
NaNaïïve ve Bayesian ClassifierBayesian Classifier
Dr. Taufik Fuadi Abidin, S.Si., M.Tech
Program Studi Teknik InformatikaFMIPA Universitas Syiah Kuala
www.informatika.unsyiah.ac.id/tfa
Bahan Kuliah Data Mining
Outline Pertemuan
Dasar Teori Bayesian
Naïve Bayesian Classifier
Asumsi yang Diberikan
Dataset (Categorical?)
Contoh Klasifikasi Menggunakan Naïve Bayesian
Klasifikasi Perlu Training Set
Klasifikasi adalah proses pembelajaran secara terbimbing (supervised learning)
Untuk melakukan klasifikasi, dibutuhkan training set sebagai data pembelajaran
Setiap sampel dari training set memiliki atribut dan klas label
Dua Tahapan Klasifikasi
Learning (training): Pembelajaran menggunakan data training (untuk Naïve Bayesian Classifier, nilai probabilitas dihitung dalam proses pembelajaran)
Testing: Menguji model menggunakan data testing
Sumber: Bing Liu, Web Data Mining
Teori Bayesian: Sebagai Dasar
X adalah data sampel dengan klas (label) yang tidak diketahui
H merupakan hipotesa bahwa X adalah data dengan klas (label) C. P(H) adalah peluang dari hipotesa H
P(X) adalah peluang data sampel yang diamati
P(X|H) adalah peluang data sampel X, bila diasumsikan bahwa hipotesa benar (valid)
Teori Bayesian: Sebagai Dasar
Untuk masalah klasifikasi, yang dihitung adalah P(H|X), yaitu peluang bahwa hipotesa benar (valid) untuk data sample X yang diamati:
)()()|()|(
XPHPHXPXHP =
Naïve Bayesian Classifier
Adalah metode classifier yang berdasarkan probabilitas dan Teorema Bayesian dengan asumsi bahwa setiap variabel X bersifat bebas (independence)
Dengan kata lain, Naïve Bayesian Classifier mengansumsikan bahwa keberadaan sebuah atribut (variabel) tidak ada kaitannya dengan beradaan atribut (variabel) yang lain
Warna Bentuk Diameter Jenis Buah
Merah Bulat 5 cm Apel
Kuning Bulat 4 cm Jeruk
Kuning Panjang 15 cm Pisang
Naïve Bayesian Classifier
Karena asumsi atribut tidak saling terkait (conditionally independent), maka:
Bila P(X|Ci) dapat diketahui melalui perhitungan di atas, maka klas (label) dari data sampel X adalah klas (label) yang memiliki
P(X|Ci)*P(Ci) maksimum
∏=
=n
kCixkPCiXP
1)|()|(
Datasetage income student credit_rating buys_computer
<=30 high no fair no<=30 high no excellent no30…40 high no fair yes>40 medium no fair yes>40 low yes fair yes>40 low yes excellent no31…40 low yes excellent yes<=30 medium no fair no<=30 low yes fair yes>40 medium yes fair yes<=30 medium yes excellent yes31…40 medium no excellent yes31…40 high yes fair yes>40 medium no excellent no
Class:
C1: buys_computer = ‘yes’
C2:buys_computer= ‘no’
Bila data baru yang belum memiliki class adalah:
X =(age<=30, Income=medium, Student=yes, Credit_rating= Fair)
Naïve Bayesian Classifier: Contoh
Hitung P(xk|Ci) untuk setiap Class i:
P(age=“<30” | buys_computer=“yes”) = 2/9=0.222
P(age=“<30” | buys_computer=“no”) = 3/5 =0.6
P(income=“medium” | buys_computer=“yes”)= 4/9 =0.444
P(income=“medium” | buys_computer=“no”) = 2/5 = 0.4
P(student=“yes” | buys_computer=“yes)= 6/9 =0.667
P(student=“yes” | buys_computer=“no”)= 1/5=0.2
P(credit_rating=“fair” | buys_computer=“yes”)=6/9=0.667
P(credit_rating=“fair” | buys_computer=“no”)=2/5=0.4
X=(age<=30 ,income =medium, student=yes,credit_rating=fair)
Naïve Bayesian Classifier: Contoh
Hitung P(X|Ci) untuk setiap Class:
P(X|buys_computer=“yes”) =
0.222 x 0.444 x 0.667 x 0.0.667 = 0.044
P(X|buys_computer=“no”) =
0.6 x 0.4 x 0.2 x 0.4 =0.019
∏=
=n
kCixkPCiXP
1)|()|(
Naïve Bayesian Classifier: Contoh
P(X|Ci)*P(Ci ):
P(X|buys_computer=“yes”) * P(buys_computer=“yes”) = 0.028
P(X|buys_computer=“no”) * P(buys_computer=“no”) = 0.007
X memiliki klas “buys_computer=yes” karena P(X|buys_computer=“yes”) memiliki nilai maksimum pada perhitungan di atas
Naïve Bayesian: SummaryKekuatan:
Mudah diimplementasi
Memberikan hasil yang baik untuk banyak kasus
Kelemahan:
Harus mengasumsi bahwa antar fitur tidak terkait (independent) Dalam realita, keterkaitan itu ada
Keterkaitan tersebut tidak dapat dimodelkan oleh Naïve Bayesian Classifier
Latihan
Class:
C1: buys_computer = ‘yes’
C2:buys_computer= ‘no’
Tentukan klas label dari X:
X =(Outlook<=Rain, Temperature=Cool, Humidity=High, Wind=Weak)