Algoritma Data Mining decision tree,naive bayes, dll

Embed Size (px)

Text of Algoritma Data Mining decision tree,naive bayes, dll

1 ALGORI TMA DATA MI NI NG A.DECI SI ON T REE 1 .Konsep Deci si on T r ee M engubahdat amenj adi pohonkeput usan(deci si ont r ee)danat ur an-at ur ankeput usan(r ul e). Sebagaicont oh mi sal nya i ngi n membuatat ur an yang dapatdi gunakan unt uk menent ukan apakah seseor ang mempunyai pot ensi unt ukmender i t ahi per t ensiat aut i dakber dasar kandat ausi a,ber at badandanj enis kel ami n. 2 .Penggunaan Deci si on T r ee Beber apa cont oh pemakai an deci si on t r ee ant ar a l ai n: -Di agnosa penyaki tt er t ent u seper t ihi per t ensi , kanker , st r oke dan l ai n-l ai n. -Pemil i han pr oduk seper t ir umah, kendar aan, komput erdan l ai n-l ai n -Pemil i han pegaw ait el adan sesuaidengan kr i t er i a t er t ent u. -Det eksi ganguanpadakomput er at auj ari ngankomput er seper t i Det eksi Ent r usi ,det eksi Vi r us(t r oj an dan var i ans) -M asi h banyak l ai nnya. 3 .Al gor i t ma Deci si on T r ee a.Konsep Dat a -Dat a di nyat akan dal am bent uk t abeldengan at r i butdan r ecor d.-At ribut menyat akansuat upar amet er yangdi buat sebagai kri t er i adal ampembent ukant r ee. M i sal kanunt ukmenent ukanmai nt eni s,kr i t eri ayangdi per hat i kanadal ahcuaca,angi ndan t emper at ur .-Sal ahsat uat r i but mer upakanat r i but yangmenyat akandat asol usi per -i t emdat ayangdi sebutdengan t argetat ribut . -Sebagaigambar an per hat i kan t abelber i kut : b.Pr oses Dal am Deci si on Tr ee -M engubah bent uk dat a (t abel ) menj adimodelt r ee -M engubah modelt r ee menj adir ul e -M enyeder hanakan r ul e (pr uni ng) c.Per hi t ungan Ent r opi-Ent r opi mer upakansuat ubesar anyangdi gunakanunt ukmenent ukanni l ai r oot aw al yangakan di j adi kan pembent ukan t r ee. 2 -Ent r oy(S)adal ahj uml ahbi t yangdi per ki r akandi buut hkanunt ukdapat mengekst r aksuat ukel as(+ at au - ) dar isej uml ah dat a acak pada r uang sampelS. -Ent r opybi sadi kat akansebagai kebut uhanbi t unt ukmenyat akansuat ukel as.Semaki nkecil nil ai ent r opy , maka semaki n bai k unt uk di gunakan dal am mengekst r ak suat u kel as. -Panj angkodeunt ukmenyat akani nf or masi secar aopt i mal adal ahl og2pbi t sunt ukdat ayang mempunyaipr obabi l i t as p. -Sehi ngga j uml ah bi tyang di per ki r akan unt uk mengekst r aksiS ke dal am kel as adal ah -p log2 p q log2 q. -RumusEnt r opi(S) = -p l oq2 p q l og2q at au Ent r opi(S) = -p 2l oq p q 2l og q -Di mana : oS adal ah r uang(dat a) sampl e yang digunakan unt uk t r ai ni ng op adal ah j uml ah dat a yang ber sol usiposi t i f(mendukung) pada dat a sampelunt uk kr i t er i a t er t ent u. oq adal ah j uml ah yang ber sol usinegat i f(t i dak mendukung) pada dat a sampelunt uk kr i t er i a t er t ent u. 4 .Cont oh Mi sal nyadi car iat ur an yang dapatdi gunak an unt ukmenent uk an apak ah seseor ang mender i t a hi per t ensi at aut i dak .Dat ay angdi ambi l sebanyak 8sampel denganp er k i r aanbahw ay ang mempengar uhi seseor angmender i t ahi per t ensi at aut i dak adal ahusi a,ber at badandanj eni sk el ami n. Di mana masi ng-masi ng at r i butyang di duga ber pengar uhit er sebutmemi l i k ini l ai( i nt ance) : -Usi a mempunyaii nst ance M uda dan Tua -Ber atBadan mempunyaii nst ance Under w ei ght , Aver age dan Over w ei ght-Jeni s Kel ami n mempunyaii nst ance Pr i a dan Wani t a Langkah-l angkah unt uk menyel esaikan kasus di at as dengan al gor i t ma Deci si on Tr ee adal ah: a. M enent ukan Node Terpilih -Unt ukmenent ukannodet er pi li h,gunakanni l ai Ent r opydar i set i apkri t er i adengandat asampel yang di t ent ukan. 3 -Node t er pi l i h adal ah kri t er i a dengan ent r opy t er keci l . -M emi li h node aw al Ent r opy unt uk Usi a : -Lakukan per hi t ungan unt uk semua kr i t er i a, hasi lper hi t ungannya mi sal nya seper t idi baw ah i ni : -Ber dasar kanper hi t unganent r opydi at as,makadi perol ehat r i but BERATBADANsebagai node aw alkar ena memi li kient ropy t erkecil. b. M enyusun Tree -Dar ihasi lper hi t ungan ent r opy, maka dapatdi susun t r ee aw alseper t igambarber i kut: -Nodeber i kut nyadapat di pil i hdengancar amencari bagi anyangmempunyai nil ai+dan- .Pada cont ohdi at ashanyaber at =over w ei ght yangmempunyai nil ai +dan-,makasemuanyapast i memil ikil eafnode. Unt uk menyusun l eafnode di l akukan sat u per sat u.-Penent uan l eafnode unt uk cabang ber at= over w ei ght4 -Dar i per hi t ungandi at as,t er l i hat bahw ahasi l per hit unganEnt r opyUsi adanKeni sKel ami n menunj ukkannil ai yangsama.Ji kat er dapat kasusseper t i i ni ,makacar al ai nadal ahdengan menggunakanbant uanpakar unt ukmenent ukan manayang l ebi hpent i ngat auper cayadengan hasi l acak.Sel anj ut nyamenyusunt r eeunt ukl eaf node,mi sal nyasecar aacakdi pi li hkr i t eri a Jeni s Kel ami n. -Padausi a=t uat er nyat aada1dat ayangmenyat akanyadan1dat ayangmenyat akant i dak, keadaani ni per l udi cer mat i .Pi li hanhanyadapat di t ent ukandengancampur t anganseor ang pakar . -M enyusun node t r ee l anj ut an 5 c.M engubah Tree menjadi Rule Dar ir ul e yang sudah di hasil kan, maka di per ol eh r ul e sebagaiber ikut: Rul e 1:IF ber at =aver ageORber at =under w ei ghtTHENhi per t ensi =t i dak Rul e 2: IF ber at =over w eightAND kel ami n=w ani t a THEN hi per t ensi =ya Rul e 3: IF ber at =over w eightAND kel ami n=pri a AND usi a=muda THENhi per t ensi =ya Rul e 4:IF ber at =over w eightAND kel ami n=pri a ANDusi a=t ua THEN hi per t ensi =t i dak d. M enyederhanakan dan M enguji Rule (Pruning) -M enguj iRul e unt uk Pr edi ksi Kesal ahan (er r or ) : 1/ 8 x 100% = 12,5 % Akur asiPr edi ksi :7/ 8 x 100% = 87,5% -M enyeder hanakan Rul e 1)M embuatt abeldi st r i busit er padu dengan menyat akan semua ni l aikej adi an pada set i ap r ul e. 6 2)M enghi t ung t i ngkati ndependensiant ar a kr i t er ia pada suat u r ul e, yai t u ant ar a at r i butdan t ar getat r i butdengan Uj iSt at i st i k Chi -Squar e Krit eria BeratBadanH0: Ber atBadan t i dak dependentt er hadap Hi per t ensi H1: Ber atBadan dependensit er hadap Hi per t ensi Sel anj ut nya di hi t ung t i ngkatdependensiant ar a kr i t er ia Ber atBadan t er hadap Hi per t ensi: Der aj at Kebebasanadal ah(j uml ahbar i s-1)(j uml ahkol om-1)=(2-1)(3-1)danni l ai t i ngkatkeer cayaan=5%.Di dapat kanni l ai 2 yangdi dapat dar i t abel di st r i busi Chi -Squar eadal ah 6.27. Kar enanil ai2hit ung>2t abelyai t u19,2>6,27makaTol akH0 ar t i nyakr i t er i aber at i ni dependentsehi ngga t i dak dapatdi hi l angkan Krit eria Jenis Kelamin H0: Jeni s Kel ami n t i dak dependentt er hadap Hi per t ensi H1: Jeni s Kel ami n dependensit er hadap Hi per t ensi Dengancar ayangsamadengancar aper hi t unganunt ukkr i t er i aBer at Badan,makadi dapat kan ni l ai2hi t ungsebesar 0,71dan2t abelyai t u3,89dengandemi ki an2hi t ung