Slide Báo Cáo

TRNG I HC LC HNG

D ON KT QU HC TP

CA SINH VIN TRNG NGH

S DNG PHNG PHP HI QUY BAYES

GIO VIN HNG DN:

TS. HONG TH LAN GIAO

HC VIN THC HIN:

V TH NGC LIN

ng Nai, thng 09/2013 1

NI DUNG TRNH BY

I. Tng quan khai ph d liu v pht hin tri thc

II. H h tr ra quyt nh v m hnh h tr quyt nh

III. Phn tch hi quy

IV. D on kt qu hc tp da vo l thuyt phn lp

Naive Bayes

2

3

TNG QUAN KHAI PH D LIU V

PHT HIN TRI THC

Gii thiu v khai ph d liu (KPDL)

Khai ph tri thc t mt lng ln d liu

S dng d liu lch s khm ph nhng qui tc v ci

thin nhng quyt nh trong tng lai

4

Quy trnh pht hin tri thc

Hnh 1: Quy trnh pht hin tri thc

Bc 1: Hnh thnh, xc nh,

nh ngha bi ton

Bc 2: Thu thp, tin x l

d liu

Bc 3: Khai ph d liu rt ra

tri thc

Bc 4: Phn tch v kim nh

kt qu

Bc 5: S dng tri thc pht hin

c

5

H H TR RA QUYT NH

V M HNH H TR QUYT NH

6

H h tr ra quyt nh

HHTQ l nhng h thng my tnh tng tc nhm gip

nhng ngi ra quyt nh s dng d liu v m hnh gii

quyt cc vn khng c cu trc.

Cc thnh phn ca h h tr ra quyt nh

Phn h Qun l d liu

Phn h Qun l m hnh

Phn h Qun l da vo kin thc

Phn h Qun l giao din ngi dng

7

Vn dng phng php ton hc phn lp d liu

Khi nim v phn lp

Tin trnh x l nhm xp cc mu d liu hay cc i

tng vo mt trong cc lp c nh ngha trc.

K thut ph bin nht ca hc my v khai ph d liu.

8

Cc bc chnh gii quyt bi ton phn lp

Bc 1: Hc (Training): xy dng m hnh phn lp

Bc 2: Phn lp (classification): Bc ny s dng m hnh

phn lp c xy dng bc 1 kim tra,

nh gi v thc hin phn lp.

9

Cc k thut phn lp

Phng php da cy quyt nh

Phng php da trn lut

Phng php Naive Bayes

Mng Neuron

Phng php phn lp Naive Bayes

nh l Bayes

Tnh xc sut xy ra ca mt s kin ngu nhin A khi bit s

kin lin quan B xy ra.

Xc sut ny c k hiu l P(A|B)

c l "xc sut ca A nu c B".

10

Theo nh l Bayes, xc sut xy ra A khi bit B s ph thuc

vo 3 yu t:

P(A): Xc sut xy ra A ca ring n

P(B): Xc sut xy ra B ca ring n.

P(B|A): Xc sut xy ra B khi bit A xy ra

Khi bit ba i lng trn, xc sut ca A khi bit B cho bi

cng thc:

P A B =P B A P(A)

P(B)

11

M hnh phn lp Naive Bayes (NBC)

Mi mu c biu din bng X=(x1,x2,,xn) vi cc thuc

tnh a1, a2, , an.

Cc lp {C1, C2,,Cm} cho trc mu. NBC gn X vo Ci

nu P(X|Ci)>P(X|Cj) vi 1 j m, j # i (theo nh l Bayes).

phn lp mu cha bit X, ta tnh P(X|Ci)P(Ci) cho tng

Ci. NBC gn X vo lp Ci sao cho P(X|Ci)P(Ci) l ln nht.

12

Thut ton Naive Bayes

p dng trong bi ton phn loi, cc d kin gm c:

- D: tp d liu hun luyn c vector ha = (1, 2, , )

- Ci: phn lp i, vi i = {1,2,,m}.

- Cc thuc tnh c lp iu kin i mt vi nhau.

Theo nh l Bayes:

P Ci X =P(X|Ci)P(Ci)

P(X)

Theo tnh cht c lp iu kin:

P X Ci = P xk Ci

n

k=1

Trong :

- (|) xc sut thuc tnh th k mang gi tr xk khi bit X thuc phn lp i.

13

Cc bc thc hin thut ton phn lp Naive Bayes

Bc 1: Hun luyn Naive Bayes (da vo tp d liu), tnh

P(Ci)v P(Xk|Ci).

Bc 2: Phn lp Xnew=(x1,x2,xn). Xnew ta cn tnh xc

sut thuc tng phn lp khi bit trc Xnew. Xnew c

gn vo lp c xc sut ln nht theo cng thc:

14

max()

=1

V d: Tp d liu mu v kt qu hc tp ca sinh vin

TT Ni im vo Kinh t Gtinh Kt qu

1 Nng thn Trung bnh Thp N Rt

2 Thnh th Cao Trung bnh Nam u

3 Nng thn Thp Trung bnh Nam Rt

4 Thnh th Trung bnh Trung bnh N u

5 Thnh th Trungbnh Cao N u

6 Nng thn Cao Cao Nam u

7 Nng thn Trungbnh Cao N u

8 Thnh th Thp Thp Nam Rt

Yu cu: Phn lp cho mt th hin mi sau y

X= (kt qu l u () hay

Rt (R)). 15

Bc 2: Phn lp cho mu mi

X

Vy X1(lp ) = 5/8*2/5*0/5*2/5*2/5 = 0

X2(lp R) = 3/8*2/3*1/3*1/3*2/3 = 0.0123

CNB = max (X1(lp ) ; X2(lp R)) = X2(lp R)

X thuc lp Rt ngha l vi sinh vin sng Nng thn , im

vo thp, kinh t gia nh l Trung bnh v gii tnh l nam

th kt qu l Rt.

18

Mt s u im ca phng php Naive Bayes

Tnh xc sut r rng cho cc gi nh.

Kt hp nhiu d on ca nhiu gi nh.

Cc thuc tnh trong tp mu hc phi c lp vi iu kin.

chnh xc thut ton phn lp ph thuc nhiu vo tp

d liu hc ban u.

19

PHN TCH HI QUY

20

Khi nim phn tch hi qui

Phn tch hi quy l tm mi quan h ph thuc ca mt bin,

c gi l bin ph thuc vo mt hoc nhiu bin khc.

V d

Khi chng ta c gng gii thch tiu dng ca mi ngi,

chng ta c th s dng bin gii thch l thu nhp v tui.

21

M hnh hi quy n

Phng trnh hi quy n bin (ng thng) c dng tng qut:

Y=a+bX

Trong :

Y: l bin s ph thuc;

X: l bin s c lp;

a: l tung gc hay nt chn;

b: dc hay h s gc.

22

M hnh hi qui tuyn tnh a bin

M hnh hi qui tuyn tnh nhiu chiu c dng :

Y = + 1X1 + 2 X2 + + Xk + U

Y (bin ph thuc): ch tiu phn tch

( bin c lp): h s chn.

: h s c lng.

Xi cc yu t nh hng n nng sut.Vi i chy t 1 n k.

U l sai s

23

D ON KT QU HC TP

DA VO L THUYT

PHN LP NAIVE BAYES

24

Bi ton

Da vo thng tin d liu u vo l:

im trung bnh ca cc hc k

Thng tin c nhn: Ni , gii tnh, kinh t gia nh

D on kt qu cui cng ca sinh vin s t c trong

qu trnh o to.

25

Xy dng chng trnh d on

Phn 1: Thu thp thng tin cn thit ca sinh vin

Phn 2: Thc hin d on kt qu hc tp

Bc 1:

Kim tra thng tin u vo

Trng b hun luyn th s cho ra ngay kt qu

d on.

Bc 2:

Dng thut ton phn lp Naive Bayes d

on.

26

Chng trnh thc nghim

27

Trang 1: Trang ch, th hin thng tin hnh nh ca trng

D on kt qu hc tp

28

Nhp lut

29

Kt qu thc nghim

D on kt qu hc tp cui cng ca mnh trong sut qu

trnh hc t s c l trnh hc tt hn.

B hun luyn mu cn t do xc sut d on kt qu

cng b nh hng.

Hng pht trin

Th nghim chng trnh v xy dng b hun luyn mu

vi d liu u l im cc mn hc ca hc k trc d

on kt qu ca hc k sau.

30

Ti liu tham kho

[1] Hong Th Lan Giao, Giang Ho Cn (2011) - Nghin cu

ng dng thut ton phn lp vo bi ton d on ri ro tn

dng trong ngn hng v cc t chc tn dng - Mt s vn

chn lc ca Cng ngh thng tin v truyn thng, Cn

Th, 7-8 thng 10 nm 2011.

[2] Nguyn Vn Huy (2009)- Thut ton Bayes v ng dng -

Kha lun tt nghip i hc chnh quy ngnh CNTT.

[3] H h tr ra quyt nh

http://idoc.vn/tai-lieu/he-ho-tro-ra-quyet-dinh.html

[4] Bi ging Khai ph d liu, trng i hc Hng Hi (2011)

http://www.ebook.edu.vn/?page=1.37&view=22169

[5] Tm hiu v lut kt hp trong khai ph d liu

http://baigiang.violet.vn/present/same/entry_id/3541561

31

XIN CHN THNH CM N

QU THY C V CC BN

32

Documents

Slide Báo Cáo