43
MỤC LỤC Mục lục.............................................1 Danh mục các hình...................................3 Lời mở đầu..........................................4 Chương 1 Tổng quan về trí tuệ nhân tạo và mạng nơ-ron ....................................................5 1.1 Tìm hiểu sơ lượng về trí tuệ nhân tạo..........5 1.1.1 Khái niệm................................. 5 1.1.2 Phân loại................................. 6 1.2 Mạng nơ-ron nhân tạo..........................7 1.2.1 Ý tưởng sinh học..........................7 Chương 2 Mạng nơ-ron nhân tạo.......................9 2.1 Mô hình mạng nơ-ron...........................9 2.2 Cấu trúc mạng................................ 10 2.3 Cấu trúc dữ liệu :...........................12 2.4 Kiểu huấn luyện..............................13 2.5 Nguyên tắc huấn luyện........................15 2.6 Tính tổng quát hóa với mạng nơ-ron...........15 Chương 3 Thuật toán backpropagation................17 3.1 Tổng quát.................................... 17 3.1.1 Cấu trúc................................. 17 3.1.2 Huấn luyên mạng trong thuật toán Backpropagation................................ 20 3.2 Huấn luyện nhanh.............................20 1

1.3

Embed Size (px)

Citation preview

Mc lcMc lc1Danh mc cc hnh3Li m u4Chng 1 Tng quan v tr tu nhn to v mng n-ron51.1 Tm hiu s lng v tr tu nhn to51.1.1 Khai nim51.1.2 Phn loai61.2 Mng n-ron nhn to71.2.1 tng sinh hc7Chng 2 Mng n-ron nhn to92.1 M hnh mng n-ron92.2 Cu trc mng102.3 Cu trc d liu :122.4 Kiu hun luyn132.5 Nguyn tc hun luyn152.6 Tnh tng qut ha vi mng n-ron15Chng 3 Thut ton backpropagation173.1 Tng qut173.1.1 Cu trc173.1.2 Hun luyn mng trong thut ton Backpropagation203.2 Hun luyn nhanh203.2.1 Gii thut thay i tc h hc213.2.2 Gii thut phc hi thut ton Backpropagation21Chng 4 H thng pht hin xm nhp da trn mng n-ron244.1 H thng pht hin xm nhp (IDS)244.1.1 Network IDS244.1.2 Host IDS254.2 H thng pht hin xm nhp da trn mng n- ron ( NNID)264.3 nh gi v NNID28Kt lun29Ti liu tham kho30

Danh mc cc hnhHnh 2.1Cu trc tng qut mt n-ron9Hnh 2.2M hnh mng 1 lp.11Hnh 2.3M hnh mng a tng12Hnh 2.4M hnh hc ca mng n-ron14Hnh 2.5Hun luyn theo hm sin16Hnh 3.1Cc mng a lp thng s dng hm truyn l log_sigmoid18Hnh 3.2Hm truyn tan-sigmoid18Hnh 3.3Hm truyn tuyn tnh19Hnh 3.4Phng php dng chm22Hnh 3.5Phng php dng chm23

Li m uTr tu nhn to hin ang l mt vn rt nng trn th gii. Vit Nam ang trong qu trnh hi nhp v kinh t cng nh cng ngh vi th gii nn cn tm hiu cc cng ngh v vn ny. Trong khun kh bi thc tp em xin trnh by ti tm hiu mng n-ron cng nh ng dng ca mng n-ron trong vic pht hin xm nhp tri php.Mng n-ron l mt phng php tr tu nhn to mi ra i, vic p dng mng n-ron vo thc t vn gp nhiu kh khn, song vic a mng n-ron vo trong h thng pht hin xm nhp c nhiu nghin cu ca nhiu vin v trng i hc ln trn th gii. Vic hot ng v xy dng mng n-ron nh th no, h thng pht hin xm nhp da trn mng n-ron s ra sao? ng dng thc t c trin khai nh th no, hiu qu th nghim ti u Em cng xin chn thnh cm n tp th gio vin khoa An ton thng tin Hc vin K Thut Mt M v thy Cao Minh Tun nhit tnh gip em hon thnh bi thc tp ny.Tng quan v tr tu nhn to v mng n-ronTm hiu s lng v tr tu nhn toTrc y, ngi ta ngh n vic ch to ra my mc thng minh nh con ngi. y l mt lnh vc ca tr tu nhn to v n ch thc s tr thnh mt ngnh khoa hc c sc sng sau khi my tnh in t c pht minh. Ngy nay, tr tu nhn to v ang c ng dng trong nhiu lnh vc ca i sng hng ngy, lm cho my mc bit suy ngh v h tr hoc gii quyt vn thay cho con ngi. Khai nim L tr tu c biu din bi bt c mt h thng nhn to no. Thut ng ny thng dng ni n ccmay tinhc mc ch khng nht nh v ngnhkhoa hocnghin cu v cc l thuyt v ng dng ca tr tu nhn to.Mt vi nh ngha khc nhau v tr tu nhn to:Bellman (1978) nh ngha: tr tu nhn to l t ng ho cc hot ng ph hp vi suy ngh con ngi, chng hn cc hot ng ra quyt nh, gii bi ton..Rich v Knight (1991) cho rng tr tu nhn to l lnh vc nghin cu lm cho my tnh lm c nhng vic m con ngi ang lm tt hn.Winston (1992) cho rng tr tu nhn to l lnh vc nghin cu cc tnh ton my c th nhn thc, lp lun v tc ng.Tr thng minh nhn to lin quan n cch c x, s hc hi v kh nng thch ng thng minh ca my mc. Cc v d ng dng bao gm cc tc v iu khin, lp k hoch v lp lch (scheduling), kh nng tr li cc cu hi v chn on bnh, tr li khch hng v cc sn phm ca mt cng ty, nhn dng ch vit tay, nhn dng ting ni v khun mt.Ngy nay, cc h thng nhn to c dng thng xuyn trong kinh t, y dc, cc ngnh k thut v qun s, cng nh trong ccphn mmmy tnh thng dng trong gia nh , tro chi in t , qun i va khoa hoc !1.1.1 Phn loai Tr tu nhn to chia thnh hai trng phi t duy: tr tu nhn to truyn thng vTr tu tnh ton .Tr tu nhn to truyn thng : Cc phng php hc my, c trng bi hnh thc ha v phn tch thng k. Tr tu nhn to truyn thng cn c gi l tr tu nhn to biu tng, tr tu nhn to logic, tr tu nhn to ngn np v tr tu nhn to c in. Cc phng php ca tr tu nhn to truyn thng gm: H chuyn gia, p dng cc kh nng suy lun a ra kt lun. Mt h chuyn gia c th x l cc lng ln thng tin bit v a ra cc kt lun da trn cc thng tin . Chng trnh tr gip c hnh ci kp giy Clippy ca Microsoft Office l mt v d. Khi ngi dng g phm, Clippy nhn ra cc xu hng nht nh v a ra cc gi cho ngi dng...Tr tu nhan to tinh toan nghin cu vic hc hoc pht trin lp. V d: Tinh chnh tham s trong h thng. Cc phng php chnh gm: Phng php mng neuron, phng php h m, phng php tnh ton tin ha.Con ngi pht trin h thng thng minh lai, trong kt hp c hai trng phi trn. Cc phng php tr tu nhn to thng c dng trong cc cng trnh nghin cu khoa hc nhn thc, mt ngnh ang c gng to ra m hnh nhn thc ca con ngi. Tr tu nhn to hin vn ang tip tc c nghin cu. cc quc gia pht trin, ngnh khoa hc ny lun c coi l ngnh khoa hc mi nhn. Nhiu loi trang thit b qun s hin c ng dng tr tu nhn to nh trong cc r-bt c thit k cho cc nhim v c bit, trong cc h thng m phng, iu khin v kh, trong UAV (my bay khng ngi li)Mng n-ron nhn toMng n-ron nhn to ( Artificial Neuron Network) v ang l mt ch c quan tm kh nhiu hin nay. Mng n-ron nhn to v ang c nhng thnh cng trong nhiu lnh vc khc nhau nh ti chnh, y t, a cht , vt l Bi c tnh u vit ca mng n-ron nhn to vi t cch l mt h tr tu nhn to m phng mt h tr tu t nhin nhm a ra cc d bo, phn loi v iu khin thit b. Cc u im chnh ca mng n-ron nhn to chnh l Nng lc mng c m phng theo mng n-ron t nhin rt tinh vi, ty vo nhu cu x l m c th thc hin cc hm v tnh ton rt phc tp. c bit mng n-ron c th thch nghi rt a dng vi cc loi u vo khch nhau c phi tuyn ln tuyn tnh. Mng n-ron nhn to c tnh hc cao v d o to. Cc d nht l ngi s dng thu thp cc d liu c trng ri cho mng hc theo, cao hn na c th cho mng n-ron t thu thp cc d liu c trng v t a ra cc trng s ca ring mnh Tuy nhin mng n-ron cng i hi mt nn kin thc thng k v cng ngh thng tin c th chn v s dng cc d liu mt cch hp l. Hn na vic p dng mng n-ron nhn to vo thc t i hi mt qu trnh th nghim t tnh ti u di.Mng n-ron nhn to hot ng da trn vic m phng mt h thng n-ron sinh hc trong c th sinh vt. Trong tng lai vi s kt hp ca cng ngh sinh hc v cng ngh thng tin th c th xut hin nhng loi my tnh thng minh mt cch tht s tng sinh hcMng n-ron nhn to c m phng t mng n-ron sinh hc thng thng thng qua cc nghin cu v tr tu nhn to. Mng n-ron nhn to c gng hc theo cc b no c cu trc thp v kh nng hc cng nh chp nhn sai ca h thng n-ron sinh hc.Trong mt thi gian di th cc nh nghin cu c gng hc theo cch x l v l lun ca cc b no cp cao nhng vn cha t c kt qu nh mong i nn vi vic l lun v cng ngh n-ron ra i cho php to nn bc m, rt ngn khong cch vi mt h tr tu nhn to thc s.B no ca cc sinh vt thng minh c rt nhiu n-ron, v d nh ca ngi l khong ti 10 t n-ron. Cc n-ron ny c nhng kt ni vi nhau m c trung bnh mi n-ron li c kt ni vi hng chc ngn n-ron khc to ra mt mi quan h rt phc tp. Mi n-ron l mt t bo c bit c th truyn i v nhn cc tn hiu t cc n-ron khc . n-ron c cu trc l r vo, thn n-ron v r ra. Cc r cng c th gi l cc dy thn kinh cn cc n-ron l cc t bo thn kinh. Khi mt n-ron hot ng n s to xa cc xung in chy dc theo cc dy thn kinh qua ng ra ca chnh n-ron ny i n cc n-ron khc. N-ron hot ng khi v tt c cc tn hiu nhn c ng vo ca n thng qua dy thn kinh vt qu mt ngng no .Cng ttins hiu thu c ca n-ron ph thuc vo nhy cm ca cc dy thn kinh m n c kt ni v vic nh gi u tin cc dy thn kinh kt ni n n-ron. N-ron hc v thay i u tin ca cc kt ni n dy thn kinh c th a ra kt lun. V d nh theo nhng th nghim v phn x c iu kin ca cc sinh vt sau khi g chung l cho n th sau mt thi gian, cc sinh vt ny nhanh chng c phn s chy n ni c thc n sau khi nghe ting chung bi v kt ni gia phn v no thnh gic v tuyn nc bt c u tin hn. Khi c ting chung v no thnh gic b kch thch v tuyn nc bt bt u hot ng.Do c th thng qua mt hay rt nhiu cc tn hiu n gin m mng n-ron sinh vt thc hin a ra cc quyt nh no . D nhin mi tn hiu i n cc quyt nh cn qu trnh hc hi, thch nghi ca sinh vt v khng ch thng qua mt vi n-ron m l mt con s rt ln cc n-ron cng hot ng. Tuy vy tr tu nhn to da trn mng n-ron vo ang dn c gng tng dn v quy m mng cng nh kh nng kt ni t n vic m phng mt h n-ron sinh vt hon chnh.Mng n-ron nhn toM hnh mng n-ron Cu trc tng qut ca mt n-ron

Cu trc tng qut mt n-ronGii thch k hiu:Tp cc u vo: l cc tn hiu vo (input signal) ca nron, cc tn hiu ny thng c a di dng vector N chiuTp cc lin kt: Mi lin kt c th hin bi mt trng s (gi l trng s lin kt Synaptic weight). Thng thng cc trng s ny c khi to mt cch ngu nhin thi im khi to mng v c cp nht lin tc trong qu trnh hc mng.B tng (Summing function): thng dng tnh tng ca cc tch u vo vi trng s lin kt ca nNgng (cn gi l mt lch bias): Ngng ny thng c a vo nh mt thnh phn ca hm truynHm truyn (Transfer function): Hm ny c dng gii hn phm vi u ra ca mi nron. N nhn u vo l kt qu ca hm tng v ngng chou ra: L tn hiu u ra ca mi nron, vi mi nron s c ti a l mt u raN-ron ny s hot ng nh sau: gi s n-ron c N u vo (x1 ti xn) mi u vo c mt trng s khc nhau (w1 ti wn) th n-ron s ly tng c trng s ca tt c cc u vo, nn ng truyn c trng s cng ln th tn hiu qua ng truyn s cng nh hng nhiu ti u ra, sau n-ron ly kt qu ca tng trn cng thm ngng ri a ra kt qu ti u ra

Trong yk u ra ca n-ron k fk l hm truyn ca n-ron k N l s u vo Xi l tn hiu ca u vo th i Wi l trng s ca u vo th i Bk l ngng ca n-ron kCu trc mngMt mng n-ron nh ni bao gm nhiu n-ron nn ty vo s lng n-ron c trong mng cng nh phc tp ca bi ton m c cc kin trc n-ron ph hp c a ra lMng mt tngMng mt tng tc l cc n-ron trong mng s c xp ngang hng vi nhau v cng tip nhn cc u vo vi cc trng s khc nhau. Nh vy mng mt tng s c s u ra chnh bng s n-ron ca mng, thng thng mng mt tng c s dng cho nhng bi ton rt n gin cho php tip cn kin thc v mng n-ron dng c bn nht

M hnh mng 1 lp.Mng a tng

M hnh mng a tngMng n-ron a tng thng gm 3 lp : lp nhp, lp n, lp xutLp nhp ng vai tr nhp d liu v phn tch s b c th coi nh mt mng n-ron mt tng ring, u ra ca lp nhp chnh l u vo ca lp nLp n l lp x l quan trng nht ca mng n-ron, lp n thng bao gm nhiu mng n-ron mt tng vi cc u ra ca hng ny l u vo ca hng kia, s lng mng n-ron mt tng trong lp n ty thuc vo phc tp ca bi ton c xt ti.Lp xut chnh l lp u ra ca mang n-ron cung cp kt qu bi ton c xt ti. Cc kt qu ny c c thng qua qu trnh x l ca lp n.Cu trc d liu :Cu trc d liu cng nh hng rt ln ti m hnh mng c xy dng, thng thng d liu c a vo c hai dng l d liu ng thi v d liu xy ra lin tc theo thi gianKiu d liu ng thi d xem xt hn khi xy ra m khng c hi tip hoc tr do th t cc u vo khng quan trng v cc u vo khng nh hng ln nhau.Kiu u vo lin tc c m phng trong mng ng khi m th t cc gi tr u vo l v cng quan trng bi cc u vo c nh hng ln nhau v gi tr u ra thu c da trn s thay i v tng tc lin tc gia cc gi tr u vo, nu thay i th t u vo s lm thay i d liu u raKiu hun luynMng n-ron c hai kiu hun luyn khc nhau l c gim st v khng c gim st.C gim stMng n-ron lp li qu trnh hun luyn cho ti khi t c kt qu mong mun tc l : ban u vi mt tp d liu sn c v mt tp kt qu sn c c thm nh th tin hnh cho mng n-ron hun luyn, qu trnh ny tin hnh thay i trng s ca cc d liu u vo ti khi t kt qu mong mun th chng ta thu c tp trng s chun s dngV d v bi ton tnh kt qu php hocHai tham s vo chnh l hai u vo d liu ca bi ton X1, X2Hai u vo ny l u vo tnh nn khng cn phn bit th tZ l kt qu mong munW1 l trng s ca u vo X1W2 l trng s ca u vo X2Y l u raDelta l sai s hin taiCt I.J ln lt ch trng s ca u vo X1, X2 sau khi chnh saCc cng thc p dngW1 v W2 ban u ln lt bng 0,1 v 0,3 Ngng so snh l 0.5 nu tng c trng s ln hn 0,5 th kt qu tr v Y bng 1 v ngc li nu tng c trng s nh hn hoc bng 0,5 th kt qu tr v bng 0Delta c tnh bng ch mong mun Z tr i kt qu YTrng s sau hiu chnh ct I, J c tnh theo cng thc W sau = W u + alpha*Xi*delta y alpha tng trng cho tc thay i trng s tc l tc hun luyn v c ly bng 0,2

M hnh hc ca mng n-ron

Nh trn sau 4 ln lp li th n-ron thc hin cho ra p n chnh xc php ton OR vi cc u vo. Nu thay i alpha th tc s ln lp li s thay i chng hn vi alpha bng 0,1 th ta cn 6 ln lp li.Hc khng c gim st Mng nron ch nhn c mt tp hp cc u vo t mi trng bn ngoi. N c v b n tng tng nhng g cc mng c th c th hc hi t thit lp mt ch s u vo. Tuy nhin, c th chnh thc chng minh rng mt mng li khng c gim st c th xy dng i din ca cc u vo c th c s dng cho vic ra quyt nhNguyn tc hun luyn Mng n-ron c ba cch hun luyn chnh l batch training, stochastic training v online training trong Online training th cc trng s c cp nht ngay lp tc khi mt u vo c a vo mng. Cc u vo s c a vo ln lt theo th t.Tochastic training th tng t nh online training song vic la chn cc u vo a vo mng c thc hin ngu nhin.Batch training th cc trng s ch c thay i khi tt c cc u vo c a vo, tc l cc trng s c thay i ng thi vi nhau.Tnh tng qut ha vi mng n-roni vi mng n-ron hun luyn khng c gim st th mang theo tnh t t chc hon ton do khng phi i mt vi vn tnh tng qut ha song vi mng n-ron hun luyn c gim st th tnh tng qut ha l mt vn rt quan trng. bi khi c hun luyn th da trn nhng mu c sn mng n-ron c th hot ng rt tt song khi thc t gp cc d liu mi th cc sai s to ra li rt ln

Hun luyn theo hm sinV d ln hun luyn mng ln theo hm sin trn l thuyt ( nt t ) v thc t ( nt lin ) v tnh tng qut ha ci thin vn tnh tng qut ha th vic la chn s n-ron cho mng l quan trng nht, s n-ron va s khin cho mng khng qu kht vi l thuyt nhng vn m bo tnh ng n cho mng.Thut ton backpropagationBackpropagation thc hin da trn quy lut hc Widrow Hoff tng qut ha cho cc mng a lp v cc hm phi tuyn. Mng c nhng ngng, lp tn hiu v lp tuyn tnh ng ra c th m phng bt k hm no vi s mu ri rc hu hnThut ton Backpropagation chun l Gradient descent, chnh l quy lut hc Widrow-Hoff. Khi nim Backpropagation m t cc tnh gradient trong mng a lp phi tuyn. thut ton c bn c mt s thay i da trn cc k thut ti u ha chun nh phng php Newton hay Conjugate gradient.Mng s dng thut ton Backpropagation c hun luyn chnh xc s p ng hp l khi a vo cc tn hiu m mng cha tng c hun luyn. Thng thng tn hiu mi vo c ng ra tng t vi ng ra chnh xc ca tn hiu vo c hun luyn ging vi ng vo mi ny. Do tnh cht tng qut ha th hun luyn mng da trn cc cp tn hiu vo ra i din vn cho cc kt qu tt vi cc tn hiu cha c hun luyn.Tng qutCu trcM hnh n-ron trong thut ton BackpropagationC ba m hnh n-ron n c bn l tansig, logsig, v purelinNh ni th n-ron c bn c N ng vo v mi ng vo c trng s tng ng l W, khi tng ca cc ng vo c trng s ( Wi khc 0) v ngng b s to ra hm truyn f. N-ron c th s dng nhiu loi hm truyn khc nhau to ra tn hiu ng ra.

Cc mng a lp thng s dng hm truyn l log_sigmoidHm truyn logsig to gi tr ng ra gia 0 v 1 khi ng vo c cc bin thin t m v cng ti dng v cng. Hn na mng a lp cng c th s dng hn chuyn tansigNu lp cui cng ca mng a lp c cc n-ron s dng sigmoid th ng ra s c gii hn trnog mt vng nh, nu s dng cc n-ron tuyn tnh th ng ra ca mng s c th l bt k gi tr no.

Hm truyn tan-sigmoid

Hm truyn tuyn tnhMng feedforwardMt lp n-ron logsig thng c hai dng ng vo nh sau

Mng ny thng c mt hay nhiu lp n gm cc n-ron sigmoid, lp ng ra thng gm cc n-ron tuyn tnh. Cc n-ron trong cc lp n c hm truyn phi tuyn cho php mng hc cc mi quan h tuyn tnh v phi tuyn gia vec t ng vo v ng ra. Lp ng ra tuyn tnh cho php mng to ra cc cc gi tr ti ng ra vo khong (-1; 1).Mt khc nu mun p ng ra ca mng a ra mt khong gi tr thch hp th thng dng hm truyn sigmoid ( v d logsig).Hun luyn mng trong thut ton BackpropagationKhi trng s v cc ngng c xc nh th mng sn sng c hun luyn. Cch thc hun luyn yu cu mt tp cc mu ch cch thc hot ng ca mng gm cp ng vo v cc ng ra, hm hiu sut mc nh ca mng feedforward l mt hm trung bnh ca bnh phng c sai s.Thut ton Backpropagation c nhiu phin bn khc nhau song cch thc hin n gin nht l cp nht trng s v ngng trc tip cho hm hiu sut gim tht nhanh. Mi vng lp khi hun luyn c th c vit nh sau

C hai cch thc hin cp nht trng s l cp nht ngay sau khi mi ng vo a tn hiu vo mng v ch cp nht trng sosos khi tt c cc ng vo a tn hiu vo mng.Hun luyn nhanhTrong thc t khi hun luyn th tc tng gim trng s cng l mt vn cn c xem xt a ra cc kt qu ti u, c cc gii thut chnh tng tc hun luyn ca mng theo thut ton Backpropagation l Gii thut phc hi thut ton Backpropagation vi hm hun luyn trainrp Ti u ha s dng chun ha mng da trn gradient, Newton hay LevenbergGii thut thay i tc h hc Trong gii thut gim dc chun nht, tc hc c gi c nh trong sut thi gian hun luyn. Hiu sut ca gii thut ny nhy cm vi s thay i ca tc hc. Nu tc hc qu ln th gii thut dao ng qu mc v thng khng n nh cn tc hc nh qu mc th s tn rt nhiu thi gian cho hi t. Trong thc t vic xc nh tc hc ti u l kh kh khn. Hn na tc hc ti u lun thay i trong sut qu trnh x l v hun luyn khi m gii thut di chuyn trn mt phng hiu sut.Hiu sut ca gii thut gim c chun nht s tng ln nu cho php thng qua vic thay i tc hc trong sut qu trnh x l v hun luyn.Gii thut phc hi thut ton BackpropagationCc mng a lp thng s dng hm truyn sigmoid trong cc lp n. Cng c th gi cc hm truyn ny l hm nn v chng c ng ra hu hn khi m c ng vo l v hn. Hm sigmoid c c im l dc ca hm s v khng khi ng vo c gi tr ln. y chnh l vn c cp nht khi dng gii thut dc ln nht hun luyn mng a lp sigmoid. V gradient c th c bin rt nh do cc trng s v ngng cng ch c thay i rt nh cho d chng rt xa gi tr ti u. Mc ch ca thut ton phc hi Backpropagation l loi b cc hu qu ny thng qua cc o hm tng phn. Ch s dng du ca o hm cp nht hng trng s. Bin khng nh hng ti vic cp nht ny. thay i trng s da trn cc gi tr cp nht ring l, cc gi tr cp nht ca mi trng s v ngng c tham kho bi h del-inc khi o hm ca hiu sut ti nhng trng s tc thi cng du vi 2 ln lp tip theo. Nu o hm bng 0 th gi tr cp nht s gi nguyn. Khi trng s thay i th s dao ng ca trng s s gim. Nu trng s tip tc thay i trn cng mt hng th bin thay i trng s s gim dn.Trn y l hai trong s nhng gii thut thay i tc hc ca mng n-ron thng c p dng. Tip theo s gii quyt tnh tng qut ha ca mng n-ron bi v thng thng th rt kh c th c lng chnh sc ln ca mng. Cc nh nghin cu a ra hai phng php ci thin lPhng php chnh quyPhng php ny da trn hm hiu sut c thay i, hm mi da trn tng bnh phng sai s ca mng vi ngng v trng s nh hn. Nu mun cc thng s tng qut ha ti u c t ng ci t th nen da vo khung lm vic Bayesian. Trong khung lm vic ny trng s v ngng ca mng gi thit c to ngu nhin vi phn b c th. Cc thng s ca tng qut ha nm trong phng sai ng vi hm phn b ny v c th c c lng thng qua k thut thng k chun. Hnh di cho thy mt mng c tnh tng qut ha tt.

Phng php dng chmThng thng k thut p dng dng phng php chnh quy l k thut dng chm. Khi mi bt u hun luyn th sai s ca mng s gim dn. Sau khi mng bt u qu kht d liu th sai s s tng ln. Mng s dng hun luyn khi sai s tng ln qu mt s vng lp. Nh vy mng s khng qu kht. K thut dng chm c th dng trong bt c mt gii thut hun luyn no.

Phng php dng chm

H thng pht hin xm nhp da trn mng n-ronH thng pht hin xm nhp (IDS)IDS l cc cng c phn mm hoc thit b, c thit k cho vic phn tch cc dng d liu hoc cc bin c, nhm xc nh cc hnh ng tri php v cc vi phm chnh sch an ninh t chc trn h thng mng my tnh. IDS khng ging vi Firewall hay VPN l nhng thnh phn ngn nga cc cuc tn cng m n ging vi thnh phn cung cp s bo v bng cch cho bit thng tin v cc cuc tn cng. Tuy nhin thi thong IDS vn cung cp nhng cnh bo nhm. Hin nay cc IDS ang pht trin v hon thin theo hng a dng ha khi m mt s c th phn no ngn chn cc cuc tn cng khi n xy ra. Gi tr chnh ca mt h thng pht hin xm nhp l cho ngi dng bit iu g s xy ra, cung cp cc gii php cho mng v cc nt trong mng gim thiu ri ro m ngi dng c th kim sot c. IDS thng da vo hai cng ngh chnh l network IDS v host IDSNetwork IDSNetword IDS cng c th c cp n nh mt sniffer hot ng da trn s dch chuyn mng. Netword IDS theo di cc s dch chuyn gi tin ca ton mng. Networdk IDS thun li cho s tng hp ca ton b mng, sc mnh ca netword IDS c th hin khi gp cc tn cng lin quan ti ton h thng hoc nhiu im trn mng song im yu ca network IDS chnh l trong mi trng mng chuyn mch tc cao, mi trng m ha v mi trng xut hin cc giao thc hin i, phc tp th xc xut xut hin bo ng sai cng tng lnNetwork IDS thng s dng hai cng ngh chnh l pht hin da trn cc du hiu v pht hin da trn s bt thng hoc l pha ln c hai trong mt h thngPht hin da trn du hiuCc network IDS hot ng ging nh cc phn mm qut virus v pht hin cc cuc tn cng da trn c s d liu v du hiu ca cc cuc tn cng. Khi cc cuc tn cng mi hoc cc phng thc mi th network IDS s cp nht chng vo c s d liu ca mnh . v d in hnh nht nh SnortPht hin da trn s bt thngPht hin da trn s bt thng lin quan n vieetjcj thit lp mt nn mng c bn ca nhng hot ng bnh thng ca h thng hay cc hnh vi thng dng ca ngi s dng. Khi h thng xut hin cc hnh vi khc vi thng thng th IDS s tin hnh cnh bo. Vic pht hin da trn s bt thng c kh nng pht hin ra cc phng thc tn cng mi song li kh p dng bi cc h thng nu t kch c nht nh th s rt kh cho vic xc nh cc hnh vi thng thng l nh th no.Host IDSHost IDS c th phn chia lng lo thnh cc thnh phn nh kim sot log, kim tra tch hp v cc module nhn ca h thng trong Gim st logGim st log l mt thit b IDS n gin nht, khi m thit b s c gng pht hin nhng s xm nhp bng cch phn tch cc log s kin ca h thng. V d nh Swatch. Thng thng cc phn mm gim st log thng qut theo nh k.Gim st tnh ton vnGim st tnh ton vn s nhn vo cu trc ch yu ca h thng tm s thay i trong . T s thay i tnh ton vn s thm mt lp bo v cho h thng pht hin xm nhp. V d v gim st tnh ton vn ph bin nhp l Tripwire. Mu cht ca gim st tnh ton vn l xc nh ranh gii an ton. c thit lp trc khi h thng c kt ni mng.H thng pht hin xm nhp da trn mng n- ron ( NNID)T nm 1998, ba nh khoa hc Jake Ryan, Meng-Jang Lin, Risto Miikkulainen xut gii php xy dng h thng pht hin xm nhp da trn mng n- ron (Neural Network Intrusion Detector - NNID). NNID s dng gii thut hc lan truyn ngc (backpropagation), hot ng trn mi trng UNIX v l IDS khng trc tuyn. Ti cui mi ngy lm vic, ngi qun tr h thng s chy NNID kim tra phin ng nhp ca ngi dng c ph hp vi mu hot ng thng thng ca h hay khng. Nu hot ng ca ngi dng khng ph hp vi mu hot ng thng thng th s a ra cnh bo v mt s xm nhp ti h thng. Nh vy h thng pht hin xm nhp xy dng da trn mng n-ron c ba nh nghin cu trn xy dng cng c th coi l mt host IDS hot ng trn c ch xem xt log. C bn hot ng ca h thng ny l xem xt log ca h thng mt cch nh k tm ra cc im bt thngNNID c trin khai theo 3 giai on: Thu thp d liu hun luyn (training data): thng k nht k ng nhp ca mi ngi dng trong nhiu ngy trc . Lp vector th hin tn sut s dng cc lnh ca mi ngi dng trong tng ngy. Hun luyn (training): hun luyn NNID nhn dng ngi dng da trn cc vector phn b cu lnh Thc hin (performance): Xc nh ngi dng da trn mi vector phn b lnh mi. Nu h thng xc nh n khng thuc cc ngi dng thng, hoc khng c xc nh r rng th s a ra cnh bo v mt s bt thng.H thng NNID c nhm nghin cu Khoa in t v K thut my tnh trng i hc Texas ca Austin th nghim trn my tnh chy h iu hnh NetBSD. Theo , my tnh th nghim c 10 ngi s dng, trong c mt s ngi s dng u n (regular users), mt s khc ng nhp khng thng xuyn (intermittently). Sau 12 ngy thu thp thu c kt qu ca 89 vector ngi dng. Cc lnh ph bin nht trong bn ghi nht k c dng cho h thng nh: as, cut, awk. Bibtex, data, elm...Tn sut s dng mi lnh c chia thnh 11 khong khc nhau, khong c trng s nh l khong c tn sut s dng lnh thp. Khong u tin l lnh khng bao gi c s dng, khong th hai l cu lnh c s dng mt hoc hai ln v c nh vy cho n khong cui cng, ni m lnh c s dng hn 500 ln. Cc khong c i din bi cc gi tr t 0,0 n 1,0 v mi khong hn km nhau gi tr 0,1. Vi mt ngi dng c th, mi cu lnh s c mt gi tr thuc khong trn, 100 cu lnh s to thnh mt vector phn phi lnh 100 chiu (100- dimensional command distribution vector) v c s dng lm u vo cho h thng NNID. NNID c hun luyn vi dc liu chn trong 8 ngy bt k(65 user vectors) v qu trnh kim th ac c tin hnh trong 4 ngy cn li (24 user vectors). Nhm nghin cu thc hin 4 ln nh vy v c 4 qu trnh kim tra c thc hin theo hai ni dung sau: Xc nh ngi dng ca 4 ngy cn li. Nu c c mt n- ron u ra c gi tr cao hn tt c cc n- ron u ra khc v ln hn 0,5 th xc nh c chnh xc ngi dng tng ng vi n- ron . Ngc li, h thng s a ra khng nh nhm l bt thng, li ny c gi l positive. Xc nh ngi dng t 100 vectors ngi dng c to bi cc gi tr ngu nhin. Nu tt c n- ron u ra c gi tr nh hn 0,5 th h thng xc nh chnh xc l mt ngi dng bt thng (khng l bt k ngi no trong 10 ngi dng bit trong h thng). Ngc li, gi tr u ra cao nht s c xc nh cho ngi dng tng ng. Nh vy, cc xm nhp bt hp php thc hin nh 1 trong 10 ngi dng thng s khng c pht hin, lc ny h thng a ra li false negative.Kt qu ca 4 qu trnh kim tra l kh ging nhau. Trung bnh, h thng t chi 63% vector ngi dng c to ngu nhin, dn n t l pht hin bt thng l 96%. Pht hin chnh xc 93% vector ngi dng hp php, a ra cnh bo sai 7% v ngi dng hp php.Mt nghin cu khc ca trng i hc Georgia v NNID khi s dng 9 n-ron u vo, 4 lp n-ron n v 2 n-ron u ra ( kt qu l bo ng v bnh thng ) khi p dng vo th nghim cho kt qu nh sauKhi m phng tn cng c th nh qut ISS, qut SATAN, SYNFlood th h u cho bo ng ng. Khi h thng c m rng xem xt mt mng phn tn th vn cho cc kt qu tt, thm ch cc c gng kt ni FTP khng thnh cng cng c bo ng nh mt cuc tn cng.nh gi v NNIDTrin khai NNID cho h thng c nhiu ngi dng th t l pht hin bt thng vn khng thay i. H thng vn c th hc tt cc mu h s ca ngi dng v bt c mt hnh ng no khc vi hnh ng thng thng ca ngi dng th u b coi l bt thng. i vi cc xm nhp mi, do NNID lun cp nht h s v phn tch hot ng hng ngy ca mi ngi dng v NNID cng lun c hun luyn theo nh k nn cc xm nhp mi s d dng c pht hin. Cc h thng ny ch cn 90s thc hin iu ny. NNID d dng hun luyn v khng tn km bi n hot ng khng trc tuyn v da trn d liu nht k ng nhp hng ngy. Vi cc h thng pht hin xm nhp khng yu cu thi gian thc th NNID l mt gii php kh ti u.Hin nay vic ng dng mng n-ron vo h thng pht hin xm nhp c nhng sn phm thc t nh ca Sans, Iaeng

Kt lun Thng qua bi thc tp em rt ra c cc kin thc c bn v tr tu nhn to, cc khi nim v phng php tr tu nhn to ni chung v tr tu nhn to da trn mng n-ron ni chung. V tim nng ca tr tu nhn to trong nn khoa hc cng ngh hin nay. Cng t nhng khi nim trn em cng bit thm mt phng php thit lp h v xy dng h thng pht hin xm nhp mi so vi trc y hc. Qua nng cao kh nng chuyn mn cho qu trnh lm vic sau ny.

Ti liu tham khoGio trnh An ton h iu hnh Hc vin K Thut Mt Mhttp://bis.net.vn/forums/p/482/1497.aspxhttp://antoanthongtin.vn/http://huc.edu.vn/vi/spct/id150/TRI-TUE-NHAN-TAO---MOT-PHUONG-DIEN-CUA-VAN-HOA-UNG-DUNG/http://sinhvienit.net/forum/tri-tue-nhan-tao.457/Luanvan.vn

30