Visoka Poslovna kola strukovnih studija Blace

SEMINARSKI RADPredmet: Vetaka inteligencijaTema: Uenje neuronskih mrea

Nastavnik: Student:dr Branislav Jevtovi Milo Stojanovi 50/10 RSadraj1.Neuron32.Neuronske mree42.1Istorijat neuronskih mrea52.2Arhitektura neuronske mree62.3Podela neuronskih mrea72.4Hopfildove neuronske mree83.Obuavanje neuronskih mrea93.1Nadgledano obuavanje - Supervised training103.1.1Jednoslojna mrea sa binarnim izlazima - perceptron123.1.2Backpropagation learning algoritam133.2Delimino nadgledano obuavanje143.3Nenadgledano obuavanje - Unsupervised training154.Program za prepoznavanje irilinih slova175.Primena neuronskih mrea216.Reference22

1. Neuron

Pod pojmom neuron se podrazumeva jednostavan element procesiranja koji izvrava jednostavnu matematiku funkciju. Mree koje se sastoje iz jednog broja meusobno povezanih neurona nazivaju se neuronske mree.

Neuron ima etiri osnovna dela: ulazni deo elije, telo elije (soma), izlazni deo elije, i sinapse. Ulazni deo elije sadri skup razgranatih niti nazvanih dendriti. Telo elije obrauje signale koje dobija od dendrita, dobijajui na taj nain izlazni impuls koji se prosleuje na sve krajeve razgranate niti nazvane aksonom, koji predstavlja izlazni deo elije. Mesto gde se akson dodiruje sa dendritima neke druge elije se naziva sinapsa. To je mesto gde se impulsi prenose od jedne do druge nervne elije (tzv. celularna transdukcija). Po analogiji sa biolokim neuronom, formiran je model vetakog neurona. Za predstavljanje vetakog neurona, koristiemo sledee oznake: xi (i = 1, 2, ... , m) ulazne veze, vrednosti inputa koje neuron prima (signali ili potencijali inputa kod biolokog neurona); wki (i = 1, 2, ... , m) tzv. teinski koeficijenti (sinapse kod biolokog neurona); uk zbirna vrednost, koja se dobija sabiranjem ponderisanih ulaza (telo prirodnog neurona); a(.) aktivacijska funkcija (akson kod biolokog neurona); prag aktivacije ; yi vrednost izlaza tj. outputa (potencijal izlaza kod biolokog neurona).ematski prikaz, uz upotrebu navedenih oznaka, predstavljen je na dijagramu 1. Svaka od ulaznih veza, koje su oznaene sa xi, i kojih ima m, mnoi se svojim teinskim koeficijentom wki. Ovako pomnoene vrednosti se potom sabiraju, i dobija se vrednost uk.

A vrednost izraza i tog neurona je:

Slika 1. Skica neurona2. Neuronske mree

Neuronska mrea je sistem sastavljen od vie jednostavnih procesora (jedinica, vetakih neurona), svaki od njih ima lokalnu memoriju u kojoj pamti podatke koje obrauje. Te jedinice su povezane komunikacionim kanalima (vezama). Podaci koji se ovim kanalima razmenjuju su obino numeriki. Jedinice obrauju samo svoje lokalne podatke i ulaze koje primaju preko konekcije. Ogranienja lokalnih operatora se mogu otkloniti tokom treninga.

Neuronske mree predstavljaju jednu od metoda vetake inteligencije. Umesto to konceptualizuju problem u matematikoj formi, neuronske mree koriste principe ljudskog mozga i njegove strukture, kako bi razvile strategiju procesiranja podataka.Predstavnik biolokih neuronskih mrea je nervni sistem ivih bia. Ljudski mozak i celokupni nervni sistem je sainjen od nervnih elija, neurona, kojih ima oko 1011, i koji ostvaruju oko 1015 konekcija.Vetake neuronske mree su po strukturi, funkciji i obradi informacija sline biolokim neuronskim mreama. Neuronska mrea u raunarskim naukama predstavlja veoma povezanu mreu elemenata koji obrauju podatke. One su sposobne da izau na kraj sa problemima koji se tradicionalnim pristupom teko reavaju, kao to su govor i prepoznavanje oblika. Jedna od vanijih osobina neuronskih mrea je njihova sposobnost da ue na ogranienom skupu primera.Velika prednost neuronskih mrea se nalazi u mogunosti paralelne obrade podataka, naroito tokom izraunavanja komponenti koje su nezavisne jedne od drugih. Neuronske mree su sistemi sastavljeni od vie jednostavnih elemenata (neurona) koji obrauju podatke paralelno. Funkcije koje su neuronske mree u stanju da obrauju su odreene strukturom mree, jainom konekcije, a obrada podataka se izvodi u neuronima. Svaki elemenat operie samo lokalnim informacijama, radi asinhronizovano, kao da nema sistemskog sata. Postoje dve kategorije neuronskih mrea: vetake; bioloke neuronske mree.2.1 Istorijat neuronskih mrea

Poetak neuro-raunarstva obino se vezuje za 1943. godinu i lanak Warrena McCullocha i Waltera Pittsa Logiki raun ideja svojstvenih nervnoj aktivnosti. Kibernetiar Norbert Winer i matematiar John von Neumann su smatrali da bi istraivanja na polju raunarstva, inspirisana radom ljudskog mozga, mogla biti izuzetno zanimljiva.

Knjiga Donalda Hebb-a iz 1949. godine The Organization of behavior (Organizacija ponaanja) iskazuje ideju da je klasino psiholoko uslovljeno ponaanje prisutno kod svih ivotinja, jer je ono svojstvo neurona. Ova ideja nije bila nova, ali ju je Hebb vie razradio od prethodnika, predlaui odreeni zakon uenja za sinapse, a pomou njega je izveo kvalitativno objanjenje nekih eksperimentalnih rezultata iz psihologije.Poetkom pedesetih godina, najvie uticaja na dalji razvoj neuronskih mrea je imao rad Marvin Minsky-a koji je u tom periodu konstruisao neuroraunar pod imenom Snark (1951). Frank Rosenblatt je zasluan za otkrie jednoslojne neuronske mree, zvane perceptron. Ovaj raunar je mogao uspeno da podeava teinske koeficijente, meutim ovaj raunar nije postigao znaajnije praktine rezultate. Tek krajem pedesetih godina (1957-1958), Frank Rosenblatt i Charles Wightman sa svojim saradnicima su uspeli da razviju raunar pod nazivom Mark I koji predstavlja prvi neuroraunar. Neto posle Rosenblatta, Bernard Widrow je sa svojim studentima (najpoznatiji je Ted Hoff, kasnije tvorac mikroprocesora) razradio novi tip neurona - ADALINE (ADAptivini LINearni Element, prenosna funkcija f(x)=x) i odgovarajui zakon uenja.U periodu od 1950-tih do ranih 1960-tih godina napisano je nekoliko knjiga i osnovano nekoliko kompanija koje se bave neuroraunarima. Meutim, sredinom 1960-tih godina dolo je do zastoja zbog dva oigledna problema. Prvo, veina istraivaa je prila problemu sa kvalitativne i eksperimentalne strane, zanemarujui analitiki pristup. Drugo, poetni entuzijazam je bio toliko jak da su uveliko publikovana predvianja da nas od vetakog mozga deli samo nekoliko godina istraivanja. Ovakav zanos je dalje diskreditovao ovu oblast i odbio veliki broj istraivaa. Mnogi od ovih ljudi su napustili neuroraunarstvo i preli u srodna polja.Sredinom 1960-ih godina je pristup reavanja problema neuronskih mrea okarakterisan kao pogrean, nakon to Marvin Minsky i Seyour Papert u knjizi Perceptrons objavljuju matematiki dokaz da jednoslojna neuronska mrea Perceptron ne moe da naui funkciju XOR, uz pretpostavku da dodavanjem vie slojeva neurona taj problem nee biti prevazien. Tano je da neuron nije u stanju da izvede pomenutu funkciju, ali za iole sloeniju mreu od nekoliko neurona to predstavlja veoma jednostavan zadatak. Njihov dokaz je diskreditovao istraivanja neuronskih mrea, a finansiranja su preusmerena na druge oblastivetake inteligencije.U periodu izmeu 1967. do 1982. godine pojavljuju se istraivai koji daju znaajan doprinos razvoju ove oblasti kao to su Teuvo Kohonen, Kunihiko Fukushima i Stephnen Grossberg. Naroito se istakao Teuvo Kohonen, koji je otkrio nekoliko tipova neuronskih mrea koje su po njemu dobile naziv. U ovom periodu se pojavio i backpropagation algoritam. U radu na ovom algoritmu su se posebno istakli sledei naunici: Amari (1967.) dodaje unutranje slojeve perceptronskoj mrei, Bryson i Ho (1969.) razvijaju algoritam slian backpropagation algoritmu, Werbos (1974) nezavisno od prethodnika razvija backpropagation algoritam, a Parker (1982) unapreuje backpropagation algoritam. Poetkom 80-ih, amerika vojna agencija DARPA (Agencija za odbrambene istraivake projekte) postala je zainteresovana za neuronske mree i finansiranja su ponovo zapoela. Sredinom 80-tih, poznati fiziar John Hopfield dao je veliki doprinos popularizaciji neuronskih mrea, objavljujui rad u kome je napravio paralelu izmeu neuronskih mrea i odreenih fizikih sistema. Poetkom devedesetih, Bart Kosko u knjizi Neural Networks and Fuzzy Systems dokazuje da neuronske mree i fuzzy logika opisuju isti skup problema i samim tim otvara novu oblast koja se naziva soft computing.Rumenel, Hinton i Williams (1986) dokazuju veliku promenljivost i potencijal backpropagation algoritma. Krajem 80-tih i poetkom 90-tih, neuronske mree i neuro raunarstvo se uvodi kao predmet na nekoliko elitnih univerziteta u SAD, dok se danas neuronske mree gotovo mogu sresti na svim univerzitetima. Danas neuronske mree nalaze veoma irok spektar primena u razliitim praktinim oblastima.2.2 Arhitektura neuronske mree

Arhitekturu ili topologiju vetake neuronske mree predstavlja specifino ureenje i povezivanje neurona u obliku mree. Po arhitekturi, neuronske mree se razlikuju prema broju neuronskih slojeva. Najpoznatija neuronska mrea sa jednim slojem je jednoslojni perceptron.

Slika 2. Jednoslojna neuronska mrea

Kod mrea sa vie slojeva, obino svaki sloj prima ulaze iz prethodnog sloja, a svoje izlaze alje narednom sloju. Prvi sloj se naziva ulazni, poslednji je izlazni, ostali slojevi se obino nazivaju skrivenim slojevima. Jedna od najeih arhitektura neuronskih mrea je mrea sa tri sloja. Prvi sloj (ulazni) je jedini sloj koji prima signale iz okruenja. Prvi sloj prenosi signale sledeem sloju (skriveni sloj) koji obrauje ove podatke i izdvaja osobine i eme iz primljenih signala. Podaci koji se smatraju vanim se upuuju izlaznom sloju, poslednjem sloju mree. Na izlazima neurona treeg sloja se dobijaju konani rezultati obrade. Sloenije neuronske mree mogu imati vie skrivenih slojeva, povratne petlje i elemente za odlaganje vremena, koji su dizajnirani da omogue to efikasnije odvajanje vanih osobina ili ema sa ulaznog nivoa.

Danas se uglavnom izuavaju i primenjuju vieslojne neuronske mree koje pored ulaznih i izlaznih slojeva sadre neurone na srednjim (skrivenim) slojevima. Na Slici 3. je dat prikaz mree sa tri sloja.

Slika 3. Prikaz mree sa tri sloja2.3 Podela neuronskih mreaPostoji veliki broj razliitih realizacija neuronskih mrea, a samim tim postoji i mnogo podela. Neuronske mree moemo klasifikovati prema:Broju slojeva: Jednoslojne; Vieslojne.

Vrsti veza izmeu neurona: Slojevite; Potpuno povezane; Celularne.

Vrsti obuavanja neuronskih mrea: Nadgledano obuavanje - Supervised training; Delimino nadgledano obuavanje; Nenadgledano obuavanje - Unsupervised training;

Prema smeru prostiranja informacija: Feedforward (nerekurzivne, nerekurentne ili nepovratne); Feedback (rekurzivne ili rekurentne ili povratne).

Prema vrsti podataka: analogne; diskretne.

Neuronske mree se mogu podeliti prema smeru prostiranja informacija kroz mreu: Feedforward (nerekurzivne, nerekurentne ili nepovratne) - Vii slojevi ne vraaju informaciju u nie slojeve. Vre prostiranje signala samo u jednom smeru (od ulaza prema izlazu) odnosno propagaciju signala.Predstavnici: Vieslojni perceptron sa primenjenim backpropagation algoritmom. Feedback (rekurzivne ili rekurentne ili povratne) - Vii slojevi vraaju informacije nazad u nie slojeve. Izlaz iz neurona se vraa u nie slojeve ili u isti sloj. Predstavnici: Hopfildove, Celularne neuronske mree, Kohonenove neuronske mree, dvostruko asocijativne neuronske mree. Feedback mree imaju mnogo vee procesne sposobnosti od Feedforward mrea. 2.4 Hopfildove neuronske mree

Arhitektura jednoslojnih neuronskih mrea polako izlazi iz upotrebe poto se podlednjih godina sve vie istrauju i primenjuju vieslojne neuronske mree. Jedna od retkih jednoslojnih neuronske mree koje se i danas primenjuju su Hopfildove neuronske mree. One su odigrale znaajnu ulogu u istoriji neuronskih mrea jer za njih postoji kompletan matematiki dokaz funkcionisanja. Ove neuronske mree su podstakle veliki broj istraivaa da se bave izuavanjem ove oblasti. Hopfildove neuronske mree je jednostavno hardverski implementirati. Za implementaciju su dovoljni kondenzatori, otpornici i operacioni pojaavai.

Slika 4. ema Hopfildove neuronske mree3. Obuavanje neuronskih mrea

U svim biolokim neuronskim mreama veze izmeu pojedinanog dendrita i aksona mogu biti pojaane ili oslabljene. Na primer, veze mogu postati pojaane ako se vie signala alje kroz njih, ili mogu biti oslabljene ako se signali ree alju kroz njih. Pojaavanje odreenog neuralnog prolaza, ili veze izmeu dendrita i aksona, rezultuje u poveanoj verovatnoi da e signal biti prenesen kroz tu putanju, daljim pojaavanjem tog puta. Putevi izmeu neurona koji su retko koriteni polako atrofiraju, ili se umanjuju, pravei manju verovatnou da e signal biti prenesen kroz njih.Slina situacija se pojavljuje i kod vetakih neurona. Podaci iz trening skupa se periodino proputaju kroz neuronske mree. Dobijene vrednosti na izlazu mree se uporeuju sa oekivanim. Ukoliko postoji razlika izmeu dobijenih i oekivanih podataka, prave se modifikacije na vezama izmeu neurona u cilju smanjivanja razlike trenutnog i eljenog izlaza.Ulazno-izlazni skup se ponovo predstavlja mrei zbog daljih podeavanja teina, poto u prvih nekoliko koraka mrea obino daje pogrean rezultat. Posle podeavanja teina puta za sve ulazno izlazne eme u trening skupu, mrea naui da reaguje na eljeni nain.Neuronska mrea je obuena ako moe tano da reava zadatke za koje je obuavana. Neuronska mrea je sposobna da izdvoji vane osobine i eme u klasi trening primera. Nakon obuavanja sa odreenom verovatnoom, neuronska mrea moe da generalizuje nove ulazne podatke za koje nije obuavana. Na primer, generalizaciju moemo videti na primeru mree obuavane da prepoznaje serije slika: ako na ulaz takve mree dovedemo slike za koje mrea nije obuavana, ona do izvesne mere moe uspeno da klasifikuje takve slike.Najee koriten algoritam za obuavanje neuronske mree je backpropagation, razvijen nezavisno od strane naunika: Paul Werbos (1974), David Parker (1984/1985), i David Rumelhart, Ronald Williams, i drugih (1985). Backpropagation ui eme poredei izlaz neuronske mree sa eljenim izlazom i rauna greke za svaki vor u mrei. Neuronska mrea podeava teine veza prema vrednostima greke dodeljenim za svaki vor. Izraunavanje poinje od izlaznog sloja, preko skrivenih slojeva, prema ulaznom sloju. Nakon modifikacije parametara, na mreu se dovode novi ulazi. Obuavanje se prekida tek kada mrea bude u stanju da daje izlaze sa zadovoljavajuom tanou.Prilikom obuavanja neuronskih mrea esto se javlja je problem neravnomernog obuavanja, neke od oblika iz trening skupa mrea veoma brzo naui da ispravno prepoznaje, dok je za neke druge potreban veoma veliki broj iteracija. Ukoliko greka na pojedinim elementima obuavajueg skupa dostigne gotovo 100% veoma je teko smanjiti greke tih elemenata u daljem obuavanju ak ni posle relativno velikog broja iteracija. Idealno bi bilo da se greke ravnomerno smanjuju tokom obuavanja do dozvoljenih vrednosti.Postoje tri vrste obuavanja neuronskih mrea: Nadgledano obuavanja; Delimino nadgledano obuavanja; Nenadgledano obuavanje.

3.1 Nadgledano obuavanje - Supervised trainingU ovom sluaju se prilagoavanje mree za obavljanje eljenih zadataka vri obuavanjem mree. Procedura obuavanja izvodi se na sledeim nain:Pribavljaju se podaci za obuavanje mree. Ovi podaci se sastoje od parova ulaz-izlaz, pri emu su izlazni podaci dobijeni eksperimentalno, pretpostavljeni ili na osnovu iskustva procenjeni. Ovde se uvek radi o konanom skupu podataka i oznaimo broj parova ulaz i zlaz sa K.Vri se inicijalizacija mree, najee tako to se parametri neurona uzimaju sluajno. Nakon inicijalizacije se provodi iterativna procedura treniranja mree na sledei nain:1) Uzima se jedan par ulaz-izlaz iz skupa ulaznih podataka i rauna se izlaz iz neuronske mree. Dobijeni izlaz se poredi sa eljenim odgovorom. Ukoliko je izlaz neuronske mree identian eljenom izlazu (ili zadovoljavajue blizu eljenog odgovora) tada se ne vri korekcija mree. U suprotnom sluaju kada je rezultat poreenja nezadovoljavajui potrebno je korigovati parametre neuronske mree kako bi se u posmatranom sluaju dobio bolji rezultat.2) Uzima se naredni par ulaz-izlaz i ponavlja se prethodni korak. Kraj ovog ciklusa obuavanja koji se naziva epoha nastupa kada u potpunosti iscrpimo skup podataka za obuavanje mree.3) Analizira se ukupni rezultat koji je neuronska mrea ostvarila u prethodno zavrenoj epohi obuavanja. Ukoliko je odgovor mree u svih K razmatranih sluajeva zadovoljavajui tada je treniranje mree zavreno. U suprotnom sluaju potrebno je proi kroz narednu epohu obuavanja, odnosno vratiti se na prvi korak.Iterativni algoritam obuavanja neuronske mree ne mora biti konvergentan. Algoritam se najee modikuje tako to se unapred ogranii maksimalan broj epoha treniranja. U sluaju dobijanja nezadovoljavajueg rezultata proces obuavanja se moe ponoviti sa drugaijom inicijalizacijom polaznih parametara mree.Jedan od osnovnih problema u procesu obuavanja neuronske mree je nain na koji treba modikovati parametre mree u sluaju da nismo zadovoljni ostvarenim rezultatatima. U nekim sluajevima od interesa je pored korekcije parametara mree prouzrokovane nezadovoljavajuim izlazom dodati i mali iznos sluajne korekcije, nezavisne od stvarne greke. Ovakva korekcija moe eliminisati dobijanje neoptimalnih rezultata usled zaustavljanja procesa obuavanja mree na lokalnom minimumu greke.Tokom obuavanja mree, algoritam koji nadzire obuavanje (supervisor) uporeuje podatke dobijene na izlazu sa oekivanim podacima. Razlika izmeu dobijenih i oekivanih podataka se alje proceduri za uenje, koja koriguje teinske koeficijente mree. Kontrolisan trening je slian studentu koga profesor vodi u uenju, ukazuje na greke i propuste i usmerava ka eljenom cilju. Predstavnici: perceptron, backpropagation learning algoritam.

Slika 5. Nadgledano obuavanjeA) Feedback mree 1. Brain-State-in-a-Box (BSB) 2. Fuzzy kongitivne mape - Fuzzy Congitive Map (FCM) 3. Bolcmanova maina - Boltzmann Machine (BM) 4. Mean Field Annealing (MFT) 5. Rekurzivno kaskadno povezivanje - Recurrent Cascade Correlation (RCC)6. Povratna propagacija kroz vreme - Backpropagation through time (BPTT)7. Povratno uenje u realnom vremenu - Real-time recurrent learning (RTRL) 8. Recurrent Extended Kalman Filter (EKF) B) Feedforward-mree:1. Perceptron2. Adaline, Madaline3. Backpropagation (BP)4. Koijeva maina - Cauchy Machine (CM)5. Adaptivni heuristiki kriterijum - Adaptive Heuristic Critic (AHC)6. NM sa vremenskim zadravanjem - Time Delay Neural Network (TDNN)7. Asocijativno nagraivanje - Associative Reward Penalty (ARP)8. Avalanche Matched Filter (AMF)9. Backpercolation (Perc)10. Artmap11. Adaptivne logike mree - Adaptive Logic Network (ALN)12. Kaskadne veze- Cascade Correlation (CasCor)13. Proireni Kalman-ov filter - Extended Kalman Filter(EKF)14. Kvantizacija vektora uenja - Learning Vector Quantization (LVQ)15. NM zasnovane na verovatnoi- Probabilistic Neural Network (PNN)16. Opte regresione NM - General Regression Neural Network (GRNN)

3.1.1 Jednoslojna mrea sa binarnim izlazima - perceptronPerceptron je neuronska mrea koja treba da utvrdi da li ulazni podaci imaju eljenu osobinu ili ne. Na primer ulazni podaci mogu biti pikseli skeniranog slova teksta, a od neuronske mree oekujemo da da odgovor da li se radi o slovu A. S obzirom da je izlazni podatak mree logika vrednost, to se kao prirodan izbor aktivacione funkcije neurona nameu funkcije sa binarnim skupom izlaza (bipolarna ili unipolarna funkcija praga). Odaberimo unipolarnu aktivacionu funkciju:

Mrena funkcija neurona u sluaju perceptrona je linearna forma:

gde je pretpostavljeno da neuron ima N ulaznih veliina. Teinski koeficijenti Wk predstavljaju znanje koje mrea treba da dobije postupkom obuavanja i zatim primeni u realnim uslovima.Vektorska notacija:

sad se mrena funkcija moe zapisati kao:

a izlaz neurona kao:

Perceptron se u osnovnom sluaju sastoji od samo jednog neurona. On topoloki predstavlja aciklinu mreu, a takoe i slojevitu, tanije jednoslojnu, neuronsku mreu. Na jednostavan nain se moe konstruisati i perceptron sa vie neurona, pri emu se u tom sluaju radi o jednoslojnoj mrei sa M izlaza sposobnoj da za zadate ulazne podatke utvrdi da li imaju ili nemaju neku od M osobina. Primer ovakve mree bio bi perceptron koji na osnovu piksela skeniranog slova zakljuuje da li se radi o slovu A, B ili C. Treba uoiti da se na izlazu ove neuronske mree moe pojaviti vie jedinica (mrea je prepoznala da je ulazni podatak i slovo A i slovo B, to u posmatranom sluaju predstavlja neupotrebljivu informaciju, koju sa druge strane moemo tumaiti i kao nemogunost mree da prepozna zadato slovo).3.1.2 Backpropagation learning algoritamNajee koriteni algoritam obuke za vieslojne neuronske mree sa prostiranjem signala unapred(vieslojni perceptron). Pomou ovog algoritma se vri mapiranje, odnosno uspostavljanje veze izmeu ulaznih i izlaznih podataka skupa za obuku. Vieslojne neuronskih mrea obuena ovim algoritmom je sposobna da aproksimira funkcije sa visokim stepenom nelinearnosti.

Slika 6. - Backpropagation learning algoritamZato Backpropagation learning algoritama: Vei broj slojeva predstavlja problem tokom obuke; Obukom se vri korekcija teina sinapsi koje povezuju neurone na svim slojevima, pa i skrivenim; Korekcija teina se vri na osnovu greke izlaza neurona; Lako odreivanj greke izlaza neurona skrivenog sloja.Obuka vieslojnih neuronskih mrea Backpropagation learning algoritama je iterativni postupak koji je jednostavan za primenu na raunaru. Backpropagation learning algoritama koristi dva skupa podataka: Xk skup ulaznih podataka , Tk Skup eljenih izlazaAktuelna vrednost izlaza (Ok) zavisi od teina sinapsi svih neurona u mrei. Greka izlaza (Ek = ) takoe zavisi od teina sinapsi svih neurona u mrei. Cilj obuke je odrediti skup teina sinapsi vieslojnih neuronskih mrea za koji e greka izlaza biti minimalna. Brzina i tanost procesa obuke zavisi od faktora korak uenja.

Pre poetka obuke potrebno je odrediti ili usvojiti: Obuavajui skup(skup ulaznih i izlaznih podataka); Vrednost koraka uenja; Kriterijum za prekid algoritma; Nain korekcije teina sinapsi; Aktivacionu funkciju(najea nelinearnost je sigmoida); Inicijalne vrednosti teina sinapsi(obino mali sluajni brojevi).

Nakon ovoga poinje proces obuke. Vektor ulaznih podataka Xk se prenosi kroz vieslojne neuronske mree od ulaza ka izlazu, a greka E od izlaza ka ulazu.3.2 Delimino nadgledano obuavanje

Delimino nadgledano obuavanje funkcionie tako to maina ui samostalno, a povremeno dobija ocenu prethodnog rada. Neuronska mrea izvrava neke akcije koje ekaju povratnu informaciju iz okruenja. U zavisnosti od toga da li je akcija dobra(nagraivanje) ili loa(kanjavanje) neuronska mrea samostalno na osnovu akcije prilagoava parametre. Generalno prilagoavanje parametara traje sve dok postoji potreba za akcijom.

Primer ovakve mree je mrea koja balansira tap. Dok je tap uspravan sve je u redu, ali kada tap padne, mrea treba da koriguje ponaanje da bi tap ostao uspravan. Slian sluaj je i sa partijom aha. Ukoliko je partija izgubljena znai da je dolo do greke, ali se ne zna u kome trenutku je povuen pogrean potez, niti koji je potez doveo do gubitka partije.

Slika 7. Delimino nadgledano obuavanje

3.3 Nenadgledano obuavanje - Unsupervised training

U nenadgledanom uenju mrea je nezavisna. Pri obuavanju se predstavljaju samo ulazni podaci koje neuronske mree pokuava da generalizuje i uoi zajednike osobine. Predstavnik: Kohonenove samoorganizujue mape.

Posmatrajmo primer jednoslojne neuronske mree sa N neurona i sa dva ulaza, pri emuulaze tumaimo kao koordinate take u ravni. Ukoliko ulazni podaci (take) u razmatranomsluaju ispoljavaju osobinu grupisanja u odgovarajuim regionima posmatrane ravni, tada se od neuronske mree moe traiti da otkrije kojoj grupi (kategoriji) pripada proizvoljni ulaznipodatak. U idealnom sluaju broj kategorija je poznat i jednak broju neurona N.Postupak obuavanja neuronske mree svodi se na odabir neurona sa najveim izlazom i modifikacijunjegovih koeficijenata na sledei nain:

Wnovo Izlazno stanje neuronske mreeWstaro Ulazno stranje neuronske mreeok Izlaz neuronske mreedk eljeni izlaz neuronske mreeXT Norma vektora - Koeficijent uenja

Nakon odreenog vremena treniranja moe se doi do situacije da svaki od neurona prepoz-naje jednu od kategorija ulaznog signala. Ukoliko postoje nekategorisani ulazni signali, velikaje verovatnoa da je loe procenjen broj kategorija N i u tom sluaju treba uveati brojneurona u mrei i nastaviti sa obuavanjem. Situaciju kada su dva neurona prilagoena istojkategoriji ulaznih signala prepoznajemo po tome to e izlazi iz tih neurona biti identini (iliveoma slini). U toj situaciji bilo bi potrebno eliminisati jedan od neurona jer je posmatranakategorija ve obraena sa drugim neuronom. Primenom navedenih pravila moemo eliminisati pretpostavku o poznatom broju kategorija N.

Slika 8. Nenadgledano obuavanjeA) Feedback mree 1. Aditivna Grossbergova - Additive Grossberg (AG) 2. Grossbergova sa odlaganjem - Shunting Grossberg (SG) 3. Teorija binarne adaptivne rezonancije - Binary Adaptive Resonance Theory (ART1) 4. Teorija analogne adaptivne rezonancije - Analog Adaptive Resonance Theory (ART2, ART2a) 5. Diskretna Hopfildova - Discrete Hopfield (DH) 6. Kontinualna Hopfildova - Continuous Hopfield (CH) 7. Diskretna bidirekciona asocijativna memorija - Discrete Bidirectional Associative Memory (BAM) 8. Privremena asocijativna memorija - Temporal Associative Memory (TAM) 9. Adaptivna bidirekciona asocijativna memorija - Adaptive Bidirectional Associative Memory (ABAM) 10. Kohenove samoorganizujue mape - Kohonen Self-organizing Map/Topology-preserving map (SOM/TPM) 11. Kompetitivno uenje - Competitive learningB) Feedforward - mree: 1. Matrice sa mogunou uenja- Learning Matrix (LM) 2. Pobueno-primorano uenje - Driver-Reinforcement Learning (DR) 3. Linearna asocijativna memorija - Linear Associative Memory (LAM) 4. Optimalna linearna asocijativna memorija - Optimal Linear Associative Memory (OLAM) 5. Slabo rasporeena distribuirana asocijativna memorija - Sparse Distributed Associative Memory (SDM) 6. Fuzzy ascocijativna memorija - Fuzzy Associative Memory (FAM) 7. Counterpropagation (CPN)4. Program za prepoznavanje irilinih slovaKratak opis:Program za prepoznavanje irilinih slova. Za prepoznavanje slova program koristi neuronske mree sa backpropagation algoritmom obuavanja. Program je raen kao pratei materijal za magistarski rad "Obuavanje neuronskih mrea za prepoznavanje irilinih slova".Programski jezik: Delphi 5Operativni sistem: Windows 95, 98, NTDatum izrade: Avgust, 1999Autor: Velibor Ili

Slika 9. Program OCR V1.1Problemi prepoznavanja slovaPrilikom prepoznavanja slova karakteristini su sledei problemi: Slova razliite veliine Ista slova razliitog izgleda Problem spojenih slova Problem oteenih slova Problem odreivanja kraja reiSlova razliite veliineU tekstu se esto javljaju slova razliite veliine. Na primer, naslovi su vei od ostalog teksta, a i sam tekst ne mora biti uvek iste veliine. ovek bez problema moe da ita slova razliite veliine, dok je raunaru neophodno da ulaz bude standardizovan tj. konstantne veliine, za koju je obuavana neuronska mrea. Problem razliitih veliina slova se reava skaliranjem izdvojenih slova.

Slika 10. Izged OCR V1.1 programa

Slika 11. Opcije OCR V1.1 programa

Slika 12. Uvoz slike u .bmp formatu koja slui za prepoznavanje programa

Slika 13. Izgled slova koja se nalaze na .bmp slici

Slika 14. Odaberi slovo, opcija programa koja ima za cilj da naui mreu stvarima koja do sada nije znalaProzor odaber slovo slui da bi se otklonile greke i program OCR nauio nekim stvarima koje do sada nije znao. Na primeru sa Slike . vidimo da se javila situacija u kojoj se u programu javlja greka koja je u prethodnom delu teksta opisana a to je zavretak reenice. Program nas sada pita da prepoznamo ovo slovo. Odabirom slova sa panela definiemo programu o kojim slovima se radi. Ako stisnemo na dugme Learn dali smo zadatak mrei da ovaj parametar memorie i da ukoliko doe do indetine greke mrea postupi po memorisanom parametru. Program takoe ima problema sa nepotpunim slovima, spojenim slovima itd. Na ovaj nain definiemo programu kako da postupa u njemu nepoznatim situacijama.5. Primena neuronskih mreaU poetku neuronske mree su se koristile da bi naunici raunarskih i kongitivnih nauka pokuali da modeliraju ulni sistem ivih organizama.Danas neuronske mree predstavljaju veoma atraktivnu oblast istraivanja i postoje brojne oblasti u kojima se koriste. Primenu neuronskih mrea je mogue podeliti na tri karakteristine oblasti: procesiranje senzorskih informacija; analiza podataka; kontrola upravljanja.Neuronske mree se primenjuju: prepoznavanje oblika; prepoznavanje govora; prepoznavanje rukopisa; predvianja kretanja cena na tritu; upravljanje sistemima; upravljanje proizvodnim procesima; analiza elektrinih kola; psihijatriske procene; kompresovanje podataka; naftna istraivanja; kriminoloka istraivanja; analiza medicinskih testova; ispitivanje EEG i EKG signala; pronalaenje optimalnog reenja; uravljanje robotima; bioraunarskim sistemima; meterolokim proraunavanjima; predvianja na berzi; filtriranje uma u signal;i u jo mnogim drugim oblastima.

6. Referencehttp://www.crnarupa.singidunum.ac.rs/ARHIVA/Master/Master%20studije/Master%202008%20Inteligentni%20sistemi%20-%20Prof.%20Dr.%20Milosavljevic/NEURONSKE%20MRE%C5%BDE_predavanja.pdfhttp://solair.eunet.rs/~ilicv/neuro.htmlhttp://ccd.uns.ac.rs/aus/miss/miss_doc/Predavanja/L1%20Neuronske%20mreze.pdfhttp://www.cet.rs/CETcitaliste/CitalisteTekstovi/289.pdfhttp://www.rastko.rs/cms/files/books/4f5a3421cabdehttp://www.rastko.rs/projekti/cirilica2/net-cirilica2002/vilic.pdfhttp://www.learnartificialneuralnetworks.com/http://en.wikipedia.org/wiki/Artificial_neural_network#Unsupervised_learning

Text

Text

X1

X2

Text

W11

Text

Text

I1

Text

W

Text

Text

W

Text

W