RAUNANJE I RAUNARI

.

Predmet: Interakcija ovek raunarTema: Neuronske mree i njihova primena Mentor:Student:

dr Danijela Miloevi Nikola Ostoji, 885/2012

Sadraj41. UVOD

52. ISTORIJSKI RAZVOJ NEURONSKIH MREA

73. DEFINICIJA I PODELA NEURONSKIH MREA

94. UPOREDNI PRIKAZ BIOLOKIH I VETAKIH NEURONSKIH MREA

94.1 Bioloke neuronske mree

104.2 Vetake neuronske mree

114.2.1 Priprema baze podataka

124.2.2 Uenje (treniranje) neuronske mree

144.2.3 Testiranje neuronske mree

144.2.4 Procena izlaznih rezultata

155. PRIMENA NEURONSKIH MREA

165.1 Primena neuronskih mrea za kompresiju slike

205.2 Prepoznavanje irilinih slova bazirano na upotrebi neuronskih mrea

215.2.1 Problemi prepoznavanja slova

215.2.2 OCR softver za prepoznavanje teksta

235.2.3 Konfiguracija neuronske mree u programu za prepoznavanje irilinih slova

245.2.4 OCR softver za prepoznavanje irilinih slova

275.3 Upotreba neuronskih mrea u detekciji lica na slikama

285.3.1 Problem detekcije lica

305.3.2 Skup za obuavanje

315.3.3 Struktura mree

325.3.4 Rezultati

335.4 Primena neuronskih mrea u medicini

345.4.1 Elektronski nos

355.5 Neuronske mree i upravljanje robotima

375.5.1 NOMAD robot koji razmilja

375.6 Primena neuronskih mrea u berzanskom poslovanju

395.7 Primena neuronskih mrea u raunarskim igrama

415.7.1 Neuronske mree u predvianju igre iks oks

425.8 Neuronske mree i problem trgovakog putnika (TSP)

445.9 Neuronske mree i umetnost

445.10 Pepoznavanje saobraajnih znakova

465.11 ALVINN (Autonomus Land Vehicle In a Neural Network)

485.12 Google pretraga neuronske mree

496. ZAKLJUAK

507. LITERATURA

UVOD

Neuronske mree predstavljaju novu generaciju sistema za analizu (obradu) informacija, a karakterie ih mogunost uenja, pamenja i generalizovanja na osnovu prethodno pripremljenih baza podataka uz pomo kojih se treniraju.

Primena neuronskih mrea, kao relativno novog alata raunarske tehnologije, u dananje vreme sve vie dobija na znaaju u svim segmentima ljudskog delovanja.

Uz definisanje neuronskih mrea u ovom radu je opisan i nain njihovog funkcionisanja. U dananje vreme neuronske mree se razvijaju i koriste u sklopu gotovih raunarskih programa koji ne nude razumljiv odnos vanih promenljivih unutar strukture samog programa, ve se mogu opisati kao "crna kutija" gde su odnosi izmeu promenljivih skriveni unutar strukture same neuronske mree. U skladu s navedenim, u radu je izdvojen i opis osnovnih osobina neuronskih mrea s obzirom na nain njihovog rada u sklopu kojega su opisana osnovna etiri procesa svake neuronske mree: priprema baze podataka, uenje (treniranje) mree, testiranje mree i procena izlaznih rezultata.ISTORIJSKI RAZVOJ NEURONSKIH MREA

Pedesetih godina prolog veka na konferenciji Dartmouth Summer Research Project, kao jedna od grana vetake inteligencije, profilisalo se neuronsko raunarstvo. Na toj konferenciji je najavljeno ostvarivanje vizije raunarskog modela koji bi mogao u nekim temeljnim principima oponaati funkcionisanje mozga. Pojavljivanje neuronskog raunarstva je odgovor Von Neumannovim raunarima, nastojei ostvariti ili simulirati uporednu obradu informacija koju koristi ljudski mozak dok se sea, razmilja, reava probleme itd.Neki vrlo vani dogaaji za razvoj neuronskih mrea:

1943. Pitts i Mulock su prvi dokazali da neuroni mogu imati dva stanja (umirujue i pobuujue) kao i da njihova aktivnost zavisi od odreene vrednosne granice. Ti dokazi su bili temelj za razvoj neuronskih mrea.

1949. Hebb je dao predlog za pravilo kojim se opisuje proces uenja (Hebbovo pravilo).

1956. Rochester i grupa autora predstavljaju prvu simulaciju Hebbovog modela na Dartmouth Summer Conference, koji je kolijevka modela neuronskih mrea.

1958. prva neuronska mrea Perceptron, koju je razvio Frank Rosenblatt, u kojoj se uenje razvija u dva sloja, nije mogla reavati probleme klasifikacije koji nisu bili linearno deljivi (npr. XOR problem).

1969. Minsky i Papert objavljuju rad u kojem otro kritikuju nedostatke Perceptrona to dovodi do prekida ulaganja u razvoj neuronskih mrea.

1974. i pored slabih ulaganja Paul Werbos je razvio vieslojnu Perceptron mreu MLP, prvu verziju Backpropagation mree koja prevladava nedostatak Perceptrona uvoenjem uenja u skrivenom sloju.

1986. Rumelhart, Hinton i Williams usavravaju Backpropagation mreu koja vraa ugled neuronskim mreama jer omoguuje aproksimiranje gotovo svih funkcija i reavanje praktinih problema.Usavravanje Backpropagation mree dovodi do potpunog naunog i komercijalnog svetskog interesa za neuronske mree ija je primena i danas mnogostruka i koristi se u mnogim podrujima ljudskog delovanja i u industriji. Postoje i drugi algoritmi razvijeni za neuronske mree.

DEFINICIJA I PODELA NEURONSKIH MREA

Neuronske mree (engl. Neural Networks) zauzimaju posebnu celinu unutar sveobuhvatnog podruja vetake inteligencije. Mogu se opisati kao matematiki modeli kojima se oponaa rad neurona ljudskog mozga, odnosno osobine biolokih nervnih sistema. Drugim reima, neuronske mree u procesu reavanja odgovarajueg problema oponaaju misaoni kd ljudskog mozga.Neuronske mree se sastoje od velikog broja meusobno povezanih elementarnih jedinica koje se nazivaju neuronima, a po svojoj funkciji oponaaju bioloke neurone. Neuroni su meusobno povezani vezama koje sadre propusne (teinske) koeficijente. Veze koje povezuju neurone u svojoj osnovi se sline sinapsama kod biolokih neuronskih mrea.Za razliku od sistema baziranim na pravilima, rad neuronskih mrea zasnovan je na postojeim primerima (prototipovima) integrisanim unutar jedinstvene baze znanja. Pri tome se neuronske mree u postupku zakljuivanja i definisanja izlaznih vrednosti umesto dedukcije koriste procesom analognog zakljuivanja.Neuronske mree funkcioniu na nain zapaanja i uenja odreenih odnosa unutar baze raspoloivih podataka. Razvojem sofisticiranih matematikih algoritama i njihovom integracijom unutar strukture neuronskih mrea, one imaju mogunost percipiranja izuzetno sloenih odnosa unutar irokog skupa podataka. Odnosi se mogu definisati kao obrasci ili pravila koji povezuju ulazni skup podataka sa vrednostima definisanim u obliku izlaznih rezultata. Na osnovu nauenih pravila neuronske mree pruaju mogunost naknadne ekstrapolacije procenjenih izlaznih vrednosti za novi skup ulaznih podataka.Problemi pri ijem se reavanju uspeno primenjuju neuronske mree mogu se kategorizovti u dve osnovne grupe: klasifikacioni problemi,

numeriki problemi

Prvu grupu opisuje problematika kod koje su nastojanja usmerena na definisanje kategorije kojoj pripada nepoznata veliina, prethodno opisana skupom ulaznih podataka. Neuronske mree su izuzetno korisni alati posebno pri reavanju klasifikacionih problema velike sloenosti i teine, pri kojima je ostale metode poput stabla odluivanja, metoda indukcije i sl. teko ili nemogue primeniti. Primeri iz prakse obuhvataju postavljanje dijagnoza pri pregledu i leenju pacijenata, procene kreditne sposobnosti graana, procene trokova i dr.Numeriki problemi se odnose na situacije kod kojih je u odnosu na skup ulaznih podataka potrebno nainiti procenu izlazne vrednosti u numerikom obliku. U praksi se numeriki problemi javljaju u gotovo svakom segmentu ljudskih delatnosti. Meutim, primena neuronskih mrea najee je vezana za analizu velikih numerikih baza podataka (nelinearna regresija, statistika obrada, analiza vremenskih serija, analiza signala).Klasifikacija neuronskih mrea moe se sprovesti u odnosu na veliki broju relevantnih parametara. Obino se klasifikacija neuronskih mrea moe sprovesti u odnosu na: broj slojeva,

vrstu veza izmeu neurona,

nain uenja,

smer irenja informacija,

vrstu podataka.UPOREDNI PRIKAZ BIOLOKIH I VETAKIH NEURONSKIH MREAIako su neuronske mree nastale po uzoru na bioloke, ova dva modela se u nekim karakteristikama razlikuju.

1.1 Bioloke neuronske mreeBioloka neuronska mrea je vrlo sloena. Sastoji se od tela, aksona i mnotva dendrita koji okruuju telo neurona. Akson je tanka cevica koja s jedne strane sadri telo neurona, a s druge strane se deli na mnotvo grana. Na krajevima tih grana nalaze se zadebljanja koja dodiruju dendrite, a ponekad i telo drugog neurona. Sinapsa je razmak izmeu zavretka aksona prethodnog neurona i dendrita ili tela sledeeg neurona. Dendriti su produeci staninog tela, vrlo su tanki u odnosu na veliinu tela stanice i funkcija im je prikupljanje informacija.Bioloke neuronske mree su sastavni deo oveka iji se mozak sastoji od 100 milijardi neurona, a zaslune su za izvoenje veoma vanih funkcija kao to su razmiljanje, uenje, emocije, percepcija, motorika itd.

Iako se funkcija neuronskih mrea istrauje ve dugi niz godina, brojni procesi, kao i njihov nain rada, ljudskom umu jo uvek nisu u potpunosti razumljivi.

Slika 1. Prikaz biolokog neurona1.2 Vetake neuronske mreeNeuronske mree u okvirima vetake inteligencije i primenjenog matematikog modeliranja imaju slinu strukturu kao i bioloke neuronske mree, ali u znatno pojednostavljenom obliku (slika 2). Neuroni su meusobno povezani vezama koje sadre propusne (teinske) koeficijente, a po funkciji su slini sinapsama kod biolokih neurona. Pri izradi matematikog modela neuronske mree zanemaruju se brojni faktori iji se uticaji ne smatraju presudnim, poput: prostornog oblika dendrita i aksona,

moguih uinaka pozicije sinapse na dendrite,

umora koji se pojavljuje kod biolokih neurona nakon odailjanja signala,

injenice da bioloki neuroni u odnosu na vlastitu aktivnost mogu samo imati ili pobuene (pozitivne teine) ili nepobuene (negativne teine) izlaze.

Slika 2. Model vetakog neurona

Svaka neuronska mrea sastoji se od veeg broja strukturnih procesnih jedinica neurona (slika 3). Osnovna funkcija ovih procesnih jedinica je prikupljanje informacija od susednih jedinica, usklaivanje unutranjeg nivoa aktivacije, proraun i prosleivanje izlaza daljim jedinicama. Nad svakom procesnom jedinicom izvodi se ogranieni broj jednostavnih operacija. Procesne jedinice se radi jednostavnijeg i breg sprovoenja algoritamskih funkcija organizuju u slojeve (engl. Slab).

Slika 3. Procesna jedinica neuron Propagacija, odnosno irenje ulaznog signala odvija se preko ulaznih veza i ponderie se u skladu sa njegovim teinskim vrednostima pa se na taj nain prikupljaju informacije od susednih neurona. Drugim reima, ulazno-izlazne veze izmeu neurona koje se nazivaju teinama (), mogu se prilagoditi tako da pri odreenom stimulansu ulaza rezultuju odreenom vrednou izlaza, odnosno da izlaz mree prepoznaje predoeni uzorak ulaznih vrednosti i reprodukuje ga u poznatu vrednost. Pri tome se stimulans ulaza () mnoi sa pripadajuim vrednostima teina () pa se njihova suma procesira unutar neurona i podvrgava funkciji aktivacije:

(1)

(2)

Funkcija aktivacije normalizuje izlazne vrednosti u intervalu (0,1) i uglavnom se nalazi u obliku:

a) linearne funkcije (3)b) sigmoidne funkcije (4)c) tangens hiperbolike funkcije (5)d) Gausove funkcije (6)

e) komplementarno Gausove funkcije (7)f) simetrino sigmoidne funkcije (8)

1.2.1 Priprema baze podatakaStruktura baze podataka koja se koristi za uenje (treniranje) i testiranje neuronske mree sastoji se od skupa podataka koji sainjavaju promenljive i scenariji. Promenljive su selektovane po kolonama, gde svaka kolona predstavlja skup vrednosti jedne promenljive karakteristine za svaki pojedinani scenario. Svaka vrsta unutar baze podataka predstavlja jedan scenario koji se sastoji od veeg broja nezavisnih promenljivih sa pripadajuim vrednostima i najee jedne zavisne promenljive. Pritom su u prvoj vrsti definisana imena promenljivih, a ostale vrste predstavljaju razliite scenarije. Vrednost zavisne promenljive moe biti prethodno definisana pa na osnovu nje neuronska mrea sprovodi postupak uenja (treniranja) i testiranja. Ako je zavisna promenljiva nepoznata, tada je neuronska mrea prepoznaje kao takvu i u postupku procene definie njenu izlaznu vrednost.1.2.2 Uenje (treniranje) neuronske mreeProces uenja (treniranja) jedan je od najvanijih elemenata neuronske mree. Uenjem neuronska mrea uoava i pamti odreene zakonitosti (obrasce ili pravila) unutar velikog skupa raspoloivih podataka (scenarija). Pri tome ulazna baza podataka mora za veliki broj scenarija imati definisane zavisne promenljive na osnovu ijih vrednosti neuronska mrea pamti odreene zakonitosti i donosi nove odluke u naknadnom procesu procene izlaznih rezultata za novodefinisane scenarije. Sam proces uenja u osnovi podrazumeva optimalizaciju teinskih faktora u vezama izmeu neurona pa je relativno spor i zahtevan proces. Za svaku odabranu arhitekturu mree potrebno je definisati kriterijume uenja i odrediti trenutak prestanka treniranja mree, odnosno definisati parametre prilagoavanja teinskih faktora u vezama izmeu neurona. Baza podataka raspoloiva za treniranje mree obuhvata vei deo (80-90 %) iz celokupne raspoloive baze podataka ulaznih vrednosti. Preostali manji dio (10-20 %) koristi se kao uzorak za testiranje mree.Uenje je automatizovani proces unutar same strukture neuronske mree definisan prethodnim odabirom algoritma uenja. Najee primenjivani algoritam uenja je onaj s povratnom propagacijom greke (engl. Back propagation) u ematskom obliku prikazan na slici 4. Algoritam s povratnom propagacijom je osnovni algoritam uenja nadziranih neuronskih mrea i sastavni je deo gotovo svakog komercijalnog oblika neuronskih mrea.

Slika 4. matski prikaz neuronske mree s povratnom propagacijom greke

Algoritam uenja s povratnom propagacijom greke koristi princip rada nazvan generalizovano delta pravilo (engl. Generalized Delta Rule). U ulaznom sloju bira se sluajni niz poetnih teina u vezama neurona tako da se proizvodi izlaz iju vrednost mrea zatim uporeuje s vrednou eljenog izlaza, tj. uzorkom izlazne vrednosti pomou kojeg se mrea ui (skup podataka za treniranje mree). U sluaju odstupanja dobijene vrednosti od oekivane, mrea automatski prilagoava teine u vezama pa na taj nain smanjuje veliinu odstupanja izlazne vrednosti od oekivane. Proces uenja se uopteno zavrava uspostavljanjem adekvatnih teina u vezama. Kada se za svaki scenario ulaznih vrednosti na osnovu kojih mrea ui ostvari neznatna veliina odstupanja izlaznog rezultata, proces uenja se prekida, a mrea je spremna za testiranje sa novim uzorcima. Postupak uenja neuronske mree s povratnom propagacijom greke slikovito je u najjednostavnijem obliku prikazan na slici 5.

Slika 5. Postupak treniranja neuronske mree1.2.3 Testiranje neuronske mreePostupak testiranja sprovodi se s ciljem utvrivanja stepena greke prethodno trenirane neuronske mree pri definisanju izlaznih rezultata. Drugim reima, testiranjem se proverava u kojoj mjeri neuronska mrea rezultira zadovoljavajuim procenama izlazne vrednosti.Uzorak podataka predvien za testiranje uzima se iz ulazne baze podataka sa poznatim vrednostima zavisne promenljive. Pri tome je vano da je on prethodno izdvojen iz skupa uzoraka na osnovu kojih je sprovedeno treniranje mree. Najee se veliina od 10-20 % uzoraka (scenarija) iz ulazne baze podataka koristi kao uzorak za testiranje. Postupak testiranja mree znatno je bri od postupka treniranja. Rezultate sprovedenog postupka testiranja mree mogue je, u zavisnosti od upotrebljenog raunarskog programa (NeuroShell, NeuralTools i dr.), dobiti u obliku statistike analize, ime se dobija uvid moe li trenirana mrea posluiti (i u kojoj meri) za procene novih scenarija s nepoznatim veliinama zavisne promenljive.1.2.4 Procena izlaznih rezultataProcene izlaznih rezultata odnose se na definisanje nepoznatih veliina zavisne promenljive za novi skup ulaznih podataka, odnosno za novodefinisane scenarije. Procene izlaznih rezultata predstavljaju poslednji korak u primeni opisane neuronske mree. Procene se vre uz odabir prethodno trenirane mree. Mogue je odabrati razliito trenirane mree pa zatim proveriti kako e se mijenjati izlazna vrednost. Pritom je mogue odabrati razliite naine procene izlaznih rezultata. Osnovni nain se odnosi na procene izlaznih rezultata za skup prethodno definisanih scenarija kojima je veliina zavisne promenljive nepoznata.OSNOVNE PRIMENE NEURONSKIH MREA

Za kompresiju slike pomou neuronskih mrea moemo kompresovati i dekompresovati slike u realnom vremenu. To znai da se na taj nain vri svoenje zapisa o slici na manje podataka ime e neuronska mrea izvriti rekonstrukciju ostalih podataka. Ipak, prilikom rekonstrukcije se javljaju gubici, tako da se ovoj primeni i ne posveuje neka naroita panja, tako da se ee koriste standardni naini kompresije slika.Za kontrolu procesa za ovo podruje postoji veliki interes. U ovom sluaju prednost neuronskih mrea je njihova fleksibilnost, odnosno mogunost pronalaenja adekvatnih reenja na osnovu nepotpunih podataka. Mree se treniraju tako to im se omogui da posmatraju rad sistema. Jednom uvebana mrea moe uspjeno kontrolisati sistem ak i u uslovima kada postoje odreeni problemi. Ovu vrstu primene neuronskih mrea moemo pronai u naftnoj industriji, distribuciji elektrine energije, a ak se testira i za kontrolu aviona.Za obradu signala ova metoda je pogodna za smanjenje uma u izoblienim elektrinim signalima, kao i za razdvajanje signala iz viesignalnog prenosa, zatim za uklanjanje uma u telefonskim linijama, za otkrivanje neuspelog paljenja motora i to na temelju uma itd.Za obradu govora koriste se za obradu prirodnog govora, zatim za prevoenje teksta u govor, davanje instrukcija raunarima uz pomo glasovnih naredbi, zatim za automatsko prevoenje, sigurnosne sisteme sa glasovnom identifikacijom, za pomo gluvim osobama i osobama koje su fiziki nepokretne itd. Problem koji se ovde javlja je taj to veina neuronskih mrea moe adekvatno prepoznati govor samo one osobe koja ju je trenirala, a itada je koliina rei koju moe prepoznati ograniena.

Za optimizaciju procesa koriste se za posmatranje rada nekog sistema. Nakon toga mrei zadajemo eljeno zavrno stanje, pa ona optimizuje odvijanje procesa kako bi se postiglo eljeno stanje. Primer je optimizacija rada motora kod automobila kao bi se utedelo na potronji goriva. Za poslovne primene najee se ovakav nain koristi za finansijske institucije, a takoe se moe kristiti i u marketinke svrhe. Finansijske institucije poput banaka koriste neuronske mree za procenu rizika pruanja usluga svojim klijentima, dok se u marketinke svrhe najee koriste za procenu u koje doba dana trea zvati koje brojeve telefona kako bi se najbolje mogao izreklamirati neki proizvod kako bi se isti najbolje prodao.

Za prepoznavanje uzorka najee se primenjuje u vojne svrhe kako bi se prepoznale mete, i u medicinske svrhe za analizu brisa, zatim za procenjivanje retkih novia, kontrole kvaliteta, detekcije eksplozivnih naprava u prtljagu i slino, a sve se to dobija primenom procesiranja slike putem senzora.Za prepoznavanje znakova ovo podruje primene je ve uveliko komercijalizovano. U praksi se pokazalo da ovakve mree rade na visokom nivou ispravnosti u pogledu prepoznavanja znakova ak i onih znakova koji nisu sluili kao primeri za treniranje mree. Ova metoda se najee primenjuje kod prepoznavanja istonjakih pisama. Za primenu u medicini najee se primenjuju za modelovanje delova ljudskog tela, npr. za modelovanje ljudskog kardiovaskularnog, nervnog, miinog ili nekog drugog sistema. Model se izrauje prema pojedincu tako da se na osnovu njega moe odrediti tok razvoja i nastanka bolesti. Moe see koristiti i za detekciju bolesti na osnovu analize rezultata dobijenih pomou raznih biomedicinskih senzora, zatim za uspostavljanje dijagnoze na osnovu simptoma, a jo jedna od vrlo zanimljivih primena je i razvoj elektronskog nosa koji se koristi u telemedicini, tj. Pomou koga se detektuju mirisi za vreme operacije, a podaci o mirisu se zatim alju strunjacima, koji telekomunikacionim putem uestvuju u operaciji.

1.3 Primena neuronskih mrea za kompresiju slikeKompjuterske slike sadre mnogo podataka odnosno detalja i zbog toga zahtevaju veliku koliinu memorije za skladitenje. Korienjem tehnike kompresije podataka, mogue je ukloniti neke od vika podataka sadranih u slikama ime se ispunjavaju zahtevi manjeg prostora za skladitenje i kraeg vremena za prenos. Poto su neuronske mree u mogunosti da prihvate ogroman niz podataka na ulazu odjednom, i da ih brzo obrade, one se koriste u kompresiji slike.

Slika 6. Bottleneck tip arhitekture neuronske mree za kompresiju slike

Na prethodnoj slici je prikazana arhitektura neuronske mree pogodna za reavanje problema kompresije slike. Ovaj tip strukture se naziva Bottleneck (usko grlo) tip arhitekture neuronske mree, i sastoji se od ulaznog sloja i izlaznog sloja iste veliine i sa srednjim slojem koji je manje veliine i nalazi se izmeu ulaznog i izlaznog sloja. Odnos veliine ulaznog sloja i srednjeg sloja je kompresioni odnos. Ideja je sledee: pretpostavimo da je neuronska mrea prikazana iznad obuena da implementira mapu identiteta na osnovu ulaznih podataka. Zatim e se mala slika predstavljena neuronskoj mrei kao ualaz, pojaviti na izlaznom sloju u istom obliku.

Slika 7. Bottleneck arhitektura neuronske mree za kompresiju slike realizovana preko komunikacione mree

Na prethodnoj slici je prikazana identina ema neuronske mree za kompresiju slike koja je podeljena na dva dela. Predajnik kodira i onda prenosi izlaz skrivenom sloju (samo 16 vrednosti u odnosu na 64 vrednosti originalne slike), a prijemnik prima i dekodira 16 skrivenih izlaza i generie 64 izlaza. Poto mrea implementira mapu identiteta, izlaz na prijemniku je tana rekonstrukcija originalne slike. Jedan piksel, koj se sastoji od 8 bita, se ubacuje u svaki ulazni vor u nadi da ce se na izlazu dobiti isti piksel nakon to doe do kompresije slike. Tj., mi elimo da mrea obavlja funkciju istovetnosti.

Zapravo, iako se kod bottleneck neuronske mree podaci sa 64 vora na ulazu prenose na samo 16 vorova u skrivenom sloju, do stvarne kompresije ipak ne dolazi jer za razliku od prvobitna 64 ulaza u neuronsku mreu koji su ustvari 8-bitne vrednosti piksela, izlazi iz skrivenog sloja su stvarne decimalne vrednosti izmeu -1 i 1, ime je mogue preneti i beskonaan broj bitova. Prava kompresija slike se javlja nakon to se izlazi iz skrivenog sloja kvantizuju pre prenosa. Na slici ispod je prikazana tipina ema kvantizacije koristei 3 bita za kodiranje svakog ulaza. U ovom sluaju postoji 8 moguih binarnih kodova koji mogu biti formirani: 000, 001, 010, 011, 100, 101, 110, 111. Svaki od ovih kodova predstavlja opseg vrednosti na izlazu skrivenog sloja. Na primer, razmotrimo prvi izlaz iz skrivenog sloja. Kada je vrednost izlaza izmeu -1.0 i -0.75, prenosi se kod 000; kada je izmeu 0.25 i 0.5, prenosi se 101. Da bi smo izraunali iznos kompresije slike (mereno u bitima po pikselu) za ovaj nivo kvantizacije, potrebno je nai odnos ukupan broj bitova koji se prenose : ukupan broj pikesela originalne slike: 64. Dakle slika je kompresovana sa 64 piksela*8 bita svaki = 512 bita na 16 skrivenih vrednosti * 3 = 48 bita. Odatle sledi da je kompresovana slika oko 1/10 veliine originalne slike.

Slika 8. Kvantizacija izlaza skrivenog sloja

Kao to vidimo, ova ema kodiranja nije bez gubitaka, originalna slika ne moe biti vraena jer su informacije izgubljene u procesu kvantizacije. Ipak ona moe da proizvede veoma dobre rezultate kao to je prikazano na slici ispod.

Slika 9. Originalna i rekonstruisana slika

Za proces treniranja bottleneck neuronske mree koristi se slika za treniranje veliine 256x256 piksela i na taj nain neuronska mrea ui mapu identiteta. Ulazno izlazni parovi za obuku neuronske mree se dobijaju sa slike koja se koristi za treniranje izdvajanjem malih delova, veliine 8x8 na nasuminim lokacijama na slici.Najlaki nain da se izdvoji ovaj sluajni uzorak iz slike je da se generie par sluajnih brojeva koji e predstavljati koordinate gornjeg levog ugla izdvojenog uzorka. U naem sluaju biramo nasumine brojeve i i j, svaki izmu 0 i 248, i onda svaki par (i,j) predstavlja koordinate gornjeg levog ugla izdvojenog uzorka za treniranje. Vrednosti svakog od piksela sa uzorka koji je izdvojen sa slike se alju (s leva na desno, odozgo na dole) da bi se izgradio 64 dimenzionalni ulaz u neuronsku mreu kao to je prikazano na slici 10. Poto je cilj da mrea naui mapu identinosti, eljene vrednosti na izlazu za konstruisane ulazne vrednosti su same ulazne vrednosti, pa se prema tome par za obuku koristi za usklaivanje teina neuronske mree.

Slika 10. Formiranje ulaza u neuronsku mreuKada se zavri treniranje neuronske mree, kompresija slike se demonstrira u recall fazi. U ovom sluaju na ulaz neuronske mree se opet dovode delovi slike veliine 8x8 piksela, ali se sada umesto nasuminog izbora, oni biraju redom s leva na desno, odozgo na dole. Za svaki takav deo veliine 8x8 piksela moe se izraunati izlaz iz mree koji se prikazuje na ekranu kako bi se mogao vizuelno posmatrati rad neuronske mree za kompresiju slike. Na kraju moemo testirati koliko dobro mrea generalizuje podatke testiranjem na drugim slikama kao to je slika na dnu ekrana java apleta koji je razvijen za potrebe kompresovanja slike uz pomo neuronskih mrea. Ako rezultat testiranja nije dovoljno visokog kvaliteta moemo nastaviti da treniramo mreu.

Slika 11. Java aplet za kompresovanje slike korienjem neuronske mree1.4 Prepoznavanje irilinih slova bazirano na upotrebi neuronskih mreaProblem prepoznavanja oblika je ljudima veoma blizak; sa njime se sreu tokom celog ivota, poevi od najranijeg detinjstva. Prepoznavanje oblika nije uroena osobina nego se stie uenjem. Sposobnost prepoznavanja oblika ljudi razvijaju i usavravaju gotovo celog svog ivota. Do nedavno su samo ivi organizmi imali sposobnost prepoznavanja oblika. U poslednje vreme, zahvaljujui razvoju informacionih tehnologija i vetake inteligencije, ostvareni su konkretni rezultati u oblasti prepoznavanja oblika. Pod pojmom teorije prepoznavanja oblika podrazumevamo matematike metode, prvenstveno namenjene automatskom klasifikovanju (mainskom) konkretnih objekata. Teorija prepoznavanja oblika oslanja se uglavnom na upotrebu metoda vetake inteligencije kao to su: neuronske mree, fuzzy logika, ekspertni sistemi, matematika logika, statistike metode, itd.Problem prepoznavanja skeniranog teksta se moe svesti na problem prepoznavanja slova koja su sastavni delovi teksta. Za metode prepoznavanja slova se na engleskom jeziku koristi termin Optical Character Recognition (OCR).Softver za prepoznavanje teksta se koristi da bi se izbeglo prekucavanje teksta koji se nalazi na papirnim dokumentima radi kasnije obrade, korekcije ili memorisanja u elektronskom obliku. Na tritu se moe nai softver za prepoznavanje teksta kao to je Recognita Plus, TextBridge i OmniPage. Nedostatak ovih programa je u tome to su uglavnom namenjeni za prepoznavanje latininih slova.1.4.1 Problemi prepoznavanja slovaPrilikom prepoznavanja slova karakteristini su sledei problemi: Slova razliite veliine

Ista slova razliitog izgleda

Problem spojenih slova

Problem oteenih slova

Problem odreivanja kraja rei

1.4.2 OCR softver za prepoznavanje tekstaU daljem tekstu je opisan algoritam po kome radi OCR program za prepoznavanje teksta.Uitavanje slike predstavlja prvi korak u algoritmu prepoznavanja. Sa diska se uitava unapred pripremljena slika u bitmap formatu.

Slika 12. Algoritam za prepoznavanje slovaIzdvajanje slova iz slike da bi mogli da prepoznamo slovo, moramo ga izdvojiti od ostatka slike. Slova se izdvajaju jedno po jedno, odgovarajuim redosledom (sleva na desno i od gore prema dole), na isti nain kao to to ini ovek koji ita tekst. Izdvajanje slova iz slike je podeljeno u dve operacije.

Traenje jedne od taka narednog slova. Ova procedura analizira sliku i pronalazi koordinate take koja pripada sledeem slovu. Prilikom startovanja programa pretraga se poinje od gornjeg levog ugla slike (0,0).

Odreivanje najmanjeg pravougaonika u kome se nalazi kompletno slovo. Da bi smo mogli izdvojiti pojedinana slova iz skenirane slike potrebno je utvrditi koje sve take pripadaju datom slovu. Kada se prethodnom procedurom dobiju koordinate jedne od taaka koje pripadaju datom slovu, potrebno je odrediti najmanji pravougaonik koji obuhvata sve take datog slova.

U ovom programu se najmanji pravougaonik odreuje metodom koncentrinih krugova. Oko naene take se ispituju take koje okruuju naenu taku. Zatim se krugovi poveavaju dok se ne dobiju neobojene take sa sve etiri strane. Nedostatak ove metode je to ne moe da razdvoji slepljena slova a problemi se mogu javiti i kod ukoenih slova.Skaliranje se vri da bi program bio nezavisan od veliine slova. Skaliranjem se sva slova, bez obzira na veliinu, svode na matricu 12x12 kakva je koriena prilikom obuavanja neuronske mree.

Dovoenjem slova standardne veliine na ulaz neuronske mree, na izlazu se dobija trideset realnih brojeva u intervalu [0,1] koji predstavljaju verovatnou slova sa ulaza. Odabira se slovo sa najveom verovatnoom. Ukoliko je slovo na ulazu korektno prepoznato, na izlazu bi trebalo da se pojavi niz od trideset brojeva; pri emu bi jedan od izlaza imao vrednost jedan, dok bi ostali imali vrednost priblino nula. Redni broj izlaza koji ima vrednost jedan predstavlja redni broj slova u azbuci. U programu OCR neuronsku mreu moemo posmatrati kao crnu kutiju (nepoznatu sloenu logiku funkciju).

U narednom koraku se ispituje da li je verovatnoa prepoznavanja slova vea od granice tolerancije. Ukoliko jeste, slovo se dodaje prepoznatim slovima, a ukoliko nije pojavljuje se ekran na kome se prikazuje problematino slovo i omoguava korisniku da pokua da prepozna slovo i runo upie problematino slovo, koje se zatim pridruuje ostalim prepoznatim slovima.

Postupak se ponavlja sve dok se ne doe do poslednjeg slova na slici.

Prvobitno je zamiljeno da se izdvojeno slovo posle skaliranja stanji (pre proputanja kroz neuronsku mreu), da ivice slova budu debljine od jednog piksela, ali se kasnije odustalo od primene procedure stanjivanja, jer se stanjivanjem gubi vaan deo informacija koje je slovo nosilo pre stanjivanja slike.1.4.3 Konfiguracija neuronske mree u programu za prepoznavanje irilinih slovaProgram za prepoznavanje irilinih slova OCR koristi troslojnu neuronsku mreu koja ima sledeu konfiguraciju:

Troslojna neuronska mrea sa backpropagation algoritmom obuavanja

Broj neurona na ulaznom sloju (broj ulaza): 12x12 = 144

Broj neurona na srednjem sloju: 35

Broj neurona na izlaznom sloju (broj izlaza): 30

Broj primera kojima se mrea obuava: 1590 (30 slova u vie varijanti)

Trening skup kojim je obuavana neuronska mrea sastojao se od 1590 slova. Za obuavanje ove mree korieni su fontovi: Arial, Times New Roman i Courier New. Slova su pisana u oblicima normalno (Normal), ukoeno (Italic), i podebljano (Bold). Takoe su upotrebljene tri veliine fonta koje su zatim skaliranjem svedene na veliinu 12x12. Za sve tipove slova su koriena velika i mala slova.

Vreme potrebno za obuavanje mree iznosi 02:12:53 sati bez prekida na raunaru Celeron 333. Da bi se mrea obuila, bilo je potrebno 667 iteracija. Maksimalna greka je iznosila 0.098874 a prosena greka je iznosila 0.00573.1.4.4 OCR softver za prepoznavanje irilinih slovaProgram OCR je napisan u Borland Delphi 5 razvojnom okruenju.Korisniki interfejs vidimo na slici 10. Komandni tasteri u gornjem delu ekrana imaju sledee funkcije:

Load uitava skeniranu bitmap sliku sa diska. Uitana slika se prikazuje u levoj polovini ekrana.

Save snima prepoznati tekst sa desne polovine dela prozora u fajl.

Nai komanda kojom se pokree prepoznavanje teksta.

Crno bela konvertuje sliku u crno belu verziju. Pokretanjem ove komande se eliminiu nijanse sive boje. Ova opcija omoguava preciznije prepoznavanje slova.

Invert komanda za invertovanje slike. Slui za dobijanje negativa slike.

Reset brie prepoznati tekst iz desne polovine ekrana i omoguava ponovno prepoznavanje. Ova opcija se koristi pre startovanja ponovnog prepoznavanja teksta nakon podeavanja osetljivosti na greke.

About informacije o programu.

Opcije odabiranjem ovog tastera pojavljuje se sa desne strane ekrana dodatni meni (slika 11.) koji omoguava dodatno podeavanje programa.

Exit naputanje programa.

Slika 13. Korisniki interfejs programa

Program dozvoljava promenu praga osetljivosti na greke prilikom prepoznavanja teksta. Inicijalna vrednost je 0.50, ali se osetljivost na greke moe menjati u intervalu od 0.30 do 0.90. Ukoliko je vrednost ovog parametra vea, program e tanije prepoznavati slova, ali e zato ee prijavljivati problematina slova.

Slika 14. Podeavanje osetljivosti na grekeUkoliko program prilikom prepoznavanja teksta naie na slovo kod koga je verovatnoa slova manja od eljene, prepoznavanje se zaustavlja i pojavljuje se dijalog na kome korisnik moe runo uneti problematino slovo. Program u gornjem desnom uglu prikazuje uveanu sliku problematinog slova i predlae slovo sa najveom verovatnoom. Verovatnou predloenog slova moemo videti u gornjem desnom uglu ekrana. Slovo koje program predloi vee je od ostalih slova koja se nalaze na prikazanim tasterima u levoj polovini ekrana. Ukoliko je program dobro pretpostavio slovo, dovoljno je pritisnuti dugme Ok i program e slovo ubaciti u prepoznati tekst, a zatim nastaviti sa prepoznavanjem. Ukoliko je program pogreno prepoznao slovo, korisnik moe pomou mia da odabere to problematino slovo. Ako korisnik eli, moe problematino slovo da memorie i kasnije da pokrene program za obuavanje. Nakon obuavanja, mrea e uspeno prepoznavati i takva slova. U desnom delu ekrana, ispod slike se nalazi polje u kome se prikazuje poslednji red prepoznatog teksta da bi korisnik mogao lake identifikovati slovo u zavisnosti od prethodnih slova.

Slika 15. Slova sa manjom verovatnoom od granine

Najei razlog zbog ega program zaustavlja prepoznavanje je ukoliko naie na spojena slova (slova koja nisu pravilno izdvojena sa slike). Takva slova program ne moe da obradi poto je predviena obrada samo pojedinanih slova.

Takva slova program lako uoava jer imaju malu verovatnou. U tom sluaju je potrebno iz leve polovine prozora miem odabrati oba slova koja su prikazana u gornjem desnom delu ekrana.

Slika 16. Spojena slova

Prepoznati tekst moemo memorisati na disku odabiranjem opcije Snimi. Nakon odabiranja opcije Snimi, pojavljuje se dijalog u kojim se odreuje ime fajla pod kojim elimo da tekst snimimo na disk.Programi za prepoznavanje teksta su znaajni iz razloga to postoji veliki broj tekstova (informacija, znanja) koji su zapisani na papiru (knjige, poslovni dokumenti, fakture, priznanice, rauni, itd.). Prebacivanje ovih informacija u digitalni oblik zahteva veliki ljudski rad.1.5 Upotreba neuronskih mrea u detekciji lica na slikamaSlike koje sadre lica su veoma bitne u inteligentnoj interakciji ovek-raunar baziranoj na percepciji, i napori istraivanja su usmereni ka prepoznavanju lica, praenju lica, proceni poze, kao i prepoznavanju izraza lica. Da bi se izgradio automatizovani sistem za analizu informacija koja lica sadre, potreban je robustan i efikasan algoritam za detekciju lica. Za datu sliku, cilj detektora lica je da identifikuje sve regione na slici koji sadre lice, bez obzira na poziciju, orijentaciju i osvetljenje. Ovi problemi su izazovni zato to lica imaju veliki stepen varijabilnosti u veliini, obliku, boji i teksturi. Brojne tehnike su razvijene da bi se detektovala lica na slikama. Da li je mogue definisati pojam lica? Ova definicija bi bila veoma subjektivna, iz razloga to u realnom ivotu ljudi koriste razliite "algoritme", kako za nalaenje objekata, tako i za prepoznavanje. ta bi na primeru iz slike 17trebalo klasifikovati kao lice?

Slika 17. LicaObzirom na ove potekoe, preostaje nam da pokuamo da obuimo raunar na osnovu primera. 1.5.1 Problem detekcije licaPostoji puno usko povezanih problema sa detekcijom lica. Lokalizacija licaima za cilj da nae poziciju jednog lica na slici; ovo je pojednostavljen problem detekcije sa pretpostavkom da ulazna slika sadri samo jedno lice. Cilj detekcije svojstava licaje da otkrije prisustvo i lokaciju oiju, nosa, obrva, usta, uiju itd.. sa pretpostavkom da slika sadri samo jedno lice. Prepoznavanje lica ili identifikacija licauporeuje ulaznu sliku sa bazom i prijavljuje poklapanja, ako postoje. Identifikacija licaverifikuje identitet pojedinca za datu sliku, dok metodepraenja licaneprekidno procjenjuju lokaciju i moguu orijentaciju lica u sekvenci slika u realnom vremenu. Prepoznavanje izraza licase bavi identifikovanjem emocionalnog stanja osoba (srean, tuan, ljut, etc..). Oigledno da je detekcija lica prvi korak u bilo kom automatizovanom sistemu koji rjeava pomenute probleme. Valja pomenuti da mnogi radovi koriste termin "detekcija lica", a metode nalaze samo jedno lice u ulaznoj slici.Meu brojnim algoritmima predloenim za detekciju lica, oni bazirani na algoritmima uenja su privukli puno panje zbog odlinih rezultata. Obzirom da se ove metode u velikoj mjeri oslanjaju na skup za treniranje, pomenuemo i neke baze koje odgovaraju ovom zadatku. Vaan problem je kako vrednovati rezultate predloenih metoda za detekciju. Skoriji radovi na temu detekcije obino porede algoritme po stopi uspene detekcije kao i stopi pogrenih detekcija. Takoe treba pomenuti da postoje i neke opte prihvaene metrike za evaluaciju kao to su: brzina uenja, vrieme izvravanja, broj primeraka potrebnih za obuavanje i odnos tanih i pogrenih detekcija. Stopa detekcijeje odnos tano detektovanih lica i broja lica koje prepoznaje ovjek. Deo slike identifikovan kao lice se uzima za taan ako pokriva vie od odreenog procenta stvarnog lica. Detektori mogu da naprave dvie vrste greaka: false negatives- nedetektovana lica na slici, false positives - detekcije koje zapravo nisu lica. Pravino vrednovanje bi trebalo da uzme u obzir sve navedene faktore, obzirom da se odreeni parametri mogu podesiti da bi se poveala stopa detekcije ali se takoe poveava i broj pogrenih detekcija.

Slika 18. Na ovoj slici imamo 3 false positive detekcije, i 3 nedetektovana lica (false negative).Problemi kod detekcije lica se vezuju za sledee faktore:

Poza- Slike lica variraju, zavisno od relativne poze kamere i lica (frontalno, 45 stepeni, profil, odozgo), i odreena svojstva lica kao to su oi ili nos mogu biti delimino ili kompletno zaklonjeni.

Prisustvo ili odsustvo strukturnih komponenti- Svojstva lica kao to su brada, brkovi i naoare mogu biti prisutni i postoji veliko variranje meu ovim komponentama u obliku, boji i veliini. Izraz lica- Na detekciju lica direkno utie izraz lica osobe.

Zaklonjenost- Lica mogu biti delimino zaklonjena drugim objektima. Na grupnim fotografijama , neka lica mogu biti zaklonjena drugim licima.

Orijentacija slike- Slike lica variraju zavisno od rotacije u odnosu na optiku osu kamere.

Uslovi slikanja- Kad se slika formira, faktori kao to je osvetljenje (spektar, intenzitet) i karakteristike kamere (soiva, odziv senzora) imaju uticaja na izgled lica.

Veoma je teko napraviti robustan model koji bi mogao da uspeno rijei svaki od ovih problema. Sistemi za detekciju lica su obino kombinacija vie algoritama, od kojih svaki prevazilazi odreeni problem, kao i predparsiranje slike da bi se uklonile razlike u osvetljenju i boje ujednaile (primena odreenih filtara na sliku).1.5.2 Skup za obuavanjeSkup sadri 30550 slika. Od toga 2429 su slike lica, dok ostatak ine slike koje ne sadre lica.

Sliku u raunaru predstavljamo kao matricu MxNgdje su M i N irina i visina respektivno. Obzirom da se radi o sivoskaliranim slikama, vriednosti u matrici su nijanse sive iz intervala [0-255]. Nae slike su veliine 19x19. Ova veliina je odgovarajua jer je mogue detektovati lica malih dimenzija na velikim slikama. Smanjivanjem dimenzija, mogu se izgubiti odreeni detalji bitni za detekciju lica, a na manjim dimenzijama ak i ljudi loe klasifikuju lica.

Obzirom da je ulaz u mreu vektor, sliku 19x19 pretvaramo u vektor od 361 + 1 elementa, tako to zapisujemo vrednosti piksela, red po red u vektor, a poslednja vrednosti je labela 0-1, tj. da li je slika lice ili ne. Radi lakeg korienja kompletan skup je pretvoren u CSV (vrednosti odvojene zarezom) fajl.

Zbog numerikih problema koji se mogu javiti u toku obuavanja i loih performansi mree kao klasifikatora, originalni podaci se skaliraju. U naem sluaju skaliramo podatke na interval [0-1] funkcijom:

(9)

Na slike je takoe primenjen filter za izjednaavanje histograma. Slike ne moraju imati sve vrednosti sive. Recimo da konkretna slika ima opseg vrednosti [a-b]. Izjednaavanjem histograma vrijednosti slikamo u interval [0-255] funkcijom:

(10)

Osim parametara, izbor primeraka za trening skup kao i njihov broj moe igrati vanu ulogu za performanse klasifikatora. Bootstrapingznatno doprinosi poboljanju skupa za obuavanje, a samim tim i boljem klasifikatoru. Ideja ovog procesa je da mreu obuimo na poetnom skupu, a posle primerke koje je pogreno klasifikovala dodajemo skupu za obuavanje i ponovo je treniramo. Konkretno, u procesu detekcije lica elimo ovim putem da odstranimo jedan deo primeraka koje maina klasifikuje kao lica, iako ona u stvari to nisu (false-positive). Dakle, svaka slika koja nije lice a maina je klasifikuje kao takvo mogue je dodati u skup za obuavanje sa labelom 0. Nakon toga ponavljamo proces obuavanja u nadi da emo ovakvim primercima otkloniti jedan region slika koje nisu lica, a koji bi bili detektovani. Slino moemo uraditi i sa licima koja nisu detektovana.

Da bi izabrali parametre koji su optimalni za problem na kojem radimo potrebno je izvriti unakrsnu validaciju. Sutina ove faze u obuavanju sastoji se u sledeem: na skup podataka delimo na dva dela, jedan na kojem emo obuavati mainu i drugi na kojem emo testirati rezultate (podrazumijeva se da znamo labele svih primera iz test skupa). Na startu odreujemo opseg u kojem elimo da traimo vrednost parametara i vrednost za koju poveavamo parametre u sledeoj iteraciji. Prvo obuavamo mainu sa prvim parom parametara, onda testiramo njen rad na prethodno izdvojenom test skupu i pamtimo procenat tanosti klasifikacije. Proces ponavljamo, s tim to sada uzimamo nove vrednosti parametara. Algoritam se zavrava kad se iscrpe sve vrednosti parametara iz prethodno naznaenog opsega. Na kraju biramo one parametre za koje je preciznost klasifikacije bila najvea i sa njima obuavamo mreu. 1.5.3 Struktura mreeIsprobano je nekoliko tipova 3-slojnih i 4-slojnih mrea. Testiranje ponaanja mrea je raeno na manjim skupovima od oko 1000 primeraka, tako to je mrea obuavana na 50 primeraka, a na ostalih 950 testirana. Najbolje rezultate je dala 4-slojna mrea sa 256 neurona u prvom i 32 neurona u drugom skrivenom nivou. Zbog manjka raunarske snage, aplikacija i prikazani rezultati su raeni na 3-slojnoj mrei koja u skrivenom sloju ima 128 neurona.

Odabrana mrea je zatim obuavana na skupu od 371 primerka izdvojenom iz skupa od 30550. Proces treniranja je trajao 33 minuta. (Na etvoroslojnoj mrei koja je dala najbolje rezultate ovaj proces bi trajao od 6-8 dana.)

Aktivaciona funkcija je logistika funkcija. Algoritam uenja je back propagation. 1.5.4 RezultatiDetektor radi i sa slikama u boji i sa sivoskaliranim slikama. Za detekciju na veim slikama koriena je metoda klizajueg prozora. Ideja je da kvadratom dimenzija 19x19 "proemo" cielu sliku, tako to ga kreemo poevi od koordinate (0, 0) do koordinate (xmax - 19, ymax - 19). Svaki od kvadrata (regiona) predajemo klasifikatoru. Ako je dati region klasifikovan kao lice, uokvirimo ga i nastavljamo dalje.

Ovim postupkom pronalazimo sva lica koja su dimenzija 19x19. Na slikama se najee nalaze lica veih dimenzija. Ovaj problem reavamo umanjivanjem slike i ponavljanjem prethodno navedenog postupka. Umanjivanjem slike, lica koja su bila vea mogu odgovarati dimenzijama koje klasifikator prepoznaje. Slika se obino umanjuje za odreeni faktor, na primjer dimenzije slike mnoimo sa 0.8 ili 0.9. U sluaju da na umanjenoj slici detektujemo lice treba da uokvirimo odgovarajui region na polaznoj slici. To postiemo time to koordinate piksela na kojem je detekcija vrena i dimenzije kvadrata koji ograniava region pomnoimo sa recipronom vrednou faktora sa kojim smo umanjili sliku.

Slika 19. Sliding window primerKonaan rezultat procesa je skup koordinata (x, y) i odgovarajuih veliina regiona nakojima je detektovano lice .

Data struktura je na skupu od 30279 primjeraka tano klasifikovala: 29722 (98.16%).

Od 2314 lica tano su klasifikovana: 2258 (97.57%).

Broj false-positive detekcija: 557 (1.79%). 1.6 Primena neuronskih mrea u mediciniJedna od oblasti u kojoj se upotrebljavaju neuronske mree je kardiopulmonalna dijagnostika. Nain na koji neuronske mree rade u ovoj oblasti i drugim oblastima medicinske dijagnoze je na osnovu poreenja vie razliitih modela. Pacijent koji ima redovne preglede u odreenoj oblasti, poveava mogunost otkrivanja bolesti ili disfunkcije.

Slika 20. Spektar primene neuronskih mrea u medicini

Podaci mogu biti puls, krvni pritisak, stopa disanja itd. Modeli mogu da sadre varijacije na starost, pol i nivo fizike aktivnosti. Fizioloki podaci pacijenta se porede sa njegovim prethodnim fiziolokim podacima i/ili podacima iz razliitih generikih modela. Odstpanja od norme se porede sa poznatim uzorcima odstupanja za svako zdravstveno stanje. Neuronska mrea moe da ui prouavajui razna stanja i modele, spaja ih u kompletnu konceptualnu sliku, a zatim dijagnostifikuje stanje pacijenta na osnovu tih modela.

Slika 21. Dijagnostifikovanje primenom neuronskih mreaNa slici ispod prikazan je primer strukture baze podataka za obuavanje neuronske mree. Svaka vrsta se odnosi na drugog pacijenta i oznaena je numerikim kodom. Svaki k,i element ukazuje na i ti medicinski podatak (simptom, laboratorijski podatak, itd.) k tog pacijenta.

Slika 22. Primer strukture baze podataka za treniranje neuronske mree1.6.1 Elektronski nos Ideja o elektronskom nosu moe izgledati pomalo apsurdno ali ima nekoliko realnih primena. Elektronski nos se sastoji od senyorskog sistema koji je osetljiv na hemikalije (kao to je spektrometar) i vetake neuronske mree koja prepoznaje odreene uzorke hemikalija. Miris prelazi preko niza hemijskih senzora, ove hemikalije se zatim prevode u format razumljiv raunaru a na kraju vetaka neuronska mrea identifikuje hemikaliju.

Postoje vie razliitih primena ovog ureaja u raznim okruenjima, u medicini, prehrambenoj industriji, za identifikaciju toksinih otpada, analizu smea goriva, detekciju curenja ulja, identifikovanje mirisa u domainstvu, monitoring kvaliteta vazduha, monitoring emisije fabrika, testiranje podzemnih voda...

Ideja korienja ovog ureaja u medicini je da ispita mirise na telu kako bi se identifikovali problemi i uspostavila dijagnoza. Na primer , miris u dahu, miris inficirane rane kao i miris raznih telesnih tenosti mogu da ukau na razne probleme. vetake neuronske mree su ak koriene i za otkrivanje tuberkuloze.

Slika 23. Elektronski nos

1.7 Neuronske mree i upravljanje robotimaVana oblast primene neuralnih mrea je oblast robotike. Uobiajeno, ove mree su projektovane da usmere robotski manipulator, koji predstavlja najznaajniji oblik industrijskog robota, da uhvati objekat na osnovu podataka koje mu daju senzori. Druge primene ukljuuju upravljanje i planiranje putanje autonomnog robotskog vozila.U robotici, glavni zadatak podrazumeva pravljenje pomeraja u zavisnosti od senzorskih podataka. Ovde se javljaju etiri povezana problema koje treba razlikovati:

Slika 24. Primer robotskog manipulatoraKonani cilj pri upravljanju robotskim manipulatorom je pozicioniranje zadnjeg efektora ili robotske ruke sa ciljem da se, na primer, pokupi objekat. Sa preciznom robotskom rukom, ovaj zadatak je relativno jednostavan i ukljuuje sledee korake: Odreivanje koordinata cilja relativno u odnosu na osnovu robota. Tipino, kada ova pozicija nijeuvek ista, ovo se ostvaruje pomou odreenog broja fiksiranih kamera ili drugih senzora kojiposmatraju scenu tako da se iz okvira slike odreuje pozicija objekta u toj slici i izvrava pre-odreivanje koordinantnih transformacija;

Sa preciznim modelom robota, izraunava se ugao veza koje dostiu cilj (na primer, inverznakinematika). Ovo je relativno jednostavan problem;

Pomeranje robotske ruke i pribliavanje draa.

Dakle, ako je sve ovo lako reiti sa visokom tanou, zbog ega u sve ukljuiti i neuralne mree? Razlog lei u primenjivosti robota. Kada se koriste 'tradicionalne' metode za upravljanje robotskom rukom, tani modeli senzora i manipulatora su zahtevani i sam sistem mora da bude badaren. Takoe, sistemi koji se lako troe i habaju, zahtevaju estu kalibraciju i odreivanje parametara. Konano, sa razvojem sloenijeg adaptivnog upravljanja dolo je do razvoja fleksibilnijih robotskih sistema, kako sa senzorske, tako i sa motorne strane.Pristup 1: Mree sa pozitivnom povratnom spregomKada se koristi sistem sa pozitivnom povratnom spregom za upravljanje manipulatorom, potrebno je koristiti sistem sa sopstvenim nadzorom uenja. Jedan takav sistem je bio opisan od strane Psaltis, Sideris i Yamamura (Psaltis, Sideris, & Yamamura, 1988). Ovde, mrea, koja je konzistentna 20dimenzinalnom pozicioniranju robotske ruke, ui na osnovu eksperimenata. Dekartova ciljana taka x se generie u koordinantnom sistemu, na primer, pomou dve kamere koje posmatraju objekat. Ova ciljana taka je napajana u mrei, koja generie ugaoni vektor . Manipulator se pomera na poziciju , i kamera odreuje novu poziciju x' zadnjeg efektora u koordinantnom sistemu. Veliina x' je ponovo ulaz za mreu, koji rezultira u ugao '. Mrea je tada trenirana na greku 1= -'.

Slika 25. Uenje uz pomo povratne spregePristup 2: Topologija koja konzervira mapeOpisani sistem se sastoji od robotskog manipulatora sa 3 stepena slobode koji je u stanju da uhvati objekat u 3D-prostoru. Sistem se posmatra pomou dve fiksirane kamere koje predstavljaju izlaz njihovih (x; y) koordinata u smislu objekta i zadnjeg efektora.

Slika 26.Kohonen-ova mrea koja se odnosi na izlaz dveju kamera.Svako kretanje se satoji od dva pokreta. U ukupnom pokretu, posmatrana lokacija objekta x je ulaz mree. Pomou Kohonen-ove neuralne mree, neuron k sa najviom vredou aktivacije je selektovan kao pobednik, zato to je njegov teinski vektor Wk najblii vrednosti x. Neuroni, koji su rasporeeni u 3D reetki, koresponduju na 1-1 nain sa podregionom 3D radnog prostora robota, odnosno neuronalna reetka je diskretna reprezentacija radnog prostora. Sa svakim neuronom, vektor i Jacobijanova matrica A su pridrueni. Za vreme ukupnog pomeraja, ugao k se dovodi do robota koji zatim naini pokret koji rezultira u promenu koordinata zadnjeg efektora.1.7.1 NOMAD robot koji razmilja

Slika 27. NOMAD robotNOMAD je nervozan, a ipak promiljen prethodnik maina koje e umeti da misle. Njegov cilindrini torzo je visok pola metra, ima oi, ui, ruke za hvatanje i ostale senzore koji mu pomau da se kree. Ono to NOMAD ini drugaijim od mnogih robota je to radi bez kodovanih instrukcija ili pravila. Umesto toga, ima mozak koga simulie kompjuter, sa oko 10 000 simuliranih elija i vie od milion veza meu njima kojima opaa svoje okruenje i reaguje na njega. Dok se kree u prostoru u kome su posejane male obojene kocke, on moe da ovlada novim situacijama i da ui iz svojih greaka. Neke od kocki su prugaste i provode struju, to ih ini ukusnima. Ostale kocke su takaste i ne provode dobro struju, pa su manje ukusne. Posmatrajui kocke i probajui ih svojim elektrinim senzorima, NOMAD ui da obie takaste kocke i da se uputi ka onim ukusnijima.1.8 Primena neuronskih mrea u berzanskom poslovanjuNeuronske mree mogu biti upotrebljne kao alati u berzanskom predvianju. Kompanija MJ Futures tvrdi da je ostvarila prihod od neverovatnih 192.2 % za period od 2 godine koristei svoje metode predvianja zasnovane na neuronskim mreama. Oni takoe tvrde da su neuronske mree jednostavne za upotrebu i da se moe preskoiti razvoj sloenih pravila. Potrebno je samo definisati cene i pokazatelje koje elimo da koristimo dok neuronska mrea radi ostalo.

Neuronske mree mogu biti jednostavne za korienje kada je mrea podeena, ali obuka i podeavanje mree zahtevaju iskustvo, vetinu i strpljenje. Neuronske mree su pokazale veliki uspeh u predvianju trendova na tritu.

Ideja berzanskog predvianja nije nova, naravno. Poslovni ljudi esto pokuavaju da predvide trite tumaenjem spoljanjih parametara kao to su ekonomski pokazatelji, javno mnjenje i trenutna politika klima. Meutim postavlja se pitanje da li neuronske mree mogu otkriti trendove u podacima koje ljudi ne mogu primetiti i kasnije uspeno koristiti ove trendove u svojim prognozama. Uz pomo relativno jednostavne neuronske mree sa samo 6 finansijskih pokazatelja na njenom ulazu, postignuti su dobri rezultati.

Slika 28. Neuronska mrea za predvianje na berzi sa 6 ulaznih promeljivih

Na prethodnoj slici je prikazana jednostavna back propagation neuronska mrea sa tri slija koja je obuena i testirana za veliku koliinu istorijskih podataka sa trita. Ovde izazov nije u arhitekturi same neuronske mree ve u izboru varijabli i informacija koje se koriste za njeno obuavanje.

ak i bolji rezultati postignuti su sa back propagation neuronskom mreom koja ima dva skrivena sloja i vie od 6 promenljivih. Na internetu je veoma teko nai vie informacija o ovom nainu upotrebe neuronskih mrea jer kompanije koje rade sa njima ele da sauvaju tajnu.

Postoje jo neke primene neuronskih mrea u finansijama:

predvianje valuta

predvianje cene fjuersa

predvianje poslovnih neuspeha

procena rizika od zaduivanja

odobravanje kredita

procena bankarskih neuspeha1.9 Primena neuronskih mrea u raunarskim igramaNajea primena neuronskih mrea u raunarsim igrama je kontrola kretanja objekata. U ovoj primeni senzori na objektu skupljaju informacije iz okoline, neuronska mrea ih obrauje, a zatim na svojim izlazima daje vrednosti koje se pretvaraju u pomake objekta u prostoru. Kao najjednostavniji primer moe se uzeti model oklopnog vozila koje se kree na gusenicama. Ve jednostavnom neuronskom mreom iji je izlaz proporcionalan pomaku svake od gusenica, moemo uspeno zaobilaziti prepreke ili slediti neki cilj. Najveu komercijalnu upotrebu ovakve mree nalaze u raznim simulacijama automobilskih trka, od kojih je najpoznatija ''Colin McRae Rally''.

Slika 29. Primer Colin McRae RallyDa bi mogli objasniti pojam procena rizika, potrebno je videti u kojim se igrama on javlja i zato. Zamislite igru RTS tipa, dakle igra ima mogunost da stvara svoju vojsku, i da uz pomo nje nadvlada neprijatelja. Ukoliko pretpostavimo da postoje tri osnovna tipa napada (vaazduh, voda, kopno) potrebno je raunarskom protivniku omoguiti procenu rizika, tj. omoguiti mu da se adekvatno brani od oekivanog napada. Jedna od moguih metoda je upotreba neuronskih mrea, kojima na ulazu predajemo podatke o brojnosti i snazi pojedinog tipa jedinica (napada), pa ona na osnovu toga predlae obranu. Kako se ovakav princip primjenjuje u realnom vremenu, neuronska mrea konstantnim uenjem prilagoava teinu igre svakom igrau. Naalost, ovakav tip mrea se jako retko koristi , a kao primeri se mogu navesti samo igre ''Age of Empires'' i ''Black & White''.

Slika 30. Primer Age of Empires

Predvianja se vrlo esto izvode upravo neuronskim mreama zbog jednostavne implementacije i postizanja efekta nepredvidljivosti u igri . Kao primer moemo uzeti neku simulaciju boksa. U njoj je igrau na raspolaganju samo nekoliko vrsta udaraca, a njihovom kombinacijom treba protivniku zadati to veu tetu. Protivnik tu tetu moe minimizirati ukoliko i spravno predvidi (proita) sledei potez, pa zatim izvede blokadu ili protivnapad. Takva predvianja se najee baziraju na prouavanju tri prethodna poteza, tj. neuronska mrea obavlja prepoznavanje obrazaca ponaanja. Komercijalni primer upotrebe ovakvog tipa neuronske mree je Mortal Kombat serijal u kome su svi protivnici fabriki trenirani da prepoznaju poteze igraa.

Slika 31. Primer Mortal KombatOdravanje ivota, najosnovniji od svih instinkta, u raunarskim igrama simulira se na dva naina: stanjima ili pomou neuronskih mrea. Parametri koji se predaju mrei su najee nivo energije igraa, nivo igre, snaga protivnika, i ostali parametri, a kao odgovor mrea javlja da li stupiti u bilo kakav kontakt sa igraem. Kao primer ovakve upotrebe neuronskih mrea moe se uzeti npr. ''Quake 2'' u kojem raunarski protivni i pomou neuronskih mrea odreuju da li da napadnu igraa.1.9.1 Neuronske mree u predvianju igre iks oksSpecifinost ovog primera predvianja igre iks-oks jeste u tome da mrea koja se koristi za odluku o sledeem potezu ne dobija na ulazu trenutno stanje ploe, ve iskljuivo prethodni potez koji je napravio protivnik. Mrea mora sama zapamtiti koje je prethodne korake preduzela, i koje je korake poduzeo protivnik, i na osnovu toga zakljuiti o trenutnom stanju ploe, pa stoga mnogi nazivaju ovu mreu slepom neuronskom mreom. Iks Oks se uobiajeno igra na mrei 3x3 kvadratia. Svaki raspored oznaka na ploi moe se nazvati stanjem i odmah moemo videti da postoje stanja pre i posle svakog poteza.

Slika 32. Tri razliita stanja ploe

Ukoliko znamo kolika je verovatnoa pobede za odreenog igraa iz bilo kog stanja ploe moemo realizovati neuronsku mreu koja e pamtiti te verovatnoe i prema njima birati poteze. Da bi proraunali traene verovatnoe koristi se algoritam za potpomognuto uenje.Postupak je sledei: svim stanjima pridrui verovatnou pobede 50%

odigraj jednu partiju igre

ukoliko je mrea dobila ili odigrala nereeno prilagodi teine za svaki korak igre prema 100% (nagrada 1)

ukoliko je mrea izgubila prilagodi teine za svaki korak prema 0% (nagrada0)

ponavljaj korake 2-5 za sve mogue kombinacijeTo znai da se verovatnoa pobede iz svakog stanja kree po jednaini:P(s) = P(s) +a[P(s') - P(s)](11)

gde je: P verovatnoa, s - prethodno stanje (pre poteza), s' - novo stanje (nakon poteza), - faktor uenja. Praktian primer dobijanja verovatnoe prema navedenom pravilu dat je na slici.

Slika 33. Proraun verovatnoa stanja

Igra a (X) nagraen je sa 1, dok je igra b (O) nagraen sa 0 jer je izgubio partiju. Da bi navedeni algoritam ispravno funkcionirao potrebno je faktor uenja (brzinu uenja) konstantno smanjivati sa brojem odigranih partija jer inae sistem odlazi u zasienje. Takoe prilikom faze uenja neuronske mree namerno ne odigravaju najbolji mogui potez, ve svaki 8 put sluajno izaberu novo stanje. Na taj nain je osigurano da se mrea pri uenju ne zaglavi na nekom lokalnom maksimumu. Kad koristimo gore navedeni algoritam za stvaranje potrebnih podataka za treniranje konane mree brzo se moe uoiti da je kodirano previe podataka i da njihov broj treba smanjiti. Na taj nain e mrea bre pamtiti podatke, a i generisanje test podataka je dosta jednostavnije.

1.10 Neuronske mree i problem trgovakog putnika (TSP)Problem je ovakav: za zadti broj gradova i udaljenosti meu svakim od njih, potrebno je nai najkrai put kroz sve gradove tako da se svaki grad poseti tano jednom.Kohonenova samoorganizujua mrea je nain na koji moemo aproksimirati TSP, a ponekad ga i tano reiti. Najee dobijeno reenje zavisi od gustine i mesta gradova. Ideja vezana za reavanje Kohonenove neuronske mree je upotreba tzv. elastine niti (poput gume) koja oblikuje u poetku jedan zatvoren prsten u centru masa gradova. Ovde se nalazimo u dvodimenzionalnom prostoru pa je svaki grad zadat svojom pozicijom (vektorom) . Slika 34. prikazuje sluaj 4 grada.

Slika 34. Elastina nit u poetnom poloaju

Ideja aproksimiranja je ta da se sluajno tokom postupka biraju gradovi, pa se neuroni pomiu u njihovom smeru, redom najvie neuron koji je najblii gradu a potom proporcionalno udaljenosti od tog neurona, svi ostali neuroni. Na taj nain e se elastina nit iriti sve dok neki neuroni ne preklope ili se priblie gradovima. Time se stvara novi prsten koji predstavlja optimalni put meu gradovima. To lepo radi za manji broj gradova meutim kod velikog broja gradova do izraaja dolazi svojstvo grupisanja ili clusteringa. Kada je gustina gradova na nekom mestu velika, dogaa se da neki neuron prezentuje tu grupu gradova pri emu se smeta u njihov centar gledano poziciono na karti. Kohonenova neuronska mrea se sastoji od dva sloja: sloj koji sadri dva ulazna neurona za koordinate gradova, i izlazni sloj koji ima 2N neurona postavljenih u zamiljen prsten. Teine svakog neurona predstavljaju njegove koordinate ili poziciju na karti. Slika 30. prikazuje arhitekturu mree.

Slika 35. Kohenova neuronska mrea za reavanje TSP

Dole je naveden postupak koji se ponavlja nekoliko puta koliko je potrebno da se veina neurona ponaa statino na karti gradova (nema vie pomicanja neurona na karti, prsten je oblikovan i TSP je rieen).1. Bira se sluajno jedan grad

2. Izraunava se udaljenost svih neurona od tog grada i izabere se najmanje udaljeni neuron

3. Rauna se funkcija okoline najmanje udaljenog neurona

4. Delta pravilo uenja za sve neurone

5. Uslov zaustavljanja (broj iteracija) ponovi 1.

1.11 Neuronske mree i umetnostNeuronske mree imaju veliki potencijal za doprinos umetnosti. Ovde se za uenje neuronske mree koristi algoritam kaskadne korelacije za vizuelizaciju sluajne vrednosti izlaza iz neuronske mree. Zbog toga to su teinske vrednosti veza meu neuronima sluajno izabrane svaka dobijena slika je jedinstvena.

Slika 36. Java aplet za generisanje slika

Na apletu koji je prikazan na slici iznad klikom na New image mogue je dobiti nove jedinstvene neuronske slike. Promenom broja skrivenih neurona (od 0 do 20) menja se vizuelna kompleksnost slike.

INCLUDEPICTURE "C:\\Users\\Nikola\\AppData\\Local\\Temp\\x10sctmp1.png" \* MERGEFORMATINET

INCLUDEPICTURE "C:\\Users\\Nikola\\AppData\\Local\\Temp\\x10sctmp4.png" \* MERGEFORMATINET Slika 37. Slike dobijene uz pomo neuronske mree

1.12 Pepoznavanje saobraajnih znakovaU saobraajnim uslovim sistem za prepoznavanje saobraajnih znakova se koristi da upozori vozaa, da komanduje ili zabrani odreene radnje. Brza automatska detekcija i prepoznavanje saobraajnih znakova u realnom vremenu moe da rastereti vozaa i na taj nain znaajno povea bezbednu vonju i udobnost. Ovakav sistem moe biti vaan za automatsko inteligentno upravljanje vozilom ili kao sistem za podrku vozaima. Meutim , identifikacija saobraajnih znakova u prirodnom okruenju na prirodnoj pozadini i dalje ostaje izazovan zadatak. Prva faza u prepoznavanju se odnosi na detekciju saobraajnih znakova u okviru video sekvence ili slike gde se vri procesiranje slike. Druga faza se odnosi na prepoznavanje ovih detektovanih znakova i zasnova je na upotrebi vetakih neuronskih mrea. Algoritmi za detekciju se obino zasnivaju na analizi oblika ili boje odreenog segmenta. Na slici 38 je ilustrovan koncept za automatizovano inteligentno upravljanje vozilom ili sistem za pomo vozau.

Slika 38. Koncept automatiyovanog inteligentnog upravljanja vozilom koji se moe koristiti i kao pomo vozau

Snimanje se vri pomou video kamere a zatim se kreiraju slike. Nakon toga se iz slike izdvajaju svi saobraajni znaci i generiu se male sliice koje se nazivaju mrlje. Svaka mrlja se prosleuje formi za prepoznavanje inei tako dragocen ulazni parametar u vetaku neuronsku mreu u finalnoj fazi prepoznavanja. Na slici 39 je prikazana konfiguraija sistema.

Slika 39. Konfiguracija sistema1.13 ALVINN (Autonomus Land Vehicle In a Neural Network)ALVINN je sistem percepcije koji ui da kontrolie NAVLAB vozilo gledajui osobu koja vozi. ALVINN arhitektura se sastoji od jednog skrivenog sloja u back propagation neuronskoj mrei. Ulazna sloj mree je 30x32 dvo dimenzionalna mrenjaa koja prima ulaz sa video kamere koja je montirana na vozilo. Svaka ulazna jedinica je u potpunosti povezana sa pet neurona u skrivenom sloju koji su dalje u potpunosti povezani na izlazni sloj od 30 jedinica. Izlazni sloj je linearna reprezentacija pravca kojim bi voyilo trebalo da putuje kako bi ostalo na putu.

Slika 40. NAVLAB vozilo

Mrea se najpre trenira uz pomo vozaa, tako da je ulaz u neuronsku mreu trenutna slika puta, a izlaz je ono to voza radi za volanom. Za to vreme back propagation algoritam menja teine izmeu veza kako bi neuronska mrea proizvela odgovarajui odziv na ulazne slike putanje po kojoj se vozilo kree. Posle otprilike tri minuta posmatranja kako osoba vozi, ALVINN je u stanju da preuzme i nastavi vonju samostalno. ALVINN je uspeno testiran na autoputu duine 90 milja pri brzini od 70 mph.

Slika 41. Prikaz neuronske mree

Na sledeoj slici je prikazana slika ulaza u neuronsku mreu.

Slika 42. Ulaz u neuronsku mreu

1.14 Google pretraga neuronske mree

Najbolji i najjednostavniji primeri za objanjavanje principa rada neuronskih mrea su oni koje se u praksi svakodnevno koristimo, a koji su nam ve dostupni i jako dobro poznati. Jedan od primera koji svakako treba istaknuti je Google. To je pretraiva pomou kojeg se vrlo jednostavno, u kratkom vremenu moe demonstrirat rad neuronskih mrea i to tako to u u pretraiva unesemo odreeni pojam koji je neispravan napisan (npr. Sbrija), a slian je pojmu koji zaista traimo. Zahvaljujudi radu neuronske mree, ovaj pretraiva e na ekranu izbaciti taan pojam (Srbija). Ova metoda nam omoguava da jednostavno sagledamo rezultate rada neuronskih mrea.

Slika 43. Primer rada neuronskih mrea na pretraivauZAKLJUAK

Neuronska mrea predstavlja jedan kompleksan matematiki sistem kojim je na pojednostavljen nain predstavljen ljudski mozak. Poto je re o prilagodljivom sistemu, nala je primenu u mnogim oblastima.

Njihova prilagodljivost se ogleda u mogunosti prepoznavanja i onih primera na osnovu kojih mrea nije uvebavana, kao i u mogunosti konstantnog uenja za vreme rada mree. Osnovni nedostatak korienja i upotrebe neuronskih mrea lei u injenici da je pronalaenje adekvatne strukture mree i adekvatnih primera za uvebavanje sloen i komplikovan posao. Bez obzira to su mnogi autori dali itav niz praktinih saveta kako je mogue strukturirati mree za primenu na odreenom podruju, optimalni parametri mree se mogu ustanoviti iskljuivo korienjem niza testova.

Bez obzira na njihove nedostatke, neuronske mree su nale svoju iroku primenu u razliitim oblastima ljudske delatnosti poevi od mree Madaline koja je poznata po tome to uklanja um u telefonskim linijama, preko analize govora, pa sve do upotrebe u medicini, finansijskim ustanovama, obrazovanju itd.

One su meusobno povezane i sa konstruktivistikom teorijom uenja. Uenje neuronske mree se moe posmatrati kao aktivno konstruisanje reprezentacija na osnovu ulaznih podataka. U skladu da navedenom teorijom uenja, na osnovu koje i ljudi ue na isti nain, neuronske mree se mogu primieniti u pokuaju razumevanja naina na koji ljudi ue, odnosno aktivno grade svoje reprezentacije.

Prema tome, ovaj rad predstavlja teorijske osnove koje je potrebno usvojiti da bi se mogli upustiti u primenu neuronskih mrea. Izneseno je par ideja i naina na koji bismo mogli pristupiti realizaciji inteligentnih sistema baziranih na neuronskim mreama. Budui da je nain primene neuronske mree potrebno dobro osmisliti, razliite ideje su uvek dobrodole.LITERATURA

[1.] Amato, F., Lopez, A., Pena Mendez, E.M., Vanhara, P., Hampl, A., Havel, J. (2013). Artificial neural networks in medical diagnosis. Journal of APPLIED BIOMEDICINE. [Online]. 9(2), str. 47 58. Dostupno na: http://jab.zsf.jcu.cz/11_2/havel.html [pristupljeno 9. oktobar 2013].[2.] Anon (n.d). Applications of neural networks.[Internet] Dostupno na: http://www-cs-faculty.stanford.edu/~eroberts/courses/soco/projects/neural-networks/Applications/daveapps.html [pristupljeno 7. oktobar 2013].[3.] Anon (n.d). Neural networks and financial prediction.[Internet] Dostupno na: http://www-cs-faculty.stanford.edu/~eroberts/courses/soco/projects/neural-networks/Applications/stocks.html [pristupljeno 8. oktobar 2013].

[4.] Anon (n.d). Neural Networks and Image Compression.[Internet] Dostupno na: http://www-cs-faculty.stanford.edu/~eroberts/courses/soco/projects/neural-networks/Applications/imagecompression.html [pristupljeno 27. septembar 2013].

[5.] Anon (n.d). Travelling Salesman Problem.[Internet] Dostupno na: http://www.patol.com/java/TSP/index.html [pristupljeno 7. oktobar 2013].[6.] Dandurand, F. (n.d.). Neural Art applet and Android application. [Internet] Dostupno na: http://lnsclab.org/members/Frederic.Dandurand/art.html [pristupljeno 8. oktobar 2013].[7.] Douglas, R., Edelman, G., Krichmar, J., Martin, K.,Neural Networks and Artifical Brains, Neuroscience - Science of the Brain: An introduction for young students, 2003

[8.] Hrg, D., Cerovski, K., Gore, M. (2004). Neuronske mree Problem trgovakog putnika. Semiarski rad, Zagreb: Fakultet elektrotehnike i raunarstva u Zagrebu.

[9.] Ili, V., (2002). OCR Software for recognition Cyrillic letters. InfoM Journal of Information Technology and Multimedia Systems, Vol. 1, str. 38-43.[10.] Lorsakul, A., Suthakorn, J. (n.d.). Traffic Sign Recognition Using Neural Network on OpenCV: Toward Intelligent Vehicle/Driver Assistance System. Center for Biomedical and Robotics Technology (BART LAB), Department of Biomedical Engineering, Faculty of Engineering, Mahidol University.

[11.] Maki, K. (2009). Primjena neuronskih mrea u fizici i matematici. Diplomski rad, Zagreb: Prirodoslovno matematiki fakultet u Zagrebu.

[12.] Milica eki (n.d.). Neuralne mree i upravljanje robotima. [Internet] Dostupno na: http://www.automatika.rs/baza-znanja/neuralne-mreze/neuralne-mreze-i-upravljanje-robotima.html [pristupljeno 7. oktobar 2013].

[13.] Paul Watta, Brijesh Desaie, Norman Dannug, Mohamad Hassoun (1996). Image Compression using Backprop. [Internet] Dostupno na: http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html [pristupljeno 27. septembar 2013].

[14.] Pomerleau, D.A. (1989). ALVINN, an autonomous land vehicle in a neural network. Computer Science Department, Carnegie Mellon University.

[15.] Siegel, S. (2001). Training an artificial neural network to play tic-tac-toe, Term Project. [Internet] Dostupno na: http://users.auth.gr/kehagiat/GameTheory/12CombBiblio/TicTacToe.pdf [pristupljeno 7. oktobar 2013].[16.] ipek, M., pani, T. (2005). Neuronske mree u raunalnim igrama. Seminarski rad, Zagreb: Fakultet elektrotehnike i raunarstva u Zagrebu.

[17.] Vouk, D., Malus, D., Carevi, D. (2011). Neuralne mree i njihova primjena u vodnom gospodarstvu. Graevinar. Vol. 63, str. 547-554.

[18.] Vuini, A. (2010). Detekcija lica na slikama pomou neuronskih mrea. Podgorica: Prirodno matematiki fakultet u Podgorici.

SEMINARSKI RAD

aak, 2013. godine251

_1441713173.unknown

_1441713877.unknown

_1442658585.wmf

_1442658588.wmf

_1442658589.wmf

_1442658590.wmf

_1442658587.wmf

_1441714078.unknown

_1441714173.unknown

_1441714011.unknown

_1441713527.unknown

_1441713741.unknown

_1441713300.unknown

_1441712914.unknown

_1441712945.unknown

_1441712884.unknown

_1135929906.unknown