PRIMJENA METODA NEURONSKIH MREŽA I STABLA …oliver.efri.hr/zavrsni/785.B.pdf · neuronske mreže te razvijanje neuronskih mreža kroz povijest. Osim toga, detaljno je Osim toga,

SVEUČILIŠTE U RIJECI

EKONOMSKI FAKULTET

ANA ŠIROLA

PRIMJENA METODA NEURONSKIH MREŽA I STABLA ODLUČIVANJA

KOD PREDVIĐANJA USPJEŠNOSTI STUDIRANJA

DIPLOMSKI RAD

RIJEKA, 2014.

SVEUČILIŠTE U RIJECI

EKONOMSKI FAKULTET

PRIMJENA METODA NEURONSKIH MREŽA I STABLA ODLUČIVANJA

KOD PREDVIĐANJA USPJEŠNOSTI STUDIRANJA

DIPLOMSKI RAD

Predmet: Teorija odlučivanja

Mentor: dr. sc. Alemka Šegota

Student: Ime i prezime: Ana Širola

Studijski smjer: Marketing

JMBAG: 0081123805

Rijeka, rujan 2014.

SADRŽAJ

1. UVOD ....................................................................................................................... 1

1.1. Predmet i problem istraživanja ........................................................................................... 1

1.2. Svrha i ciljevi istraživanja .................................................................................................. 1

1.3. Struktura rada ..................................................................................................................... 1

1.4. Znanstvene metode ............................................................................................................. 2

2 . PRETHODNA ISTRAŽIVANJA................................................................................ 4

3. METODOLOGIJA NEURONSKIH MREŽA ............................................................. 7

3.1. Općenito o neuronskim mrežama ....................................................................................... 7

3.1.1. Biološke (prirodne) neuronske mreže ......................................................................... 8

3.1.2. Umjetne neuronske mreže ......................................................................................... 10

3.2. Povijest neuronskih mreža ............................................................................................... 12

3. 3. Građa neuronskih mreža .................................................................................................. 13

3.3.1. Vrste neuronskih mreža ............................................................................................. 14

3.3.2. Broj slojeva ............................................................................................................... 15

3.3.3. Tipovi veza između neurona ..................................................................................... 16

3.3.4. Veze između ulaznih i izlaznih vrijednosti ............................................................... 16

3.3.5. Tip učenja .................................................................................................................. 16

3.3.6. Pravila učenja ............................................................................................................ 17

3.4. Rad neuronskih mreža ...................................................................................................... 18

3.4.1. Faza treniranja ........................................................................................................... 18

3.4.2. Faza unakrsne validacije ........................................................................................... 19

3.4.3. Faza testiranja ............................................................................................................ 19

3.5. Dizajn neuronskih mreža .................................................................................................. 19

3.6. Višeslojni perceptron ........................................................................................................ 19

3.7. Prednosti neuronskih mreža ............................................................................................. 21

3.8. Nedostaci i ograničenja neuronskih mreža ....................................................................... 21

4. METODOLOGIJA STABLA ODLUČIVANJA .................................................... 23

4.1. Konstrukcija stabla odlučivanja ....................................................................................... 24

4.2. Pretpostavke uporabe stabla odlučivanja ......................................................................... 25

4.2.1. Prednosti i nedostaci uporabe modela stabla odlučivanja ............................................. 25

4.2.2. Mjerenje kvalitete korištenja modela stabla odlučivanja .............................................. 26

5. REZULTATI ISTRAŽIVANJA ............................................................................. 27

5.1. Rezultati uporabe metode neuronskih mreža ................................................................... 27

5.2. Rezultati metode stabla odlučivanja ............................................................................ 33

5.3. Usporedba rezultata modela neuronskih mreža i stabla odlučivanja ................................ 35

6. ANALIZA OSJETLJIVOSTI ................................................................................. 37

7. ZAKLJUČAK ......................................................................................................... 41

LITERATURA ............................................................................................................... 43

POPIS SLIKA, TABLICA I GRAFIKONA .................................................................. 46

PRILOZI ......................................................................................................................... 47

Prilog 1. ANKETNI UPITNIK ..................................................................................... 477

1

1. UVOD

Tema ovog diplomskog rada je izrada modela neuronskih mreža i stabla odlučivanja za

klasifikaciju studenata prema uspjehu u studiranju. U svrhu izrade modela, podaci za

istraživanje prikupljali su se putem anketnog upitnika, a anketirani su bili studenti

Sveučilišta i Veleučilišta u Rijeci. Anketirani studenti pohađaju fakultete: Ekonomski,

Tehnički, Učiteljski, Pomorski, Građevinski, Fakultet za menadžment u turizmu,

Medicinski te Veleučilište u Rijeci. Anketirano je 172 studenta, a obrada podataka te

izrada modela neuronskih mreža i stabla odlučivanja izvršena je uz pomoć programskog

alata Statistica 12.0.

1.1. Predmet i problem istraživanja

Predmet istraživanja u diplomskom radu jesu varijable koje utječu na uspješnost

studiranja.

Problem istraživanja utvrditi koje varijable imaju veći utjecaj za postizanje većeg

uspjeha studenata, te one čiji je utjecaj znatno manji.

1.2. Svrha i ciljevi istraživanja

Cilj rada je klasificirati studente na način jesu li uspješniji ili manje uspješni, a cilj

proizlazi iz analize varijabli koje utječu na uspješnost studiranja. Svrha rada je istražiti

koje varijable imaju najveći, a koje varijable imaju gotovo neznatan utjecaj na

postizanje uspjeha u studiranju.

Provedeno istraživanje može biti korisno prvenstveno Ministarstvu znanosti

obrazovanja i športa koje obavlja različite poslove koji se odnose na osiguranje što

kvalitetnijeg obrazovanja stanovništva Republike Hrvatske, budući da određuju

nastavne programe visokoobrazovnih ustanova. Osim toga, veliku korist od istraživanja

mogu imati profesori i asistenti visokoobrazovnih institucija ukoliko posvete pažnju na

svoja predavanja kojima uvelike pomažu studentima da u studiranju budu što uspješniji.

1.3. Struktura rada

Rad se sastoji od sedam temeljnih cjelina: uvod, prethodna istraživanja, metodologija

neuronskih mreža, metodologija stabla odlučivanja, rezultati istraživanja, analiza

osjetljivosti te zaključak.

2

U poglavlju prethodna istraživanja dani su zaključci do kojih su došli autori brojnih

istraživanja o uspješnosti korištenja modela neuronskih mreža i stabla odlučivanja

različitih tematika.

Kod metodologije neuronskih mreža objašnjene su biološke (prirodne) i umjetne

neuronske mreže te razvijanje neuronskih mreža kroz povijest. Osim toga, detaljno je

objašnjena građa neuronskih mreža, vrste, tipovi veza između neurona koji se nalaze u

neuronskoj mreži te veze između ulaznih i izlaznih vrijednosti. Također, objašnjeni su

tipovi i pravila učenja neuronskih mreža, rad neuronskih mreža kroz tri temeljne faze:

faza treniranja, faza unakrsne validacije i faza testiranja, dizajn neuronskih mreža te

objašnjen višeslojni perceptron kao jedan od najčešće korištenih vrsta neuronskih

mreža. Na kraju navedene su prednosti i nedostaci te ograničenja kod korištenja

neuronskih mreža.

U poglavlju metodologija stabla odlučivanja objašnjena je sama konstrukcija stabla

odlučivanja te pretpostavke uporabe stabla odlučivanja. Navedene su prednosti i

nedostaci uporabe stabla odlučivanja te mjerenje kvalitete uporabe stabla odlučivanja.

U 5. poglavlju koje nosi naziv rezultati istraživanja, dani su rezultati istraživanja

neuronskih mreža i stabla odlučivanja, te je dana usporedba rezultata tih dvaju modela.

U analizi osjetljivosti objašnjene su varijable koje imaju značajan utjecaj na uspješnost

studiranja u modelima neuronskih mreža i stabla odlučivanja.

Na kraju diplomskog rada nalazi se zaključak koji je ujedno 7. poglavlje te je u njemu

ukratko navedeno do kakvog se zaključka došlo primjenjujući metode neuronskih mreža

i stabla odlučivanja za predviđanje uspješnosti studiranja.

Kao prilozi diplomskog rada naveden je anketni upitnik.

1.4. Znanstvene metode

Rad se temelji na anketnom ispitivanju studenata nekoliko fakulteta Sveučilišta u Rijeci

te Veleučilišta u Rijeci u akademskoj godini 2013./2014. Ispitivani su studenti 2. i 3.

godine preddiplomskog studija, te studenti 1. i 2. godine diplomskog studija i

specijalističkog studija Veleučilišta u Rijeci. Anketnim upitnikom prikupljali su se

demografski podaci studenata te podaci o uspješnosti studenata na fakultetima

3

Sveučilišta u Rijeci. Za predviđanje uspješnosti studiranja upotrijebljene su dvije

metode: metoda umjetnih neuronskih mreža te metoda stabla odlučivanja.

4

2 . PRETHODNA ISTRAŽIVANJA

Malvić i Cvetković (2009) u svom istraživanju kod uporabe neuronskih mreža za

predviđanje poroznosti na primjeru polja Beničanci, došli su do saznanja da je

upotrjebljena neuronska mreža pomogla u određivanju poroznosti u ležištu nafte

obilježenome priličnom heterogenošću, a time i nesigurnostima u predviđanju

poroznosti bilo kojom metodom. Zbog iznimno velikog broja podataka i mogućnosti

obrade programom predviđanje je načinjeno na južnome dijelu polja.

Razvijen sustav za prepoznavanje mikrostruktura materijala pokazao je primjenjivost

neuronskih mreža i kod tog vrlo složenog zadatka klasifikacije. Da bi prikazan (ili

sličan) sustav bio spreman i za svakodnevno, na laboratorijsko, korištenje nužno je

nekoliko poboljšanja. (Pred)obradu slike treba poboljšati tako da utjecaj povećanja

mikrostrukture te stanja slike bude minimalan, a izdvajanje značajki tako da

karakteristična geometrija, tamo gdje postoji, ima dominantan utjecaj. Vrlo je osjetljiva

i priprema, odnosno učenje neuronske mreže: uzorci skupa za učenje moraju biti

reprezentativni i pažljivo odabrani kako bi što bolje opisali pojedinu klasu

mikrostrukture. Konačno, mikrostruktura kao informacija nije dovoljna za opis

materijala: i različiti materijali mogu imati vrlo slične mikrostrukture kao što i isti

materijal može, ovisno o stanju, imati različite mikrostrukture. Sustav za prepoznavanje

slika mikrostrukture trebao bi biti ekspertnog sustava na području materijala koji bi

objedinjavao rezultate prepoznavanja sa drugim podacima i informacijama o materijalu.

Mogućnosti primjene neuronskih mreža su velike. Na nekoliko primjera je njihova

primjenjivost i potvrđena. Vrlo skoro možemo očekivati pojavu više sustava s

neuronskim mrežama u području ispitivanja materijala (Filetin i Galinec).

Rezultati istraživanja koje su provele Zekić – Sušac, Pavleković i Đurđević (2011)

pokazuju da je model neuronskih mreža točnije prepoznao darovitost djece za

matematiku nego procjena nastavnika o darovitosti učenika. Međutim, nastavnici su

uspješniji kod prepoznavanja nedarovitih učenika. Razlika između predviđanja

darovitosti djece od strane nastavnika i predviđanja metodom neuronskih mreža je

statistički značajna (p=0,014) pri čemu se došlo do zaključka da su procjene metodom

neuronskih mreža najbolje i najbliže psihološkim nalazima.

5

Zekić – Sušac, Frajman – Jakšić i Drvenkar (2009) u svom istraživanju, odnosno kod

predviđanja uspješnosti studiranja testirale su i trenirale više arhitektura neuronskih

mreža dobivenih promjenom topologije mreža (broja skrivenih neurona), prijenosnih

funkcija, te pravila učenja. Za svaku arhitekturu koristeći metodu neuronskih mreža

dobivena je stopa ispravne klasifikacije za svaku klasu na uzorku za treniranje i

testiranje. Za mjerilo uspješnosti modela koristile su prosječnu stopu klasifikacije.

Najbolja prosječna stopa klasifikacije na uzorku za testiranje iznosi 66,26% pri čemu su

u neuronskoj mreži korištena 33 skrivena neurona, logistic prijenosna funkcija, delta –

bar – delta pravilo učenja, a mreža je učila na najviše 1000 epoha. Upravo broj

skrivenih neurona koji je dao najmanju grešku u fazi unakrsne validacije bio je 33, što

bi značilo da je u uzorku za testiranje 66,26% slučajeva bilo ispravno klasificirano, dok

je 33,74% slučajeva stavljeno u pogrešnu klasu.

Međutim, korištenjem druge metode, metoda CART stabla odlučivanja, prosječna stopa

klasifikacije bila je 88,36% što je više od prosječne stope klasifikacije dobivene s

pomoću najboljeg modela neuronskih mreža (66,26%). Upravo metoda stabla

odlučivanja bila je posebno točna pri prepoznavanju „lošijih“ studenata s nižim

prosjekom ocjena od 3, a stopa ispravne klasifikacije iznosila je čak 100%. Nešto niža

stopa klasifikacije bila je kod prepoznavanja „boljih“ studenata te je iznosila 76,71%,

ali čak i ta stopa pokazuje da stabla odlučivanja uspijevaju lakše prepoznati „bolje“ i

„lošije“ studente od najbolje metode neuronskih mreža.

Dobiveno stablo odlučivanja uspješno je klasificiralo 96 od 100 primjera za formiranje

modela, a ista je preciznost klasifikacije postignuta i na primjerima za testiranje gdje je

klasificirano 48 od 50 primjera. Podjednaka preciznost klasifikacije na primjerima za

učenje i za testiranje svjedoči o dobroj kvaliteti dobivenog stabla odlučivanja.

Dobiveno stablo je jednostavno i lako interpretabilno. Metodom glavnih komponenata,

s obzirom na broj kvasaca i plijesni u gramu sira, izdvojena su tri faktora koji

predstavljaju oko 78 % ukupne varijacije podataka. To su: mikrobiološka kvaliteta

zraka, broj aerobnih mezofilnih bakterija u ispirnoj vodi i pasteriziranom mlijeku te

ukupan broj kvasaca i plijesni u ispirnoj vodi. Metodom stabla odlučivanja, kao

najvažnija varijabla s obzirom na broj kvasaca i plijesni, u konačnom proizvodu

izdvojen je broj kvasaca i plijesni u zraku, a kao druga po važnosti varijabla broj

6

aerobnih mezofilnih bakterija u zraku. To su varijable koje čine prvi faktor dobiven

metodom glavnih komponenata (Sobota Šalomon, Božanić i Dobša 2010).

7

3. METODOLOGIJA NEURONSKIH MREŽA

Kao jednom od metoda za predviđanje uspješnosti studiranja, odabrana je upravo

metoda neuronskih mreža. Navedenom metodom odredit će se koje varijable imaju

manje, a koje više utjecaja na uspješnost studenata tijekom njihovog studiranja.

3.1. Općenito o neuronskim mrežama

Neuronska mreža (engl. Neural Network) zbir je neurona koji su međusobno povezani i

interaktivni kroz operacije obrade signala. Tradicijski pojam neuronska mreža odnosi se

na biološku neuronsku mrežu, tj. mrežu bioloških neurona. Moderno značenje ovog

pojma uključuje i umjetne neuronske mreže, građene od umjetnih neurona ili čvorova

(Wikipedija 2013).

U nastavku je dana slika koja prikazuje izgled umjetne neuronske mreže.

Slika 1. Izgled umjetne neuronske mreže

Izvor: Lukić, 2011.

Na slici 1. može se vidjeti izgled umjetne neuronske mreže koja se sastoji od tri različita

sloja. Svaka višeslojna mreža ima ulazni i izlazni sloj, a između ta dva sloja nalaze se

tzv. skriveni slojevi čiji broj nije ograničen.

Postoje dvije temeljne vrste neuronskih mreža, a to su:

1. Biološke (prirodne) neuronske mreže

2. Umjetne neuronske mreže

8

3.1.1. Biološke (prirodne) neuronske mreže

Biološka neuronska mreža je građena od stvarnih bioloških neurona koji su fizički ili

funkcionalno povezani u periferni živčani sustav ili središnji živčani sustav. U

području neuroznanosti, često se identificiraju kao grupe neurona koje izvode specifičnu

fiziološku funkciju. Stvarni, biološki živčani sustav je iznimno složen i uključuje neka

svojstva koja mogu biti redundantna za shvaćanje rada umjetnih neuronskih mreža

(Wikipedija 2013).

Biološka neuronska mreža izuzetno je složena, na što upućuje njezina sama građa od

preko 100 milijardi neurona koji komuniciraju kroz tijelo putem neuronskih vlakana. Ta

mreža neurona je „odgovorna“ za sve fenomene koje nazivamo razmišljanje, učenje,

emocija, spoznaja i percepcija kao i za izvođenje odgovarajuće motorne senzorike u

autonomnih funkcija.

Postoji i signifikantan broj sinaptičkih veza u smjerovima:

1. akson – akson,

2. akson – tijelo neurona,

3. dendriti - dendriti (Novaković, Majetić i Široki, 1998:3).

U nastavku je prikaz biološkog (prirodnog) neurona koji je sastavni dio ljudskog

živčanog sustava.

Slika 2. Biološki (prirodni) neuron

Izvor: Dalbelo Bašić, Čupić i Šnajder 2008

9

Na Slici 2. dan je izgled biološkog (prirodnog) neurona koji se sastoji od tijela stanice i

dvije vrsta nastavaka. Jedna vrsta nastavaka jesu aksoni čija je zadaća prenošenje

impulsa na ostale neurone. Akson predstavlja tanku cjevčicu koja je sa jedne strane

povezana na tijelo neurona, a sa druge strane se dijeli na niz grana. Krajevi ovih grana

završavaju malim zadebljanjima koji najčešće dodiruju dendrite, a rjeđe tijelo drugog

neurona. Mali razmak između završetka aksona prethodnog neurona i dendrita ili tijela

sljedećeg neurona naziva se sinapsa. Akson jednog nerona formira sinaptičke veze s

mnoštvom drugih neurona (Novaković, Majetić i Široki, 1998:2). Druga vrsta

nastavaka su dendriti čija je zadaća primanje impulsa koje prenose aksoni. Signali,

odnosno impulsi koje prenose dendriti mogu bili ili smirujući ili uzbudni.

Neuroni su organizirani u složene lance i mreže, kroz koje se prenose signali u

živčanom sustavu (Brain Campaign).

Jedan neuron može generirati impuls koji će u neuronskoj mreži aktivirati ili smiriti

stotine ili tisuće drugih neurona, od kojih svaki može biti istovremeno uzbuđivan od

stotine ili tisuće drugih neurona. Ovim se realizira visoki stupanj povezanosti neurona u

neuronskoj mreži, što upućuje na zaključak da se kompleksne funkcije neuronske mreže

ostvaruju kompleksnošću veza (težinama) među neuronima, prije nego isključivo

kompleksnošću svakog neurona ponaosob (Novaković, Majetić i Široki, 1998:3).

Komunikacija se u mozgu odvija na dva načina, a to su:

1. Kemijskim signalima

2. Preko sinapsi, električnim signalima unutar neurona.

Aktiviranje jedne sinapse obično nije dovoljno da bi se neuron pobudio. Međutim,

uzastopno aktiviranje jedne sinapse u kratkom vremenskom intervalu ili simulantno

aktiviranje više sinapsi može dovesti da izlazne aktivnosti neurona. Ovo znači da tijelo

integrira ulazni impuls i skuplja impuls sa više ulaza. Također treba napomenuti da

aktivacijski impuls iste amplitude koji prolazi kroz različite sinapse različito utječe na

ukupni potencijal tijela. Impulsi sa sinapsi koje se nalaze na dendritima teže aktiviranju

neuron nego signali sinapsi na tijelu. Osim toga, prolaz impulsa kroz sinapsu mijenja

fizička svojstva spoja dva neurona tako da se u sljedećoj aktivaciji sinapsa i električno

ponaša različito (Andrejević, 2004:17).

10

Gledajući prema obliku tijela biološkog (prirodnog) neurona, došlo se do spoznaje da

postoji čak nekoliko stotina vrsta bioloških neurona. Prema toma, ovisno o vrstama

biološkog neurona, svaka vrsta zadužena je za izvođenje određene, specijalizirane i

važne funkcije.

3.1.2. Umjetne neuronske mreže

Umjetna neuronska mreža u širem je smislu riječi umjetna replika ljudskog mozga

kojom se nastoji simulirati postupak učenja. To je paradigma kojom su implementirani

pojednostavljeni modeli što sačinjavaju biološku neuronsku mrežu. Neuronska mreža

jest skup međusobno povezanih jednostavnih procesnih elemenata, jedinica ili čvorova,

čija se funkcionalnost temelji na biološkom neuronu. Pri tome je obradbena moć mreže

pohranjena u snazi veza između pojedinih neurona tj. težinama do kojih se dolazi

postupkom prilagodbe odnosno učenjem iz skupa podataka za učenje. Neuronska mreža

obrađuje podatke distribuiranim paralelnim radom svojih čvorova (Dalbelo Bašić,

Čupić i Šnajder 2008). U nastavku dana je slika koja prikazuje izgled umjetnog

neurona.

Slika 3. Umjetni neuron


Slika 3. Prikazuje izgled umjetnog neurona. Umjetni neuron dizajniran je kako bi

oponašao osnovne funkcije biološkom (prirodnog) neurona. Ulogu tijela biološkog

neurona u umjetnom neuronu preuzima sumator, ulogu dendrita preuzimaju ulazi u

sumator, akson umjetnog neurona postaje izlaz iz sumatora, dok ulogu praga

osjetljivosti bioloških neurona u umjetnom neronu preuzima aktivacijska funkcija.

Aktivacijske funkcije mogu biti:

1. Linearne

2. Nelinearne.

11

Kod linearnih aktivacijskih funkcija, izlaz sumatora množi se s nekim faktorom

(pojačanjem) i tako dobiva izlaz neurona. Nelinearne funkcije mogu poprimiti različite

oblike, ali se najčešće koriste: funkcije praga osjetljivosti, sigmoidalne, hiperbolične i

harmoničke funkcije. Nelinearne aktivacijske funkcije prevode izlaz sumatora na izlaz

neurona preko nelinearnog pojačanja (Novaković, Majetić i Široki, 1998:5).

Ulazne signale, njih ukupno n, označavamo sa , ,... . Težine označavamo sa ,

, ... .

Ulazni signali općenito su realni brojevi u intervalu [-1,1], [0,1] ili samo elementi iz

{0,1}, kada govorimo o Booleovom ulazu. Težinska suma net dana je s

θ

ali se zbog kompaktnosti često dogovorno uzima da je vrijednost praga θ = - te se

dodaje ulazni signal s fiksiranom vrijednošću 1, pa pišemo jednostavnije


Umjetni neuron je jedinica za obradu podataka (varijabla) koja prima ponderirane

ulazne vrijednosti od drugih varijabli, prema nekoj formuli transformira primljenu

vrijednost, te šalje izlaz drugim varijablama. Učenje se odvija promjenom vrijednosti

“težina” među varijablama (težine su ponderi kojima se množe ulazne vrijednosti u

neki “neuron”) (Zekić – Sušac).

U literaturi je moguće susresti se s više različitih modela neurona. Svi oni nastoje

najprije matematički opisati događanja u prirodnom neuronu čime nastaje matematički

model, u svrhu da se kasnije takav model realizira elekronskim putem, to jest uz pomoć

elektronskog modela. Različiti modeli se međusobno razlikuju u razini apstrakcije

pojava u prirodnom neuronu.

12

Sve modele je moguće svrstati u dvije velike skupine. Prvu čine statički, a drugu

dinamički modeli. Statički modeli opisuju neuron algearskim jednadžbama koje

povezuju ulazne impulse i impuls na izlazu. Za razliku od njih ulazni impulsi i izlazni

impuls neurona u dinamičkim modelima su povezani diferencijalnim jednadžbama.

Razlika je jasna. U statičkim modelima je zanemarena dinamika pojava u neuronu

smatrajući da su ulazni signali sporo promjenjivi (Milenković 1997:16).

3.2. Povijest neuronskih mreža

Neuronsko računalstvo jedna je od grana umjetne inteligencije, a početak njegove

uporabe veže se za pedesete godine 20. stoljeća na konferenciji Dartmouth Research

Project on Artifical Inteligence. Na toj konferenciji je najavljeno ostvarivanje vizije

računalnog modela koji bi mogao u nekim temeljnim principima oponašati

funkcioniranje mozga. Pojavljivanje neuronskog računalstva je odgovor Von

Neumannovim računalima, nastojeći ostvariti ili simulirati usporednu obradu

informacija koju koristi ljudski mozak dok se sjeda, razmišlja, rješava probleme itd.(

Mačkić 2009).

Za razvoj neuronskih mreža bitno je navesti nekoliko ključnih događaja koji su tome

dali poseban značaj:

· 1943 - McCullock i Pitts postavljaju temelje za razvoj neuronskih mreža tako što

prvi dokazuju da neuroni mogu imati dva stanja (pobuđujuće i umirujuće) i da

njihova aktivnost ovisi o nekom pragu vrijednosti.

· 1949 - Hebb prvi predložio pravilo kojim se opisuje proces učenja (Hebb-ovo

pravilo)

· 1956 - Dartmouth Summer Conference na kojoj su Rochester i skupina autora

predstavili prvu simulaciju Hebb-ovog modela koja je preteča modela

neuronskih mreža

· 1958 - Rosenblatt razvio prvu neuronsku mrežu perceptron, koja je dvoslojna i

nije mogla rješavati probleme klasifikacije koji nisu linearno djeljivi (npr. XOR

problem)

· 1974 - razvijena višeslojna perceptron mreža - MLP (Paul Werbos), kao preteča

Backpropagation mreže, koja prevladava nedostatak perceptrona uvođenjem

učenja u skrivenom sloju

13

· 1986 - Backpropagation mrežu usavršuju Rumelhart, Hinton i Williams, ona

vraća ugled neuronskim mrežama, jer omogućuje aproksimiranje gotovo svih

funkcija i rješavanje praktičnih problema (Edukacijski Repozitorij za

Inteligentne Sustave 2003).

Nakon navedenih događaja raste znanstveni i komercijalni interes za neuronske mreže.

Uslijed toga razvijeni su i brojni algoritmi kojima se objašnjava rad neuronskih mreža, a

danas najveću komercijalnu upotrebu ima mreža „širenje unatrag“ (eng.

Backpropagation) (Edukacijski Repozitorij za Inteligentne Sustave 2003).

3. 3. Građa neuronskih mreža

Ljudski mozak sastoji se od nekoliko desetaka milijardi neurona koji su međusobno

povezani u mrežu te tako povezani mogu paralelno obrađivati informacije. Osnovna

jedinica živčanog sustava jest neuron. Neuron prima informacije od drugih neurona

putem dendrita, obrađuje ih, a zatim šalje impuls putem aksona i sinapsa ostalim

neuronima u mreži.

Način na koji povezujemo neurone u mrežu čini građu, odnosno arhitekturu neuronske

mreže. Neuroni povezani u mrežu organizirani su u slojeve. Svaka mreža ima neurone

koji služe za prihvat ulaznih vrijednosti i čine ulazni sloj neurona, te neurone koji daju

odgovor mreže i čine izlazni sloj neurona. Svi ostali neuroni koji se nalaze između tih

dvaju slojeva čine skriveni sloj neurona (Mandić 2012).

U nastavku je dan prikaz građe neuronske mreže.

14

Slika 4. Građa neuronske mreže

Izvor: Zekić-Sušac, Frajman-Jakšić i Drvenkar 2009:8

Na Slici 4. može se vidjeti građa neuronskih mreža koja se sastoji od ulaznog sloja koji

prima informacije, izlaznog sloja te jednog skrivenog sloja koji se nalazi između njih.

Svaka neuronska mreže mora biti građena od ulaznog i izlaznog sloja, a može imati i

više skrivenih slojeva i broj neurona u svakom skrivenom sloju ovisno o vrsti mreže i

složenosti problema koji se rješava. Prema tome, što je problem složeniji, i broj slojeva,

a k tome i broj neurona u skrivenim slojevima, biti će veći.

3.3.1. Vrste neuronskih mreža

Umjetne neuronske mreže prema postavljanom kriteriju kategoriziraju se u različite

skupine.

Neuronske mreže razlikuju se prema sljedećim kriterijima:

· Broju slojeva (dvoslojne i višeslojne)

· tipu veze između neurona (inter-slojne veze i intra-slojne veze),

· vezi između ulaznih i izlaznih podataka (autoasocijativne i heteroasocijativne),

· ulaznim i izlaznim (prijenosnim) funkcijama,

· pravilu učenja,

· ostalim parametrima (sigurnosti ispaljivanja, vremenskim karakteristikama, i dr.)

(Edukacijski Repozitorij za Inteligentne Sustave 2003).

15

Od navedenih kriterija, od posebnog je značenja pravilo učenja kao kriterij za

razlikovanje algoritama.

3.3.2. Broj slojeva

Način na koji određeni broj neurona čini mrežu mogao bi se opisati pomoću nekoliko

vrsta slojeva. Prvo se odabrani broj neurona poreda u niz čineći ulazni sloj. Ti neuroni

svoje signale šalju prema među slojevima koji nemaju vezu s okolinom (ni ulaznu, ni

izlaznu) te su nazvani i skriveni slojevi. Način veze između ulaznoga i tih slojeva

određuje vrstu mreže, a mreža je obično potpuno povezana unatrag, što znači da je svaki

neuron povezan sa svakim izlazom iz prethodnoga sloja. Rezultat je, nakon obrade,

uvijek izražen kroz jedan izlazni sloj koji je veza prema vanjskome svijetu.

Sljedeća slika prikazuje shemu organizacije neuronske mreže preko slojeva.

Slika 5. Shema organizacije neuronske mreže preko slojeva

Izvor: Malić i Cvetković 2009

Slika 5. Prikazuje shemu organizacije neuronske mreže preko slojeva. Ulazni sloj

neuronske mreže prima i prosljeđuje impulse iz vanjskog svijeta (okoline). Skriveni

slojevi primaju te impulse te ih obrađuju, dok izlazni sloj prikuplja rezultate te stvara

izlaz.

Prema broju slojeva neuronske mreže dijele se na:

1. dvoslojne – imaju samo ulazni i izlazni sloj, npr. Perceptron, ADALINE,

2. višeslojne – imaju ulazni, izlazni i jedan ili više skrivenih slojeva, npr.

16

Backpropagation, Radial Basis Function, itd.( Tadić Marina 2010:10).

3.3.3. Tipovi veza između neurona

Prema tipu, veze između neurona dijelimo na:

1. Inter-slojna – veze između dva sloja; potpuno povezane, djelomično povezane,

jednosmjerne, dvosmjerne, hijerarhijske, rezonantne

2. Intra-slojna – veze između neurona u jednom sloju; ponavljajuće, usmjerene na

blisko okruženje

3.3.4. Veze između ulaznih i izlaznih vrijednosti

Neuronske mreže se mogu razlikovati s obzirom na veze između ulaznih i izlaznih

vrijednosti.

One mogu biti:

1. autoasocijativne - ulazni vektor jednak je kao izlazni vektor; često je koristi u

problemima prepoznavanja uzoraka,

2. heteroasocijativne – kada je ulazni vektor različit od izlaznog vektora

3.3.5. Tip učenja

Učenje je proces mijenjanja težina u mreži, a odvija se kao odgovor na podatke izvana

koji su predstavljeni ulaznom sloju i u nekim mrežama izlaznom sloju. Podaci koji se

predstavljaju izlaznom sloju su željene vrijednosti izlaznih varijabli (Edukacijski

Repozitorij za Inteligentne Sustave 2003).

Da bi se postiglo da mreža zaista i aproksimira željenu nelinearnu funkciju treba

odrediti prave iznose njenim sinaptičkim težinskim koeficijentima. Postupak

određivanja „pravih“ iznosa sinaptičkih težinskih koeficijenata naziva se učenje mreže

(Domijan 2004).

Učenje se dijeli na 2 osnovna tipa:

1. nadgledano učenje ili supervizorno učenje, uz nadzor (ukoliko su poznate željene

vrijednosti izlaznih varijabli) – Supervizorno učenje zahtijeva vanjskog „učitelja“

17

neuronske mreže koji promatra ponašanje mreže korigirajući istu dok ne dobije

željeno ponašanje mreže (Novaković, Majetić i Široki, 1998.). U procesu

nadgledanog učenja mreži se prezentiraju pobuda i konkretan, tj. željeni odaziv koji

se od nje očekuje. Za određivanje željenog, to jest točnog odaziva zadužen je učitelj

ili supervizor. Stvarni odaziv mreže uspoređuje se za željenim, a mjera odstupanja

jednog od drugog se vraća procesu za učenje. Na osnovu ove greške proces učenja

vrši promjenu parametara mreže, težeći da minimizira razliku ta dva odaziva

(Milenković 1997:26). Neke od vrsti nadgledanog učenja su: mreža širenje unatrag,

mreža s radijalno zasnovanom funkcijom, modularna mreža, vjerojatnosna mreža,

LVQ (mreža učeće vektorske kvantizacije), i drugi.

2. nenadgledano učenje ili nesupervizorno učenje, bez nadzora (ukoliko nisu

poznate željene vrijednosti izlaznih varijabli) – Kod nesupervizornog učenja

neuronske mreže ne koristi se vanjski učitelj. Ovdje se mreže sama organizira, pa se

može učene ovom metodom nazivaju samoorganizirajuće neuronske mreže

(Novaković, Majetić i Široki, 1998:8). Budući da kod nenadgledanog učenja nema

učitelja, to jest supervizora, nema ni željenog odaziva mreže. Od mreže i procesa

učenja se očekuje da same uoče pravilnosti u ulaznim podacima i da definiraju

konkretan odaziv. Proces učenja vrši promjenu težina samo na osnovu ponavanja

trenutnog ulaza i izlaza mreže (Milenković 1997:26). Vrste nenadgledanog učenja

su: Kohonenova mreža, mreža konkurentskog učenja, te ART (mreža adaptivne

rezonantne teorije).

Neki autori navode još jedan oblik učenja neuronskih mreža, a to je učenje koje je

kombinacija nadgledanog i nenadgledanog učenja (engl. Reinforcement learning). Može

se reći da i ovo učenje pripada vrsti nadgledanih s tom razlikom što je greška, to jest

podatak o razlici stvarnog i željenog odaziva mreže vrlo nejasan. Obično se to svodi

samo na informaciju da se greška dogodila (Milenković 1997:26). Ono što je

karakteristično za tu vrstu učenja jest što mreža uči samostalno, a povremeno dobiva

ocjenu prethodnog rada.

3.3.6. Pravila učenja

Pravilo učenja je formula koja se upotrebljava za prilagođavanje težina veza među

neuronima ( ) (Zekić - Sušac).

18

Najčešće korištena pravila učenja su:

• Delta pravilo (Widrow/Hoff-ovo pravilo),

• Poopćeno Delta pravilo,

• Delta-Bar-Delta i Prošireno Delta-Bar-Delta pravilo,

• Kohonen-ovo pravilo.

Prvo od pravila učenja jest Delta pravilo. Još je poznato kao Widrow – Hoffovo pravilo

ili kao pravilo najmanjih srednjih kvadrata (LMS, eng. Least Mean Square), a njegov je

cilj minimiziranje funkcije cilja određivanjem vrijednosti težina. Cilj je minimizirati

sumu kvadrata grešaka, gdje je greška definirana kao razlika između izračunatog i

stvarnog izlaza nekog od neurona za ulazne podatke. Delta pravilo ima i svoje

nedostatke koji se očituju u problemu lokalnog minimuma, i to u slučaju kada je

najmanja pogreška funkcije pronađena samo za lokalno područje te je svojom pojavom

uzrokovala prekid učenja bez dostizanja minimuma cijele funkcije. Drugi nedostatak

očituje se u problemu penetriranja koji se pojavljuje ukoliko nije moguće unaprijed

odrediti trajanje učenja mreže kako bi ona mogla naučeno znanje generalizirani na novo

nadodanim podacima. Ukoliko je učenje mreže predugo, mreža će naučiti i neke

nebitne veze što će potom uzrokovati njihovu primjenu na podacima za testiranje i time

stvoriti veliku pogrešku.

3.4. Rad neuronskih mreža

Rad umjetne neuronske mreže odvija se u tri osnovne faze koje možemo podijeliti na:

1. Faza treniranja

2. Faza unakrsne validacije

3. Faza testiranja

3.4.1. Faza treniranja

U prvoj fazi, fazi treniranja neuronska mreža uči na prošlim događajima, a rezultat koji

se dobije u toj fazi ne uzima se kao ocjena. Razlog tome je jer je taj rezultat dobiven na

uzorku za učenje. Faza treniranja ujedno je i faza koja najdulje traje, a provodi se u

tisućama iteracija na istom uzorku.

19

3.4.2. Faza unakrsne validacije

Nakon faze treniranja slijedi faza unakrsne validacije u kojoj neuronska mreža nastoji

optimizirati duljinu treniranja, broj skrivenih neurona i parametre (stopu učenja i

momentum). Najbolja dobivena mreža se pohranjuje i testira u sljedećoj fazi (Zekić -

Sušac).

3.4.3. Faza testiranja

Posljednja faza rada neuronskih mreža je faza testiranja. U fazi testiranja naučena mreža

se konačno testira na uzorku koji nije do sada vidjela, i taj se rezultat uzima kao ocjena

mreže. Mreža s najboljim test rezultatom se koristi u praksi (Zekić - Sušac).

3.5. Dizajn neuronskih mreža

Proces dizajniranja neuronskih mreža možemo podijeliti na nekoliko faza:

1. definiranje modela (izbor ulaznih i izlaznih varijabli, priprema ulaznih

podataka),

2. izbor najprikladnijeg algoritma (npr. Backpropagation),

3. raspoređivanje neurona u slojeve (izbor broja skrivenih slojeva, te broja neurona

u svakom skrivenom sloju),

4. određivanje tipa veze među neuronima, te ulaznih i prijenosnih funkcija između

slojeva,

5. izbor pravila učenja, te nekih parametara učenja, npr. koeficijenta učenja i

momentuma koji utječu na brzinu i kvalitetu učenja,

6. izbor mjerila za ocjenjivanje mreže (npr. RMS greška ili stopa klasifikacije), i

7. provođenje postupka učenja (Edukacijski Repozitorij za Inteligentne Sustave

2003).

3.6. Višeslojni perceptron

Perceptron je binarni neuron čiji izlaz može poprimiti dvije vrijednosti: 0 ili 1, što znači,

ukoliko iznosi 0, perceptron je u neaktivnom stanju, a ukoliko iznosi 1, tada je

perceptron aktivan te šalje signal drugim neuronima.

20

Višeslojni perceptron jedan je od najčešće upotrebljavanih vrsta neuronskih mreža.

Višeslojni perceptron mreža je koja se sastoji od ulaznog sloja sa senzornim čvorovima,

jednim ili više skrivenih slojeva te na kraju od izlaznog sloja. U nastavku se nalazi Slika

6. koja prikazuje izgled višeslojnog perceptrona.

Slika 6. Višeslojni perceptron

Izvor: Planinić 2010:29

Slika 6. Prikazuje građu višeslojnog perceptrona. Iz slike može se vidjeti da su svi

čvorovi u mreže međusobno povezani, što znači da su i svi neuroni u svakom sloju

povezani sa svim neuronima iz prethodnog sloja. Također, jasno je vidljivo da impuls se

kroz mrežu širi prema naprijed, sloj po sloj, tj. s lijeve na desnu stranu. Ulazi neurona

ulaznog sloja neurona ujedno su i ulazi u mrežu, međutim ti neuroni nisu neuroni u

pravom smislu, već su to u biti čvorovi za distribuciju ulaza neuronske mreže prema

prvom skrivenom sloju neurona u neuronskoj mreži.

Treba naglasiti su svi slojevi mreže potpuno umreženi, što znači da je svaki neuron

promatranog sloja vezan sa svakim neuronom pretodnog sloja (Novaković, Majetić i

Široki, 1998:24). Izuzetak su jedino i uvijek neuroni označeni sa bias1.

Skriveni slojevi su svi slojevi u neuronskoj mreži koji nisu u direktnom doticaju s

okolinom. Broj skivenih slojeva je proizvoljan, ali najčešće se koriste samo jedan ili dva

skrivena sloja u neuronskoj mreži.

Za višeslojni perceptron karakteristično je što sadrži veliku broj sinapsi i to bez

povratnih veza što najčešće čini potpuno povezanu mrežu, međutim ne mora biti tako.

1 Bias – neuroni konstante izlazne vrijednosti jednake jedinici

21

Kao aktivacijska funkcija u višeslojnom perceptronu upotrebljava se nelinearna

funkcija, pr. sigmoidna aktivacijska funkcija.

3.7. Prednosti neuronskih mreža

Bitna prednost kod korištenja modela neuronskih mreža jest visoka elastičnost prema

poremećajima kod ulaznih podataka te kod sposobnosti „učenja“ mreže.

Ponavljanjem procesa učenja i asocijativnom memorijom model neuronske mreže može

precizno klasificirati informacije prema unaprijed zadanoj strukturi (Dragičević, M.,

2007:82).

Temelj modela umjetnih neuronskih mreža leži u tehnologijama umjetne inteligencija

što daje prirodniji odraz u modeliranju realnog svijeta. Danas se čine veliki napori za

dobivanje modela mozga čovjeka te se ostvaruju fascinantni rezultati koji ponovno

inspiriraju za daljnje poduzimanje novih i većih napora u istraživanju.

Rezultati dobiveni istraživanjem biološkog neurona modificiraju i modele umjetnih

neurona u smislu približavanja biološkim neuronima. Paralelno s ovim inženjeri koriste

umjetne neuronske mreže u rješavanju praktičnih problema postižući ohrabrujuće

rezultate u cijelom nizu inženjerskih disciplina. Može se očekivati da će se visoka

koncentracija multidisciplinarnog pristupa (biolozi, anatomi, psiholozi, inženjeri,

matematičari, pa čak i filozofi) problemu umjetnih neuronskih mreža, u budućnosti

omogućiti dosezanje postavljenog cilja, a taj je zaista uzvišen: u potpunosti razumjeti

ljudsku misao, odnosno spoznati samoga sebe (Novaković, Majetić i Široki, 1998:5).

3.8. Nedostaci i ograničenja neuronskih mreža

Osim prednosti, neuronske mreže imaju i brojna ograničenja i nedostatke. Jedan od

nedostataka neuronskih mreža jest da nisu dobre za aritmetičke proračune i zadatke

obrade podataka. Međutim, iako su vrlo korisne kod predviđanja, njihova se

ograničenost ističe kod objašnjavanja. U nastavku je dana Slika 7. na kojoj je prikazan

dijagram zavisnosti moći predviđanja i objašnjavanja modela neuronskih mreža i

modela stabla odlučivanja.

22

Slika 7. Dijagram zavisnosti moći predviđanja i objašnjavanja modela neuronskih mreža i modela stabla odlučivanja

Izvor: Lojanica 2001

Na slici 7. Može se vidjeti kako su modeli neuronskih mreža izuzetno korisni kod

predviđanja, dok su izuzetno loši kod davanja objašnjenja. To znači da su modeli

neuronskih mreža ograničene kod davanja objašnjenja njhovom korisniku na koji se

način došlo do određenog rješenja.

Danas se pretpostavlja da će umjetne neuronske mreže u perspektivi moći oponašati

funkcije mozga čovjeka. Da bi se to omogućilo mora se moći razumjeti funkcije i

organizaciju rada mozga čovjeka, što je zadatak koji se vjerojatno neće u potpunosti

ostvariti u bližoj budućnosti. Postojeće umjerne neuronske mreže grade se na osnovi

izuzetno pojednostavljenih modela koji ne uzimaju o obzir većinu poznatih funkcija

mozga čovjeka. Razlog tome je činjenica da ne postoji odgovarajući matematički aparat

kojim bi se poznate kompleksne funkcije preslikale u odgovarajući model. U tom smisli

pristup preko koncepta tzv. neizrazite logike (fuzzy logic) dosta obećava već u bliskoj

budućnosti. Naime, taj koncept se danas koristi za opisivanje nejasnih sustava (sustavi

sa sivim zonama), te za tzv. neizrazito upravljanje (fuzzy control) (Novaković, Majetić i

Široki, 1998:4).

23

4. METODOLOGIJA STABLA ODLUČIVANJA

Drvo (stablo) odlučivanja još je jedna tehnika koja se pokazuje vrlo korisnom u

donošenju odluka. Drvo odlučivanja je slikovit model koji reprezentira čitavu strukturu

odlučivanja (Sikavica et al.1999:270).

Stablo odlučivanja je nastalo na bazi statističkih metoda raspoznavanja uzoraka. Najširu

primjenu ima za rješavanje prediktivnih problema uz nadzor učenja. Prediktivni

problemi uključuju predviđanje vrijednosti ciljne značajke (atributa, varijable) u

budućnosti, prepoznavanje uzoraka, regresiju više značajki, razlikovnu analizu,

procjenu funkcije više značajki i nadgledano učenje. Za predviđanje vrijednosti ciljne

značajke koristi se skup ulaznih značajki. Prediktivnim modelom se mapiraju ulazne

značajke na ciljnu. Stabla odlučivanja dijele se po raznim kriterijima. Tako je jedan od

kriterija vrsta ciljne značajke prema kojemu se stabla dijele na regresijska stabla više

značajki, ukoliko je ciljna varijabla realan broj, te stabla za razvrstavanje, ukoliko je

ciljna značajka diskretan skup vrijednosti (nivoa) (Skladištenje.com 2002).

Stablo odlučivanja jest klasifikacijski algoritam u formi stablaste strukture, u kojoj se

razlikuju dva tipa čvorova povezanih granama:

· krajnji čvor ("leaf node") - kojim završava određena grana stabla. Krajnji

čvorovi definiraju klasu kojoj pripadaju primjeri koji zadovoljavaju uvjete na toj

grani stabla;

· čvor odluke ("decision node") - ovaj čvor definira određeni uvjet u obliku

vrijednosti određenog atributa (varijable), iz kojeg izlaze grane koje

zadovoljavaju određene vrijednosti tog atributa (Institut Rudjer Bošković 2001).

U nastavku je dana slika koja prikazuje izgled stabla odlučivanja.

24

Slika 8. Izgled stabla odlučivanja

Izvor: Daraboš 2011

Na slici 8. jasno se može vidjeti sam izgled stabla odlučivanja. Stablo odlučivanja

počinje sa temeljnom odlukom, koja se grana na alternativne odluke koje mogu biti

donijete tijekom procesa odlučivanja. Sa slike može se vidjeti kako svaka alternativna

odluka na kraju stabla odlučivanja završava određenim ishodom, odnosno posljedicom

donošenja te odluke.

4.1. Konstrukcija stabla odlučivanja

Drvo odlučivanja započinje točkom odlučivanja (engl. Decision point). Od točke

odlučivanja crtamo grane koje pokazuju svaku od alternativnih odluka koje mogu biti

donijete. Notacija za vjerojatnost događaja je krug. Od te točke događa se više grananja,

ali je to izvan kontrole donositelja odluke. Svakoj toj grani pridružena je odgovarajuća

vjerojatnost. Stoga je drvo odlučivanja korisno za donošenje odluka u uvjetima rizika.

Ono koristi kriterij očekivane vrijednosti. Svaka grana na kraju drveta predstavlja neki

mogući ishod koji rezultira iz donijete odluke. Množeći svaki profit s pripadajućom

vjerojatnošću i sumirajući tako dobivene vrijednosti za pojedinu alternativu, dobivano

očekivane vrijednosti pojedinih alternativa (Sikavica et al.1997:270,271).

25

Konstrukcija stabla odlučivanja dijeli se na 3 faze:

1. Analiza stabla odlučivanja koja se izvodi s desna na lijevo,

2. Procjena očekivanih vrijednosti za sva moguća rješenja,

3. Izbor najbolje alternative.

4.2. Pretpostavke uporabe stabla odlučivanja

Četiri su bitne pretpostavke uporabe modela stabla odlučivanja:

1. Donositelj odluke ima na raspolaganju većinu relevantnih inačica odluke,

2. Moguće posljedice (ishodi) inačica odluke mogu se na neki način kvantificirati,

3. Pri izboru se razmatraju samo ona obilježja inačica odluka koja se mogu

kvantificirati,

4. Stablo odlučivanja može se analizirati ako postoje subjektivne vrijednosti

nastupanja nesigurnih događaja (Tipurić 2013).

4.2.1. Prednosti i nedostaci uporabe modela stabla odlučivanja

Prednost stabla odlučivanja pred drugim modelima očituje se u jednostavnosti i

razumljivosti. Postoje pravila prema kojima se konstruira samo stablo odlučivanja koje

na posljetku daje jednostavno i razumljivo rješenje. Osim toga, model stabla

odlučivanja pogodan je kod analize složenijih i dinamičnih situacija odlučivanja te se

njegova korisnost očituje kad postoji mogućnost da se slijed donošenja odluke podijeli u

niz manjih situacija izbora alternativa koje se tijekom određenog vremenskog razdoblja

oslanjaju jedna na drugu. Prednost koju drvo odlučivanja ima prema matrici odlučivanja

jest u činjenici što ljudi često nalaze da je slikovit model lakši za rad od tabele brojeva.

Još je važnija prednost vezana za stablo odlučivanja u tome što je stablo odlučivanja

lakše primjenjivo kod analiza i donošenja sekvenci (niza) odluka (Sikavica et

al.1999:270).

Osim navedenih prednosti, model stabla odlučivanja ima i nekoliko nedostataka. Jedan

od nedostataka metode stabla odlučivanja je njezina nestabilnost, tj. mala promjena

ulaznih podataka pomoću kojih se trenira model, može rezultirati velikim promjenama

26

topologije stabla. Istovremeno performanse stabla će najvjerojatnije ostati približno iste

(Skladištenje.com 2002). Nestabilnost je najčešće razlog određivanja velikog broja

alternativa, tj. mogućih rješenja koje nerijetko imaju približno jednaku vrijednost. Time

se javlja situacija da ukoliko nastane i mala promjena u podacima, utjecat će se i na

promjene u ostalim granama koje se nalaze ispod nastale promjene.

4.2.2. Mjerenje kvalitete korištenja modela stabla odlučivanja

Kvalitetu modela je najbolje mjeriti na neviđenim podacima upotrebom npr. odvojene

tablice s podacima za provjeru (validacijska tablica) ili upotrebom zahtjevnije kros-

validacijske metode. Logičan kriterij prema kojem će se ocjenjivati kvaliteta stabla je

njegova točnost. Točnost stabla je moguće definirati na više načina (Skladištenje.com

2002).

Jedna od tehnika mjerenja točnosti modela stabla odlučivanja također je i mjerenje

postotka točno razvrstanih uzoraka.

27

5. REZULTATI ISTRAŽIVANJA

U ovom diplomskom radu provedeno je treniranje i testiranje više arhitektura

neuronskih mreža koje su dobivene uslijed promjene topologije mreže, odnosno

promjene broja skrivenih neurona. Također, topologija mreže mijenjala se uslijed

promjena prijenosnih funkcija te pravila učenja. Za mjerenje uspješnosti modela

korištena je prosječna stopa klasifikacije (engl. Missclasification rate) koja je dobivena

za svaku klasu u uzorku za treniranje i testiranje. Kod uporabe metode stabla

odlučivanja za testiranje je korišten algoritam CART te su dobiveni rezultati uspoređeni

s rezultatima korištenja metode neuronskih mreža.

5.1. Rezultati uporabe metode neuronskih mreža

Prije samog kreiranja neuronskih mreža potrebno je bilo pripremiti podatke u Excel

alatu za obradu podataka, i to na način da svaki stupac u tablici prikazuje po jednu

varijablu, dok svaki stupac daje prikaz jedne jedinice obrade, a o ovom slučaju

odgovore jednog ispitanika na sva pitanja anketnog upitnika. U stupce se najprije

navode sve ulazne varijable, dok se u posljednji stupac navodi izlazna varijabla.

U nastavku se nalazi tablica koja prikazuje ulazne varijable modela te njihovu

deskriptivnu statistiku.

Tablica 1. Ulazne varijable modela i njihova deskriptivna statistika

Naziv varijable i

oznake

Vrsta varijable Opis varijable Kodiranje i

frekvencija

Spol (SPOL) Ulazna, binarna Spol studenata (m/ž)

1- Muški (34,10%)

2- Ženski (65,90%)

Stipendija (STIP) Ulazna,

kontinuirana Primate li stipendiju?

1 – Da, redovito

primam stipendiju

(25,43%)

2 – Da, ali samo

povremeno (4,62%)

3 – Ne, ne primam

stipendiju (69,95%)

Vrijeme (VR) Ulazna,

kontinuirana

Koliko prosječno na dan posvećujete vrijeme učenju?

1 – Do jedan sat

(31,21%)

2 – Dva do tri sata

(31,79%)

28

3 – Tri do pet sati

(10,40%)

4 – Više od pet sati (4,05%)

5 – Ne mogu

procijeniti (22,55%)

Poticajnost

(POTIC)

Ulazna,

kontinuirana

Potican/a sam na aktivno

sudjelovanje na nastavi,

samostalnost u radu i kritičko mišljenje!

1 – U potpunosti se

ne slažem (7,51%)

2 – Ne slažem se (15,61%)

3 – Niti se slažem niti se ne slažem (45,66%)

4 – Slažem se (21,96%)


slažem (9,26%)

Materijali (MAT) Ulazna,

kontinuirana

Iz kojih materijala najčešće učite i pripremate kolokvije/ispite?

1 – Knjiga koju

preporuči profesor (10,89%)

2 – Skripta koju

dobijem od drugih

studenata (41,40%)

3 – Bilješke koje vodim tijekom

predavanja

/seminara (8,09%)

4 – Sve navedeno

(34,10%)

5 – Ništa navedeno (0,00%)

6 – Ne znam

(5,52%)

Prisustvo

predavanja (PP)

Ulazna,

kontinuirana

Koliko ste često prisutni na predavanjima?

1 – Do 25%

(10,89%)

2 – Od 26 – 50%

(10,98%)

3 – Od 51 – 75%

(20,24%)

4 – Od 76 – 100%

(57,80%)

29

Pripremljenost

profesora (PRIP)

Ulazna,

kontinuirana

Profesori na predavanja

dolaze pripremljeni za

izlaganje gradiva!


ne slažem (2,31%)



4 – Slažem se (41,62%)


slažem (20,23%)

Prisustvo seminari

(PS)

Ulazna,

kontinuirana

Koliko često prisustvujete na seminarima/vježbama?

1 – Do 25%

(8,67%)

2 – Od 26 – 50%

(5,78%)

3 – Od 51 – 75%

(19,65%)

4 – Od 76 – 100%

(65,90%)

Dostupnost

profesora

(DOSTUP)

Ulazna,

kontinuirana

Profesori i asistenti redovito

su dostupni za komunikaciju

te pružaju korisne povratne informacije o Vašem radu!


ne slažem (1,73%)



4 – Slažem se (39,31%)


slažem (18,41%)

Važnost ocjene (OCJ)

Ulazna,

kontinuirana

Ocjena koju dobijete za

položeni završni ispit vrlo Vam je važna!


ne slažem (8,09%)



30

4 – Slažem se (22,54%)


slažem (24,28%)

Šalabahteri (SALAB)

Ulazna,

kontinuirana

Smatrate i da su šalabahteri dijelom zaslužni za Vaš

uspjeh na ispitima?


ne slažem (52,02%)



4 – Slažem se (5,20%)


slažem (6,95%)

Redovno

ocjenjivanje

(REDOV)

Ulazna,

kontinuirana

Smatrate li da je Vaš rad tijekom studiranja redovito

ocjenjivan u skladu s Vašim zalaganjem?


ne slažem (6,94%)



4 – Slažem se (35,26%)


slažem (9,24%)

Prosjek (PRO) Izlazna, binarna

Vaš prosjek na kraju prethodne akademske godine

bio je?

1 – Manji ili jednak

3 (49,13%)

2 – Veći od 3 (50,87%)

Izvor: Izrada studentice prema rezultatima anketiranja studenata fakulteta Sveučilišta i

Veleučilišta u Rijeci

Model se sastoji od 13 varijabli od kojih njih 12 su ulazne (binarna i kontinuirane)

varijable, te 1 izlazna (binarna) varijabla. Jedina ulazna binarna varijabla je spol

studenata te poprima brojčani oblik i to brojeve 1 ili 2. Ostale ulazne varijable

31

poprimaju oblike u rasponu od 1 – 6 (cjelobrojne) ovisno o broju ponuđenih odgovora u

anketnom upitniku. Izlaznu varijablu predstavlja prosjek ocjena na kraju akademske

godine te se dijeli na dvije kategorije i poprima oblike 0 i 1 i to na način: 0 – prosjek

manji ili jednak 3 i 1 – prosjek veći od 3. Takvom formulacijom problem se svrstava u

problem klasifikacije čiji je cilj modela klasificirati studente na „bolje“ i „lošije“,

odnosno one s prosjekom nižim ili jednakim 3 te višim od 3.

Kao programski alat korištena je Statistica 12.0 te je potrebno bilo učitati podatke iz

alata Excel. Nakon importiranja podataka u Statisticu, pokreće se alat za neuronske

mreže i odabire Automated Neural Networks, izabire New Analysis i tip problema

Classification.

Ukupni uzorak podataka potrebno je podijeliti na tri dijela:

1. Poduzorak za treniranje

2. Poduzorak za unakrsnu validaciju

3. Poduzorak za testiranje.

To se čini na način da se u kartici Sampling izabire slučajna podjela uzorka (engl.

Random sampling) na poduzorke za treniranje (70%), poduzorke za unakrsnu validaciju

(20%) i poduzorka a testiranje (10%). Time se dobiva struktura ukupnog uzorka i

poduzoraka koja je prikazana u sljedećoj tablici.

Tablica 2. Struktura ukupnog uzorka i poduzoraka



0 - studenti s nižim prosjekom

1 - studenti s višim prosjekom

Ukupno

Treniranje 60 (50,00%) 60 (50,00%) 120 (100%)

Unakrsna

validacija 9 (50,00%) 9 (50,00%) 18 (100%)

Testiranje 20 (58,83%) 14 (41,17%) 34 (100%)

Ukupno 89 (51,74%) 83 (48,26%) 172 (100%)

32

Iz tablice može se vidjeti da je jednaka raspodjela u obje kategorije (0 – studenti s nižim

prosjekom i 1 – studenti s višim prosjekom) u poduzorcima za treniranje i unakrsnu

validaciju i to na način na koji neuronske mreže zahtijevaju. Svi ostali ispitanici, njih

34, svrstani su u poduzorak za testiranje za konačno testiranje modela. Izbor ispitanika

bio je slučajan, ali pod uvjetom zadržavanja temeljnog kriterija jednake raspodjele

uzoraka u poduzorke za treniranje i unakrsnu validaciju.

Nakon raspodjele podataka izabire se algoritam neuronskih mreža, u ovom slučaju MLP

(Multilayer perceptron) i RB (Radial basis) te broj skrivenih neurona: minimalno 1,

maksimalno 10. Osim toga, bitno je odabrati za aktivacijske (prijenosne) funkcije za

skriveni (hidden) sloj Logističku, Tangens i Hiperbolnu funkciju, a za izlani (output)

sloj Identity funkciju. Nakon toga izbora, model se trenira te se dobiju rezultati za

najbolju i najlošiju testiranu mrežu što je prikazano u sljedećoj tablici.

Tablica 3. Rezultati metode neuronskih mreža na uzorku za testiranje



U danoj tablici dan je uvid u najbolju i najlošiju testiranu mrežnu arhitekturu. Najbolja

prosječna stopa klasifikacije na poduzorku za testiranje postignuta je mrežom pod

rednim brojem 1 te iznosi 66%. U toj neuronskoj mreži korištena su 8 skrivena neurona

koji daju najmanju grešku u fazi unakrsne validacije, dok je prijenosna funkcija bila

Tahn (tangens), a mreža je učila na 1000 epoha. Rezultat najbolje neuronske mreže ima

značenje da je u poduzorku za testiranje 66% slučajeva bilo ispravno klasificirano, dok

Rb Metoda

Broj

skrivenih

neurona

Prijenosna

funkcija

Stopa

klasifikacije

za klasu 0

(%)

Stopa

klasifikacije

za klasu 1

(%)

Prosječna stopa

klasifikacije

(%)

1

MLP

neuronska

mreža

2 - 13 (8) Tahn 60% 72% 66%

2

MLP

neuronska

mreža

2 - 13 (9) Logistic 62% 66% 64%

3

RBFN

neuronska

mreža

2 - 13 (25) Gaussian 72% 52% 62%

33

je 34% slučajeva bilo pogrešno klasificirano, odnosno stavljeno u pogrešnu klasu. Stope

klasifikacije za pojedinačnu klasu u najboljoj neuronskoj mreži pokazuju da je 60%

slučajeva ispravno klasificirano za klasu 0 koja označava studente s nižim ili jednakim

prosjekom od 3, dok je 72% slučajeva ispravno klasificirano za klasu 1 koja označava

studente s prosjekom većim od 3. To je ujedno i pokazatelj da studenti s „boljim“

prosjekom, većim od 3, imaju zajedničke karakteristike koje model neuronskih mreža

mogu lakše prepoznati i povezati za razliku od značajki koje imaju studenti s „lošijim“

prosjekom, nižim ili jednakim 3. Najlošija neuronska mreža je RBFN neuronske mreža

sa brojem skrivenih neurona 25 te prijenosnom (aktivacijskom) funkcijom Gaussian.

Prosječna stopa klasifikacije za tu mrežu je 62%, što znači da je 62% slučajeva u

poduzorku za testiranje bilo ispravno klasificirano, dok je 38% slučajeva netočno

klasificirano. Kod ove neuronske mreže, pojedinačna stopa klasifikacije za klasu 0

iznosi 72%, a za klasu 1 iznosi 52%, što znači da studenti svrstani u klasu 0 imaju

značajke koje neuronska mreža može lakše prepoznati i povezati nego kod studenata

koji se nalaze u klasi 1.

5.2. Rezultati metode stabla odlučivanja

Druga metoda za predviđanje uspješnosti studiranja koja je korištena u ovom

diplomskom radu je metoda stabla odlučivanja, i to algoritam CART stabla odlučivanja.

U nastavku je dana tablica u kojoj su prikazani rezultati metode stabla odlučivanja na

uzorku za testiranje.

Tablica 4. Rezultati metode stabla odlučivanja na uzorku za testiranje

Algoritam

stabla

odlučivanja

Goodness

od fit

Stopa

klasifikacije za

klasu 0 (%)

Stopa

klasifikacije za

klasu 0 (%)

Prosječna stopa

klasifikacije

(%)

CART Gini 100,00 76,92 88,42



U danoj tablici vidljivo je da je stopa klasifikacije za klasu 0, odnosno za studente sa

„nižim“ prosjekom 100%, što znači da je metoda stabla odlučivanja ispravno prepoznala

sve studente s prosjekom nižim ili jednakim 3 u uzorku za testiranje te ih svrstala u

34

klasu 0. Niža stopa klasifikacije je za klasu 1, odnosno za studente s „višim“ prosjekom

od 3 te iznosi 76,92%, što znači da je model stabla odlučivanja ispravno klasificiralo

76,92% slučajeva, dok je 23,08% slučajeva netočno klasificirano. Prosječna stopa

klasifikacije metode stabla odlučivanja iznosi 88,36%. To znači da je 88,36% slučajeva

ispravno klasificirano u poduzorku za testiranje, dok je 11,64% slučajeva netočno

klasificirano.

Rezultat klasifikacije studenata može se prikazati u matrici konfuzije koja daje prikaz

stvarnog broj studenata prema klasama kojima pripadaju. Stupci daju prikaz stvarnog

broja studenata koji pripadaju klasama 0 i 1, dok redci daju prikaz broja studenata koje

je model sam svrstao u pojedinu klasu 0 ili 1. U nastavku je dana tablica koja to

prikazuje.

Tablica 5. Matrica konfuzije najboljeg modela stabla odlučivanja

Predviđena kategorija

Stvarna kategorija

studenata Ukupno

0 1

0 8 6 14

1 0 20 20

Ukupno 8 26 34



U tablici je dan prikaz matrice konfuzije s poduzorkom za testiranje, što obuhvaća 34

studenta. Jasno je prikazano da je model stabla odlučivanja uspio ispravno klasificirati

sve studente u klasu 0, odnosno u studente s prosjekom nižim ili jednakim 3 u ukupnom

uzorku za testiranje. Međutim, model stabla odlučivanja u klasu 1, odnosno u studente s

višim prosjekom od 3 ispravno je svrstao 20 studenata, dok je pogrešno svrstao 6

studenata u navedenu klasu. Ukupan broj ispravno klasificiranih studenata može se

vidjeti u dijagonali matrice (tablice) te iznosi 28 studenata, dok ih je 6 netočno

klasificirano. Ukupno je 34 studenta koji su testirani za konačno testiranje modela.

35

5.3. Usporedba rezultata modela neuronskih mreža i stabla odlučivanja

Nakon izrade modela neuronske mreže i modela stabla odlučivanja u programskom

alatu Statistica 12.0, možemo doći do određenih zaključaka. Oba korištena modela daju

vrlo dobre rezultate, a to se može iščitati iz dobivenih prosječnih stopa klasifikacije iz

oba modela. Prosječna stopa klasifikacije za najbolju neuronsku mrežu vidi se u tablici

3. te iznosi 66%, dok se prosječna stopa klasifikacije za najbolji model stabla

odlučivanja nalazi u tablici 5. te iznosi 88,36%. Prema tim rezultatima možemo ustvrditi

da je prosječna stopa klasifikacije koju daje stablo odlučivanja te iznosi 88,36% veća od

prosječne stope klasifikacije koju daju neuronske mreže za 22,36%.

Isto to, može se ustvrditi i matrica konfuzije za oba modela koje se nalaze u nastavku.



Iz matrica konfuzije za oba modela, može se vidjeti da oba modela daju vrlo dobre

rezultate kod klasifikacije studenata. Shodno s time može se zaključiti da su model

neuronske mreže i model stabla odlučivanja uspješni kod predviđanja uspješnosti

studiranja.

Model najbolje neuronske mreže prepoznao je 60% studenata koji pripadaju u klasu 0,

odnosno u klasu studenata s prosjekom nižim ili jednakim od 3, dok je bolje prepoznao

studente koji pripadaju u klasu 1, odnosno u klasu studenata s prosjekom višim od 3, i

to 72%. Model najboljeg stabla odlučivanja uspio je prepoznati sve studente koji

Klasa Stopa

točnosti

0 60%

1 72%

Prosječna stopa

klasifikacije

66%

Klasa Stopa

točnosti

0 100%

1 76,92%

Prosječna stopa

klasifikacije

88,42%

Tablica 6. Matrica konfuzije

neuronske mreže

Tablica 7. Matrica konfuzije

stabla odlučivanja

36

pripadaju klasi 0, odnosno klasi studenata s prosjekom nižim ili jednakim 3, dok je

stopa klasifikacije za klasu 1 bila 76,92% što je također vrlo dobar rezultat. Gledajući

sveukupne prosječne stope klasifikacije za oba modela, model stabla odlučivanja

pokazuje bolje rezultate kod klasifikacije studenata u klase 0 i 1, te ona iznosi 88,42%,

dok se manje uspješan model neuronskih mreža gdje prosječna stopa klasifikacije iznosi

66%.

Uzevši to u obzir, može se zaključiti da je model stabla odlučivanja točniji od modela

neuronskih mreža kod klasifikacije studenata u klase 0 i 1 na uzorku od 172 studenta

Sveučilišta i Veleučilišta u Rijeci.

37

6. ANALIZA OSJETLJIVOSTI

Nakon testiranja modela neuronskih mreža i modela stabla odlučivanja korisno je

napraviti analizu osjetljivosti ulaznih varijabli na izlaznu varijablu. Upravo ta analiza

daje uvid koje su ulazne varijable najviše utjecale na izlaznu varijablu, odnosno na

točnost klasifikacije navedenih modela. Time se daje detaljan uvid u značajnost

pojedinih varijabli (čimbenika) na uspješnost studenata što je ujedno i cilj ovog

diplomskog rada.

U nastavku se nalazi tablica koja prikazuje osjetljivosti izlazne varijable na ulazne

varijable u modelu najbolje neuronske mreže.

Tablica 8. Osjetljivost izlazne varijable na ulazne varijable u modelu najbolje

neuronske mreže



Iz tablice možemo vidjeti vrijednosti promjene izlazne varijable ukoliko dođe do

promjene pojedine ulazne varijable za jednu jedinicu. Najveći utjecaj na izlaznu

varijablu (prosjek studenata) ima dostupnost profesora i asistenata (DOSTUP) koji su

otvoreni za pitanja koja muče studente, dok najmanji utjecaj ima varijabla stipendija

studenata (STIP). Isto je prikazano u grafikonu u nastavku.

38

Grafikon 1. Grafički prikaz osjetljivosti izlazne varijable na ulazne varijable u modelu

najbolje neuronske mreže



Grafikon 1. Daje prikaz osjetljivosti izlazne varijable na ulazne varijable u modelu

najbolje neuronske mreže. Iz grafikona možemo vidjeti da najveći utjecaj ima varijabla

dostupnost profesora i asistenata (DOSTUP), a nakon toga slijede: prisustvo studenata

na seminarima i vježbama (PS), pripremljenost profesora za predavanje gradiva (PRIP),

materijali iz kojih studenti pripremaju ispite i kolokvije (MAT), važnost ocjene za

položeni završni ispit (OCJ), redovno ocjenjivanje studenata (REDOV), vrijeme koje

studenti provedu učeći (VR), poticaj studenata da aktivo sudjeluju u nastavi (POTIC),

prisustvo na predavanjima (PP), šalabahteri (SALAB), spol studenata (SPOL), a

najmanji utjecaj na prosjek studenata ima stipendija (STIP). Analiza osjetljivosti daje

velik značaj varijablama koje označavaju dostupnost profesora i asistenata za studentska

pitanja te pohađanje seminarske nastave kod predviđanja uspješnosti studiranja u

modelima neuronskih mreža.

Kod modela stabla odlučivanja analiza osjetljivosti ulaznih analiza na izlaznu je nešto

drugačija. U nastavku se nalazi tablica koja daje uvid koja varijabla daje najveći značaj

u predviđanju uspješnosti studiranja u modelu stablu odlučivanja, te varijabli čiji je

utjecaj nešto manji.

39

Tablica 9. Značajnost ulaznih varijabli kod stabla odlučivanja

Oznaka

varijable

Rang

varijable

Koeficijent značajnosti varijable

MAT 100 1,000000

DOSTUP 94 0,940175

REDOV 82 0,819968

PS 76 0,758556

PRIP 74 0,744978

POTIC 71 0,708453

PP 70 0,697855

SALAB 64 0,636537

STIP 60 0,604934

OCJ 57 0,566183

SPOL 36 0,359147

VR 18 0,176666



U danoj tablici možemo vidjeti kako najveći utjecaj na postizanje većeg uspjeha u

studiranju ima varijabla materijala iz kojeg studenti pripremaju gradivo za kolokvije i

ispite (MAT), dok najmanji utjecaj ima vrijeme koje studenti provode pripremajući to

isto gradivo (VR). Isto to prikazano je na grafikonu koji slijedi.

Grafikon 2. Značajnost ulaznih varijabli kod stabla odlučivanja



40

Iz grafikona možemo zaključiti kako najveći utjecaj za postizanje boljeg prosjeka imaju

materijali iz kojeg studenti spremaju gradivo (MAT), a zatim slijede: dostupnost

profesora i asistenta za komunikaciju sa studentima (DOSTUP), redovito ocjenjivanje

studenata od strane profesora i asistenata (REDOV), pohađanje seminarske nastave

(PS), pripremljenost profesora za izlaganje gradiva (PRIP), poticajnost studenata od

strane profesora i asistenata na aktivnost na nastavi (POTIC), prisutsvo na predavanjima

(PP), šalabahteri (SALAB), stipendija (STIP), redovito ocjenjivanje (OCJ), spol

studenata (SPOL), a najmanji utjecaj ima vrijeme provedeno spremajući gradivo (VR).

Nakon provođenja analiza osjetljivosti ulaznih varijabli na izlaznu kod modela

neuronskih mreža i stabla odlučivanja, može se zaključiti kako je rang varijabli razlikuje

kod oba modela. Međutim, model stabla odlučivanja u klasifikaciji studenata prema

prosjeku, odnosno uspešnosti, dao je bolji rezultat te veću uspješnost, može se zaključiti

da varijable materijali iz kojih studenti pripremaju gradivo za kolokvije i ispite (MAT),

dostupnost profesora i asistenata na komunikaciju sa studentima (DOSTUP) te redovito

ocjenjivanje rada studenata (REDOV) imaju najveći utjecaj kod predviđanja uspješnosti

studiranja na testiranom uzorku. Najmanji utjecaj ima vrijeme provedeno spremajući

gradivo za kolokvije i ispite (VR) što ima smisla, jer ukoliko su materijali jednostavi za

razumijevanje, a profesori dostupni za komunikaciju, te ukoliko redovito ocjenjuju

zalaganje studenata tijekom studiranja, pomažu studentima da olakšaju svoje studiranje

te postignu bolji uspjeh.

41

7. ZAKLJUČAK

Diplomski rad bavi se kreiranjem modela neuronskih mreža i stabla odlučivanja za

predviđanje uspješnosti studiranja, a osim toga i analizom varijabli koje imaju značajan

utjecaj na postizanje većeg uspjeha u studiranju. Cilj rada bio je klasificirati studente u

dvije klase obzirom da li su uspješni ili manje uspješni u studiranju na temelju prosjeka

ocjena u prethodnoj akademskoj godini 2012./2013. Većina ispitanika pohađalo je

fakultete Sveučilišta u Rijeci, dok su nekolicina njih studenti Veleučilišta u Rijeci.

Podaci potrebni za analizu prikupljali su se putem anketnog upitnika, a analiza se vršila

pomoću programskog alata Statistica 12.0.

Nakon provedene analize, model stabla odlučivanja dao je daleko bolje rezultate kada se

radi o studentima koji pripadaju klasi 0, odnosno skupini studenata s prosjekom nižim

ili jednakim 3. Međutim, model stabla odlučivanja dao je bolje rezultate i kada se radi o

klasifikaciji studenata u klasu 1, koji postižu bolje rezultate u studiranju, gdje je

prepoznao 76,92% studenata, dok je model najbolje neuronske mreže prepoznao nešto

manje, 72% studenata s većim uspjehom u studiranju.

Prosječna stopa točnosti klasifikacije najboljeg modela neuronske mreže iznosi 66%,

dok za najbolji model stabla odlučivanja prosječna stopa klasifikacije iznosi 88,42%. Iz

toga se može zaključiti da je model stabla odlučivanja pokazao znatno veću točnost

klasifikacije studenata od modela neuronskih mreža, čime ukazuje da je upravo model

stabla odlučivanja primjenjiviji za rješavanje problema klasifikacije za predviđanje

uspješnosti studiranja.

Analizom varijabli koje u konačnici utječu na uspješnost studiranja došlo se do rezultate

da su najvažniji čimbenici većeg uspjeha materijali iz kojih studenti pripremaju gradivo

za kolokvije i ispite, dostupnost profesora i asistenata za upite i nejasnoće od strane

studenata, prisustvo na seminarskoj nastavi i vježbama te redovito ocjenjivanja rada i

aktivnosti studenata tijekom akademske godine.

Naposljetku, bitno je napomenuti da je moguće postizanje veće stope točnosti

klasifikacije, a shodno s time i točnosti predviđanja, ukoliko bi se poboljšalo samo

istraživanje i to uvođenjem većeg broja varijabli koje imaju utjecaj na uspješnije

studiranje, uvođenje većeg broja fakulteta uključujući i ostala Sveučilišta i Veleučilišta

u Republici Hrvatskoj, a dakako i povećanjem broja ispitanika. Moguće je korištenje

42

modela neuronskih mreža i stabla odlučivanja odvojeno za studente fakulteta

Sveučilišta, a odvojeno za studente Veleučilišta u Rijeci. Na taj bi se način,

uspoređujući dobivene rezultate dala usporedba koje varijable imaju veći utjecaj na

postizanje boljeg uspjeha u studiranju kod studenata fakulteta Sveučilišta u Rijeci te s

druge strane studenata Veleučilišta u Rijeci.

43

LITERATURA

1. Andrejević, M., 2004., Neuronske mreže u modelovanju, Zadružbina Andrejević,

Biblioteka Academia, Beograd

2. Brain Campaign, Živčani sustav, Pregledano 25.02.2014., <htt-

p://www.braincampaign.org/common/docs/files/2768/crchap1.pdf>

3. Dalbelo Bašić, B., Čupić, M. i Šnajder, J.,2008, Umjetne neuronske mreže,

Fakultet elektronike i računarstva, Sveučilište u Zagrebu, Pregledano

26.02.2014.,

<https://www.fer.hr/_download/repository/UmjetneNeuronskeMreze.pdf>

4. Daraboš, M., 2011, Stablo odlučivanja, sveučilište u Zagrebu, Ekonomski

fakultet u Zagrebu, Zagreb, Pregledano 24.03.2014.,

<http://web.efzg.hr/dok/OIM/mdarabos/4-Stablo%20odlu%C4%8Divanja.pdf>

5. Domijan, P., 2004, Umjetni neuronski sustav odlučivanja o kupovini sirove

nafte, Fakultet elektronike i računarstva, Sveučilište u Zagrebu

6. Dragičević, M., 2006, Neuronske mreže i analitički hijerarhijski proces u

segmentaciji turističkog tržišta, vol. 15, No. 1, pp. 81 – 98, Pregledano

23.03.2014., <http://hrcak.srce.hr/11474?lang=en>

7. Edukacijski Repozitorij za Inteligentne sustave 2003, Pregledano 19.03.2014.,

<http://eris.foi.hr/11neuronske/nn-predavanje1.html>

8. Edukacijski Repozitorij za Inteligentne Sustave 2003, Pregledano 20.03. 2014.,

<http://eris.foi.hr/11neuronske/nn-predavanje4.html>

9. Filetin, T. i Galinec, J., 1997, Mogućnosti primjene neuronskih mreža u

ispitivanju materijala, Zavod za materijale, Fakultet strojarstva i brodogradnje

Sveučilišta u Zagrebu, Pregledano 27.03.2014.,

<http://titan.fsb.hr/~tfiletin/pdf/neuro_matest97.pdf>

10. Institut Rudjer Bošković, 2001, Stabla odlučivanja, Pregledano 23.03.2014.,

<http://dms.irb.hr/tutorial/hr_tut_dtrees.php>

11. Lojanica, V., 2001, Nedostaci i ograničenja neuronskih mreža, Pregledano

20.03.2014., <http://www.loya.5u.com/strane/28.html>

44

12. Lukić, I., 2011., Neuronska mreža i stablo odlučivanja za klasifikaciju kupaca

prema kupnji ručnika, Ekonomski fakultet u Osijeku, Sveučilište Josipa Jurja

Strossmayera u Osijeku

13. Mačkić, K., 2009, Primjena neuronskih mreža u fizici i informatici, Prirodoslovno – matematički fakultet, Sveučilište u Zagrebu, Pregledano

27.03.2014.,

<http://www.phy.pmf.unizg.hr/~planinic/diplomski/Kenan_Mackic.pdf>

14. Malvić, T. i Cvetković, M., 2009, Neuronski alati u geologiji ležišta ugljikovodika, Pregledano 14.03.2014, Hrvatsko geološko društvo, Zagreb, <http://www.geologija.hr/pdf/geomat/knjiga_neuronske_mreze.pdf>

15. Mandić, D., 2012, Neuronske mreže i stabla odlučivanja za predviđanje uspješnosti studiranja, Pregledano 25.02.2014.,

<http://www.academia.edu/4398198/NURONSKE_MREZE_I_STABLA_ODL

UCIVANJA>

16. Milenković, S., 1997, Veštačke neuronske mreže, Zadružbina Andrejević, Biblioteka Dissertatio, Beograd

17. Novaković, B., Majetić, D. i Široki, M., 1998., Umjetne neuronske mreže,

Sveučilište u Zagrebu, Fakultet strojarstva i brodogradnje, Zagreb

18. Pavleković, M., Zekić – Sušac, M. i Đurđević, I., 2011, Model neuronskih mreža

za predviđanje matematičke darovitosti u djece, Hrvatski časopis za odgoj i

obrazovanje, vol.13, No. 1, pp. 10 – 41, Pregledano 24.04. 2014.,

<http://hrcak.srce.hr/index.php?show=clanak&id_clanak_jezik=113044>

19. Planinić, D., 2010, Poznavanje pokreta mišem korištenjem neuronskih mreža,

Sveučilište u Zagrebu, Fakultet elektronike i računarstva, Zagreb, Pregledano

14.03.2014., <http://161.53.18.95/zprweb/radovi/Dragan_Planinic.pdf>

20. Sikavica, P., Bebek, B., Skoko, H. i Tipurić, D.,1999, Poslovno odlučivanje,

Redakcija: prof. dr. sc. Pere Sikavica, Informator, Zagreb

21. Skladištenje.com, 2002, Stabla odlučivanja, Pregledano 23.03.2014.

<http://www.skladistenje.com/stabla-odlucivanja/>

22. Sobota Šalomon, B., Božanić, R. i Dobša, J., 2012, Analiza varijabli koje utječu

na mikrobiološku kvalitetu u proizvodnji svježeg sira, Pregledano 27.03.2014.,

<http://hrcak.srce.hr/index.php?show=clanak&id_clanak_jezik=93747>

45

23. Tadić, M., 2010, Neuronske mreže za predviđanje smjera kretanja dionica na

tržištima vrijednosnica, Pregledano 14.03.2014., Sveučilište Josipa Jurja

Strossmayera u Osijeku, Ekonomski fakultet u Osijeku, Osijek,

<http://informatika.efos.hr/wp-content/uploads/2011/07/Diplomski-rad-

%E2%80%93-Tadic-Marina-Neuronske-mreze-za-predvidanje-smjera-kretanja-

dionica-na-trzistima-vrijednosnica.pdf>

24. Tipurić, D., 2013, Stablo odlučivanja, Sveučilište u Zagrebu, Ekonomski

fakultet u Zagrebu, Zagreb, Pregledano 24.03.2014.,

<http://web.efzg.hr/dok/OIM/dtipuric/7-Stablo%20odlu%C4%8Divanja-

2013.pdf>

25. Wikipedija 2013, Pregledano 25.02.2014,

<http://hr.wikipedia.org/wiki/Neuronska_mre%C5%BEa>

26. Zekić – Sušac, M., 4. Neuronske mreže, Pregledano 18.03.2014.,

<https://loomen.carnet.hr/pluginfile.php/56586/mod_resource/content/0/P4_Neu

ronske.pdf>

27. Zekić – Sušac, M., Frajman – Jakšić, A. i Drvenkar, N., 2009, Neuronske mreže i stabla odlučivanja za predviđanje uspješnosti studiranja, Pregledano

25.02.2014, <http://hrcak.srce.hr/47931>

46

POPIS SLIKA, TABLICA I GRAFIKONA

Popis slika

Slika 1: Izgled neuronske mreže ................................................................................................... 7

Slika 2.: Biološki (prirodni) neuron .............................................................................................. 8

Slika 3.: Umjetni neuron ............................................................................................................. 10

Slika 4.: Građa neuronske mreže ................................................................................................. 14

Slika 5.: Shema organizacije neuronske mreže preko slojeva ..................................................... 15

Slika 6. Višeslojni perceptron ..................................................................................................... 20

Slika 7. Dijagram zavisnosti moći predviđanja i objašnjavanja modela neuronskih mreža i

modela stabla odlučivanja ........................................................................................................... 22

Slika 8. Izgled stabla odlučivanja ................................................................................................ 24

Popis tablica

Tablica 1. Ulazne varijable modela i njihova deskriptivna statistika .......................................... 27

Tablica 2. Struktura ukupnog uzorka i poduzoraka .................................................................... 31

Tablica 3. Rezultati metode neuronskih mreža na uzorku za testiranje ...................................... 32

Tablica 4. Rezultati metode stabla odlučivanja na uzorku za testiranje ...................................... 33

Tablica 5. Matrica konfuzije najboljeg modela stabla odlučivanja ............................................. 34

Tablica 7. Matrica konfuzije stabla odlučivanja ......................................................................... 35

Tablica 6. Matrica konfuzije neuronske mreže ........................................................................... 35

Tablica 8. Osjetljivost izlazne varijable na ulazne varijable u modelu najbolje neuronske mreže ..................................................................................................................................................... 37

Tablica 9. Značajnost ulaznih varijabli kod stabla odlučivanja .................................................. 39

Popis grafikona

Grafikon 1. Grafički prikaz osjetljivosti izlazne varijable na ulazne varijable u modelu najbolje

neuronske mreže .......................................................................................................................... 38

Grafikon 2. Značajnost ulaznih varijabli kod stabla odlučivanja ................................................ 39

47

PRILOZI

Prilog 1. ANKETNI UPITNIK

Poštovani, studentica sam druge godine diplomskog studija Ekonomskog fakulteta u Rijeci. Cilj ankete je istražiti koje varijable imaju značajan utjecaj na uspješnost studenata. Molim Vas da izdvojite nekoliko minuta i ispunite ovu kratku anketu. Anketa

je anonimna te će se dobiveni rezultati koristiti isključivo u svrhu izrade diplomskog rada. Molim Vas da označite/zaokružite samo jedan odgovor koji smatrate

odgovarajućim. Unaprijed se zahvaljujem!

1. Spol:

a) Muško

b) Žensko

2. Primate li stipendiju?

a) Da, redovito primam

stipendiju

b) Da, ali samo povremeno

c) Ne, ne primam stipendiju

3. Koliko vremena prosječno na dan posvećujete vrijeme učenju?

a) Do jedan sat

b) Dva do tri sata

c) Tri do pet sati

d) Više od pet sati e) Ne mogu procijeniti

4. Potican/a sam na aktivno

sudjelovanje na nastavi

(sudjelovanje u raspravama,

postavljanje pitanja,

odgovaranje na pitanja),

samostalnost u radu i kritičko mišljenje!

( 1 – u potpunosti se ne

slažem, 5 – u potpunosti se slažem)

1 2 3 4 5

5. Iz kojih materijala najčešće učite i pripremate kolokvije/ispite?

a) Knjiga koju preporuči profesor

b) Skripta koju dobijem od

drugih studenata

c) Iz bilješki koje vodim

tijekom predavanja

d) Sve navedeno

e) Ništa od navedenog

f) Ne znam

6. Koliko ste često prisutni na predavanjima?

a) Do 25%

b) Od 26 do 50%

c) Od 51 do 75%

d) Od 76 do 100%

7. Smatrate li da su profesori u

potpunosti pripremljeni za

izlaganje gradiva na

predavanjima?

( 1 – u potpunosti se ne slažem, 5 – u potpunosti se slažem)

1 2 3 4 5

48

8. Koliko često prisustvujete na seminarima/ vježbama?

a) Do 25%

b) Od 26 d 50%

c) Od 51 do 75%

d) Od 76 do 100%

9. Profesori i asistenti redovito su

dostupni za komunikaciju te

pružaju korisne povratne informacije o Vašem radu tijekom studiranja!


1 2 3 4 5

10. Ocjena koju dobijete nakon

položenog završnog ispita vrlo Vam je važna!


1 2 3 4 5

11. Smatrate li da su šalabahteri dijelom zaslužni za Vaš uspjeh na ispitima?


1 2 3 4 5

12. Smatrate da je Vaš rad tijekom studiranja redovito

ocjenjivan u skladu s Vašim zalaganjem

(kolokviji/projekti/zadaci/vježbe/seminari)?


1 2 3 4 5

13. Vaš prosjek na kraju prethodne akademske godine

bio je?

a)Manji ili jednak 3

b)Veći od 3

14. Koji fakultet pohađate?

(Napišite puni naziv fakulteta)

__________________________

__________________________

__________________________

__________________________

Zahvaljujem se na suradnji!

Documents

PRIMJENA METODA NEURONSKIH MREŽA I STABLA …oliver.efri.hr/zavrsni/785.B.pdf · neuronske mreže te razvijanje neuronskih mreža kroz povijest. Osim toga, detaljno je Osim toga,