Sveuilite Josipa Jurja Strossmayera u Osijeku Ekonomski fakultet u Osijeku Diplomski studij Poslovna informatika

Diplomski rad iz kolegija Sustavi poslovne inteligencije

Naslov rada: Neuronske mree za predvianje potronje prirodnog plina u gradu akovu za sljedei dan

Mentor: prof.dr.sc. Marijana Zeki-Suac

Student: Davor Namjestnik

SaetakOvaj rad se bavi procjenom potronje prirodnog plina. Cilj rada je predvidjeti to tonije potronju prirodnog plina u gradu akovu za sljedei dan. Za kreiranje modela koriteno je sedam ulaznih i jedna izlazna varijabla. Ulazne varijable su potronja prirodnog plina za prethodni dan, najnia dnevna temperatura, najvia dnevna temperatura, godinje doba, tip dana, udio industrijske potronje, prosjena brzina vjetra. Model se sastoji od 361 sluaja, podaci su stvarni povijesni podaci dobiveni od HEP plina i hrvatskog hidrometeorolokog zavoda. Model je testiran s dva algoritma: vieslojni perceptron i mrea sa radijalno zasnovanom funkcijom. Analizom se dolo do zakljuka da MLP daje bolje rezultate u usporedbi s RBF modelom. Rezultati su pokazali visoku tonost predvianja mjerenu kroz srednju kvadratnu greku i koeficijent korelacije izmeu stvarnih i predvienih izlaznih vrijednosti. Uz manja poboljanja model bi se mogao predloiti za praktinu primjenu. Kljune rijei: mree s radijalno zasnovanom funkcijom, predvianje, potronja, neuronske mree, mrea irenja unatrag, prirodni plin.

AbstractThis paper will deal with the estimation of natural gas consumption. The aim of the paper is to accurately foresee the natural gas consumption in the city of akovo for the following day. Seven input and one output model were used in creating this model. Input variables include natural gas consumption for the previous day, the lowest daily temperature, the highest daily temperature, season of the year, type of day, proportion of industrial consumption, average wind velocity. The model consists of 361 occurrences and the data is actual historical data received from HEP Gas Company and Hydro Meteorological Institute of Croatia. Two algorithms were used to test the model; the multilayered perceptron and the radial basis function network. The analysis indicated that MLP gives better results in comparison with RBF model. The results showed a high prediction accuracy as measured by mean square error and correlation coefficient between actual and predicted output values. With minor improvements model colud be proposed for practical application. Keywords: radial basis function, accurately, consumption, nerual networks, backpropagation, natural gas.

SADRAJ 1. Uvod .................................................................................................................... 1 2. Cilj i svrha istraivanja ....................................................................................... 3. Prethodna istraivanja ......................................................................................... 4.1. Povijest neuronskih mrea ........................................................................... 4.2. Izgradnja neuronske mree .......................................................................... 4.2.1. Tipovi uenja kod neuronskih mrea ............................................... 2 3

4. Metodologija istraivanja .................................................................................... 5 6 7 8

4.2.2. Ulazne funkcije ................................................................................. 10 4.2.3. Prijenosna funkcija ........................................................................... 4.2.4. Klasifikacija neuronskih mrea ....................................................... 4.3. Neuronske mree za predvianje ................................................................. 4.3.1. Mrea irenje unatrag ....................................................................... 4.3.2. RBF neuronske mree ...................................................................... 4.4. Neuronske mree za problem klasifikacije .................................................. 11 12 15 15 17 19

4.5. Primjena neuronske mree ........................................................................... 20 5. Podaci za istraivanje .......................................................................................... 22 5.1. Uzorak, varijabla i deskriptiva ..................................................................... 22 5.2. Izgradnja neuronske mree .......................................................................... 24 6. Rezultati istraivanja ........................................................................................... 25 6.1. Usporedba RBF i MLP modela ................................................................... 33 7. Zakljuak ............................................................................................................. 35 Literatura ............................................................................................................. 37

POPIS SLIKA Slika 1: Bioloki neuron [13], modificirano ....................................................................... Slika 2: Umjetni neuron [6] ................................................................................................ Slika 3: Graf sigmoidne funkcije [7] .................................................................................. Slika 4: Graf hiperboliko tangetne funkcije [7] ............................................................. Slika 5: Klasifikacija umjetnih neuronskih mrea [10] ...................................................... Slika 7: Segmentacija CT slike neuronskom mreom [17] ................................................ Slika 8: Stvarna i predviena potronja prirodnog plina .................................................... Slika 9: Utjecaj ulaznih varijabli na izlaznu ....................................................................... Slika 10: Stvarna i predviena potronja prirodnog plina .................................................. Slika 11: Utjecaj ulaznih varijabli na izlaznu ..................................................................... Slika 12: Usporedba analiza osjetljivosti kod RBF i MLP mree ...................................... 6 6 11 12 14

Slika 6: Arhitektura mree: irenje unatrag [5] ............................................................... 16 20 29 30 32 33 34

POPIS TABLICA Tablica 1: Najee koritene aktivacijske funkcije kod RBF modela [10] ....................... 18 Tablica 2: Deskriptivna statistika varijabli ......................................................................... Tablica 3: Rezultati mree ..................................................................................................Tablica 4: Odnos stvarne, predviene potronje prirodnog plina te iznos apsolutne pogreke

23 25 27 29 30 32 33

Tablica 5: Utjecaj ulaznih varijabli na izlaznu ................................................................... Tablica 6: Rezultati mree .................................................................................................. Tablica 8: Utjecaj ulaznih varijabli na izlaznu ................................................................... Tablica 9: Usporedba rezultata RBF i MLP modela ..........................................................

Tablica 7: Odnos stvarne, predviene potronje prirodnog plina te iznos apsolutne greke .... 31

1. UvodU dananje vrijeme najvanije je imati pravu informaciju u pravo vrijeme. Koritenje poslovne inteligencije omoguava pravovremenu reakciju s odreenom marketing strategijom ili nabavkom potrebnih proizvoda smatra se od kljune vanosti. Danas mnoge tvrtke posjeduju velika skladita podataka te iz njih izvlae potrebne informacije koje bi im omoguilo bolji nastup na tritu. Smatra se da su upravo informacije najvaniji imbenik uspjenog poslovanja. Informacije su postale, uz rad i kapital, kljuni resurs poslovanja. Posjedovanjem mnotva informacija, ali ne posjedovanje dobrog alata za iskoritavanje one postaju samo troak i dodatno usporavaju sustav. Kvalitetan e sustav poslovne inteligencije menaderu pruiti kvalitetne izvjetaje tako tvrtci osigurati opstanak na tritu. To se moe postii ako se podaci dobiveni iz takvih sustava probaju iskoristiti na najbolji mogui nain. Sustav poslovne inteligencije uva informacije i znanje o konkurenciji, kupcima, dobavljaima i procesima, omoguuje poslovno pregovaranje i brojano argumentiran nastup prema kupcima i dobavljaima, kvalitetno operativno planiranje, praenje ponaanja konkurencije, promatranje pojedinih trinih segmenata te predvianje buduih pojava, bolje razumijevanje vlastitih kupaca i spoznaju to ih potie na odreeno ponaanje. U ovom radu e se koristiti povijesni podaci HEP plina o koliini potronje prirodnog plina za grad akovo i podaci hrvatskog hidrometeorolokog zavoda o visini temperature kako bi se uz pomo neuronskih mrea kreirao model koji e predvidjeti koje koliine HEP plin mora posjedovati da bio omoguio neprekidnu isporuku prirodnog plina kranjem potroau. Ovako izgraeni model e omoguiti distributeru plina, u ovom sluaju to je HEP plin, da osigura dovoljne koliine zaliha koje su potrebne da se ne bi ugroavao krajnji potroa. Pod pojmom krajnjeg potroaa smatraju se industrija i kuanstva. Industrija je kljuni imbenika svakog gospodarstva, jer proizvodnjom se stvara nova vrijednost, a samim time poveava BDP. Zaustavljanjem proizvodnje zbog nedostatka resursa, u ovom sluaju plina, moe doi do vrlo velikih gubitaka i naruavanje trine ravnotee. Svime navedenim vrlo lako se dolazi do zakljuka koliko je vano unaprijed imati iskoristivu informaciju.

1

2. Cilj i svrha istraivanjaSvrha ovog istraivanja je utvrivanje koliine potronje prirodnog plina u gradu akovu, kako bi se na temelju toga mogla osigurati potreba koliina prirodnog plina za opskrbu krajnjih korisnika. Samim istraivanjem pokuati e se utvrditi koje varijable najvie utjeu na potronju prirodnog plina. Ciljevi rada su sljedei: 1. kreirati model neuronske mree koji e najtonije predvidjeti potronju prirodnog plina, 2. testiranje provesti pomou MLP i RBF algoritma, 3. izdvojiti najvanije varijable koje utjeu na potronju prirodnog plina. Prvi cilj ostvariti e se kreiranjem modela i testiranjem 20 arhitektura, mijenjajui pri tome uzorak za treniranje, testiranje i validaciju, te brojem minimalno i maksimalno skrivenih neurona. Drugi cilj e se ostvariti mijenjanjem algoritma uenja. Nakon toga e se usporedbom prethodno navedenih algoritama doi do zakljuka koji algoritam je bolji za koritenje. On e se ostvarivati usporedno sa prvim ciljem. Trei cilj e se ostvariti izdvajanjem koeficijenta korelacije.

2

3. Prethodna istraivanjaKlepac, Mri [2] koristili su neuronske mree za unapreenje poslovanja tvrtke koja se bavi katalokom prodaja. Kako bi se ostvarila segmentacija trita u svrhu smanjivanja trokova poslovanja za analizu se koristio SPSS alat i njegov modul Answew tree. Koritene su tri metode klasteriranje, stablo odluivanja, analiza vremenskih serija pomou REFII modela.

Koritenje klasteriranja posluilo je za poblie upoznavanje populacije kupaca. U svrhu ostvarivanja jo preciznije segmentacije koritena su stabla odluivanja. Kao ciljna varijabla koritena je pripadnost klasterima, kao i kategorije proizvoda. Razlog takvom nainu objedinjavanja proizlazi iz injenice to su oni bili zastupljeni zajedno u dosadanjim katalozima. Dobivenim rezultatom segmentirani su kupci prema artiklu koji kupuju, spol koji kupuje odreeni artikl te uestalost kupnje. Rezultati su bili zadovoljavajui omoguivi dotinom poduzeu utedu u segmentu slanja kataloga. Koritenjem REFII modela provedena je analiza utjecaja sezonskih oscilacija na kupovine odreenih vrsta i tipova robe iz kataloke prodaje. Cilj analize bio je otkrivanje pravilnosti u potranji odreenih skupina i podskupina proizvoda s obzirom na mjesec u godini. U analizu su ukljueni financijski pokazatelji zadnjih est godina. Provedena analiza dala je temeljne znaajke trinih segmenata korisnika odreenih skupina proizvoda, to je trebalo utjecati na reorganizaciju ponude u katalozima. Katalozi trebaju sadravati one skupine proizvoda koje su kompatibilne s obzirom na ciljane trine segmente. Proizvode bi u katalozima trebalo prilagoditi specifinim trinim segmentima i ciljano ih slati prema tim segmentima. Fili i Zeki Suac [14] proveli su istraivanja upravljanja rastom i razvojem prodaje s pomou inteligentnih metoda dataminig-a s naglaskom na neuronske mree. Model se temelji na trinaest deskriptivnih ulaznih varijabli koje opisuju parametre pojedinog naselja, preuzetih iz Dravnog zavoda za statistiku, te na podacima o prolim prodajama piva. Vrijednost prodaje piva koritena je kao izlazna varijabla. Testiranjem mree vieslojnim perceptronom dolo se do zakljuaka, da je model na testnom uzorku sposoban predvidjeti mjesenu prodaju piva s velikom tonou. Kod analize osjetljivosti za ovaj model od najveeg znaaja su bile:

3

mjesec u godini, povrine poljoprivrednog zemljita pod vonjacima u pojedinom naselju te poslovnih subjekata u promatranom naselju. Tonkovi, Zeki-Suac i Somolanji [15] kreirali su prediktivni model potronje prirodnog plina na regionalnoj razini koristei metodologiju neuronskih mrea s ciljem unapreivanja tonosti predvianja u buduim istraivanjima. Izlazna varijabla sastojala se od potronje prirodnog plina sljedeeg dana u satnim intervalima, dok su ulazne varijable sainjavale potronju prethodnog dana, temperatura, brzina vjetra, smjer vjetra te fuzzy varijable za detekciju sezone, mjeseca, tipa dana i dana u tjednu. Mrea se testirala sa dva algoritma neuronskih mrea: vieslojni preceptron i mrea s radijalnom funkcijom koristei razliite aktivacijske funkcije. Skup podataka se sastojao od stvarnih povijesnih podataka jednog hrvatskog distributera plina. Najbolji rezultat dobiven je algoritmom vieslojnog preceptrona. Rezultati su analizirani obzirom na kritina vremenska razdoblja u kojima je greka vea od 10 %. Budui da se radi o prelimiranom istraivanju, planiraju se opsenije istraivake aktivnosti, a iznesene su odreene smjernice koje mogu biti korisne za istraivae i praktiare u ovom podruju. imunovi, ari, Luji [16] izradili su studiju o primjeni neuronskih mrea u procjenjivanju kvalitete obraivane povrine. Povrinska hrapavost se esto uzima kao pokazatelj kvalitete obraivanih radnih predmeta. Postizanje eljene kvalitete povrine od velike je vanosti za obavljanje funkcije proizvoda. U radu je promatran utjecaj obraivanog materijala, alata, dubine rezanja, posmaka i brzine rezanja na hrapavost obraivane povrine. Prikupljeni rezultati eksperimentalnih istraivanja, na radnom predmetu razvodnik ureaja za ronjenje, posluili su za procjenjivanje povrinske hrapavosti primjenom neuronskih mrea. Testiranjem se dolo do zakljuaka da mrea radi greku manju od 5 % to se smatra povoljnim i prihvatljivim za koritenjem. Opisanim prethodnim istraivanjima dokazalo se da je neuronska mrea pouzdana za predvianje izlazne varijable. Samo u jednom sluaju koritene su iste varijable kao i u ovome radu, ali greka prikazana je bila vea od 10 %. Ovim radom e se koristiti neuronske mree za predvianje prodaje plina za sljedei dan, po emu je slian sa svim opisanim radovima.

4

4. Metodologija istraivanjaOvim diplomskim radom najvea pozornost biti e usmjerena na upotrebu metodologija neuronskih mrea u svrhu ostvarivanja predvianja prodaje plina u gradu akovu. Koritena je analiza osjetljivosti, tom analizom se mijenja vrijednost svake pojedine ulazne varijable za odreeni postotak i prati se promjena vrijednosti izlazne varijable. S ciljem boljeg razumijevanja ukratko emo dati opis kako mrea radi, od ega se sastoji i ostalih znaajki koje su bitne za njezinu primjenu. Neuronska mrea (engl.: Neural Network) je zbir umjetnih neurona (najee kao apstraktnih pojmova) koji su meusobno povezani i interaktivni kroz operacije obrade signala. Ureena je po uzoru na ljudski mozak. Projekt umjetne inteligencije prestao je biti stvar laboratorijskog testiranja i polako se iri na konkretnu primjenu u industriji. Kako se razvijala moderna znanost tako se usporedno s njom razvijala i umjetna inteligencija koja ide u dva smjera. Prvi je fizioloko i psiholoko prouavanje ljudskog uma, dok je drugi tehnoloki razvoj sofisticiranih kompjuterskih sustava. Unato kontinuiranom napretku umjetne inteligencije jedan dio znanstvenika smatra da istinsku umjetnu inteligenciju nikada neemo ostvariti. Razvojem neuronske mree dolo je do velikog napretka na podruju umjetne inteligencije. Uz pomo neuronskih mrea znanstvenici raznih znanstvenih disciplina projektiraju sve vei broj umjetnih neuronskih mrea sa svrhom rjeavanja problema kao to su prepoznavanje, predvianje, optimizacija, asocijativna memorija i kontrola. Neuron je specijalna bioloka elija koja obrauje informacije. Pojednostavljeno gledano bioloki neuron se sastoji iz tijela, aksona i mnotva dendrita koji okruuju tijelo neurona[6]. Tijelo neurona ima nukleon koji sadri informaciju o naslijeenim obiljejima i plazmu koja sadri molekularnu opremu za produciranje signala potrebnih neuronu. Akson se moe zamisliti kao tanka cjevica kod koje je jedan kraj povezan na tijelo neurona, a drugi se dijeli na niz grana. Krajevi ovih grana zavravaju malim zadebljanjima koja najee dodiruje dendrite, a rjee tijelo neurona. Mali razmak izmeu zavretka aksona prethodnog neurona i dendrita ili tijela sljedeeg neurona naziva se sinapsa. Neuron prima impulse od ostalih neurona kroz dendrite, a signale koje proizvodi tijelo predaje preko aksona. Sinapsa je elementarna struktura i funkcionalna jedinica izmeu dva neurona odnosno sinapsa je mali razmak izmeu zavretka aksona prethodnog neurona i dendrita ili tijela sljedeeg neurona.

5

Za umjetni neuron moe se rei da idejom oponaa osnovne funkcije biolokog neurona. Tijelo biolokog neurona zamjenjuje se sumatorom, ulogu dendrita preuzimaju ulazi u sumator, izlaz sumatora je akson umjetnog neurona, a uloga praga osjetljivosti biolokih neurona preslikava se na tzv. aktivacijske funkcije. Struktura umjetnog neurona prikazana je na slici 2 Funkcijske sinaptike veze biolokog neurona s njegovom okolinom preslikavaju se na teinske faktore, preko kojih se i ostvaruje veza umjetnog neurona s njegovom okolinom.[6]

Slika 2: Umjetni neuron [6]

Slika 1: Bioloki neuron [13], modificirano

4.1. Povijest neuronskih mrea Neuronske mree pojavile su se pojavile 50-ih godina ovoga stoljea, tonije na konferenciji Dartmouth Summer Research Project an Artificial Intelligence koje je najavila ostvarivanje vizije raunalskog modela koji e u nekim temeljnim principima oponaati funkcioniranje mozga. Neuronsko raunalstvo pojavljuje se kao alternativa Von Neumanno-ovim raunalima i nastoji simulirati ili ostvariti paralelnu obradu informacija koju koristi ljudski mozak dok razmilja, sjea se i rjeava probleme. Prvi jednostavni model nazvan je perceptron. Za razvoj neuronskih mrea od presudnog znaaja nekoliko dogaaja[5]: 1943. McCullock i Pitts predstavljaju temelje za razvoj neuronskih mrea dokazujui prvi da neuroni mogu imati dva stanja (pobuujue i mirujue) i da njihova aktivnost ovisi o nekom pragu vrijednosti.

6

1949. Hebb je prvi preloio pravilo kojim se opisuje proces uenja (Hebb-ovo pravilo) 1956. Na Dartmouth Summer Conferece je Rochester i skupina autora predstavila prvu simulaciju Hebb-ovogo modela koja je pretea modela neuronskih mrea. 1958. Rosenblatt razvio prvu neuronsku mreu perceptron, koja je dvoslojna i nije mogla rjeavati probleme klasifikacije koji nisu linearno djeljivi (npr. XOR problem). 1974. razvijena vieslojna perceptron mrea MLP (Paul Werbos), kao pretea Backprpagation mree, koja prevladava nedostatak perceptrona uvoenjem uenja u skrivenom sloju.

1986. Backpropagation mreu usavravaju Rumelhart, Hinton i Williams, ona vraa ugled neuronskim mreama, jer omoguavaju aproksimaciju gotovo svih funkcija i rjeavanje praktinih problema.[5]

4.2. Izgradnja neuronske mree Neuronske mree sastoje se od dva ili vie slojeva ili grupa elemenata obrade koji se nazivaju neuronima. Neuroni meusobno stvaraju mreu tako da izlaz svakoga neurona predstavlja ulaz u jedan ili vie drugih neurona. Veza izmeu neurona, prema smjeru, moe biti jednosmjerna i dvosmjerna, a prema intezitetu mogua je pobuujua (egzitatorna) ili smirujua (inhibitorna veza). Tri su tipa slojeva: ulazni, skriveni i izlazni. Ulazni sloj prima informacije ili ulazne podatke iz okoline i onda ih on alje u jedan ili vie skrivenih slojeva[5]. Upravo taj skriveni sloj obrauje informacije neurona i alje ih neuronima izlaznog sloja. Navedeni proces se ponavlja dok se ne postigne rezultat koji je najblii eljenom izlazu. [7] Proces dizajniranja neuronske mree sastoji se od etiri faze[8]: 1) rasporeivanje neurona u razliite slojeve, 2) odreivanje tipa veze izmeu neurona (inter-sloj i intra sloj veze), 3) odreivanje naina na koji neuroni primaju ulaze i proizvode izlaze, 4) odreivanje pravila uenja za prilagoavanje teina veza. Rezultat dizajniranja neuronske mree je arhitektura mree. Prema gornjem procesu dizajniranja, kriteriji za razlikovanje arhitektura neuronskih mrea su [37]: broj slojeva,7

tip veze izmeu neurona, veza izmeu ulaznih i izlaznih podataka, ulazne i prijenosne funkcije, tip uenja, sigurnost ispaljivanja, vremenske karakteristike , vrijeme uenja.

4.2.1. Tipovi uenja kod neuronskih mrea Kod neuronskih mrea postoje dva naina uenja, jedan nain uenja je uenje uz nadzor dok drugi spomenuti je bez nadzora. Uenje uz nadzor zahtjeva vanjskog uitelja neuronske mree, koji promatra nain kako se mrea ponaa mijenjajui parametre dok ne dobije ponaanje koje smatra da je prihvatljivo, pod tim se smatraju rezultati mree. Ovim nainom uenja moraju se odrediti odreeni parametri mree kao to su broj ulaza, broj neurona, broj slojeva (dvoslojne i vieslojne), broj izlaza, te teina mree. Potrebno je odrediti ulazne varijable i izlazne varijable. Razlika eljenih i stvarnih izlaza neuronske mree gradi pogreku mree, koja se koristi za raunanje novih teina mree preko odreenog algoritma. Cijeli postupak ponavlja se iteracijski dok pogreka mree ne bude manja od unaprijed zadanog iznosa. Pri tome se, prema potrebi mijenja struktura mree (broj neurona, broj slojeva, broj teina). Nakon procesa uenja (treninga) slijedi proces testiranja neuronske mree. Testiranje se radi s novim skupom ulaza mree koji nije bio sadran u ulaznom skupu za vrijeme procesa uenja. Mrea sada producira nove izlaze koje se usporeuju sa eljenim izlazima. Pri tome se ne mijenjaju parametri (teine) mree. Iznos greke mree u procesu testiranja slui za ocjenu robusnosti, odnosno generalizacijskih svojstava mree, tj. sposobnosti zadovoljavajue izlaze (rezultate) i za skup ulaza kojim nije mree da daje bila uena.

Kod mrea bez nadzora, neuronske mree ne koriste uitelja. Ovdje se neuronska mrea sama organizira, pa se mree uene ovom metodom nazivaju samoorganizirajue mree. Na ulaz mree dovodi se skup ulaznih varijabli, a mrea se samoorganizira podeavanjem svojih parametra (teina) po dobro definiranom algoritmu. Budui da eljeni izlaz mree nije specificiran za vrijeme uenja mree, rezultate uenja nije mogue predvidjeti. Navedenim nainom se moe od neuronske mree zahtijevati da slini skupovi ulaza aktiviraju izlaz

8

jednog te istog neurona. Mrea organizirana opisanim nainom moe se koristiti za klasifikaciju ulaza, odnosno za prepoznavanje uzorka. Nakon uenja provodi se testiranje.[1] Pravila uenja Pravilo uenja je formula koja se upotrebljava za prilagoavanje teina veza meu neuronima (wji). Najee se koriste sljedea etiri pravila [7]: 1. Delta pravilo, 2. Poopeno Delta pravilo, 3. Delta-Bar-Delta i Proireno Delta-Bar-Delta pravilo, 4. Kohonen-ovo pravilo. Delta pravilo uenja Delta pravilo uenja naziva se jo i kao pravilo najmanjih srednjih kvadrata, ima za cilj minimizirati ciljnu funkciju odreivanjem vrijednosti teina. Cilj je minimizirati sumu kvadrata greaka, gdje je greka definirana kao razlika izmeu izraunatog i stvarnog (eljenog) izlaza nekog neurona za dane ulazne podatke. Jednadba za delta pravilo je:

gdje je

(4.1)

ycj je vrijednost izlaza izraunatog neurona j,

je sirovina greka izraunata prema: (4.2) je koeficijent uenja (learning rate).

ydj je vrijednost stvarnog (eljenog) izlaza neurona j, a

Nova teina izmeu neurona se, dakle, rauna tako da se stara teina korigira za vrijednost greke pomnoen s vrijednou izlaza neurona j, te s koeficijentom za uenje.[8] Nedostaci Delta pravila [7]: Problem lokalnog minimuma pojavljuje se kada je najmanja greka funkcije pronaena samo za lokalno podruje te je uenje zaustavljeno bez dostizanja globalnog minimuma. Problem pretreniranja pojavljuje se, jer nije mogue unaprijed odrediti koliko dugo treba uiti mreu da bi ona mogla naueno znanje generalizirati na novim podacima.

9

Delta bar Delta i Proireno Delta Bar Delta pravilo Delta bar Delta koristi istu arhitekturu kao i mrea uenje unazad, a razvijena je s ciljem da popravi nedostatke Delta pravila. Razlika se nalazi u jedinstvenom algoritmu uenja. Delta bar Delta pravilo je razvio Robert Jackobs 1998. To je heuristiki pristup lokalizacije koeficijenata uenja na nain da svaka veza u mrei ima svoju stopu uenja i mijenja te stope kontinuirano kako uenje napreduje. Dinamiko podeavanje teina u Delta-Bar-Delta pravilu izvodi se prema Sardis ovom heuristikom pristupu. Stopa uenja neke veze u mrei se poveava ako je predznak teine za tu vezu isti u nekoliko vremenskih koraka, a smanjuje se kada se predznak teina mijenja za odreeni broj vremenskih koraka. Na taj nain jednadba Delta pravila (kako je prikazano formulom(4.3)) se modificira i zbog toga je stopa uenja razliita za svaku vezu [7]. (4.3) Poveavanje teina se izvodi linearno, a smanjivanje geometrijski. Nedostaci Delta-Bar-Delta pravila: ne ukljuuje momentum u jednadbu uenja, linearnim poveanjem stope uenja mogu se pojaviti veliki skokovi koji mogu preskoiti vana podruja u povrini greke, to se ne moe rijeiti sporim geometrijskim smanjivanjem stope.

4.2.2. Ulazne funkcije Neuron prelazei iz jednog sloja u drugi prima vrijednost prema ulaznoj funkciji koja se jo naziva i sumacijska funkcija. Najjednostavnija sumacijska funkcija za neuron i odreena je mnoenjem izlaza poslanog od strane neurona j prema neuronu i (oznaenom kao izlaz j) s teinom veze izmeu nerona i i neurona j, zatim sumiranjem tog umnoka za sve neurone povezane s neuronom i ili: (4.4) Gdje je n broj neurona u sloju koji alje svoj izlaz primljen od strane neurona i. Drugim rijeima, inputi nekog neurona i je suma svih vaganih izlaza koji pristiu u taj neuron [5].

10

4.2.3. Prijenosna funkcija Nakon to je primljen ulaz koji se odvija prema sumacijskoj funkciji, neuron alje svoj izlaz drugim neuronima s kojima je povezan, najee to biva neuron u narednom sloju. Izlaz neurona rauna se prema tzv. prijenosnoj funkciji. Najee koritene prijenosne funkcije su[5]: funkcija koraka (step funkcija), signum funkcija, sigmoidna funkcija, hiperbolina tangentna funkcija, linearna funkcija, linearna funkcija s pragom.

Jedna od najee koritenih funkcija je sigmoidna ili logistika funkcija, koja se takoer koristi i u ovome radu. Njezina formula ima sljedei oblik: (4.5)

Gdje je g doprinos funkcije izraunat kao g = 1/T, a T je prag. Doprinos odreuje zaobljenost funkcije oko nule. Funkcija rezultira kontinuiranim vrijednostima u intervalu [0,1]. Upotrebljava se npr. u mrei irenje unatrag i Hopfield-ovoj mrei i zajedno s hiperboliko tangentnom, jedna je od najee koritenih funkcija u neuronskim mreama. Graf sigmoidne funkcije prikazan je na slici[5]:

Slika 3: Graf sigmoidne funkcije [7]

11

Poseban oblik sigmoidne funkcije je hiperboliko tangentna funkcija: (4.6) gdje je u = ginputi. Graf hiperboliko tangentne funkcije slian je grafu sigmoidne funkcije, osim to je interval vrijednosti ovdje [-1,1]. Zbog svoje mogunosti mapiranja vrijednosti u pozitivna tako i u negativna podruja, ova funkcija upotrebljava se u svim naim ekspertnim sustavima[5].

Slika 4: Graf hiperboliko - tangentne funkcije [7]

4.2.4. Klasifikacija neuronskih mrea Istraivanjem neuronskih mrea bavi se veliki broj znanstvenika iz raznih znanstvenih disciplina. Rezultat tih istraivakih aktivnosti veliki je broj razliitih neuronskih mrea koje se meusobno razlikuju prema modelima umjetnih neurona od kojih su graene prema nainu organizacije neurona u mrei i prema koritenom algoritmu uenja. Zbog velikog broja vrsta neuronskih mrea teko ih je sustavno klasificirati. U literaturi se moe nai vie pokuaja klasifikacija mrea. Ovim radom prikazati klasifikacija koju su izradili Gupta i Rao (1994.), prikazane slikom 5. Sa strukturnoga stajalita neuronske mree se standardno dijele na statike (unaprijedne, engl. feedforward) i dinamike (povratne, engl. feedback), ovisno o modelu neurona od kojeg su graene te o nainu prostiranja signala kroz mreu. Gupta i Rao kao zasebne strukture navode neizrazite neuronske mree (engl. fuzzy neural networks) iako i one mogu biti statike ili dinamike. Razlog izdvajanja neizrazitih neuronskih mrea izvan standardne podjele treba traiti u elji da se posebno istakne smjer istraivanja koji se bavi integriranjem koncepata neizrazite logike i neuronskih mrea.12

Kao nestandardne strukture navedene su neuronske mree kod kojih neuroni imaju histereznu karakteristiku te CMAC (engl. Cerrebellar Model Articulation Controller) mree koje aproksimaciju nelinearne funkcije obavljaju na naelu kodiranja. Neuroni se u neuronskoj mrei najee organiziraju u slojeve, pa se razlikuju jednoslojne i vieslojne neuronske mree. Mogua je podjela neuronskih mrea prema nainu prostiranja sinaptikih veza: samo unaprijedno (statike neuronske mree), samo lateralno (Aditivne, Hopfieldove i shuntirajue mree), topoloki odreeno (LVQ mree), unaprijedno/povratno (BAM i ART mree) ili mjeovito (cellularne, time-dely i counterpropagation mree) prostiranje sinaptikih veza. Na slici 5, uz svaki je tip neuronske mree naznaeno podruje njezine najee primjene. Tu su kategorizaciju Gupta i Rao nainili na osnovi analize broja referenci o primjeni tipova mrea u svakome navedenom podruju primjene. Naravno da primjena nekog tipa mree nije ograniena samo na naznaeno podruje primjene [10].

13

Slika 5: Klasifikacija umjetnih neuronskih mrea [10]

14

4.3. Neuronske mree za predvianje Neuronske mree mogu se podijeliti prema smjeru prostiranja informacija kroz mreu([11], [12]). Feedforward (nerkurzivne ili nepovratne mree) Vii slojevi ne vraaju informacije u nie slojeve. Vre prostiranje signala samo u jednom smjeru (od ulaza prema izlazu) odnosno propagaciju signala. Predstavnici su vieslojni perceptron sa primijenjenim algoritmom irenje unatrag. Feedback (rekruzivne ili povratne) Vii slojevi vraaju informacije unazad u nie slojeve. Izlaz iz neurona se vraa u nie slojeve ili u isti sloj. Predstavnici su Hopfildove, Celularne NM, Kohonenove neuronske mree te dvostruko asocijativne neuronske mree. Feedback mree imaju mnogo vee procesne sposobnosti od Feedforward mrea.

4.3.1. Mrea irenje unatrag Algoritam mree irenje unatrag bio je od presudne vanosti koji je omoguio iroku upotrebu ove metodologije, te je neuronske mree uinio iroko upotrebljavanom i popularnom metodom u razliitim podrujima. Mreu irenje unatrag prvi je kreirao Paul Werbos 1974., a istu su proirili i dopunili Rumelhart, Hinton i Williams 1986. Bila je to prva mrea koja je u sebi imala jedan ili vie skrivenih slojeva. Ona alje input kroz mreu od ulaznog do izlaznog sloja, a zatim odreuje greku i tu greku propagira unazad sve do ulaznog sloja ugraujui je u formulu za uenje. Standardni algoritam mree irenje unatrag ukljuuje optimizaciju greke koristei deterministiki algoritam gradijentnog opadanja (eng. gradient descent). Glavni nedostatak ovog algoritma smatra se problem estog pronalaenja lokalnog minimuma umjesto globalnog minimuma greke, stoga novija istraivanja ukljuuje njegovo unapreivanje nekim drugim deterministikim (npr. metode drugog reda) ili stohastikim metodama (npr. stimulirano kaljenje). [5] Kod mree razlikujemo tri tipa sloja: ulazni sloj, skriveni sloj i izlazni sloj neurona. Ulazni i izlazni sloj su u direktnoj interakciji sa okolinom, dok skriveni sloj nije u interakciji s okolinom. Na slici 6 prikazana je arhitektura mree irenje unatrag i radi jednostavnosti prikaza uzet je samo jedan skriveni sloj.

15

Slika 6: Arhitektura mree "irenje unatrag" [5]

Tok podataka moe se opisati u nekoliko koraka: 1. od ulaznog sloja prema skrivenom sloju: ulazni sloj uitava podatke iz ulaznog vektora X, i alje ih u prvi skriveni sloj, 2. u skrivenom sloju: jedinice u skrivenom sloju primaju vagani ulaz i prenose ga u naredni skriveni ili u izlazni sloj koristei prijenosnu funkciju, 3. kako informacije putuju kroz mreu, raunaju se sumirani ulazi i izlazi za svaku jedinicu obrade, 4. u izlaznom sloju: za svaku jedinicu obrade, rauna se skalirana lokalna greka koja se upotrebljava u odreivanju poveanja ili smanjenja teina, 5. propagiranje unazad od izlaznog sloja do skrivenih slojeva: skalirana lokalna greka, te poveanje ili smanjenje teina rauna se za svaki sloj unazad, poevi od sloja neposredno ispod izlaznog sve do prvog skrivenog sloja i teine se podeavaju.[5] Mrea irenje unatrag ima univerzalni algoritam koji je primjenjiv za probleme predvianja, gdje je potrebno predvidjeti vrijednost jedne ili vie izlaznih varijabli. U ovome radu e se koristiti navedena mrea, iz razloga to e ona predviati prodaju plina u gradu akovu za sljedee razdoblje. Ovdje je dobro spomenuti da se moe koristiti za probleme klasifikacije, gdje se ulazni vektor rasporeuje u jednu od klasa zadanih na izlazu. U svrhu klasifikacije mreu je potrebno proiriti Softmax aktivacijskom funkcijom, koja osim to potie mreu da16

to jasnije rasporedi ulazni vektor u jednu od klasa, omoguava i usporedbu rezultata sa statistikim metodama koje kod klasifikacije daju vjerojatnosti da e ulazni vektor pripadati u neku od klasa. Mrea irenje unatrag ne preporua se za upotrebu na nestacioniranim podacima, ili za sluajeve kada se podaci u sebi skrivaju vie, u osnovi razliitih, problema. Rjeenje takvih problema moe se pronai u upotrebi nekoliko neuronskih mrea od kojih e svaka rjeavati pojedini problem zasebno ili u izboru nekog drugog algoritma.

4.3.2. RBF neuronske mree RBF neuronske mree su dvoslojne statike neuronske mree. Kao i kod MLP mree nulti (ulazni) sloj samo prosljeuje ulaze u mreu na ulaz prvog sloja koja je sainjena od neurona s aktivacijskim funkcijama s krunom osnovicom i predstavlja njezino tzv. receptivno polje. Drugi se sloj mree, koji je ujedno i njezin izlazni sloj, sastoji od perceptrona s linearnom aktivacijskom funkcijom jedininog aktivacijskog pojaanja. Najee koritene aktivacijske funkcije u prvom sloju RBF prikazane su tablicom 1. RBF mree kao i MLP imaju sposobnost aproksimacije proizvoljne kontinuirane nelinearne funkcije. Njihova aproksimacijska sposobnosti odreena je poloajem sredita RBF neurona, varijacijom aktivacijskih funkcija te iznosima teinskih koeficijenata izlaznog sloja mree. Izraunavanje odgovarajuih vrijednosti ovih parametara RBF mree ostvaruje se algoritmima uenja. RBF neuronske mree predstavljaju znaajne alternative MLP mrea, osobito u sluaju aproksimacija jednostavnih i vremenski malo promjenjivih nelinearnosti kada je mogue unaprijed na odgovarajui nain rasporediti sredita i odrediti iznose varijanci RBF neurona, a uenje mree svesti samo na podeavanja teinskih koeficijenata izlaznog sloja. U tom sluaju vladanja RBF neuronskih mea postaje linearno ovisno o parametrima, za razliku od MLP mrea ije je vladanje nelinearno ovisno o parametrima. Raspored sredita RBF neurona znaajno odreuje svojstva RBF mree. Tradicionalno se RBF funkcije koriste se za interpolaciju nelinearnih vie varijabilnih funkcija, pri emu je broj sredita jednak broju podataka (u svaki ulazni podatak postavlja po jedno sredite). Meutim aproksimacija proizvoljne nelinearne kontinuirane funkcije mogue je postii i s manjim brojem dobro rasporeenih sredita. Broomhead i Lowe (1988.) su predloili da se sredita postave u sluajno odabrane ulazne podatke. Druga je mogunost jednoliki raspored sredita u prostoru ulaznih podataka. Varijance aktivacijskih funkcija manje utjee na vladanje mree i obino se izaberu kao drugi korijen umnoka udaljenosti neurona od dva najblia susjedna17

neurona

(Moody

i

Darken,

1989.)

RBF mree sa sluajnim i jednolikim rasporedom sredita RBF neurona mogu aproksimirati proizvoljnu kontinuiranu nelinearnu funkciju. Meutim, potrebni broj RBF neurona moe biti jako veliki. Smanjenjem broja RBF neurona moe se postii proirenjem postupka uenja mree i na podeavanje poloaja sredita te varijance RBF neurona. U tom sluaju vladanje RBF mree postaje nelinearno ovisno o parametrima, kao i MLP mree, ali i s usporedivim aproksimacijskim svojstvima [10].

Tablica 1: Najee koritene aktivacijske funkcije kod RBF modela [10]

Naziv funkcije

Izraz za funkciju i njezinu derivaciju

Grafiki prikaz funkcije i derivacije

Gaussova funkcija

Thin plate-splin

Viekvadratina funkcije

18

Naziv funkcije

Izraz za funkciju i njezinu derivaciju

Grafiki prikaz funkcije i derivacije

Inverzna viekvadratina funkcija

4.4. Neuronske mree za probleme klasifikacije Ovim poglavljem ukratko e se opisati mree za klasifikaciju. Poto one nisu predmet istraivanja u ovome radu ukratko e biti obraeni neki osnovni pojmovi vezani uz njih. Postoje brojni algoritmi za klasifikaciju, a etiri najpoznatija koji su potvreni kao dobri algoritmi za klasifikaciju su slijedei: probabilistike neuronske mree, mree uee vektorske kvantizacije, mree ope namjene, kao to su vieslojni peceptron odnosno njegov backpropagation algoritam ili mrea irenje unatrag, mrea s radijalno zasnovanom funkcijom koje takoer mogu biti upotrebljavane kao klasifikatori sa SoftMax aktivacijskom funkcijom.

19

4.5. Primjena neuronske mree Neuronske mree odlino rjeavaju problem klasifikacije i predvianja, odnosno sve probleme kod koji postoji odnos izmeu ulaznih i izlaznih varijabli, bez obzira na visoku sloenost te veze. Neuronske mree takoer dobro rjeavaju probleme grupiranja. Neuronske mree se primjenjuju danas u mnogim segmentima ivota poput ekonomije, medicine financija, strojarstva, raunarstva, geologije, fizike, i najee za sljedee zadatke: otkrivanje znanja u velikim skupovima podataka, raspoznavanje uzorka, obrada slike, obrada govora, problemi optimizacije, upravljanje procesima u stvarnom vremenu, obrada nepreciznih i nekompletnih podataka, simulacija i sl. Slikom 7 prikazana je primjena neuronske mree u medicini.

Slika 7: Segmentacij CT slika neuronskom mreom [17]

Primjerice neuronske mree mogu biti koritene u meteorologiji tako da se predvianja rade segmentacijom meteorolokih slika, prognoza vremena ili predvianje poplava na temelju mjerenja vodostaja i koliine kia u nekom geografskom podruju. Prema istraivanjima Wong-a et al. (1997), najvei udio poslovnih primjena NM u posljednjih 10 godina pripada proizvodnji i operacijama (53.5%), zatim financijama (25.4%), te marketingu i drugim podrujima. Rezultati primjene neuronskih mrea pokazuju da one u veini sluajeva daju bolje rezultate od metoda tradicionalnog raunalstva, a prednosti primjene ove metode mogu se provjeriti u izvjetajima brojnih tvrtki koje ih koriste [5].20

Postoji cijeli niz programskih simulatora za neuronske mree. Neki su od njih uspjeni komercijalni programi razvijeni kao zasebni moduli unutar sloenih programskih sustava, kao to su Statistica, SAS, MatLab, Mathematica i drugi, ali postoje i mnoge verzije simulatora neuronskih mrea koji su slobodno dostupne na internetu.

21

5. Podaci za istraivanjePrikupljeni potrebni podaci za rad neuronske mree i provoenje potrebne analize su stvarni povijesni podaci Hrvatske elektro privrede za razdoblje od 01.01.2008. do 31.12.2008., a koriteni su i podaci Hrvatskog hidrometeorolkog zavoda za isto razdoblje.

5.1. Uzorak, varijable i deskriptiva Uzorak za analizu sastoji se od 361 sluajeva. Koriteno je 7 ulaznih varijabli i jedna izlazna varijabla. Neke od varijabli su kontinuiranog tipa dok druge su pak kategorijalnog tipa, a detaljnije e sve biti opisano u narednom tekstu. Datum koriteni su svi datumi u godini izuzevi 13., 14. i 15 svibanj za koje nije postojao niti jedan podatak. Ova varijabla nije koritena za predvianje. Dnevna potronja prikazuje dnevnu potronju prirodnog plina koju je mjerna ispostava Osijek isporuila gradu akovo. Varijabla dnevne potronje je kontinuiranog tipa. Najnia jutarnja prikazuje najniu dnevnu temperaturu i ona je kontinuiranog tipa. Najvie dnevne prikazuje najviu dnevnu temperaturu. Kao i jutarnja temperatura navedena varijabla je kontinuiranog tipa. Prosjena brzina vjetra varijabla je kontinuiranog tipa i prikazuje prosjenu brzinu vjetra. Godinje doba brojevima 1 4 oznaena su godinja doba tako je brojem 1 predstavlja proljee, brojem 2 ljeto, brojem 3 jesen, brojem 4 zima, i varijabla je kategorijalnog. Tip dana prikazan brojevima 1,2 i 3 gdje 1 oznaava radni dan u tjednu, 2 oznaava subotu i nedjelju, a 3 ne radni dan u tjednu. Varijabla tip dana je kategorijalnog tipa. Udio industrije prikazuje udio industrije u ukupnoj potronji prirodnog plina. Varijabla je kontinuiranog tipa. Potronja t + 1- potronja prirodnog plina za sljedei dan i spada pod varijablu kontinuiranog tipa.

22

Tablica 2: Deskriptivna statistika varijabli

Naziv varijable Dnevna potronja

Opis varijable Koliina prirodnog plina koja je isporuena u prethodnom danu.

Deskriptivna statistika A.S.1 - 56860,07 Min.2 - 23377 Max. 3- 132550 s.d.4 - 27670,24 A.S. 6,53 Min. -15,9 Max. - 22 s.d. 7,59

Najnia temperatura

Iznos najnie dnevne temperature.

Najvie dnevna temperatura

Iznos najvie dnevne temperature.

A.S. 17,49 Min. - 7,9 Max. - 37 s.d. 9,86

Udio industrije

Udio industrije u potronji prirodnog plina.

A.S. 0,59 Min. 0,3 Max.- 0,98 s.d. 0,23 A.S. 2,06 Min. 0,73 Max. - 5,81 s.d. 0,80

Brzina Vjetra

Prikazuje brzinu vjetra.

____________1 2 3 4

aritmetika sredina minimum maksimum standardna devijacija

23

5.2. Izgradnja neuronske mree Podaci koriteni za predvianje pripremljeni su u tablinom obliku za to se koristio program Microsoft Excel. Podaci su organizirani na nain da stupci oznaavaju varijable, a redovi sluaje. Koriteno je sedam ulaznih varijabli i jedna izlazna. Za izgradnju neuronske mree koriten je programski alat Statistica 8.0. U istraivanju predvianja potronje prirodnog plina u gradu akovu koriteni su RBF i MLP algoritmi. Kreiranjem modela mijenjane su slijedee postavke: raspodjela uzorka na dio za treniranje, testiranje i validaciju, minimalan i maksimalan broj skrivenih neurona, prijenosna funkcija.

Ako se radi o predvianju, najee mjerilo uspjenosti za ocjenjivanje jeste RMSE i MSE. U ovom radu koritena je NMSE, a razlika u odnosu na MSE je u tome to se ona svodi na interval od 0 1. Formula MSE (Mean Square Error) ima sljedei oblik:

(4.7)

NMSE normalizirana srednja kvadratna greka pokazuje kolika su odstupanja stvarnih od izraunatih vrijednosti ako se prije toga sve vrijednosti varijabli u modelu svedu na interval [0,1]. NMSE se moe tumaiti kao prosjeno postotno odstupanje stvarnih od izraunatih vrijednosti [18]. U sljedeem poglavlju biti e opisan najbolji rezultat dobiven izgradnjom neuronske mree sa svim svojim karakteristikama.

24

6. Rezultati istraivanjaKreirano je 20 mrea koji se meusobno razlikuju raspodjelom uzorka, broja skrivenih neurona ili prijenosnom funkcijom. Svi rezultati su upisani i dani tablicom 3.

Tablica 3: Rezultati mree

Rb.

Podjela uzorka (%) 70% 15% 15% 70% 15% 15% 70% 15% 15% 70% 10% 20% 70% 15% 15% 70% 20% 10% 70% 10% 20% 70% 10% 20% 70% 10% 20% 70% 20% 10% 60% 10% 30% 60% 20% 20% 60% 20% 20%

Broj skrivenih neurona Min: 1 Max: 10 Min: 2 Max: 22 Min: 1 Max: 15 Min: 1 Max: 15 Min: 6 Max: 30 Min: 1 Max: 10 Min: 1 Max: 10 Min: 1 Max: 10 Min: 6 Max: 32 Min: 6 Max: 35 Min: 1 Max: 15 Min: 1 Max: 15 Min: 1 Max: 15

Struktura konane mree 12 6 - 1

Prijenosna funkcija

Rezultati na uzorku za validaciju NMSE Korelacija greka0,001134 0,98642

1.

Logistic

2.

12 -22 - 1 12 13 - 1 12 4 - 1 12 13 - 1 12 10 1 12 10 - 1 12 8 1 12 32 - 1 12 8 - 1 12 11 - 1 12 15 - 1 12 2 - 1

Logistic

0,001124

0,98737

3.

Logistic

0,001148

0,98800

4.

Tanh

0,001028

0,98163

5.

Tanh

0,001116

0,98696

6.

Tanh

0,001170

0,98743

7.

Tanh

0,001177

0,98491

8.

Logistic

0,001097

0,98257

9.

Logistic

0,001086

0,9826

10.

Tanh

0,001188

0,9853

11.

Tanh

0,001662

0,97652

12.

Tanh

0,001029

0,98460

13.

Logistic

0,001035

0,98406

25

Rb.

Podjela uzorka (%) 60% 10% 30% 80% 10% 10% 80% 10% 10% 80% 10% 10% 80% 10% 10% 80% 10% 10% 80% 10% 10%

Broj skrivenih neurona Min: 5 Max: 25 Min: 2 Max: 22 Min: 1 Max: 20 Min: 2 Max: 20 Min: 1 Max: 10 Min: 3 Max: 33 Min: 6 Max: 20

Struktura konane mree 12 22 1 12 21 - 1 12 20 - 1 12 15 - 1 12 6 1 12 17 - 1 12 20 - 1

Prijenosna funkcija

Rezultati na uzorku za validaciju NMSE Korelacija greka0,001978 0,96795

14.

Logistic

15.

Logistic

0,001235

0,98806

16.

Logistic

0,001242

0,98794

17.

Tanh

0,001233

0,98814

18.

Tanh

0,001248

0,98853

19.

Tanh

0,001258

0,98877

20.

Tanh

0,001249

0,98778

Kako je prikazano u tablicom 3 izvreno je testiranje 20 mrea. Prilikom izgradnje svake nove mree mijenjana je raspodjela uzorka za treniranje, testiranje i validaciju. Mijenjani su minimalni i maksimalni brojevi skriveni neurona, tako je vidljivo da u prvoj mrei oni iznose minimalno 1, a maksimalno 10, u drugoj mreni minimalno 2 maksimalno 20, u treoj mrei minimalno 1, a maksimalno 15 i tako sve do posljednje dvadesete mree. Takoer je mijenjana i prijenosna funkcija, a u ovom istraivanju odabrane su Logistic (sigmoidna) ili Tanh (hiperbolino tangentna) funkcija. Svi navedeni parametri su mijenjani s ciljem dobivanja najboljeg mogueg rezultata, a to je to manje odstupanje predvienih od stvarnih vrijednosti. Rezultati svih mrea upisane su u tablicu 3 Zadnja dva stupca tablice 3 uzimaju se kao mjerilo uspjenosti. Analiziranjem tablice, usporeivanjem rezultata NMSE5, te koeficijenta korelacije6 dobivena je najbolja mrea koja se nalazi rednim brojem 4. Kod etvrte mree uzorak je podijeljen u omjeru 70% za treniranje, 10 % za testiranje i 20 %___________5 6

(eng. koeficijent

izraz

Normalized predstavlja

Mean omjer

Square povezanosti

Error) izmeu

normalizirana stvarnih i

standardna predvienih

greka vrijednosti

korelacije

26

za validaciju. Minimalan broj skrivenih neurona je 1, a maksimalan 15. Za prijenosnu funkciju je koritena Tanh. Arhitektura mree u konanici je 12 4 1 to znai da je 12 neurona u skrivenom sloju, 4 u izlaznom sloju, a 1 znai da samo jedan neuron u izlaznom sloju i predstavlja potronju prirodnog plina.

NMSE greka iznosi 0,001028, to govori da je odstupanje predvienih od stvarnih vrijednosti 0,1 %. Koeficijent korelacije iznosi 0,98163. Tablicom 4 dan je prikaz stvarne i predviene potronje plina u gradu akovu i iznos apsolutne greke.Tablica 4: Odnos stvarne, predviene potronje prirodnog plina te iznos apsolutne greke

Broj sluaja 1 3 7 17 21 23 25 29 31 45 53 62 63 65 75 80 96 99 109 110 120 121 124 125 128 134 140 145 147

Stvarna potronja plina 51900,0 24103,0 27690,0 29616,0 60180,0 29860,0 28701,0 76261,0 29844,0 47301,0 46900,0 34490,0 48500,0 56269,0 68994,0 29009,0 84980,0 103140,0 85720,0 48470,0 40060,0 78110,0 60453,0 45850,0 69310,0 74190,0 107370,0 27887,0 78576,0

Predviena potronja plina 51974,7 30326,7 29714,1 29884,2 71657,2 30754,3 23772,5 65873,7 29668,2 46732,3 48030,0 32197,3 55581,3 61651,6 76055,6 29614,8 72564,3 102995,8 83921,0 49445,0 42219,3 77976,8 63334,7 46822,4 81227,8 78219,5 113917,5 27325,5 87605,2

Apsolutna pogreka 74,71 6223,67 2024,11 268,22 11477,18 894,27 4928,51 10387,26 175,77 568,67 1130,01 2292,69 7081,33 5382,59 7061,56 605,75 12415,68 144,20 1798,97 975,02 2159,26 133,17 2881,69 972,39 11917,83 4029,54 6547,54 561,50 9029,24

27

Broj sluaja 150 153 155 157 165 166 167 171 175 179 190 194 197 199 212 213 215 225 240 245 267 276 278 281 282 283 290 293 295 303 307 308 312 314 326 327 329 333 340 345 346 352 361

Stvarna potronja plina 84710,0 96730,0 34724,0 30352,0 26934,0 92968,0 29346,0 28528,0 85900,0 82767,0 93920,0 29359,0 39480,0 39320,0 26776,0 102830,0 28176,0 40230,0 49242,0 43354,0 50140,0 44227,0 27663,0 26517,0 37670,0 88952,0 58115,0 74000,0 79070,0 64710,0 65880,0 45350,0 94447,0 29240,0 83103,0 54612,0 88530,0 43330,0 26973,0 67138,0 29268,0 29821,0 89063,0

Predviena potronja plina 82342,2 86796,9 27245,4 28201,4 29139,5 90391,9 27282,5 27258,1 85445,0 84659,5 90022,1 29414,3 41817,9 42167,3 30141,4 100710,9 29343,3 39028,6 46369,2 44832,8 48375,5 55102,9 29792,4 28354,5 33014,4 82330,8 61318,1 79232,8 67572,7 64927,5 67002,4 39630,6 93990,3 32438,7 81147,9 52678,2 83178,6 43180,4 27633,5 68546,3 28157,1 27920,8 88248,1

Apsolutna pogreka 2367,82 9933,09 7478,57 2150,60 2205,51 2576,06 2063,52 1269,90 455,03 1892,49 3897,95 55,27 2337,94 2847,28 3365,40 2119,09 1167,26 1201,43 2872,83 1478,85 1764,46 10875,87 2129,40 1837,47 4655,56 6621,17 3203,09 5232,82 11497,34 217,47 1122,45 5719,37 456,70 3198,67 1955,07 1933,76 5351,42 149,56 660,51 1408,29 1110,93 1900,19 814,94

28

Radi lakeg pregleda podataka iz tablice 4, stvarna i predviena potronja prikazana je slikom 8.120000,0

100000,0

80000,0

60000,0

40000,0

20000,0

0,0 1 17 25 45 63 80 109 121 128 145 153 165 171 190 199 215 245 278 283 295 308 326 333 346 Stvarna potronja plina Predviena potronja plina

Slika 8: Stvarna i predviena potronje prirodnog plina

Slikom 8 prikazana je stvarna i predviena potronja prirodnog plina. Slikom 8 vidljivo je da predviena potronja prati stvarnu potronju prirodnog plina. Na nekim dijelovima vidljive su manje oscilacije. Iz prikazane slike moe se zakljuiti da je ovaj model predvianja dosta uspjean. Kako bi dobili detaljniji uvid u znaaju ulaznih varijabli modela, napravljena je analiza osjetljivosti utjecaja ulaznih varijabli na izlaznu i prikazana je tablicom 5 i slikom 9. Koeficijent utjecaja ulaznih varijabli dobivenih pomou analize osjetljivosti mijenja vrijednost svake pojedinane varijable + - 5% i prati promjenu vrijednosti izlazne varijable.Tablica 5: Utjecaj ulaznih varijabli na izlaznu

Varijabla Dnevna potronja Najvia dnevna Godinje doba Udio industrije Najnia jutarnja Tip dana Prosjena brzina vjetra 29

Utjecaj na izlaznu 7,094242 2,799532 1,964560 1,897976 1,319686 1,201612 0,977576

Iz tablice 5 vidljivo da je najvei utjecaj za predvianje potronje ima varijabla dnevne potronje, koja dosta odstupa od svih ostalih varijabli. Nakon dnevne potronje slijede najvia dnevna temperatura, godinje doba, udio industrije, najnia jutarnja, tip dana i na zadnjem mjestu prosjena brzina vjetra.

8,000000 7,000000 6,000000 5,000000 4,000000 3,000000 2,000000 1,000000 0,000000 Dnevna Najvia Godinje Udio Najnia Tip dana Prosjena potronja dnevna doba industrije jutarnja brzina vjetra

Slika 9: Utjecaj ulaznih varijabli na izlaznu

Drugi algoritam kojim se provodilo testiranje je RBF. Za RBF je kreirano 4 mree i iz razloga to su dobiveni rezultati loiji u usporedbi s MLP, daljnje testiranje je prekinuto. Rezultati dobiveni RBF algoritmom dane su tablicom 6.Tablica 6: Rezultati mree

Rb.

Podjela uzorka (%) 70% 20% 10% 70% 20% 10% 70% 20% 10% 70% 20% 10%

Broj skrivenih neurona Min: 15 Max: 30 Min: 10 Max: 20 Min: 12 Max: 22 Min: 5 Max: 15

Struktura konane mree 12 19 - 1 12 11 - 1 12 13 - 1 12 6 - 1 30

Prijenosna funkcija

Rezultati na uzorku za validaciju NMSE Korelacija greka0,00477 0,89

1.

Gaussian

2.

Gaussian

0,00543

0,85

3.

Gaussian

0,00350

0,92

4.

Gaussian

0,00505

0,88

Dobivenim rezultatima prikazani tablicom 6 najbolja mrea se nalazi pod rednim brojem 3. Uzorak mree je podijeljen 70 % za treniranje, 20 % za testiranje i 10 % za validaciju mreu. Minimalan broj neurona u skrivenom sloju je 12, a maksimalna 11. Arhitektura mree je 12 13 1 iz toga proizlazi da je ovaj rezultat mree dobiven s 13 neurona u skrivenom sloju. Za najbolju dobivenu mreu koritena je Gauss ova prijenosna funkcija. NMSE greka iznosi 0,00350, te je odstupanje dobivenih od stvarnih vrijednosti 0,03 %, a koeficijent korelacije 0,92. Tablicom 7 prikazan je odnos stvarne potronje prirodnog plina i predviene, te iznos apsolutne greke.Tablica 7: Odnos stvarne, predviene potronje prirodnog plina te iznos apsolutne greke

Broj sluaja 17 23 31 53 62 63 80 99 120 124 125 134 153 155 165 166 167 171 175 179 190 197 199 212 225 240 276 278

Stvarna potronja plina 27690,0 67780,0 49867,0 59060,0 34720,0 26273,0 100512,0 48596,0 79800,0 42750,0 65372,0 25814,0 24558,0 26193,0 39090,0 30587,0 30138,0 34270,0 29359,0 26981,0 49300,0 26880,0 57620,0 51174,0 73210,0 107680,0 36210,0 82790,0

Predviena potronja plina 34190,6 77261,7 69290,1 77893,7 31145,4 26842,3 93167,8 39603,7 86777,0 38732,1 64320,3 26732,2 27058,3 26960,5 32103,6 27526,7 29846,9 31046,6 27621,9 27658,9 59464,5 28108,7 79149,8 59804,3 54374,9 93066,4 31425,3 84665,4 31

Apsolutna pogreka 6500,6 9481,7 19423,1 18833,7 3574,6 569,3 7344,2 8992,3 6977,0 4017,9 1051,7 918,2 2500,3 767,5 6986,4 3060,3 291,1 3223,4 1737,1 677,9 10164,5 1228,7 21529,8 8630,3 18835,1 14613,6 4784,7 1875,4

Broj sluaja 281 293 295 303 308 314 327 345

Stvarna potronja plina 66390,0 123230,0 35910,0 85900,0 34724,0 29917,0 60180,0 58673,0

Predviena potronja plina 80079,9 102468,9 36944,1 86680,8 26895,1 31164,1 81592,2 53623,7

Apsolutna pogreka 13689,9 20761,1 1034,1 780,8 7828,9 1247,1 21412,2 5049,3

Radi lakeg prikaza i usporedbe podataka iz tablice 7 stvarna i predviena potronja je prikazana slikom 10.140000,0 120000,0 100000,0 80000,0 Stvarna potronja plina 60000,0 40000,0 20000,0 0,0 17 31 62 80 120125153165167175190199225276281295308327Slika 10: Stvarna i predviena potronje prirodnog plina

Predviena potronja plina

Iz slike 10 je mogue vidjeti da postoje vea odstupanja u predvianju prodaje plina kod RBF modela u usporedbi s MLP modelom. Analizom osjetljivosti prikazane tablicom 8 i slikom 11 prikazan je utjecaj ulaznih varijabli na izlaznu.Tablica 8: Utjecaj ulaznih varijabli na izlaznu

Varijabla Godinje doba Tip dana Dnevna potronja Najvia dnevna

Utjecaj na izlaznu 2,196461 1,799468 1,239499 1,186063

32

Varijabla Udio industrije Najnia jutarnja Prosjena brzina vjetra

Utjecaj na izlaznu 1,120873 1,031871 0,967575

Iz tablice 8 moe se vidjeti da kod ove mree najvei utjecaj na potronju prirodnog plina ima varijabla godinje doba, zatim slijedi tip dana, a na samome kraju prosjena brzina vjetra.2,500000 2,000000 1,500000 1,000000 0,500000 0,000000 Godinje Tip dana Dnevna Najvia Udio Najnia Prosjena doba potronja dnevna industrije jutarnja brzina vjetra

Slika 11: Utjecaj ulaznih varijabli na izlaznu

6.1.Usporedba RBF i MLP modela Tablicom 9 prikazana je usporedba rezultata dobivenih nakon testiranja RBF i MLP modela. Iz tablice je vidljivo da NMSE greka iznosi kod MLP 0,001028 preraunato u postotke iznosi malo vie od 0,1% , a koeficijent korelacije 0,98 dok na drugoj strani kod RBF modela NMSE greka iznosi 0,00350 preraunato u postotnu vrijednost je vie od 0,3 %, a koeficijent korelacije 0,92.Tablica 9: Usporedba rezultata RBF i MLP modela

Podjela uzorka (%) MLP 70% 10% 20% 70% 20% 10%

Broj skrivenih neurona Min: 1 Max: 15 Min: 12 Max: 22

Struktura konane mree 12 4 - 1 12 13 - 1

Prijenosna funkcija

Rezultati na uzorku za validaciju NMSE Korelacija greka0,001028 0,98

Tanh

RBF

Gaussian

0,00350

0,92

33

Ako usporedimo utjecaj ulaznih varijabli na izlaznu kod RBF i MLP svaka je mrea prikazala razliiti raspored utjecaja ulaznu na izlaznu varijablu, usporedba je prikazana slikom 9.

8 7 6 5 4 3 2 1 0

RBF mrea

MLP mrea

Slika 12: Usporedba analiza osjetljivosti kod RBF i MLP mree

Iz slike 12 vidljivo je da kod MLP mree na prvom mjestu se nalazi varijabla dnevna potronja, dok kod RBF mree to je varijabla godinje doba, na drugome mjestu kod MLP jeste varijabla najvie dnevne temperature kod RBF to je varijabla dnevne potronje. Oba modela su na posljednje mjesto smjestila varijablu prosjenu brzinu vjetra. Iz analize osjetljivosti moe se primijetiti da kod MLP mree dnevna potronja dosta odstupa od ostalih varijabli, a kod RBF mree godinje doba kao vodea varijabla u analizi osjetljivosti ima malo vei utjecaj od druge varijabla po redu tip dana. Na temelju NMSE greke i koeficijenta korelacije kao mjerila za ocjenjivanje uinkovitosti modela neuronske mree, moe se zakljuiti da se MLP model pokazao kao pouzdaniji za predvianje potronje prirodnog plina za grad akovo.

34

7. ZakljuakOvim radom se pokualo uz to bolje rezultate predvidjeti potronja prirodnog plina za grad akovo uz pomo neuronskih mrea. Neuronske mree imaju vrlo iroki spektar primjena u mnogi segmentima ivota poput bankarstava, strojarstva, fizike, medicine, itd. Prethodna istraivanja jasno ukazuju na sposobnost neuronskih mrea da kreiraju uspjene modele koje je mogue koristiti u praksi. Za ovo testiranje koritena su dva algoritma neuronskih mrea, mrea irenje unatrag (MLP) i mrea s radijalno zasnovanom funkcijom (RBF). Za kreiranje modela koriteno je 7 ulaznih varijabli i 1 izlazna. Ulazne varijable su dnevna potronja, najvia dnevna temperatura, najnia jutarnja temperatura, godinje doba, udio industrije, tip dana, prosjena brzina vjetra, a izlazna varijabla je potronja za sljedei dan. U uzorku je promatrano razdoblje od 361 dana. Testirano je 20 arhitektura MLP mree i nakon zavrenih testiranja rezultat najbolje mree ima normaliziranu kvadratnu greku neznatno veu od 0,1% i koeficijent korelacije 0,98. Tanh (hiperbolino tangentna) prijenosna funkcija je koritena u mrei koja je pokazala najbolji rezultat, a arhitektura najbolje mree je 12 4 1. Pregledom utjecaja ulaznih varijablu dolazi se do zakljuka da najvei utjecaj ima dnevna potronja, nakon ega slijede najvia dnevna temperatura, godinje doba, udio industrije, najnia jutarnja temperatura, tip dana, prosjena brzina vjetra. Testirano je 4 arhitekture MLP mree, analizom najbolje mree dolo se do zakljuka da najbolja mrea sadrava normaliziranu standardnu greku 0,00350 i koeficijent korelacije 0,92. U ovom modelu je koritena Gauss-ova prijenosna funkcija, a arhitektura najbolje mree je 12 13 1. Ulazne varijable koje utjeu na izlaznu poredani se na sljedeim redoslijedom: godinje doba, tip dana, dnevna potronja, najvia dnevna, udio industrije, najnia jutarnja, prosjena brzina vjetra. Unato injenici da ovaj model dao jako dobre rezultate, trebale bi se napraviti neke preinake. Vea uinkovitost bi se mogla dobiti tako da se u promatrano razdoblje uzme dui niz godina kako bi model mogao uiti na vie istih godinjih doba, jer u ovom radu koritena je samo jedna godina. Takoer kao primjer poeljnih varijabli tu bi se moglo nai ukupan broj korisnika koji koriste prirodni plin. Postoji vjerojatnost da se dio prirodnog plina izgubi u transportu tako bi se i to moglo uzeti kao jedna od varijabli, odvajanje potronje prirodnog plina na industrijske potroae i domainstva. Praktina primjena koja proizlazi iz ovog35

modela moe biti namijenjena HEP kao distributeru kako bi mogao predvidjeti potrebne koliine, ali pri tome morala bi se raditi predvianja na dravnoj razini. To je od iznimnog znaaja, jer u sluaju problema s isporukom ili njegovog nedostatka moe se dovesti u pitanje trina ravnotea. Na prvome mjestu bila bi ugroena domainstva, jer bi morali prei na drugi nain grijanja, a na drugome mjestu industrija koja plin koriste kao resurs proizvodnje te bi to moglo dovesti do potekoa u poslovanju, smanjenja obujma posla, gubitak radnih mjesta i sl., ali i ako koriste samo kao resurs za grijanje ne bi mogli nastaviti proizvodnju zbog neprihvatljivih radnih uvjeta. Dobrim modelom mogli bi unaprijed predvidjeti potrebne zalihe za odreeno vremensko razdoblje i time omoguiti industriji i domainstvima da se prilagode novo nastaloj situaciji. Takoer to moe biti i odreeni financijski pokazatelj koji bi pomogao distributeru plina da predvidi prihode koju bi mogao ostvariti i nadolazeem razdoblju, koje bi bile velike koristi zbog odluivanju o narednim investicijama. Svime navedenim dolazi se do zakljuka da neuronske mree doista mogu uvelike olakati pri donoenju odluka vezane uz skladitenje i investicije, te takvim unaprijed potrebnim informacijama omoguiti veu profitabilnost.

36

Literatura

[1]

Novakovi, Majeti, iroki, Umjetne neuronske mree, Sveuilite u Zagrebu, Zagreb 1998. Klepac, G., Mri, L., Poslovna inteligencije kroz poslovne sluajeve, nLider, Tim press, Zagreb, 2006. Potonik, Thaler, Govekar, Grabec, Poredo, Forecasting risks of natural gas consumption in Slovenia, 2007

[2]

[3]

[4] [5]

Gareta, Romeo, Gil, Forecasting of electricity prices with neural networks, 2005. Kliek, Zeki Suac, Lovreni, Plantak, Kudumija, Edukacijski repozitorij za inteligenten sustave, Neuronske mree, http://eris.foi.hr, 24.06.2010 Male, Umjetne neuronske mree, http://www.tsrb.hr/meha/index.php?option=com_content&task=view&id=14&Itemid= 1, 25.06.2010. Zeki-Suac, M. Neuronske mree u predvianju profitabilnosti ulaganja, doktorska disertacija. Varadin 1999.

[6]

[7]

[8] [9]

Zahedi, F., Intelligent Systems for Business, Expert Systems With Neural Networks, M. Zeki-Suac, Nastavni materijali za kolegij Sustavi poslovne inteligencije, Poglavlje 2. Neuronske mree,

http://moodle.carnet.hr/mod/resource/view.php?id=23158, 30.06.2010. [10] Petrovi, I., Osnove inteligentnog upravljanja (sustavi upravljanja zasnovani na umjetnim neuronskim mreama), Zagreb, 2009. [11] CNT centar za nove tehnologije, mehatronika, Umjetne neuronske mree, http://www.tsrb.hr/meha, 28.06.2010. [12] [13] ergi, Vargam Informacijska tehnologija u poslovanju, Element, Zagreb, 2004. Prentice Hall, Chapter 2: The Biological Basis of Behavior, http://cwx.prenhall.com/bookbind/pubbooks/morris5/chapter2/custom1/deluxecontent.html, 10.06.2010. [14] Tomislav Fili, Marijana Zeki-Suac, Upravljanje prodajom s pomou umjetnih neuronskih mrea, Ekonomski fakultet u Osijeku, 2008., pp 2 11. [15] Zlatko Tonkovi, Marijana Zeki-Suac, Marija Somolanji, Predicting natural gas consumption by neural networks, pp. 2 17.

37

[16]

G. imunovi, T. ari, R. Luji, Primjena neuronskih mrea u procjenjivanju kvalitete obraivane povrine, 2009., pp. 2 44. Lonari, Praktina primjena neuronske mree, http://www.fer.hr/_download/repository/13-Primjene-1s.pdf, 16.09.2010. M. Zeki-Suac, Nastavni materijali iz kolegija Sustavi poslovne inteligencije, Poglavlje 2. 2. Dio Neuronske mree, http://moodle.carnet.hr/file.php/278/pogl2_NM_2dio.pdf, 14.09.2010.

[17]

[18]

[19] [20]

Statistica 8.0 Electronic Manual ( Help u aplikaciji Statistica 8.0 ) T.S. Quah, DJIA stock selection assisted by neural network, Expert Systems with Applications, Volume 35, Issues 1-2, July-August 2008, pp 50-58.

[21]

X. Zhu, H. Wang, L. Xu, H. Li, Predicting stock index increments by neural networks: The role of trading volume under different horizons, Expert Systems with Applications, Volume 34, Issue 4, May 2008, pp 3043-3054.

[22] [23]

Mitchell, T. M., Machine Learning, McGraw-Hill Companiers, Inc, 1997. Anderson, D., McNeill, G., Artificial Neural Networks Technology, Kaman Sciences Corporation , New York, 1992. Zeki-Suac M., Nastavni materijali iz kolegija Sustavi poslovne inteligencije, Upute za izgradnju modela neuronske mree u alatu Statistica 8.0, http://moodle.carnet.hr/mod/resource/view.php?id=23161 , 20.06.2010.

[24]

38