12
Primjena umjetnih neuronskih mreÞa pri identificiranju i voðenju procesa N. Bolf i I. Jerbiæ * Sveuèilište u Zagrebu, Fakultet kemijskog inÞenjerstva i tehnologije Zavod za mjerenja i automatsko voðenje procesa Savska c. 16/5a, 10 000 Zagreb, Hrvatska tel: + 385 1 4597 151; faks: + 385 1 4843 556 e-mail: [email protected] * INA d. d., Rafinerija nafte Sisak, A. Kovaèiæa 1, 44 000 Sisak * e-mail: [email protected] Pri razvoju inteligentnih sustava u posljednjih dvadesetak godina ostvarena su brojna unapreðe- nja inspirirana biološkim neuronskim sustavom. IstraÞivaèi s razlièitih znanstvenih podruèja kre- irali su i primijenili umjetne neuronske mreÞe za rješavanje niza zadataka – od prepoznavanja uzoraka, predviðanja, dijagnosticiranja stanja, softverskih senzora, modeliranja i identificiranja, voðenja i optimiranja procesa itd. Umjetne neuronske mreÞe pokazale su se korisnim u primjeni kod sloÞenih kemijskih i biokemij- skih procesa gdje standardnim metodama nije moguæe uspješno modelirati procese i dobivene modele primijeniti za voðenje procesa. Danas, zahvaljujuæi intenzivnom razvoju teorije i praktiè- ne primjene neuronskih mreÞa, stoje na raspolaganju brojne strukture i algoritmi. U radu je dan pregled primjene neuronskih mreÞa s teÞištem na identificiranju i voðenju procesa na polju kemijskog inÞenjerstva. Istaknuti su primjeri primjene kod prediktivnog, inverznog i pri- lagodljivog voðenja procesa. Kljuène rijeèi: Neuronska mreÞa, identificiranje, modeliranje procesa, voðenje procesa Pojam i zamisao neuronske mreÞe Umjetna neuronska mreÞa pojam je koji dolazi iz podruèja umjetne inteligencije izveden prema uzoru na neuronske mreÞe Þivih biæa. Umjetne neuronske mreÞe apstraktne su simulacije realnog neuronskog sustava i alternativni pristup klasiènom von Neumannovom raèunalu. Temeljna svojstva su im samoorganiziranost i prilagodljivost, a posebice se istièu kao paralelna i distribuirana paradigma koja moÞe biti robusnija i prikladnija od tradicionalnih modela. 1-3 U tablici 1 dana je usporedba klasiènog raèunala i biološkog neu- ronskog sustava. 4 Graða i struktura bioloških neuronskih mreÞa Ljudski mozak èini oko 10 11 neurona povezanih u komplek- snu, ali djelotvornu mreÞu. Svaki neuron je povezan s 10 3 do 10 4 drugih neurona. Ukupno postoji 10 14 do 10 15 meðu- sobnih veza. U osnovi se svaki neuron, kako je to prikazano slikom 1, sa- stoji od tri dijela: tijela stanice, koje sadrÞi nukleus s informacijama o na- sljednim znaèajkama; dendrita, koji prenosi signale (impulse) s drugih neurona; aksona, koji prenosi signal do drugih neurona pri èemu se grana u vlakna; Sinapse su funkcionalne jedinice izmeðu neurona koje oslobaðaju neurotransmiter, pri èemu se odvija elektroke- mijska reakcija. Signali se zatim dendritima prosljeðuju do tijela stanice, gdje se odreðuje prosjek svih signala. Signali mogu biti pobuðujuæi ili smirujuæi. Ako je prosjeèna vrijed- nost tijekom kratkog vremenskog intervala veæa od graniè- ne vrijednosti, stanica generira niz impulsa koji se šalju preko aksona i sinapsi do drugih neurona. Unatoè relativno jednostavnoj graði neurona (zanemaru- juæi naèin realizacije navedenih funkcija na biološkoj razini) i èinjenici da se vrijeme generiranja i prijema impulsa mjeri u mikrosekundama, ljudski mozak kao organizirana jedin- stvena mreÞa neurona postiÞe nevjerojatnu brzinu i sposob- nost realiziranja raznovrsnih zadataka zahvaljujuæi paralel- nosti rada neurona. 5 N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006) 457 KUI – 23/2006. Prispjelo 28. veljaèe 2005. Prihvaæeno 10. sijeènja 2006. Slika1– Prikaz biološkog neurona F i g. 1 Biological neuron

Primjena neuronskih mreža

  • Upload
    brdjo

  • View
    40

  • Download
    5

Embed Size (px)

DESCRIPTION

U radu su date neuronske mreže koje predstavljaju savremeni pristup u modeliranju procesa

Citation preview

Page 1: Primjena neuronskih mreža

Primjena umjetnih neuronskih mreÞa priidentificiranju i voðenju procesa

N. Bolf i I. Jerbiæ*

Sveuèilište u Zagrebu, Fakultet kemijskog inÞenjerstva i tehnologijeZavod za mjerenja i automatsko voðenje procesaSavska c. 16/5a, 10 000 Zagreb, Hrvatskatel: + 385 1 4597 151; faks: + 385 1 4843 556e-mail: [email protected]* INA d. d., Rafinerija nafte Sisak, A. Kovaèiæa 1, 44 000 Sisak* e-mail: [email protected]

Pri razvoju inteligentnih sustava u posljednjih dvadesetak godina ostvarena su brojna unapreðe-nja inspirirana biološkim neuronskim sustavom. IstraÞivaèi s razlièitih znanstvenih podruèja kre-irali su i primijenili umjetne neuronske mreÞe za rješavanje niza zadataka – od prepoznavanjauzoraka, predviðanja, dijagnosticiranja stanja, softverskih senzora, modeliranja i identificiranja,voðenja i optimiranja procesa itd.

Umjetne neuronske mreÞe pokazale su se korisnim u primjeni kod sloÞenih kemijskih i biokemij-skih procesa gdje standardnim metodama nije moguæe uspješno modelirati procese i dobivenemodele primijeniti za voðenje procesa. Danas, zahvaljujuæi intenzivnom razvoju teorije i praktiè-ne primjene neuronskih mreÞa, stoje na raspolaganju brojne strukture i algoritmi.

U radu je dan pregled primjene neuronskih mreÞa s teÞištem na identificiranju i voðenju procesana polju kemijskog inÞenjerstva. Istaknuti su primjeri primjene kod prediktivnog, inverznog i pri-lagodljivog voðenja procesa.

Kljuène rijeèi: Neuronska mreÞa, identificiranje, modeliranje procesa, voðenje procesa

Pojam i zamisao neuronske mreÞe

Umjetna neuronska mreÞa pojam je koji dolazi iz podruèjaumjetne inteligencije izveden prema uzoru na neuronskemreÞe Þivih biæa. Umjetne neuronske mreÞe apstraktne susimulacije realnog neuronskog sustava i alternativni pristupklasiènom von Neumannovom raèunalu. Temeljna svojstvasu im samoorganiziranost i prilagodljivost, a posebice seistièu kao paralelna i distribuirana paradigma koja moÞe bitirobusnija i prikladnija od tradicionalnih modela.1-3 U tablici1 dana je usporedba klasiènog raèunala i biološkog neu-ronskog sustava.4

Graða i struktura bioloških neuronskih mreÞa

Ljudski mozak èini oko 1011 neurona povezanih u komplek-snu, ali djelotvornu mreÞu. Svaki neuron je povezan s 103

do 104 drugih neurona. Ukupno postoji 1014 do 1015 meðu-sobnih veza.

U osnovi se svaki neuron, kako je to prikazano slikom 1, sa-stoji od tri dijela:

– tijela stanice, koje sadrÞi nukleus s informacijama o na-sljednim znaèajkama;– dendrita, koji prenosi signale (impulse) s drugih neurona;– aksona, koji prenosi signal do drugih neurona pri èemu segrana u vlakna;

Sinapse su funkcionalne jedinice izmeðu neurona kojeoslobaðaju neurotransmiter, pri èemu se odvija elektroke-

mijska reakcija. Signali se zatim dendritima prosljeðuju dotijela stanice, gdje se odreðuje prosjek svih signala. Signalimogu biti pobuðujuæi ili smirujuæi. Ako je prosjeèna vrijed-nost tijekom kratkog vremenskog intervala veæa od graniè-ne vrijednosti, stanica generira niz impulsa koji se šaljupreko aksona i sinapsi do drugih neurona.

Unatoè relativno jednostavnoj graði neurona (zanemaru-juæi naèin realizacije navedenih funkcija na biološkoj razini)i èinjenici da se vrijeme generiranja i prijema impulsa mjeriu mikrosekundama, ljudski mozak kao organizirana jedin-stvena mreÞa neurona postiÞe nevjerojatnu brzinu i sposob-nost realiziranja raznovrsnih zadataka zahvaljujuæi paralel-nosti rada neurona.5

N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006) 457

KUI – 23/2006.Prispjelo 28. veljaèe 2005.

Prihvaæeno 10. sijeènja 2006.

S l i k a 1 – Prikaz biološkog neuronaF i g. 1 – Biological neuron

Page 2: Primjena neuronskih mreža

T a b l i c a 1 – Usporedba von Neumannovog raèunala i bio-loškog neuronskog sustava

T a b l e 1 – Comparison of von Neumann computer andbiological neural system

Von Neumannovoraèunalo

Von Neumanncomputer

Biološki neuronskisustav

Biological neuralsystem

ProcesorProcessor

sloÞencomplexvelika brzinahigh speedjedan ili nekolikoone or a few

jednostavansimplemala brzinalow speedveliki broja large number

Memorija

Memory

odvojenood procesoraseparate from aprocessorlokaliziranalocalized

integriranau procesoruintegrated intoprocessordistribuiranadistributed

RaèunanjeComputing

centraliziranocentralizedsekvencijskosequentialpohranjeni programistored programs

distribuiranodistributedparalelnoparallelsposobnost uèenjaself-learning

PouzdanostReliability

vrlo osjetljivavery vulnerable

velikarobust

Ekspertiza

Expertise

numerièke i simbolièkemanipulacijenumerical and symbolicmanipulations

problemi percepcije

perceptual problems

RadnaokolinaOperatingenvironment

dobro odreðenawell-defined

slabo odreðenapoorly defined

Razvoj teorije umjetnih neuronskih mreÞa

Spoznaja o graði i naèinu funkcioniranja ljudskog mozga ineurona kao njegovih graðevnih jedinica potaknula je is-traÞivanje i razvoj umjetnih neuronskih mreÞa. Prve radoveo umjetnim neuronskim mreÞama objavili su McCulloh iPitts.6 Oni su primjenjivali vrlo jednostavan model neuronakoji, kao i biološki neuron, obraðuje signale putem sinap-tièke i somatske operacije. Taj vrlo jednostavan model ne-urona nazvan je perceptron, a prikazan je slikom 2. Sinap-tièka operacija razumijeva mnoÞenje svakog ulaznog signa-la ai s masenim koeficijentom wi. Tako oteÞani ulazni signalizbrajaju se, a njihov zbroj usporeðuje se s pragom osjetlji-vosti neurona Ti (engl. treshold, bias). Ako je zbroj oteÞanihsignala veæi od praga osjetljivosti neurona, �aiwi > Ti, neli-nearna aktivacijska funkcija f generira izlazni signal neuro-na bj.

Poèetkom 60-ih dokazan je teorem o uèenju perceptronakoji kaÞe da perceptron moÞe nauèiti sve što moÞe predo-èiti.7 Predoèivanje se odnosi na sposobnost opisa funkcije.

Pod uèenjem se podrazumijeva postojanje sustavnog po-stupka za ugaðanje parametara mreÞe radi ostvarivanjaodreðene funkcije. Slijedila je stagnacija u istraÞivanjimakad je uoèena nesposobnost perceptrona pri rješavanjujednostavnih zadataka, kao što je primjerice realizacijafunkcije iskljuèivo ili.8

Sredinom 80-ih otkriven je algoritam povratnog prostiranjaizlazne pogreške (engl. back-propagation algorithm), koji jeomoguæio jednostavno uèenje višeslojnih neuronskih mre-Þa.9 Nakon otkriæa tog algoritma razvijeni su i brojni drugipoboljšani postupci uèenja. Paralelno s razvojem algorita-ma istraÞivane su i nove strukture neuronskih mreÞa. Da-nas, zahvaljujuæi intenzivnom razvoju teorije i praktièneprimjene neuronskih mreÞa, stoje nam na raspolaganjubrojne strukture i algoritmi.5

Podjela neuronskih mreÞa

IstraÞivanje neuronskih mreÞa u podruèju razlièitih znan-stvenih disciplina rezultiralo je velikim brojem razlièitihvrsta neuronskih mreÞa. Meðusobno se razlikuju premamodelima umjetnih neurona od kojih su graðene, premanaèinu organiziranja neurona u mreÞi i prema primijenje-nom algoritmu uèenja. Zbog velikog broja vrsta neuronskihmreÞa teško ih je sustavno klasificirati. Na slici 3 prikazanaje klasifikacija prema Gupta & Rao, 1994.10

Sa strukturnog gledišta, neuronske mreÞe standardno se di-jele na statièke unaprijedne (engl. feedforward) i dinamièke(povratne, engl. feedback), ovisno o modelu neurona odkojeg su graðene te po naèinu prostiranja signala krozmreÞu. Kao zasebne strukture izdvajaju su neizrazite neu-ronske mreÞe (engl. fuzzy neural networks – FNN) kod kojihje naglašeno integriranje koncepcija neizrazite logike i ne-uronskih mreÞa. Kao nestandardne strukture navode se ne-uronske mreÞe kod kojih neuroni imaju histereznu karakte-ristiku, te CMAC mreÞe (engl. Cerebellar Model ArticulationController) koje aproksimiraju nelinearne funkcije na naèe-lu kodiranja.11

458 N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006)

S l i k a 2 – Prikaz perceptronaF i g. 2 – Perceptrone description

Page 3: Primjena neuronskih mreža

Neuroni se u neuronskoj mreÞi najèešæe organiziraju uslojeve pa se razlikuju jednoslojne i višeslojne neuronskemreÞe. Za primjenu u identificiranju i voðenju nelinearnihdinamièkih procesa najèešæe se rabe višeslojne statièkeneuronske mreÞe. Od dinamièkih neuronskih mreÞa uglav-nom se rabe višeslojne neuronske mreÞe s elementimazadrške (engl. time delay neural networks).11

Neuronske mreÞe pri identificiranju procesa

Modeli procesa mogu se razviti iz fundamentalnih naèela,kao što su zakoni oèuvanja mase, energije te drugih kemij-sko-inÞenjerskih relacija. U mnogim praktiènim primjerimau industriji postoji nedostatak poznavanja egzaktnih fizikal-nih fenomena koji se javljaju u procesima, pa je prematome fenomenološke modele teško razviti. Drugi naèin zapraktièno identificiranje procesa je pristup procesu kao“crnoj kutiji” (engl. “black box”), pri èemu se modeli teme-lje iskljuèivo na eksperimentalnim podacima dobivenim izprocesa. Informacije o dinamièkom vladanju u obliku mo-dela crne kutije èesto su dovoljne za kvalitetno voðenjeprocesa.12 Tako se za model neuronskih mreÞa, u praktiè-noj primjeni, navode sljedeæe prednosti: sposobnost filtri-ranja (mala osjetljivost na šumove i nepotpune informacije),paralelna obrada informacija, moguænost prilagodbe, mo-guænost modeliranja viševelièinskih sustava, prikladne zaobradu nekompletnih i nekonzistentnih informacija.

Postupak identificiranja pomoæu neuronske mreÞe

Identificiranje procesa pomoæu neuronskih mreÞa naèelnoobuhvaæa sljedeæe korake:13,14

1. Planiranje eksperimenta

Planiranje eksperimenta vaÞan je korak buduæi da je po-trebno donijeti odluku o vrsti i velièini ulaznih promjena,

podruèju rada, velièini promjena ulaza, itd. Treba paziti dase ne utjeèe na kvalitetu produkta jer se ispitivanja odvijajutijekom rada postojeæeg procesa. Stoga treba obratiti po-zornost na to koliko ulazi mogu varirati, a da se istodobnoulazne varijable mijenjaju dovoljno da bi dale korisnu infor-maciju o dinamièkom vladanju procesa.

2. Prikupljanje i obrada podataka

Kemijska postrojenja opæenito su karakterizirana velikimvremenskim konstantama i vremenskim zadrškama, pa vri-jeme za postizanje stacionarnog stanja moÞe biti reda ve-lièine više sati. Podatke dobivene iz procesa potrebno jefiltrirati da bi se uklonile smetnje i varijabilnosti karakteri-stiène za realna mjerenja. Pojedini suvremeni softverski ala-ti te funkcije izvode automatski.

3. Odabir strukture modela neuronske mreÞe

Neuronska mreÞa ne zahtijeva da se funkcija specificira ek-splicitno. Potrebno je specificirati samo strukturu mreÞe.Specifikacija obuhvaæa broj neurona u ulaznom, skrivenomi izlaznom sloju mreÞe. Broj neurona u ulaznom i izlaznomsloju odreðuje se prema broju bitnih ulaznih i izlaznih vari-jabli u procesu.

Za formiranje ulaznih i izlaznih vektora neuronske mreÞe,pri dinamièkom modeliranju, uzimaju se prošle vrijednostiulaza i izlaza. Broj prošlih vrijednost ulaza ovisi o postojeæojzadršci u procesu, dok broj prošlih vrijednosti izlaza odre-ðuje red velièine procesa.

4. Uèenje neuronske mreÞe i vrednovanje modela

U svrhu modeliranja, obraðeni eksperimentalni podaci di-jele se u dva skupa: skup za uèenje i skup za testiranje (vali-diranje). Podaci iz skupa za uèenje stavljaju se u mreÞu, ateÞinski koeficijenti kontinuirano se raèunaju. Proces se po-navlja sve dok pogreška ne bude manja od specificiranogodstupanja ili je dosegnut maksimalni broj iteracija. TeÞinski

N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006) 459

NESTANDARDNENONSTANDARD

NEIZRAZITEFUZZY

DINAMIÈKE (POVRATNE)DYNAMICAL (RECCURENT)

STATIÈKE (UNAPRIJEDNE)STATIC (FEEDFORWARD)

NEURON SHISTEREZOM

NEURONSKE MREÝENEURAL NETWORK

CMACFUZZY

ART

CONNECTIVEMODEL (T i S)OPERATORI

VIŠESLOJNEMULTILAYER

JEDNOSLOJNESINGLE-LAYER

RADIAL BASISFUNCTION

(RBF)

PERCEPTION

JEDNOSLOJNESINGLE-LAYER

VIŠESLOJNEMULTILAYER

S l i k a 3 – Podjela umjetnih neuronskih mreÞaF i g. 3 – Clasification of artifical neural networks

Page 4: Primjena neuronskih mreža

koeficijenti dobiveni na kraju ovog postupkakarakteriziraju model neuronske mreÞe.

Za provjeru dobivenog modela sluÞi skup zatestiranje, nezavisan od podatka primjenjenihpri uèenju.

Primjena statièkih neuronskih mreÞapri identificiranju procesa

Postupak identificiranja procesa èine dva dije-la: odreðivanje regresijskog vektora �(k) i aprok-simiranje nelinearne funkcije f(k) koja opisujeulazno-izlaznu dinamiku procesa s funkcijomfN(k). Odabirom strukture modela jednoznaè-no je odreðen i naèin kreiranja regresijskogvektora. Za drugi dio, simuliranje parametrizi-rane funkcije fN(k), moÞe se opæenito primijeni-ti bilo koji univerzalni aproksimator, pa tako ineuronske mreÞe.15

Uèenje statièkih neuronskih mreÞa

Neuronska mreÞa potpuno je odreðena kad je uz njezinustrukturu definiran i algoritam uèenja. Razvijen je velik brojalgoritama uèenja neuronskih mreÞa koje se mogu podijelitiu tri skupine:11

Algoritmi koji se temelje na pogrešci, prikazani slikom4a, (engl. error-based algorithms) imaju vanjsku referenciju(“uèitelj”) s kojom usporeðuju izlaz iz neuronske mreÞe ge-nerirajuæi signal pogreške. Ovo uèenje naziva se i “nadzira-no uèenje” (engl. supervised learning). Pri identificiranjuprocesa primjenom neuronskih mreÞa najèešæe se rabi ovaskupina algoritama jer neuronska mreÞa nastoji aproksimi-rati nelinearnu funkciju za koju su, kod ulazno-izlaznogmodela, poznate vrijednosti ulaza i Þeljene izlazne vrijed-nosti. Ýeljene izlazne vrijednosti predstavljaju vanjsku refe-renciju algoritma uèenja.

Algoritmi koji se temelje na izlazu mreÞe (engl. output-based learning algorithm), slika 4b, naziva se još i “nenad-gledano uèenje” (engl. unsupervised learning) jer nemavanjski referentni signal, veæ se oslanja na lokalne informa-cije i interne signale.

“Uèenje s ojaèanjem” (engl. reinforcement learning), slika4c, uèenje na osnovi tzv. signala ojaèanja koji daje ocjenuvladanja neuronske mreÞe.

Ovisno o naèinu odreðivanja smjera traÞenja minimuma,razlikuju se dvije osnovne kategorije: izravni i gradijentni al-goritmi. Najèešæe se upotrebljavaju postupci najbrÞeg spu-sta i Newtonovi postupci. Algoritmi uèenja statièkih mreÞaprikazani su detaljno u literaturi.11

Primjena unaprijednih neuronskih mreÞaza identificiranje dinamièkog vladanja procesa

Ulazno-izlazni modeli

Ulazno-izlazni model opisuje dinamièko vladanje sustavana temelju informacija o ulaznim i izlaznim velièinama pro-cesa, uz pretpostavku da se novi izlazi mogu predvidjeti izprethodnih ulaza i izlaza. Ako se nadalje pretpostavi da jesustav deterministièki, vremenski invarijantan, s jednim ula-

zom i jednim izlazom, model se moÞe prikazati na sljedeæinaèin:

yp(k) = f(yp(k – 1), yp(k – 2)), …, yp(k – n),u(k – l), u(k – 2), u(k – m),

(1)

pri èemu su [u(k), yp(k)] parovi ulaznih i izlaznih velièina su-stava, n je broj prethodnih izlaza (što se naziva red sustava),a m je broj prethodnih ulaza. U praksi je m obièno manji ilijednak n. Funkcija f moÞe biti nelinearna funkcija što pri-druÞuje prethodne ulaze i izlaze novim ulazima. Ako je su-stav linearan, f je linearna funkcija, a jednadÞba (1) moÞe senapisati u obliku:

yp(k) = a1yp(k – 1) + a2yp(k – 2), …, + anyp(k – n)+ b1u(k – 1) + b2u(k – 2), …, + bmu(k – m)

(2)

pri èemu su ai (i = 1, 2, …, n) i bi (i = 1, 2, …, m) konstante.

Model opisan jednadÞbom (2) prikazan je slikom 5.

Primjena rekurentnih neuronskih mreÞaza identificiranje dinamièkog vladanja procesa

Kod unaprijednih mreÞa neuroni su povezani na takavnaèin da svi signali putuju u jednom smjeru od ulaznih jedi-nica prema izlaznim. Kod rekurentnih mreÞa postoje i una-prijedne i povratne veze duÞ kojih se signali mogu propa-girati u suprotnim smjerovima.16,17

460 N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006)

u k u k m( )… ( – )

y k y k n( )… ( – )pp

y k( +1)pf(.)

S l i k a 4 – Prikaz algoritama uèenja neuronskih mreÞa: a) na te-melju pogreške, b) na temelju izlaza iz mreÞe, c) sojaèanjem

F i g. 4 – Learning algorithms of neural network: a) error-ba-sed, b) output-based c) reinforcement learning

S l i k a 5 – Prikaz osnovnog ulazno-izlaznog modelaF i g. 5 – Basic input-output model

Page 5: Primjena neuronskih mreža

Rekurentne mreÞe moguæe je podijeliti na potpuno i djelo-mièno rekurentne. Potpuno rekurentne mreÞe mogu imatiproizvoljni broj unaprijednih i povratnih veza, od kojih jesve moguæe izvjeÞbati. Povratne veze se formiraju putemskupa tzv. “kontekst” neurona koji se ne mogu uvjeÞbati.“Kontekst” neuroni memoriraju prethodna stanja skrivenihneurona, pa tako izlazi iz mreÞe ovise o akumuliranim pret-hodnim stanjima i trenutnim ulazima.18

Meðu postojeæim rekurentnim mreÞama, Elmanova mre-Þa19 jedna je od jednostavnijih tipova koja se moÞe uvjeÞba-ti standardnim algoritmom uèenja unatraÞnom propagaci-jom.9 Prikaz Elmanove mreÞe dan je na slici 6. Ulazni iizlazni neuroni veza su s okolinom. Ulazni neuroni su samomeðuspremnici koji provode ulazne signale. “Kontekst”neuroni rabe se samo za memoriranje prethodnih aktivacijaskrivenih neurona. Unaprijedne veze (neispunjene strelice)moguæe je modificirati, a rekurentne veze (pune strelice) sufiksne.

Na slici 6 vanjski ulazi u mreÞu prikazani su s u(k), a izlazi izmreÞe s y(k). Aktivacije skrivenih neurona su x(k). Izlazi“kontekst” neurona prikazani su sa xc(k). Slijedi:

x(k) = f�wxcxc(k), wxuu(k – 1)� (3)

xc(k) = x(k – 1) (4)

y(k) = wyxx(k) (5)

pri èemu su wxc, wxu i wyx matrice teÞinskih koeficijenta, a fje nelinearna vektorska funkcija. Ako se uzimaju linearniskriveni neuroni, uz pretpostavku da su biasi skrivenih iizlaznih neurona jednaki nuli, jednadÞbe (3) i (4) poprimajusljedeæi oblik:

x(k) = wxcxc(k) + wxuu(k – 1) (6)

xc(k) = x(k – 1) (7)

y(k) = wyxx(k) (8)

JednadÞbe (6) i (8) zapisi su dinamièkih sustava u prostorustanja.

Velike brzine uèenja uzrokuju oscilacije, a moguæe su i ne-stabilnosti u postupku uèenja. Iz tog je razloga uvedeno sa-mopovezivanje (engl. self-connection) “kontekst” neuronatako kako je to opisano u literaturi.20 Neuroni pritom dobi-vaju “inertnost”, dobivajuæi na sposobnosti dinamièkogmemoriranja, slika 7, pri èemu � iskazuje pojaèanje vlastitihpovratnih veza. Vrijednost � je obièno izmeðu 0 i 1. Što je �bliÞe jedinici, “kontekst” neuron akumulira više prošlih izla-za. Buduæi da je red dinamièkog sustava povezan s brojemprošlih izlaza o kojima ovisi trenutni izlaz, uvoðenje vlastitihpovratnih veza u “kontekst” neurone omoguæuje modeli-ranje sustava višeg reda.

Primjena neuronskih mreÞakod voðenja procesa

U teoriji voðenja sposobnost neuronskih mreÞa da modeli-raju nelinearne sustave od velike je vaÞnosti. Postoji nizstandardnih metoda za analizu i sintezu nelinearnih regula-tora za posebne klase nelinearnih sustava, ali nema opæeprimjenjive teorije za projektiranje nelinearnog voðenja.Stoga se sposobnost neuronskih mreÞa da predoèe neli-nearno vladanje najviše primjenjuje pri sintezi nelinearnihregulatora.

Do sada je objavljen èitav niz razlièitih naèina sistematizaci-je razvijenih metoda voðenja. Prema Ngu21 najbolja me-toda klasifikacije je dvostruka podjela pri kojoj se metodedijele na metode voðenja iskljuèivo neuronskom mreÞom ihibridne metode voðenja tj. metode koje se zasnivaju nakombinacije neuronske mreÞe i klasiènih regulatora.12

Metode primjene neuronske mreÞe pri voðenju procesa

Primjenu neuronskih mreÞa za voðenje procesa priklad-no je podijeliti u tri veæe skupine ovisno o naèelu primje-ne:22, 23

N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006) 461

S l i k a 6 – Strukturni prikaz Elmanove mreÞeF i g. 6 – Structure of Elman network

S l i k a 7 – Struktura modificirane Elmanove mreÞeF i g. 7 – Structure of modified Elman network

Page 6: Primjena neuronskih mreža

– prediktivno voðenje (engl. model predictive control –MPC),– voðenje pomoæu inverznog modela procesa (engl. inver-se model-based control) i– prilagodljivo voðenje (engl. adaptive control).

Opæenito, prediktivne metode voðenja imaju prednost za-to što su stabilne, ali su raèunski zahtjevnije. Voðenje po-moæu inverznog modela procesa jednostavnije je za pri-mjenu, ali moÞe dovesti do problema sa stabilnošæu. Meto-de prilagodljivog voðenja s druge strane prikladne su zamodele s promjenjivim parametrima, ali isto tako moguimati problema sa stabilnošæu.

Veæina neuronskih mreÞa koje se primjenjuju su višeslojneunaprijedne mreÞe ukljuèujuæi radijalno bazne funkcije(RBF). O njihovim prednostima i nedostacima postoji op-širna literatura.24–28 Ostale mreÞe što se rabe su rekurentne iVQN (vector quantizing network).29–31 Prednost jedne struk-ture mreÞe nad drugima nije moguæe jedinstveno ustvrditi.To u mnogome ovisi o primjeni, a razmatra se od sluèaja dosluèaja. Primjena obuhvaæa široko podruèje kemijskih pro-cesnih sustava. Najèešæe se sreæu destilacijske kolone ireaktorski sustavi (protoèni kotlasti reaktor, biorektori i neu-tralizacijski reaktori). U pravilu se radi o viševelièinskim inelinearnim sustavima.

1. Neuronske mreÞe pri prediktivnom voðenju

U toj metodi voðenja neuronske mreÞe sluÞe kao modelprocesa u svrhu prediktivnog voðenja. To je voðenje ukojem se regulacijsko djelovanje odreðuje optimiranjemdjelovanja regulacijskog kruga prema nekoj funkciji cilja uodreðenom vremenskom intervalu. U tom sluèaju, neuron-ske mreÞe zamjenjuju fundamentalne modele.32

Prediktivni algoritam voðenja u osnovi ukljuèuje traÞenjeminimuma odstupanja izlaza od radne toèke uz zadani cilj idana ogranièenja. Ta metoda voðenja pokazala se, iakoraèunski zahtjevnija, vrlo dobrom. Neuronske mreÞe pri-kladne su jer mogu predviðati izlazne vrijednosti više kora-ka unaprijed. Neuronska mreÞa predviða za k koraka una-prijed vrijednost y(t+k). Da bismo dobili optimalno regula-cijsko djelovanje, definira se funkcija cilja, J:

(9)

pri èemu N1 i N2 definiraju predikcijski horizont, N3 definiraregulacijski horizont, e je pogreška izmeðu ciljane i pred-viðene vrijednosti, q je teÞinski koeficijent, a �u je promje-na regulacijskog djelovanja.33–34

Do sada je prikazano niz tehnika primjene modela neuron-skih mreÞa, a najèešæe se primjenjuje engl. general predicti-ve control (GPC),35 dynamical matrix control (DMC)36 i rece-ding horizon control (RHC).37 U cjelini uzevši, te tehnike suvrlo sliène, a razlika se javlja pri primjeni te pri formulacijimodela i ogranièenja. U veæini primjena prediktivnog voðe-nja upotrebljava se višeslojna unaprijedna mreÞa, dok sekod nekolicine rabe rekurentne i VQN mreÞe.38-43 Pregledprimjene dan je u tablici 2.

T a b l i c a 2 – Primjeri primjene neuronskih mreÞa kod predik-tivnog voðenja

T a b l e 2 – Application of neural networks for predictivecontrol

Voðenavarijabla

Controlvariable

Sustav

System

Vrsta NM

NN type

Referencije

Reference

SastavproduktaProductcomposition

DestilacijskakolonaDistillationcolumn

PKRCSTR

VišeslojnaMultilayer

VQNVQNVišeslojnaMultilayer

44–46

47

33, 48, 49

DimenzijeproizvodaProductdimensions

Rotacijski mlinRolling mill

Višeslojna + RBFMultilayer + RBF

50

Regulacija pHpH control

NeutralizacijaNeutralizationreactor

VišeslojnaMultilayer

Radijalno baznefunkcijeRadial basisfunction

42, 51–53

52–54

KvalitetaproduktaProduct quality

AutoklavaAutoclave

VišeslojnaMultilayer

55

Razina

Level

KonusnispremnikConical tank

VišeslojnaMultilayer

RekurentnaneizrazitaRuccerentneuro-fuzzy

5657

ViševelièinskovoðenjeMultivariablecontrol

IsparivaèEvaporator

VišeslojnaMultilayer

56

TlakPressure

DestilacijskakolonaDistillationcolumn

Višeslojna

Multilayer

58

TemperaturaTemperature

KristalizacijaCrystal process

VišeslojnaMultilayer

41

2. Neuronske mreÞe pri voðenju pomoæuinverznih modela procesa

Ovdje se, u naèelu, primjenjuju dvije metode: izravno in-verzno voðenje i interno modelsko voðenje (engl. internal-model control – IMC).

462 N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006)

% & % &2 3

1

2 2

1

( ) ( ) ,N N

ik N i

J e t k q u t i'� �

� � � �� �

Page 7: Primjena neuronskih mreža

Pri izravnom inverznom voðenju inverzni model djeluje kaoregulator, a mreÞa uèi inverzni model procesa, tj. predviðaulaze potrebne za postizanje Þeljenih izlaza iz procesa.59 Naslici 8 prikazan je postupak uèenja neuronske mreÞe kao in-verznog modela procesa.

Ulaze u mreÞu predoèuju: prošli i trenutaèni ulazi, u(k – m)… u(k); prošli i trenutaèni izmjereni izlazi, y(k – n) … y(k) iÞeljeni buduæi izlazi procesa, ym(k + 1).

MreÞa predviða buduæi ulaz uNN(k + 1), potreban za posti-zanje Þeljenog buduæeg izlaza, ym(k + 1). Inverzni modelodgovara sljedeæem funkcijskom odnosu:61–62

unn(k + 1) = g[u(k – m) … u(k)],ym(k + 1), y(k – n) … y(k))]

(10)

Postoji opširna literatura koja obraðuje zamisao primjeneneuronskog inverznog modela pri voðenju procesa.16, 61-63

Još robusniji i stabilniji naèin je nelinearno interno mo-delsko voðenje (engl. Internal Model Control – IMC), štopredoèuje proširenje linearne IMC metode.64 Na temeljudinamièkog modela procesa, paralelno s procesom, sinteti-zira se regulator s povratnom vezom.13, 63

Postoje i primjeri voðenja generièkim modelom (engl. gene-ric model control – GMC), pri èemu na temelju modela pro-cesa i referentna trajektorije, regulator slijedi zadanu trajek-toriju.12, 65-66

Velika veæina radova unutar ove skupine primjenjuje više-slojnu unaprijednu neuronsku mreÞu, a pregled je dan u ta-blici 3.

3. Neuronske mreÞe pri prilagodljivom voðenju

Premda je teorija prilagodljivih sustava temeljena na linear-nim vremenski invarijantnim sustavima, zamisao i teorijskaistraÞivanja imaju svoje mjesto i na polju neuronskih mre-Þa.21–23, 77–80 Kao i kod drugih tehnika, neuronske mreÞemogu se primijeniti pri prilagodljivom voðenju za nelinear-ne dinamièke sustave. Obièno pri prilagodljivom voðenjupostoje dva pristupa – izravni i posredni.

Izravno prilagodljivo voðenje (engl. direct adaptive control),ostvaruje se uèenjem neuronske mreÞe tako da oponašadjelovanje postojeæeg regulatora.60,81-83 Zamisao tog po-stupka prikazana je na slici 9. Neuronski regulator uèi setraÞenjem minimuma pogreške uèenja mreÞe, NN, što èinirazliku izmeðu izlaza iz regulatora, u, i izlaza iz neuronskogregulatora, uNN. Takva struktura moÞe se primijeniti u prila-godljivom sustavima za voðenje.84

S l i k a 9 – Izravno prilagodljivo voðenje pomoæu neuronskemreÞe

F i g. 9 – Direct neural network-based adaptive control

Pri izravnom prilagodljivom voðenju nema eksplicitnog od-reðivanja modela sustava. Umjesto toga parametri regulato-ra izravno se ugaðaju tijekom rada (“on-line”) da bi seostvarilo Þeljeno vladanje i stabilnost regulacijskog kruga.85

Pri posrednom prilagodljivom voðenju, neuronska mreÞaprimjenjuje se za identificiranje modela nelinearnog proce-sa tijekom rada. Cilj je da izlaz procesa slijedi referentniizlaz. Regulacijsko djelovanje moÞe se zatim izraèunati sobzirom na Þeljeno i ono izmjereno u procesu. Identifici-

N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006) 463

S l i k a 8 – Uèenje neuronske mreÞe kao inverznog modela procesaF i g. 8 – Neural network training as inverse process model

Page 8: Primjena neuronskih mreža

ranje i voðenje odvijaju se simultano. Detalji o tom naèinuvoðenja dostupni su u literaturi.86-87

Veæina primjena u ovoj skupini primjenjuje unaprijednuvišeslojnu mreÞu, tablica 4.

4. Industrijska primjena neuronskih mreÞa

U tablici 5 dani su primjeri industrijske primjene voðenjakoje se temelji na modelu neuronske mreÞe. U veæiniprimjera upotrebljavaju se višeslojne unaprijedne mreÞe.Poboljšanja koja se ostvaruju njihovom primjenom speci-fièna su od sluèaja do sluèaja, no postoji i mnogo primjeragdje se upotreba neuronskih mreÞa nije mogla opravda-ti.22,96

T a b l i c a 4 – Primjeri primjene neuronskih mreÞa kod prilago-dljivog voðenja

T a b l e 4 – Application of neural networks for adaptivecontrol

Voðenavarijabla

Controlvariable

Sustav

System

Vrsta NM

NN type

Referencije

Reference

SastavproduktaProductcomposition

PKRCSTRFermentacijaFermentation

Višeslojna + RBSMultilayer + RBSVišeslojnaMultilayer

80, 88

89

KoncentracijaproduktaProductconcentration

NeutralizacijaNeutralization

NeutralizacijaNeutralizationPKRCSTRBioreaktorBioreactor

VišeslojnaMultilayer

RekurentnaRecurrentVišeslojnaMultilayerVišeslojnaMultilayer

90

90

80

91-92

Regulacija pHpH control

NeutralizacijaNeutralizationreactor

Višeslojna + RBSMultilayer + RBS

90, 93

TemperaturaTemperature

PKR – izotermniCSTR – isotermalPolimerizacijskireaktorPolymerisationreactor

VišeslojnaMultilayerVišeslojnaMultilayer

94

95

RazinaLevel

SpremnikTank

VišeslojnaMultilayer

91

Zakljuèak

U ovom radu dani su pregled i moguænost primjene neu-ronskih mreÞa u kemijskom inÞenjerstvu za identificiranje ivoðenja procesa. Karakteristika neuronskih mreÞa da moguidentificirati dinamiku nelinearnih procesa omoguæuju ši-roku primjenu kod voðenja procesa temeljenog na modelu.Pri tome treba istaknuti sljedeæe èinjenice:

– Neuronske mreÞe moguæe je primijeniti u okviru veæpoznatih metoda nelinearnog voðenja;

– Premda je danas razvijen velik broj drugih vrsta mreÞa,najèešæe se upotrebljavaju višeslojne unaprijedne mreÞekoje su se pokazale široko primjenjivima;

– U veæini sluèajeva radi se o primjeni na simulacijskoj i la-boratorijskoj razini. Postoji stanovit broj primjena na pilot--postrojenjima i u industriji, obièno primjenom neke odmetoda prediktivnog voðenja, no broj objavljenih èlanaka,sudeæi prema dostupnim nam bibliografskim bazama, jošuvijek nije toliko velik.

Neuronske mreÞe pronašle su primjenu i na podruèjimakao što su nadgledanje i dijagnostika procesa.13,115–116 Za

464 N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006)

T a b l i c a 3 – Primjeri primjene neuronskih mreÞa kod inver-znog voðenja

T a b l e 3 – Application of neural networks for inversecontrol

Voðenavarijabla

Controlvariable

Sustav

System

Vrsta NM

NN type

Referencije

Reference

SastavproduktaProductcomposition

PKRCSTR

DestilacijskakolonaDistillationcolumn

VišeslojnaMultilayer

VišeslojnaMultilayer

63, 67-68

69

KoncentracijaproduktaProductconcentration

Neutralizacija

Neutralization

PolušarÞnibioprocesFed-batchbioprocessPKRCSTR

Višeslojna

Multilayer

VišeslojnaMultilayerVišeslojnaMultilayer

67

70

65, 71

Regulacija pHpH control

NeutralizacijaNeutralizationreactor

VišeslojnaMultilayer

Radijalno baznefunkcijeRadial basisfunction

54

54

TemperaturaTemperature

PKRCSTRPKRCSTRPeæ za vapnoLime kilnIzmjenjivaètoplineHeat exchanger

Višeslojna + RBFMultilayer + RFBRekurentnaRecurrentVišeslojnaMultilayerVišeslojnaMultilayer

65, 72-73

74

75

76

Page 9: Primjena neuronskih mreža

kvantitativno predviðanje vrijednosti procesnih velièina ko-je su teško mjerljive117–122 i inferencijsko voðenje123–125 rabese softverski senzori i analizatori.

Buduænost primjene neuronskih mreÞa ne leÞi samo u nji-hovoj eksplicitnoj upotrebi nego i u povezivanju s drugimnaprednim tehnikama. Fuzija neuronskih mreÞa i neizrazitelogike u obliku neizrazito-neuronskih mreÞa (engl. neuro-fuzzy network) jedna je od moguænosti koja se veæ pri-mjenjuje.126 Drugo vaÞno podruèje je hibridno modelira-nje,12, 127–128 odnosno metode identificiranja koje se nado-punjuju s fenomenološkim modelima.

LiteraturaReferences

1. Special issue on neural networks, IEEE Control Systems 10 (2)(1990).

2. Special issue on neural networks, IEEE Control Systems 12 (2)(1992).

3. Special Issue on Artifical Neural Networks, IEEE Trans. on Sy-stem, Man, And Cybernetics 28 (4) (1998).

4. J. Jain, D. Mao, Computer, March (1996) 31.5. M. Baotiæ, Identifikacija i upravljanje nelinearnim vremenski

promjenjivim procesima primjenom neuronskih mreÞa, Ma-gistarski rad, Sveuèilište u Zagrebu, 2000.

N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006) 465

T a b l i c a 5 – Primjeri industrijske primjene neuronskih mreÞaT a b l e 5 – Industrial application of neural networks

Voðena varijablaControl variable

Metoda voðenjaControl technique

SustavSystem

Vrsta NMNN type

ReferencijeReference

Sastav produktaProduct composition

PrediktivnoPredictive

Polimerizacijski reaktorPolymerisation reactor

MultilayerVišeslojna

97

Regulacija pHpH control

PrediktivnoPredictive

IMCIMC

DMCDMC

PrilagodljivoAdaptive

Cijevni neutr. reaktorTubular neut. Reactor

NeutralizacijaNeutralization

NeutralizationNeutralization

FermentorFermentor

Višeslojna + RBFMultilayer + RBF

Višeslojna + RBFMultilayer + RBF

VišeslojnaMultilayer

RekurentnaRecurrent

98

99

100

101

TemperaturaTemperature

Direktno inverznoDirect inverse

PrilagodljivoAdaptive

GPC prilagodljivoGPC adaptive

PrediktivnoPredictive

IMC prilagodljivoIMC adaptive

Inverzno s GMCInverse with GMC

Inverzno s GMCInverse with GMC

PrediktivnoPredictive

PrediktivnoPredictive

PolušarÞni reaktorSemi-batch reactor

PeæFurnace

Spremnik s grijanjemHeated tank

Destilacijska kolonaDistillation column

PeæOven

GrijaèHeater

Izmjenjivaè toplineHeat exchanger

Reaktor s slojem kataliz.Packed bed reactor

Industrijska peæFurnace

VišeslojnaMultilayer

VišeslojnaMultilayer

VQN mreÞaVQN network

VišeslojnaMultilayer

Višeslojna + RBFMultilayer + RBF

VišeslojnaMultilayer

VišeslojnaMultilayer

RekurentnaRecurrent

VišeslojnaMultilayer

102

103

104

105

106

107

108

109

110-111

RazinaLevel

PrediktivnoPredictive

Povratna vezaFeedback control

GPC prilagodljivoGPC adaptive

Dva spremnika u serijiTwo tank in series

SpremnikTank system

Dva spremnika u serijiTwo tank in series

VišeslojnaMultilayer

VišeslojnaMultilayer

VQN mreÞaVQN network

112

51

113

TlakPressure

PrediktivnoPredictive

Tlaèna posudaPressure vessel

VišeslojnaMultilayer

114

Page 10: Primjena neuronskih mreža

6. W. S. McCulloh, W. Pitts, Bull. Math. Biphys. 5 (1943) 115.7. F. Rossenblatt, Principles of neurodynamics, Spartan Books,

New York, 1962.8. M. L. Minsky, S. Papert, Perceptrons, MIT Press, Cambridge

MA, 1969.9. D. Rumelhart, J. McClelland, Parallel distributed processing:

exploitations in the micro-structure of cognition, Vol 1 & 2,Cambridge: MIT Press, 1986.

10. M. M. Gupta, D. H. Rao, eds., Neuro-Control Systems, Theoryand Applications, IEEE Press, New York, 1994.

11. I. Petroviæ, Identifikacija nelinearnih dinamièkih procesa sta-tièkim neuronskim mreÞama, Doktorska disertacija, Sveuèilišteu Zagrebu, 1998.

12. D. Gosak, Optimalno voðenje diskontinuiranog procesa rek-tifikacije primjenom Þivèevne mreÞe, Doktorska disertacija,Sveuèilište u Zagrebu, 2003.

13. J. C. Hoskins, D. M. Himmelblau, Comp. Chem. Eng. 12(1995) 881.

14. S. Chen, S. A. Billings, Int. J. Control 56 (2) (1992) 319.15. K. Hornik, Neural Networks 4 (1991) 251.16. N. Bhat, T. J. McAvoy, Comput. Chem. Eng. 14 (4/5) (1992)

573.17. K. S. Narendra, K. Parthasarathy, IEEE Trans. on Neural Net-

works, 1 (1) (1990) 4.18. Y. You, M. Nikolaou, AIChE Journal 39 (10) (1993) 1654.19. J. L. Elman, Cognitive Science 14 (1990) 179.20. M. I. Jordan, Proc. of the Annual Conf. of the Cogn. Sci. Soc.

(1986) 531.21. G. W. Ng, Application of neural network for adaptive control

of nonlinear systems, Research Studio Press, Taunton, 1997.22. M. A. Hussain, Artif. Intell. in Eng. 13 (1999) 55.23. D. R. Baughman, Y. A. Liu, Neural Networks in Bioprocessing

and Chemical Engineering, Academic Press, San Diego, 1995.24. B. Widrow, M. Lehr, Proc. IEEE 78 (9) (1990) 1415.25. T. Poggio, F. Girosi, Proc. IEEE 78 (9) (1990) 1481.26. A. J. Moran, C. T. Harston, R. M. Pap, Handbook of neural

computing applications, Academic Press, London, 1990.27. R. P. Lipmann, IEEE ASSP Mag. 4 (1987) 4.28. S. Haykin, Neural networks – a comprehensive foundation,

MacMillan, New York, 1994.29. M. Caudill, C. Butler, Understanding neural nets: computing

explorations, vol II. MA, MIT, Cambridge, 1992.30. R. J. Mammone, Y. Zeevi, Neural networks, theory and appli-

cations, Academic Press, New York, 1993.31. T. Karjala, D. M. Himmeblau, AIChE J. 40 (1994) 1865.32. A. J. Morris, G. A. Montague, M. J. Willis, Trans. Inst. Chem.

Engng., UK – Part A 72 (1994) 3.33. M. J. Willis, C. DiMassimo, G. A. Montague, M. T. Tham, A. J.

Morris, IEE Proc. – Part D 138 (1991) 256.34. A. Saint-Donat, N. Bhat, T. J. McAvoy, Int. J. Contr. 54 (1991)

1453.35. D. W. Clarke, C Mohtadi, P. S. Tuffs, Automatica 23 (2) (1987)

137.36. C. R. Cutler, B. L. Ramaker, American Institute Chemical Engi-

neers Meeting Proc., TX, Houston, 1979.37. D. Q. Mayne, H. Michalska, IEEE Trans. Auto Contr. 35 (7)

(1990) 814.38. N. Bolf, Prilagodljivo koordinirano voðenje sloÞenih procesa,

doktorska disertacija, Sveuèilište u Zagrebu, 2003.39. J. Blum, P. Villard, A. Leuba, D. M. Himmelblau, AIChE Annual

Meeting, Nov. (1992), Miami, FL.40. J. B. Gomm, J. T. Evans, D. Williams, Control Eng. Practice 5 (1)

(1997) 49.

41. M. Ishida, J. Zhan, AIChE J. 41 (1995) 2333.42. J. Saint-Donat, N. Bhat, T. J. McAvoy, Int.J. Control 54 (6)

(1991) 1453.43. A. Tholudur, W. F. Ramirez, AIChE Journal 45 (8) (1999).44. M. J. Willis, G. A. Montague, C. DiMassimo, M. T. Tham, A. J.

Morris, Automatica 28 (6) (1992) 1181.45. V. Gokhale, S. Horuwitz, J. B. Riggs, Ind. Engng. Chem. Res. 34

(1995) 4413.46. M. Lee, S. Park, AIChE J. 38 (2) (1992) 193.47. L. Megan, D. J. Cooper, Comput. Chem. Engng. 19 (2) (1995)

171.48. D. M. Psichogios, L. H. Ungar, Ind. Engng. Chem. Res. 30

(1991) 2564.49. E. Hernandez, Y. Arkun, Am. Contr. Conf. 1, Boston, (1990)

2454.50. H. D. Sbarbaro, D. Neumerkel, K. Hunt, IEEE Contr. Syst. 13

(3) (1993) 631.51. P. Langonet, Conf. on Precision Processing Technology, Net-

herlands (1993) 631.52. B. Eikens, M. Karim, Adv. Cont. Chem. Process (ADCHEM)

Symp, Japan, (1994) 125.53. M. Pottmann, DE Seborg, Comput. Chem. Engng. 21 (9)

(1997) 9650.54. K. J. Hunt, D. Sbarbaro, IEE Control Engineering Series, Lon-

don, 1992.55. B. Joseph, F. W. Hanratty, Ind. Engng. Chem. Res. 32 (1993)

1951.56. P. M. Mills, A. Y. Zomaya, M. O. Tade, Int. J. Contr. 60 (6)

(1994) 1163.57. J. Zhang, A. J. Morris, Neural Comput. & Appl. 9 (2000) 50.58. P. Turner, G. A. Montague, A. J. Morris, Fourth Int. Conf. Artifi-

cial Neural Networks, Cambridge (1995) 284.59. Y. H. Pao, S. M. Phillips, D. J. Sobajic, Int. J. Contr. 56 (2)

(1992) 263.60. D. H. Wang, C. B. Soh, International Journal of System Science

31 (1) (2000) 119.61. S. B. L. Kooi, Khorasani, Tappi Journal 75 (1992) 156.62. K. J. Hunt, D. Sbarbaro, R. Zbikowski, P. J. Gawthrop, Automa-

tica 28 (6) (1992) 1083.63. D. M. Psichogious, L. H. Ungar, Ind. Eng. Chem. Res. 30

(1991) 2564.64. C. G. Economou, M. Morari, B. O. Palsson, Ind. Engng. Chem.

Process Des. Dev. 25 (1986) 403.65. G. M. Scott, W. Harmon Ray, J. Proc. Cont. 3 (1993) 179.66. K. Kosanovich, M. Piovoso, Proc. of the World Congress on

NN, Portland, OR, 1 (1993) 471.67. E. P. Nahas, M. A. Henson, D. E. Seborg, Comp. Chem. Engng.

16 (2) (1992) 1039.68. B. S. Dayal, P. A. Taylor, J. F. MacGregor, Can. J. Chem. Engng.

72 (1994) 1067.69. M. S. Basualdo, H. A. Ceccatto, DYCORD Int. Fed. Auto.

Cont. IFAC Symp. (1995) 171.70. A. Bulsari, B. Saxen, H. Saxen, Neural control of a fed batch

Bioprocess, In: Lecture Notes in Computer Science (No. 686).Springer, Berlin, 1993.

71. G. Lightbody, G. W. Irwin, Proc. Am. Control. Conf. (1995)350.

72. M. J. Piovos, K. A. Kosanovich, A. R. Moser, Proc. Am. Control.Conf. (1992) 490.

73. M. A. Shah, P. H. Meckl, Proc. Am. Control. Conf. (1995)4265.

74. M. Nikolaou, V. Hanagandi, AIChE J. 39 (11) (1993) 1890.

466 N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006)

Page 11: Primjena neuronskih mreža

75. B. M. Riberio, A. Dourado, Bulsari ed., Neural networks forchemical engineers, Chap. 7, 1995.

76. G. Dýaz, M. Sen, K. T. Yang, R. L. McClain, Int. Journ. of Heatand Mass Transf. 44 (2001) 1671.

77. T. D. Knapp, H. M. Budman, G. Broderick, Journal of ProcessControl 11 (2001) 53.

78. E. F. Camacho, M. R. Arahal, IFAC Artificial Intelligence in RealTime Control, Valencia, Spain (1994)

79. P. M. Mills, A. Y. Zomaya, M. O. Tade, Neuro-Adaptive Pro-cess Control: A Practical Aproach, John Wiley and Sons Ltd.,England, 1995.

80. G. Lightbody, G. W. Irwin, IEE Proc.-Control Theory Appl. 142(1) (1995).

81. D. Psaltis, A. Sideris, A .A. Yamamura, IEEE Control SystemsMagazine 8 (2). (1988) 17.

82. W. T. Miller, R. E. Sutton, P. J. Werbos, Editors, Neural Net-works for Control, MIT Press, Cambridge, MA (1990).

83. Y. Ichikawa, T. Sawa, IEEE Trans. Neural Networks 3 (1992)224.

84. K. S. Narendra, in: Miller, W.T., Sutton, R.S. and Werbos, P.J.Ed, MIT Press, Cambridge, MA, (1990). pp. 115-143.

85. C. Lightbody, A. Durndell, IEE Contr. Engineer. Series 46(1992) 51.

86. K. S. Narendra, K. Parthasarathy, IEE Proc. Neural Networks 1(1990) 4.

87. R. M. Sanner, J. J. Slotine, IEEE Trans. Neural Networks 3 (6)(1992) 1299.

88. T. D. Knapp, H. M. Budman, G. Broderick, Jour. of Proc. Cont.11 (2001) 53.

89. J. D. Boslovic, K. S. Narendra, Automatica 31 (6) (1995) 817.90. A. P. Loh, K. O. Looi, K. F. Fong, J. Process Contr. 5 (6) (1995)

355.91. T. Chovan, T. Catfolis, K. Meert, AIChE J. 42 (2) (1996) 493.92. Y. Y. Yang, D. A. Linkens, IEE Proc – Control Theory Applica-

tions 141 (5) (1994) 341.93. N. D. Ramirez-Beltran, J. A. Montes, IIE Trans. 34 (2002) 313.94. B.E. Ydstie, Comput. Chem. Engng. 14 (1990) 583.95. N. Watanabe, Adv. Cont. Chem. Process (ADCHEM) 94 Symp.

(1994) 391.96. B. Lennox, G. A. Montague, A. M. Frith, C. Gent, V. Bevan,

Jour. of Proc. Cont. 11 (2001) 497.97. A. Y. Tsen, S. S. Jang, D. S. Wong, B. Joseph, AIChE J. 42 (2)

(1996) 455.98. S. K. Doherty, D. Williams, J. B. Gomm, Inst. Chem. Eng. –

Advances in Process Control 4 Meeting (1995) 57.99. D. E. Seborg, IEEE Control 94 Conf. (1994) 879.100. A. Draeger, S. Engell, H. Ranke, IEEE Control Systems (1995)

61.101. M. Syu, J. B. Chang, Ind. Engng. Chem. Res. 36 (1997) 3756.102. L. Dirion, M. Cabassud, M. V. Le Lann, G. Casamatta, Com-

put. Chem. Engng. 19S (1995) S797.103. M. Khalid, S. Omatu, R. Yusuf, IEEE Trans. Contr. Syst. Tech-

nol. 1 (4) (1993) 238.

104. R. F. Hinde, D. J. Cooper, AIChE J. 41 (1) (1992) 110.105. C. Wormsley, J. Henry, Am. Inst. Chem. Eng. Annual Nov.

Meeting San Francisco, CA, (1994).106. O. Dubois, J. Nicolas, A. Billat, Colloqium on Advances in

Neural Network for Control and Systems, Vol. 8 Germany(1994) 1.

107. P. Dutta, R. R. Rhinehart, Proc. Am. Control. Conf. (1995)1787.

108. N. V. Joshi, P. Murugan, R. Rhinehart, Contr. Engng. Practice5 (17) (1997) 885.

109. K. O. Temeng, P. D. Schnelle, T. J. McAvoy, J. Process Contr.5 (1) (1995) 19.

110. C. P. Sheppard, C. R. Gant, R. M. Ward, Proc. Am. Control.Conf. (1992) 500.

111. Y. Kim, K. C. Moon, B. S. Kang, C. Han, K. S. Chang, Cont.Eng. Pract. 6 (1998) 1009.

112. J. T. Evans, P. S. James, H. W. Chandler, Proc. IEE ColloqiumNonlinear Contr 12 (1993) 1.

113. D. J. Cooper, L. Megan, R. F. Hinde, AIChE J. 38 (1) (1992)41.

114. H. J. Van Can, H. A. Bracke, C. Hellinga, A. J. Krijgsman, H. B.Verbruggen, K. Ch. A. M. Luyben, J. J. Heijnen, Chem. Engng.Sci. 50 (15) (1995) 2419.

115. Ý. Kurtanjek, Comp. Chem. Eng. 18 (1994) S627.116. K. Watanabe, I. Matsuura, M. Abe, M. Kubota and D. M.

Himmelblau, American Institute of Chemical EngineeringJournal 35 (11) (1989) 1803.

117. V. Venkatasubramanian, K. Chan, American Institute of Che-mical Engineering Journal 35 (12) (1989) 1993.

118. P. A. Lant, M. J. Willis, G. A. Montague, M. T. Tham, A. J. Mor-ris, Proc. ACC, San Diego (1990) 2173.

119. M. T. Tham, G. A. Montague, A. J. Morris, Advanced Methodsin Adaptive Control for Industrial Applications, Springer--Verlag Lecture Notes in Control and Information Sciences,1991.

120. C. DiMassimo, G. A. Montague, M. J., Willis, M. T. Tham, A. J.Morris, Comp. And Chemical Engineering 16 (4) (1992) 283.

121. A. Bhatracharya, Chem. Eng. and Proc. 44 (5) (2005) 565.122. N. Bolf, M. Glasner, I. Jerbiæ, Proc. of the Int. Conf. – Intelli-

gent Control Systems, Brno, Czech Republic (2005) 194.123. G. A. Montague, A. J. Morris, M. T. Tham, J. Biotechnology 25

(1992) 183.124. M. J. Willis, C. DiMassimo, G. A. Montague, M. T. Tham, A. J.

Morris, Proc. IFAC Symp. ITAC’91, Singapore, Jan. (1991)15.

125. M. J. Willis, G. A. Montague, C. DiMassimo, M. T. Tham, A. J.Morris, Automatica 28 (6) (1992) 1181.

126. W. H. Verduin, Better Products Faster: A Practical Guide toKnowledge-Based Systems for Manufacturers, Irein Proves-sional Publishing, Burr Ridge, 1995.

127. J. R. Jang, C. Sun, E. Mizutani, Neuro-Fuzzy and Soft Compu-ting, Prentice Hall 1996.

128. E. J. Molga, Chem. Eng. and Proc. 42 (2003) 675.

N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006) 467

Page 12: Primjena neuronskih mreža

SUMMARY

Application of Artificial Neural Networks forProcess Identification and Control

N. Bolf and I. Jerbiæ*

During the development of intelligent systems inspired by biological neural system, in the last twodecades the researchers from various scientific fields have created neural networks for solving aseries of problems from pattern recognition, prediction, diagnostic, software sensor, modellingand identification, control and optimization. In this paper a review of neural network applicationin the field of chemical engineering with emphasis on identification and process control is given.

The neural networks have been proven usefull in the applications which include complex chemi-cal and biochemical reactions. In such a processes use of standard methods of process modellingand control structure are frequently not suitable. The ability of neural network to model dynamicsof nonlinear process makes them an important tool for implementation in model-based control.Due to intensively theory development and many practical applications, there are numerous ne-ural network structures and algorithms.

In this paper neural networks are categorized under three major control schemes: model-basepredictive control, inverse model-based control, and adaptive control. The major applications aresummarized. It reveals prospect of using neural networks in process identification and control.

The future of neural network application lies not only in their explicite use, but in cross connec-ting to other advanted technnologies as well. Fusion of neural networks and fuzzy logic in theform of neural-fuzzy network is one of the possibilites. Other important field is hibrid modellingand identification methods which supplement simplified mechanistic models. Software sensorsand their application, especially in controlling of bioprocesses, present a very promising field.

University of Zagreb, Faculty of Chemical Engineering Received February 28, 2005and Technology, Savska c. 16/5a, 10 000 Zagreb, Croatia Accepted January 10, 2006e-mail: [email protected]

* Ina d. d., Refinery Sisak d. d., A. Kovaèiæa 1, 44 000 Sisak, Croatia* e-mail: [email protected]

468 N. BOLF i I. JERBIÆ: Primjena umjetnih neuronskih mreÞa, Kem. Ind. 55 (11) 457–468 (2006)