Stabilnost BAM neuronske mreže

SVEUČILIŠTE U ZAGREBU

FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA

DIPLOMSKI RAD br. 744

Stabilnost BAM neuronske mreže

Petra Vidović

Zagreb, lipanj 2014.

Sadržaj

Uvod ...................................................................................................................................... 1

1. Osnove teorije stabilnosti .............................................................................................. 2

1.1. Ljapunovljeva definicija stabilnosti....................................................................... 2

1.2. Centralna mnogostrukost ....................................................................................... 4

1.3. Hopfova bifurkacija ............................................................................................... 5

1.3.1. Dvodimenzionalni sustav .............................................................................. 5

1.3.2. Trodimenzionalni sustav ............................................................................... 9

2. Diferencijalne jednadžbe s kašnjenjem ....................................................................... 11

2.1. Metode rješavanja diferencijalnih jednadžbi ....................................................... 12

2.2. Primjer diferencijalne jednadžbe s kašnjenjem ................................................... 13

3. Neuronske mreže ......................................................................................................... 15

3.1. Hopfieldova mreža .............................................................................................. 16

3.1.1. Hopfieldova mreža s kašnjenjem ................................................................. 19

4. BAM neuronska mreža ................................................................................................ 23

4.1. Stabilnost BAM neuronske mreže ....................................................................... 24

4.2. Pojava Hopfove bifurkacije ................................................................................. 27

4.3. Računalni primjer ................................................................................................ 29

Zaključak ............................................................................................................................. 41

Literatura ............................................................................................................................. 42

Sažetak ................................................................................................................................. 44

Summary .............................................................................................................................. 45

Skraćenice ............................................................................................................................ 46

Privitak ................................................................................................................................ 47

1

Uvod

Dvosmjerna asocijativna memorija (engl. Bidirectional Associative Memory - BAM)

nastala je kao proširenje jednosmjerne autoasocijativne Hopfieldove neuronske mreže.

Marcus i Westervelt promatrali su vremenska kašnjenja koja se pojavljuju u prijenosu

signala te su predložili neuronsku mrežu s kašnjenjem. U diferencijalnim jednadžbama s

kašnjenjem javljaju se periodična rješenja koja proizlaze iz Hopfove bifurkacije.

Periodična rješenja se pojavljuju u sustavima običnih, ali i parcijalnih diferencijalnih

jednadžbi, gdje se osim Hopfove bifurkacije može pojaviti i neka druga bifurkacija, poput

Neimark-Sacker bifurkacije u Hopfieldovoj mreži s kašnjenjem.

U ovom radu promatrat će se bifurkacijska svojstva pojednostavljene dvosmjerne

asocijativne memorijske neuronske mreže s tri neurona i višestrukim kašnjenjem. S

obzirom na dvosmjernu strukturu, BAM neuronske mreže imaju praktičnu primjenu u

spremanju uparenih uzoraka i imaju sposobnost pretraživanja željenih uzoraka u oba

smjera, naprijed i unatrag. BAM mreža može spremiti mnogostruke uzorke za razliku od

drugih tipova neuronskih mreža koje imaju samo jedan spremnik uzoraka ili jedan

memorijski uzorak.

U prvom poglavlju definirani su osnovni pojmovi iz teorije stabilnosti kao što je

Ljapunovljeva definicija stabilnosti, pojam centralne mnogostrukosti te definicija Hopfove

bifurkacije u dvije i tri dimenzije. U drugom poglavlju opisane su diferencijalne jednadžbe

s kašnjenjem, metode rješavanja diferencijalnih jednadžbi te primjer direktnog rješavanja

linearne diferencijalne jednadžbe s kašnjenjem. U trećem poglavlju opisana je struktura

neuronske mreže i njena poveznica sa živčanim sustavom čovjeka, zatim je opisana

arhitektura Hopfieldove neuronske mreže, ali i arhitektura Hopfieldove mreže s

kašnjenjem. U četvrtom poglavlju definirana je BAM neuronska mreža, način provjere

stabilnosti mreže, primjena teorema stabilnosti na BAM neuronsku mrežu te određivanje

uvjeta pojave Hopfove bifurkacije kada mreža izgubi stabilnost. Zadnje potpoglavlje

prikazuje računalnu simulaciju BAM neuronske mreže pritom dokazujući teoreme iz

četvrtog poglavlja.

2

1. Osnove teorije stabilnosti

Problem stabilnosti pojavio se kod promatranja sunčevog sustava, nazvan i kao

problem stabilnosti N-tijela. Prvo formalno načelo za ukupnu minimalnu energiju definirao

je talijanski fizičar Evangelista Torricelli (1608-1647). Torricelli je rekao da je sustav tijela

u ravnotežnoj točki, ako ta točka sadrži (lokalnu) ukupnu minimalnu energiju. Sredinom

18. stoljeća dva matematičara i astronoma, Pierre-Simon Laplace (1748-1827) i Joseph

Louis Lagrange (1736-1813), otišli su korak dalje: pokazali su da ako je sustav

konzervativan, stanje koje odgovara minimalnoj potencijalnoj energiji i kinetičkoj energiji

jednakoj nula upravo je stabilna ravnotežna točka. Dokazano je da Torricellijevo načelo

također vrijedi i za disipativne sustave, gdje se ukupna energija smanjuje duž trajektorija

sustava. Tek je 1892. godine Aleksandr Ljapunov (1857-1918), ruski matematičar,

mehaničar i fizičar, dao odgovor na određene probleme vezane uz utvrđivanje postavki

stabilnosti rotirajućih tijela tekućina čije je temelje dao Poincaré.

1.1. Ljapunovljeva definicija stabilnosti

Ravnotežna točka x = 0 je stabilna ravnotežna točka sustava 00 )(),,( xtxtxfx

za sve 00 t i ε > 0 te postoji radijus δ(t0, ε) takav da )(),( 00 txtx za sve

0tt , gdje je x(t) rješenje sustava krećući od x0 u vremenu t0. Kako bi ravnotežna točka

bila stabilna, trajektorije sustava moraju ostati blizu ishodišta, ako je i početno stanje blizu

ishodišta. Stabilnost može biti:

1. jednolika - ako se u prethodnoj definiciji teorije stabilnosti δ može izabrati neovisno o t0, tj. ravnotežna točka ne postaje manje stabilna kroz vrijeme;

2. asimptotska - ako je x = 0 stabilna ravnotežna točka sustava i ako je x = 0 privlačna

tj. za sve 00 t postoji δ(t0) takav da 0)(lim0

txxt

;

3. jednolika asimptotska - ako je x = 0 jednoliko stabilna ravnotežna točka sustava i ako trajektorija x(t) konvergira jednoliko u nulu;

4. eksponencijalna - ako postoji m, α > 0 takvi da 0)( 0)( xmetx tt za sve

0, 00 ttRx n .

3

Prethodna definicija je lokalna, dotiče se samo onih točaka u okolini ravnotežne točke.

Druga Ljapunovljeva metoda pomaže u određivanju stabilnosti sustava bez eksplicitnog

integriranja diferencijalne jednadžbe. Ta metoda je generalizacija osnovne ideje da

mjerenjem disipacije energije u sustavu možemo dobiti zaključke o stabilnosti sustava.

„Kontinuirana funkcija nRDtxV ),( je pozitivno definitna funkcija na D ako je

0),( txV za svaki )0,0(),(,),( yxDtx .“ (Korkut et al., 2009)

Teorem 1. Osnovni Ljapunovljev teorem govori da kada je kontinuirana funkcija V(x, t),

koju smatramo kao poopćenu funkciju energije, (lokalna) pozitivna definitna funkcija (skr.

LPDF) i kada je 0),(

dt

txdV, tada možemo odlučiti o stabilnosti ravnotežne točke.

Funkciju V(x, t) nazivamo Ljapunovljevom funkcijom. Nastavak osnovnog Ljapunovljevog

teorema prikazan je u tablici (Tablica 1). (Sastry, 1999)

Tablica 1. Osnovni Ljapunovljev teorem (Sastry, 1999)

Uvjeti na V(x, t) Uvjeti na ),( txV Zaključci

LPDF ≥ 0 lokalno stabilno

LPDF, padajuća ≥ 0 lokalno jednoliko stabilno

LPDF, padajuća LPDF jednoliko asimptotski stabilno

PDF, padajuća PDF globalno asimptotski stabilno

Dodatni kriterij za određivanje asimptotske stabilnosti za dinamičke sustave dao je

LaSalle. „LaSalleovo načelo nepromjenjivosti ima dvije namjene: može se zaključiti da je

nešto asimptotski stabilno iako ),( txV nije lokalna pozitivna definitna funkcija te se

može dokazati da trajektorije diferencijalne jednadžbe koje počinju u jednom području

konvergiraju u jednu od mnogih ravnotežnih točaka u tom istom području. To načelo

primarno vrijedi za autonomne i periodične sustave.“ (Sastry, 1999)

4

1.2. Centralna mnogostrukost

Promatra se ponašanje sustava na centralnoj krivulji, a transverzalno na nju su dvije

situacije, stabilna krivulja kad sustav ide prema ravnotežnoj točki ili nestabilna krivulja

kad sustav ide od ravnotežne točke. Za analizu dinamičkih sustava koji nisu strukturno

stabilni potrebno je upotrijebiti analitičku tehniku centralne mnogostrukosti koja smanjuje

dimenziju prostora na kojem se promatra složeno ponašanje sustava. Ako linearizacija daje

svojstvene vrijednosti na imaginarnoj osi, dinamika sustava tada je složena. Sustav

pokazuje nelinearno ponašanje kada linearizacija nije hiperbolična.

Stabilni, nestabilni i centralni potprostor pojmovi su koji pomažu pri ispitivanju

topološkog tipa ravnotežne točke s jednom svojstvenom vrijednosti jednakoj nula.

„Svojstveni potprostor razapet svojstvenim vektorima s negativnim realnim dijelom

nazivamo stabilnim potprostorom i označavamo s ES. Svojstveni potprostor razapet

svojstvenim vektorima s pozitivnim realnim dijelom nazivamo nestabilnim potprostorom i

označavamo s EU. Svojstveni potprostor razapet svojstvenim vektorima s realnim dijelom

jednakim nuli nazivamo centralnim potprostorom i označavamo s EC.“ (Korkut et al.,

2009) U ravnini ES, EU i EC su pravci ili ravnine, a krivulje i plohe su mnogostrukosti.

„Teorem o stabilnoj, nestabilnoj i centralnoj invarijantnoj mnogostrukosti daje egzistenciju

mnogostrukosti koje su ujedno invarijantni skupovi. Invarijantni skupovi su skupovi koji

imaju svojstvo da točka ne može napustiti skup kad jednom dođe u njega.“ (Korkut et al.,

2009)

Teorem 2. Neka je f vektorsko polje Ck gdje vrijedi f(0) = 0 i Df(0) = A. Neka su

CC us , i σc kao podskup imaginarne osi razdvojene particije spektra A s

povezanim generaliziranim potprostorima ES, EU i EC. Tada postoji Ck kao stabilna i

nestabilna invarijantna mnogostrukost WS, WU tangencijalna na ES, EU u ishodištu i Ck-1

centralna mnogostrukost WC tangencijalna na EC u ishodištu. Mnogostrukosti WS i WU su

jedinstvene, ali WC ne mora biti jedinstven. (Sastry, 1999)

„Kod linearnih sustava invarijantni potprostori su ujedno i invarijantne

mnogostrukosti. U višedimenzionalnom prostoru postoje invarijantne krivulje, plohe i

hiperplohe. Krivulje su transverzalne u nekoj točki ako njihove tangente u toj točki ne

zatvaraju kut od 0° niti od 180°. Plohe su transverzalne ako tangencijalne ravnine u

zadanoj točki ne zatvaraju kut od 0° niti od 180°.“ (Korkut et al., 2009) U n-

5

dimenzionalnom prostoru dimenzija centralne mnogostrukosti jednaka je broju svojstvenih

vrijednosti kojima je realni dio jednak nula.

1.3. Hopfova bifurkacija

Eberhard Hopf (1902-1983) bio je matematičar i astronom, utemeljitelj ergodičke

teorije i začetnik teorije bifurkacija. Ako fazni portret promijeni svoju topološku strukturu

pri promjeni određenog parametra tada se pojavljuje bifurkacija.

Prema Kuznetsov (2006), promatra se autonomni sustav običnih diferencijalnih

jednadžbi nxxfx ),,( ovisan o parametru , gdje je funkcija f glatka. Neka

za sve dovoljno male vrijednosti sustav ima skup stabilnih ravnotežnih točki x0(α).

Neka Jacobijanova matrica A(α) = fx(x0(α), α) ima par kompleksnih svojstvenih vrijednosti

i2,1 koja postaju čisto imaginarne vrijednosti kada je α = 0 odnosno

μ(0) = 0 i ω(0) = ω0 > 0. Kad parametar α prijeđe vrijednost α = 0, tada ravnotežno stanje

gubi stabilnost i pojavljuje se granični ciklus oko ravnotežne točke. Bifurkacija je opisana s

bifurkacijskim uvjetom kada je realni dio svojstvene vrijednosti λ1,2 = 0 te se pojavljuje u

jednoparametarskim familijama glatkih običnih diferencijalnih jednadžbi.

U sljedeća dva potpoglavlja definiraju se uvjeti u kojima se pojavljuje Hopfova bifurkacija

za dvodimenzionalni i trodimenzionalni slučaj.

1.3.1. Dvodimenzionalni sustav

Prema Kuznetsov (2006), promatra se slučaj pojave Hopfove bifurkacije u

dvodimenzionalnom sustavu

),,(

),,,(

2122

2111

xxfx

xxfx

s dodatna dva uvjeta: 1. l1(0) ≠ 0, gdje je l1(α) prvi Ljapunovljev koeficijent

2. μ'(0) ≠ 0.

Tada je sustav lokalno topološki ekvivalentan u okolini ravnotežne točke u normalnoj

formi

6

)(

)(22

212212

22

211211

yyyyyy

yyyyyy

,

gdje je 1))0((,),( 12

21 lsignyyy T .

Ljapunovljev koeficijent je koeficijent uz vodeći član u asimptotskom razvoju

Poincaréovog preslikavanja oko fokusa.

Pretpostavlja se da se fizikalni sustav smiruje u ravnotežnu točku kroz

eksponencijalno prigušujuće oscilacije odnosno male smetnje propadaju nakon određenog

titranja. Neka brzina propadanja ovisi o bifurkacijskom parametru µ. Ako propadanje

postaje sve sporije i konačno se pretvori u rast u kritičnoj vrijednosti µc, ravnotežna točka

izgubit će stabilnost. U većini slučajeva dobivena trajektorija ima malu amplitudu,

sinusoidalnog je karaktera te predstavlja granični ciklus koji oscilira oko prijašnjeg

stabilnog stanja. Tada se to naziva superkritična Hopfova bifurkacija. Superkritična

Hopfova bifurkacija pojavljuje se kada se stabilna spirala pretvori u nestabilnu spiralu koja

je okružena malim, skoro ovalnim graničnim ciklusom. Ova bifurkacija može se pojaviti u

n-dimenzionalnim sustavima gdje je n ≥ 2.

Sljedeći primjer prikazuje sustav u polarnim koordinatama

2

3

br

rrr

, gdje se

pojavljuje superkritična Hopfova bifurkacija. Sustav ima tri parametara: parametar µ

kontrolira stabilnost ravnotežne točke u ishodištu, parametar ω daje frekvenciju oscilacija i

parametar b određuje ovisnost frekvencije o amplitudi za oscilacije s velikim amplitudama.

Slika (Slika 1.1) prikazuje fazni portret ovisno o promjeni parametra µ.

Slika 1.1 Superkritična Hopfova bifurkacija (Strogatz, 1994; Karaaslanli, 2012)

7

Kada je µ < 0, r = 0 je stabilna spirala čiji smjer rotacije određuje predznak parametra ω.

Kada je µ = 0, ishodište je još uvijek stabilna spirala, ali slaba spirala. Kada je µ > 0,

nastaje nestabilna spirala i stabilni granični ciklus u r . Svojstvene vrijednosti

sustava su i , iz čega se može zaključiti da svojstvene vrijednosti prelaze

imaginarnu os dok se parametar µ povećava od negativnih prema pozitivnim

vrijednostima. Postoje dva generalna pravila za pojavu superkritične Hopfove bifurkacije:

1. Veličina graničnog ciklusa raste kontinuirano od nule i povećava se proporcionalno

prema c , za µ koji je blizu µc.

2. Frekvencija graničnog ciklusa je dana aproksimacijom ω = Im λ, procijenjena s µ =

µc. Formula vrijedi pri stvaranju graničnog ciklusa i točna je za O(µ-µc) gdje je µ

blizu µc te je period T = (2π / Im λ) + O(µ-µc), gdje oznaka O(µ-µc) odgovara

)()( cc CO gdje je C > 0.

Hopfova bifurkacija koja se pojavljuje u praktičnim problemima ima ovalni granični

ciklus, a ne kružni, a oblik ciklusa iskrivljuje se s obzirom na to kako se parametar µ

udaljuje od bifurkacijske točke. Također u praksi svojstvene vrijednosti prate krivudavu

liniju i tako prelaze preko imaginarne osi s nagibom različitim od nule.

Druga vrsta Hopfove bifurkacije je subkritična bifurkacija. Subkritična Hopfova

bifurkacija može biti potencijalno opasna za inženjerske probleme. Nakon bifurkacije,

trajektorija mora skočiti prema udaljenom atraktoru, što može biti ravnotežna točka,

granični ciklus, beskonačnost ili atraktor u kaosu.

Promatra se primjer .2

53

br

rrrr

Razlika u odnosu na prethodni primjer je što ovdje

drugi član r3 ima pozitivan predznak koji djeluje destabilizirajuće odnosno odvlači

trajektorije daleko od ishodišta. Fazni portret prikazan je na sljedećoj slici (Slika 1.2).

8

Slika 1.2 Subkritična Hopfova bifurkacija (Strogatz, 1994; Karaaslanli, 2012)

Kada je µ < 0 postoje dva atraktora, stabilni granični ciklus i stabilna ravnotežna točka u

ishodištu te nestabilni ciklus koji je označen isprekidanom crtom. Kako se µ povećava,

nestabilni ciklus steže se oko ravnotežne točke. Kada je µ = 0, pojavljuje se subkritična

Hopfova bifurkacija, gdje se nestabilni ciklus smanjuje do amplitude jednake nuli i pada u

ponor, čime sustav postaje nestabilan. Kada je µ > 0, granični ciklus velike amplitude je

jedini atraktor u faznom portretu. Rješenja koja su prije bila u blizini ishodišta sada rastu u

oscilacije s velikim amplitudama. Jednom kad su oscilacije velikih amplituda započele, ne

mogu se ugasiti smanjivanjem parametra µ na nulu. Oscilacije će postojati sve dok je µ = -

1/4 gdje se stabilni i nestabilni ciklus sudaraju i međusobno poništavaju. Subkritična

bifurkacija pojavljuje se u dinamičkim sustavima živčanih stanica, u zračno-elastičnim

podrhtavanjima i ostalim vibracijama koje prouzrokuju krila aviona te u nestabilnostima

kod protoka tekućina.

Treća vrsta Hopfove bifurkacije je degenerirana bifurkacija odnosno to je poopćena

Hopfova bifurkacija tzv. Hopf-Takensova bifurkacija u kojoj može nastati više graničnih

ciklusa. Promatra se primjer prigušenog njihala jednadžbe 0sin xxx . Kako se

mijenja prigušeni parametar µ od pozitivne prema negativnoj vrijednosti, ravnotežna točka

u ishodištu mijenja se iz stabilne u nestabilnu spiralu. Kada je µ = 0 ne pojavljuje se prava

Hopfova bifurkacija jer ne postoje granični ciklusi s nijedne strane bifurkacije. Umjesto

toga pojavljuje se kontinuirana grupa zatvorenih trajektorija oko ishodišta. „Slučaj

degenerirane bifurkacije pojavljuje se kada nekonzervativni sustav postaje konzervativni u

bifurkacijskoj točki. Tada ravnotežna točka postaje nelinearni centar umjesto slabe spirale

tipične za Hopfovu bifurkaciju.“ (Strogatz, 1994)

9

1.3.2. Trodimenzionalni sustav

Promatra se nelinearni, autonomni, dinamički, parametarski sustav u tri dimenzije

),( F gdje je µ bifurkacijski parametar sustava, F(ξ, µ) je analitička funkcija i ξ* je

ravnotežna točka sustava takva da vrijedi F(ξ*, µ) = 0. Jacobijeva matrica daje tri

svojstvene vrijednosti, par kompleksno-konjugiranih vrijednosti λ1,2(µ) = α(µ) ± iβ(μ) koje

prelaze imaginarnu os sa striktno pozitivnim parametrom μ koji prelazi vrijednost nula pa

vrijedi α(0) = 0, α'(0) > 0 i β(0) > 0, te realna svojstvena vrijednost λ3(μ) = δ(μ) koja

zadovoljava uvjet δ(0) < 0. „Kada bifurkacijski parametar μ prijeđe kritičnu vrijednost

nula, u sustavu se rađa stabilni granični ciklus i zadržava se u blizini ravnotežne točke ξ*.“

(Hadidi, 2013)

Kao najznačajniji primjer promatra se Lorenzov sustav običnih diferencijalnih jednadžbi

bzxyz

xzyrxy

xyx

)(

, gdje su parametri σ, r, b > 0. Parametar σ je Prandtlov broj, parametar r

je Rayleighev broj te parametar b predstavlja fizikalnu proporciju. Lorenzov sustav je

pojednostavljeni sustav konvekcijskih uvrtanja u Zemljinoj atmosferi. Sustav ima dvije

ravnotežne točke, od kojih ravnotežna točka u ishodištu (x*, y*, z*) = (0, 0, 0) vrijedi za sve

vrijednosti navedenih parametara, a druga ravnotežna točka

1,)1( *** rzrbyx vrijedi za r > 1. Lorenz te točke naziva C+ i C- te one

predstavljaju lijevo odnosno desno skretanje konvekcijskih uvrtanja. Kad r → 1+ tada se

C+ i C- sjedinjuju s ishodištem u viličastu bifurkaciju. Za r < 1 svaka se trajektorija

približava ishodištu kako se vrijeme povećava pa je ishodište globalno stabilna ravnotežna

točka i nema graničnih ciklusa niti pojave kaosa. Stabilnost se definira prema

Ljapunovljevoj funkciji energije navedene u poglavlju 1.1. Za r > 1 postoje ravnotežne

točke C+ i C- koje su linearno stabilne za 1

)3(1

b

brr H

s pretpostavkom da je

nazivnik pozitivan. Ravnotežna točka gubi stabilnost kada je r = rH te se pojavljuje

Hopfova bifurkacija. Bifurkacija je subkritična gdje su granični ciklusi nestabilni i oni

postoje za r < rH. Ravnotežne točke prigušuju ciklus sedla koji se pretvara u točku sedla.

Promatra se Lorenzov sustav s vrijednostima parametara σ = 10, r = 28, b = 8/3. Vrijednost

parametra r prelazi vrijednost Hopfove bifurkacije rH ≈ 24.74. Na sljedećoj slici (Slika 1.3)

10

je prikaz dobivene trajektorije kao projekcije iz trodimenzionalnog sustava u

dvodimenzionalni sustav tzv. Lorenzov atraktor.

Slika 1.3 Lorenzov atraktor (Strogatz, 1994)

Iako se čini kao da se trajektorije odnosno dvije površine sijeku, što je nemoguće po

teoremu o egzistenciji i jednoznačnosti rješenja diferencijalne jednadžbe, iluzija je

stvorena zbog snažnog obujma kontrakcije toka i nedovoljne numeričke rezolucije. Lorenz

dolazi do zaključka da se svaka površina u stvari sastoji od još dvije površine i tako u

beskonačnost te se dobiva fraktalna struktura, čija je fraktalna dimenzija između dva i tri.

(Strogatz, 1994)

11

2. Diferencijalne jednadžbe s kašnjenjem

Diferencijalna jednadžba je jednadžba za nepoznatu funkciju jedne ili nekoliko

varijabli koje povezuju vrijednosti funkcije i njezinih derivacija različitih redova.

Diferencijalne jednadžbe djeluju na beskonačnom dimenzionalnom prostoru koji se sastoji

od kontinuiranih funkcija koje se prilagođavaju visoko dimenzionalnoj dinamici.

Diferencijalne jednadžbe imaju važnu ulogu u inženjerstvu, fizici, ekonomiji i drugim

znanstvenim disciplinama. Diferencijalne jednadžbe s kašnjenjem mogu stvoriti bogatu i

realnu dinamiku s realnim vrijednostima parametara. Diferencijalne jednadžbe s

kašnjenjem su jednadžbe gdje derivacija nepoznate funkcije u trenutnom vremenu ovisi o

vrijednostima određene funkcije u prošlom vremenu. Zato se mora definirati početna

funkcija koja pokazuje ponašanje sustava prije vremena t = 0. Ta funkcija mora pokriti

period dugačak barem koliko traje najduže kašnjenje.

Općenita forma diferencijalnih jednadžbi s vremenskim kašnjenjem za ntx )( je

)),(,()( txtxtftxdt

d gdje txxt :)( predstavlja trajektoriju rješenja u prošlosti, a

f je funkcijski operator iz ),(1 nn C u n . (Kuang, 2012) Rješenje

diferencijalne jednadžbe može se promatrati kao bijekcija odnosno preslikavanje iz

funkcije na intervalu [t-τ, t] u funkciju na intervalu [t, t-τ] odnosno rješenje sustava je

slijed funkcija f0(t), f1(t), f2(t), ..., definirane preko grupe susjednih vremenskih intervala

duljine τ. Točke t = 0, τ, 2τ, ..., gdje se dodiruju segmenti rješenja zovu se čvorovi. Red

diferencijalne jednadžbe je red najviše derivacije koja se javlja u jednadžbi.

U većini aplikacija koje koriste diferencijalne jednadžbe kako bi prikazale neki sustav

iz prirodnog ili tehnološkog kontrolnog problema, potreba za konstituiranjem vremenskog

kašnjenja je zbog prisutnosti trajanja samog procesa ili u postojanju faza u strukturi

sustava. U tim sustavima kontrolor promatra stanje sustava i radi preinake na sustavu

prema vlastitom opažanju. S obzirom na to da se te preinake ne mogu napraviti trenutno,

javlja se kašnjenje između promatranja i kontrolne akcije. U posebnim slučajevima,

stabilnost ravnotežnog stanja može se odrediti preko grafa funkcije vremenskog kašnjenja

koja se može eksplicitno izraziti odnosno prikazati. S obzirom na povećanje vremenskog

kašnjenja, stabilnost se može mijenjati od stabilnog preko nestabilnog pa opet do stabilnog

12

stanja, implicirajući da veliko kašnjenje može biti stabilizirajuće. Vremenska kašnjenja

mogu ponekad biti ovisna i o nekom stanju unutar sustava pri čemu se povećava složenost

sustava. Osim navedenog, kašnjenje može biti jednostruko ili mnogostruko, konstantno,

raspodijeljeno ili pak vremenski ovisno o nekoj varijabli u sustavu.

Diferencijalne jednadžbe imaju važnu ulogu u modeliranju gotovo svih fizičkih,

tehničkih i bioloških procesa, od nebeskog gibanja, preko dizajniranja mosta, do interakcija

između neurona. Teorija diferencijalnih jednadžbi je gotovo potpuno razvijena i metode

korištene za njihovo proučavanje znatno variraju s tipom jednadžbi. Jednadžbe mogu biti

obične ili parcijalne te su općenito klasificirane kao linearne i nelinearne. Diferencijalna

jednadžba je linearna ako se nepoznata funkcija i njene derivacije pojavljuju do prve

potencije gdje produkti nisu uključeni, a inače je nelinearna. Nelinearne diferencijalne

jednadžbe mogu pokazivati složeno ponašanje kroz dulji vremenski interval, što je

karakteristično za kaos. Linearne diferencijalne jednadžbe često se pojavljuju kao

aproksimacija nelinearnih jednadžbi koje su priznate pod ograničenim uvjetima.

2.1. Metode rješavanja diferencijalnih jednadžbi

Diferencijalne jednadžbe matematički su proučavane iz nekoliko različitih

perspektiva, najviše upletene sa svojim rješenjima kao skup funkcija koje zadovoljavaju

jednadžbu. Jedino najjednostavnije diferencijalne jednadžbe priznaju rješenja dane

eksplicitnim formulama, no neka svojstva rješenja diferencijalne jednadžbe mogu se

odrediti bez traženja njihove točne forme. Ako zatvorena forma za rješenje nije

raspoloživa, rješenje se može numerički aproksimirati koristeći računalo. Mnoga svojstva

diferencijalnih jednadžbi mogu se analizirati preko karakteristične jednadžbe, kao što je

svojstvo stabilnosti sustava. Naprimjer, za jednadžbu )()()(' tbxtaxtx

karakteristična jednadžba je λ - a - be-λ = 0. Rješenja karakteristične jednadžbe λ nazivaju

se karakteristična rješenja. S obzirom na to da se karakteristično rješenje pojavljuje u

eksponentu u krajnjem izrazu iz primjera, karakteristična jednadžba ima beskonačan broj

rješenja, ali konačan broj rješenja se nalazi s desne strane u kompleksnoj ravnini. (Kuang,

2012)

Proučavanje postojanosti rješenja diferencijalnih jednadžbi je znana kao teorija

stabilnosti. Teorija dinamičkih sustava daje naglasak na kvalitativnu analizu sustava

diferencijalnih jednadžbi, dok su mnoge numeričke metode razvijene da odrede rješenja s

13

danim stupnjem preciznosti. Čista matematika fokusira se na egzistenciju i jedinstvenost

rješenja, dok primijenjena matematika naglašava strogo opravdanje metoda za

aproksimiranje rješenja. Matematičari također proučavaju slaba rješenja pritom se

oslanjajući na slabe derivacije gdje su tipovi rješenja koja ne trebaju biti diferencijalna

svuda, što pomaže u dobivanju rješenja.

Diferencijalne jednadžbe mogu se riješiti uz pomoć metode pomaka, neke

jednadžbe mogu se svesti na obične diferencijalne jednadžbe ili se pak diferencijalne

jednadžbe s kašnjenjem mogu riješiti numerički. Metoda pomaka integrira glatku funkciju

u zadanom intervalu i zatim kreće na sljedeći interval, pritom pazeći na širenje prekida u

početnoj točki s obzirom na kašnjenje. Sve dok intervali ne postanu jako mali, metoda daje

dobre rezultate. U ovom radu koristi se numeričko rješavanje diferencijalnih jednadžbi u

programskom alatu Matlab koji ima ugrađenu funkciju dde23. S obzirom na to da su

numeričke metode namijenjene za probleme s rješenjima koje imaju nekoliko

kontinuiranih derivacija, prekidi u derivacijama nižeg reda zahtijevaju oprez. Generalno

postoji prekid u prvoj derivaciji rješenja u početnoj točki, ali prekid može biti i u vremenu

prije i poslije početne točke. Prekidi se mogu širiti, zato ako rješenje ima prekid u nekoj

derivaciji, prekidi su i u ostatku intervala na razmaku veličine kašnjenja. „Kada je red

jednadžbi dovoljno velik, prekidi neće ometati numeričku metodu i oni se ne moraju više

tražiti.“ (Shampine, 2001) Funkcija dde23 koristi Runge-Kutta kao metodu rješavanja

diferencijalnih jednadžbi. Runge-Kutta metoda stvara aproksimacije u zadanim

intervalima, gdje se počinje od dane početne vrijednosti u koracima s određenom

udaljenosti. Udaljenost se uzima kao najmanja moguća kako bi se dobila što točnija

aproksimacija, ali opet dovoljno velika kako bi se dostigao kraj intervala u što manje

koraka. „Funkcija dde23 koja se bazira na trećem redu Runge-Kutta metode koristi tzv.

Hermit interpoliranje starog i novog rješenja i derivaciju kako bi dobio što točniju

interpolaciju.“ (Thompson, 2011)

2.2. Primjer diferencijalne jednadžbe s kašnjenjem

Promatra se jednostavni primjer linearne diferencijalne jednadžbe s kašnjenjem

)1( tyadt

dy. Jedina ravnotežna točka je y = 0. S obzirom na to da je zadana jednadžba

linearna, uvrštava se partikularno rješenje y = Ceλt u početnu jednadžbu, pritom je

14

derivacija jednaka teCdt

dy , a eaCetya t)1( što izjednačavanjem daje

karakterističnu jednadžbu λ – ae-λ = 0.

1. Neka je svojstvena vrijednost λ realna. Grafičkim prikazom rješenja y = λ i y = ae-λ,

za a > 0 dobije se točka presjeka u pozitivnoj svojstvenoj vrijednosti λ. Rješenje y

= ae-λ raste eksponencijalno u beskonačnost kad t → ∞, pa je ravnotežna točka y =

0 nestabilna. Za a < 0 dobiju se tri točke presjeka. Točka dodira krivulje i tangente

je u ac = - e-1. Za ac < a < 0 postoje dvije realne negativne svojstvene vrijednosti.

Za ac = a = - e-1, jedna je svojstvena vrijednost λ = -1, a za a < ac nema svojstvenih

vrijednosti.

2. Neka je svojstvena vrijednost λ kompleksna. Zbroj realne i imaginarne svojstvene

vrijednosti λ = λr + iλi uvrštava se u karakterističnu jednadžbu. Izrazi dobivenih

svojstvenih vrijednosti su: iiirrr aeae sin,cos , a njihov razlomak

daje .cot i

i

r

Iz zadnja dva izraza mogu se dobiti parametarske jednadžbe za

λr i a s parametrom λi, a one glase i

iiir

iiea

sin,cot

cot

. S obzirom na

periodičnost trigonometrijskih funkcija, beskonačan broj krivulja može biti rješenje

pri promjeni vrijednosti λi od -∞ do ∞.

Opće rješenje je tn

necaty );( gdje je zbroj za sve vrijednosti λi za dani parametar a te

je y = 0 stabilno ravnotežno stanje za sve vrijednosti parametra a gdje svojstvene

vrijednosti imaju negativne realne dijelove. Ako je λr = 0, tada je 0cos ia i

ii a sin odnosno kki ,2

i ia . Dobivene vrijednosti za λi i a daju

vrijednosti parametra a gdje beskonačan broj kompleksnih svojstvenih vrijednosti prolazi

kroz λr = 0. Točka y = 0 stabilna je za

0,

2

a .

15

3. Neuronske mreže

Istraživanje neuronskih mreža počelo je sredinom 20-og stoljeća razvojem kibernetike.

Definirane su osnove neuronskih mreža u radovima McCullocha i Pittsa, Donald Hebba,

Frank Rosenblatta i drugih, čime je definiran model perceptrona, pravila učenja kod

sinapsi, pojam asocijativne memorije te su pokrenute i prve simulacije mreža. Prilikom

modeliranja neuronskih mreža koriste se znanja o mozgu iz područja neuropsihologije i

fiziologije mozga, a ako to nije dovoljno tada se konstruiraju hipoteze na temelju kojih se

grade modeli. Šezdesetih godina odvaja se teorija automata i umjetne inteligencije koristeći

heurističke programe za rješavanje zadataka u područjima prepoznavanja uzoraka i

razumijevanja govora, pri čemu se služi simboličkom obradom i napuštaju se mehanizmi

bioloških sustava. Tek kasnije počinje se razvijati područje matematičke teorije poput

pravila najmanjeg kvadratnog odstupanja kod Widrowa i Hoffa, kompetitivno učenje kod

Malsburga, itd. Pojavljuje se model neuronske mreže s više slojeva, računarska tehnologija

se razvija te omogućava simulaciju mreža i daljnji razvoj matematičkih teorija i novih

saznanja o neurobiološkim procesima.

Umjetne neuronske mreže su računarske strukture oblikovane prema biološkim

živčanim sustavima. Neuron je prikazan na slici (Slika 3.1).

Slika 3.1 Živčana stanica – neuron (Hrvatska enciklopedija)

Osnovni dijelovi neurona su: tijelo neurona tzv. soma koje sadrži jezgru neurona, električki

aktivan izdanak akson koji služi za provođenje živčanog impulsa i uspostavljanje kontakta

s drugim neuronima te dendriti koji su električki pasivni i čine receptivnu površinu

16

neurona koja prima impulse od drugih neurona. Veza između neurona uspostavlja se preko

sinapsi čija je funkcija jednosmjerno i polarizirano provođenje živčanog impulsa.

Neuronske mreže imaju posebnu linearnu strukturu i metode prerade informacija u

analogiji s ljudskim mozgom. Moždana kora čovjeka sadrži oko 1011 neurona od kojih

svaki ima oko 1000 dendrita što ostvaruje oko 1014 sinapsi. Uzimajući u obzir da sustav

radi na 100 Hz ostvareno djelovanje iznosi 1016 spojeva u sekundi. Cijeli sustav je težak

1.3 kg, površine oko 0.15 m2 i debljine 2 mm. Ovakve karakteristike teško se mogu

modelirati, ali je moguće razumjeti način na koji mozak obrađuje informacije te razviti

primjeren model sustava.

Djelovanje neuronskih mreža ovisi o načinu međusobnog spajanja neurona i o samim

karakteristikama neurona. Neuroni se mogu međusobno spojiti direktnim i povratnim

vezama. Vrsta i broj povratnih veza utječe na adaptivnost i mogućnost učenja mreže, pri

čemu se pod učenjem podrazumijeva poboljšanje karakteristika rada mreže po nekom

kriteriju koji ovisi o upotrebi mreže. Prema Ilakovac (1995), brojnost međuspojeva

neurona utječe na paralelnost rada mreže. Postoji znatan broj algoritama za učenje mreže

koji se razvrstavaju u tri osnovne kategorije:

1. učenje s nadzorom koje zahtijeva učitelja koji zna ispravan odgovor te daje signal greške pri neispravnom odgovoru mreže;

2. učenje bez nadzora koje ne zahtijeva učitelja te se ne generira signal greške;

3. djelomično nadzirano učenje gdje sama mreža generira signal greške kojim se ispravlja te kroz ispravljanje dolazi do točnog odgovora.

3.1. Hopfieldova mreža

Hopfieldova neuronska mreža je potpuno povezana mreža koja je pogodna za

rješavanje problema optimizacije kao što su problem raspodjele zadataka, problem

trgovačkog putnika, određivanje izomorfizma grafova ili pak kao mreža prikazana kao

memorija adresirana sadržajem. Hopfieldov model neuronske mreže zasniva se na

izvornom radu McCullocha i Pittsa iz 1943. godine, gdje se spominju binarni sustavi s

logikom praga koji su proizašli iz bioloških neurona. Hopfieldova mreža s četiri neurona

prikazana je na slici (Slika 3.2).

17

Slika 3.2 Hopfieldova mreža

Izlaz svakog neurona vodi se na ulaz svih ostalih neurona, osim na samog sebe. Ulaz u

svaki neuron može dolaziti iz dva izvora, iz izlaza ostalih neurona i iz vanjskog ulaza.

Ovisno o iznosu ukupnog ulaza u neuron, stanje neurona se mijenja ili ostaje

nepromijenjeno u skladu s iznosom praga it svakog neurona i funkcije aktivacije. Funkcija

aktivacije je ulazno-izlazna funkcija koja je oblikovana prema ovisnosti generiranih

živčanih impulsa bioloških neurona o primljenim impulsima. Težine sinaptičkih veza se

postavljaju unaprijed. Na ulaz mreže dovodi se nepoznati uzorak što uzrokuje mijenjanje

stanja izlaza mreže. Izlazi mreže postaju novi ulazi u mrežu te se takav oblik prolaza kroz

mrežu naziva iteracijski koji se odvija sve do trenutka kad se stanje mreže prestane

mijenjati odnosno kada mreža konvergira. Tada se to stanje naziva stabilno stanje mreže.

Učenje Hopfieldove mreže provodi se učenjem s nadzorom. (Salapura, 1991)

Na slici (Slika 3.3) prikazan je strujni krug koji čini Hopfieldovu mrežu koja se

sastoji od N operacijskih pojačala međusobno povezanih u RC mrežu. Ulazni napon

pojačala označen je s ui, a izlazni napon s xi.

Slika 3.3 Hopfieldova mreža (Sastry, 1999)

18

Jednadžba Hopfieldove mreže je

N

jiiijij

ii IuGxT

dt

duC

1

, xi=g(ui),

gdje Ci > 0 označava kapacitet i-tog kondenzatora, Gi > 0 vodljivost i-tog pojačala te Tij

označava vodič kao n×n matricu, koja se naziva težinskom matricom koja označava snagu

veza između neurona. Ii označava trenutni poticaj u i-tom čvoru. Tij, otpornik Ri=1/Gi i

kapacitet Ci paralelno su spojeni, simulirajući izlazno konstantno vrijeme i–tog biološkog

neurona. (Sastry, 1999)

Hopfield je konstruirao tzv. računalnu funkciju energije

n

i

n

i

x

i

i

iijiij

i

duugR

IxxxTxE1 1

0

1 )(1

2

1)( .

Diferenciranjem jednadžbe energije u vremenu duž trajektorije sustava dobiva se sljedeća

jednadžba

N

jijij

i

i IxTR

u

1

0 .

Hopfieldova stabilnost znači kretanje prema ravnoteži ili privlačnost skupa za

ravnotežne točke, u kojoj je ravnotežna točka nepoznata i nije nužno da su energija i njena

derivacija suprotnog predznaka. To se razlikuje od Ljapunovljeve stabilnosti, gdje je

ravnotežna točka poznata i Ljapunovljeva funkcija i njena derivacija poprimaju suprotne

predznake u okolini ravnotežne točke. (Liao et al., 2008)

Glavna svojstva koja neuronski optimizator Hopfieldovog tipa mora imati su sljedeća:

1. međusobne veze matrice moraju biti simetrične;

2. treba postojati jedinstvena ravnotežna točka, koja je globalno asimptotski stabilna, lokalno stabilna i privlačna svim trajektorijama u kretanju;

3. neuronska mreža treba biti apsolutno stabilna.

Pomoću ravnotežne točke sustava određuje se globalna asimptotska stabilnost odnosno apsolutna stabilnost sustava.

19

3.1.1. Hopfieldova mreža s kašnjenjem

U biološkim i umjetnim neuronskim mrežama dolazi do kašnjenja zbog obrade

informacija. Sustav s kašnjenjem pokazuje složeniju dinamiku od sustava bez kašnjenja, s

obzirom na to da kašnjenje može proizvesti da stabilna ravnotežna točka postane nestabilna

te može uzrokovati promjenjivost svojstava sustava. Kontinuirana Hopfieldova neuronska

mreža dala je primjenu u mnogim poljima kao u obradi signala, kod prepoznavanja

uzoraka, optimizacije te asocijativne memorije. Hopfieldova mreža je također značajna u

nekim neurološkim bolestima kod čovjeka. Epilepsija je neurološka bolest karakterizirana

povećanim rizikom ponavljajućih napada, koja zahvaća oko 1% svjetske populacije.

Napadaji se manifestiraju kratkotrajno gdje je živčana aktivnost više sinkronizirana od

osnovne razine. „U tzv. lumped modelima živčane aktivnosti mozga, napadaji su često

karakterizirani kao oscilacije s velikim amplitudama. Postoje mnogi razlozi koji mogu

pokrenuti oscilacije u neuronskim mrežama, kao na primjer usporeni parametar ili vanjski

činilac koji može uzrokovati bifurkacije, smetnja koja može prisiliti sustav prema drugom

atraktoru.“ (Visser el al., 2012)

Prikazana je kontinuirana Hopfieldova neuronska mreža s kašnjenjem:

2

2

1222

2

1

2

1111

1

))(()()(

))(()()(

Itxgbtxadt

tdx

Itxfbtxadt

tdx

jjjj

jjjj

,

gdje xi(t) predstavlja stanje u i-toj jedinici vremena, ai > 0 je pasivni pad brzine, fj i gj su

izlazi neurona kao funkcije signala i one su kontinuirane, bij predstavlja snagu j-te jedinice

prema i-toj jedinici, Ii je vanjski ulaz, gdje su i, j = 1, 2; τ > 0 predstavlja kašnjenje

prijenosa.

Za računalnu simulaciju uobičajeno je kontinuiranu mrežu pretvoriti u diskretnu

mrežu bez gubljenja ikakvih svojstava. Time sustav diferencijalnih jednadžbi s kašnjenjem

postaje sustav jednadžbi diferencija. Tri su temeljna pristupa rješavanju jednadžbi

diferencija, a to su rekurzivne formule, zatim analitičke metode te operatorski postupak

odnosno Z – transformacija. Rekurzivne formule su jednostavan i direktan pristup u kojem

se slijedno mogu izračunati x(i), x(i+1), x(i+2), itd. Analitičke metode se u praksi obično

ne koriste. Treći postupak je operatorski postupak kod kojeg se izborom prikladne

transformacije jednadžba diferencija nastoji prebaciti u lakše rješivi oblik, a to je

20

algebarska jednadžba. Za prijelaz iz kontinuirane mreže u diskretnu potrebno je

normalizirati kašnjenje τ kao vremensko skaliranje t → t / τ te je potrebno uobličiti

usporavanje i razmatrati sustav s konstantnim argumentom, pa se kontinuirani sustav

transformira u sljedeći diskretni sustav

2

2

12

1222

1

2

11

1111

))(()1()()1(

))(()1()()1(

22

11

Inxfbeanxenx

Inxfbeanxenx

jjjj

aa

jjjj

aa

.

Pretpostavlja se da dobiveni diskretni sustav ima ravnotežnu točku TxxE ),( *2

*1

* . Točka

E* je ravnotežna točka pod sljedećim uvjetom:

0)(

0)(

*2

2

122

12

*1

2

111

11

xIgba

xIfba

jjj

jjj

.

Radi pojednostavljenja, koriste se sljedeći zapisi:

)1(1

)1(22112

12

11 )1)(1(4 21 gfbbeeaaD aa ,

)1(111

111 )1( 11 fbeae aa ,

)1(222

122 )1( 22 gbeae aa , za i = 1, 2.

Ako je 0ia , tada su b12 i b21 konstante i tada je D funkcija kašnjenja prijenosa. Pod

pogodnim uvjetima, kašnjenje τ može se dobiti iz funkcije kašnjenja prijenosa pa slijedi da

je )(DD . Bifurkacija Neimark-Sacker događa se kada je )( ** DD što odgovara

bifurkacijskom parametru )( ** D . Kašnjenje τ* je kritična vrijednost koja može

poremetiti stabilnost ravnotežne točke E* ukazujući da se bifurkacija Neimark-Sacker

pojavljuje pod uvjetom τ = τ*. (Zhao et al., 2008)

Na sljedećim slikama prikazana su dva primjera definirane Hopfieldove mreže s

kašnjenjem s istim početnim uvjetima x1 = 0.0915 i x2 = 0.3, ali različitim kašnjenjem: τ =

1.9288 i τ = 2.029, analogno. Sustav jednadžbi je sljedeći

21

).1(8.14

1))(tanh()2

4

1

2

1()1(4)()1(

))(arctan(4

1))(sin(

4

1)1(2)()1(

)4/1()(1

)4/1(2

)4/1(2

21)2/1(

1)2/1(

1

2

eenxenxenx

nxnxenxenx

nx

Slika (Slika 3.4.) pokazuje stabilnost sustava u vremenskoj domeni kao i pripadni fazni

portret sustava, a slika (Slika 3.5) prikazuje nestabilnost sustava.

Slika 3.4 Primjer stabilne ravnotežne točke

Slika 3.5 Primjer nestabilne ravnotežne točke – drugi primjer

U trećem primjeru kašnjenje iznosi τ = 2.029, ali se mijenjaju početni uvjeti, x1 = 0.17, x2 =

0.1. Razlika u drugom i trećem primjeru je, osim početnih uvjeta, što je u drugom primjeru

početni uvjet blizu ravnotežne točke, a u trećem primjeru je početni uvjet udaljen od

ravnotežne točke. Krivulje u oba slučaja imaju isti granični ciklus odnosno isti radijus što

pokazuje stabilnost ciklusa koji okružuje ravnotežnu točku. Fazni portret i sustav u

vremenskoj domeni prikazan je na slici (Slika 3.6).

22

Slika 3.6 Primjer nestabilne ravnotežne točke – treći primjer

23

4. BAM neuronska mreža

Dvosmjerna asocijativna memorija, kao proširenje jednosmjerne autoasocijativne

Hopfieldove neuronske mreže, prvi je predstavio Kosko. S obzirom na dvosmjernu

strukturu, BAM neuronske mreže imaju praktičnu primjenu u spremanju uparenih uzoraka

i imaju sposobnost pretraživanja željenih uzoraka u oba smjera, naprijed i unatrag. BAM

mreža može spremiti mnogostruke uzorke za razliku od drugih tipova neuronskih mreža

koje imaju samo jedan spremnik uzoraka ili jedan memorijski uzorak. „Na globalnu

stabilnost mreže utječe stabilna ravnotežna točka sustava koja predstavlja jedan uzorak za

pohranu ili uzorak memorije.“ (Cao, 2007)

BAM neuronska mreža s kašnjenjem opisana je sljedećim sustavom jednadžbi

n

ijijijijjjj

m

jijijijiiii

Itxgdtyty

Ityfctxtx

1

1

,

,

(1)

gdje su cji, cij (i = 1, 2, ... , n; j = 1, 2, ..., m) težine veza između neurona u dva sloja: I-sloj

i J-sloj; µi i µj opisuju stabilnost unutrašnjih neuronskih procesa na I-sloju odnosno na J-

sloju. Na I-sloju, neuroni čije je stanje označeno s xi(t) primaju na ulazu vrijednost Ii i

vrijednosti ulaza reproducirane neuronima iz J-sloja kroz aktivacijsku funkciju fi.

Analogno vrijedi za drugi sloj gdje neuroni čije je stanje označeno s yj(t) primaju na ulazu

vrijednost Ij i vrijednosti ulaza reproducirane neuronima iz I-sloja kroz aktivacijsku

funkciju gj. „Sustav (1) može se promatrati kao Hopfieldova neuronska mreža s

dimenzijama n + m, ali ovaj sustav pokazuje puno odličnih svojstava s obzirom na

posebnu strukturu težina veza između neurona, a i zbog praktične uporabe spremanja

uzoraka.“ (Song, 2005) Radi jednostavnosti, pretpostavlja se da je kašnjenje od I-sloja do

J-sloja označeno s τ1, dok je kašnjenje od J-sloja do I-sloja označeno s τ2. Pretpostavljaju se

početni uvjeti Ii = Ij = 0 te fi(0) = gj(0) = 0. Na I-sloju nalazi se jedan neuron, dok se na J-

sloju nalaze dva neurona. Arhitektura ovog modela prikazana je slikom (Slika 4.1).

24

Slika 4.1 Arhitektura BAM neuronske mreže (Song, 2005)

Pojednostavljena BAM neuronska mreža s gornjim postavkama može se opisati kao

sljedeći sustav

,

,

11313232

11212121

2213121121111

txfctyty

txfctyty

tyfctyfctxtx

(2)

gdje su µi > 0 (i = 1, 2, 3), cj1 (j = 2, 3) i c1i (i = 2, 3) realne konstante. Potrebno je utvrditi

stabilnost rješenja sustava u okolini ravnotežne točke (x1, y1, y2) = (0, 0, 0) odnosno

ishodišta i pojavu Hopfove bifurkacije. „Ukupno kašnjenje iznosi τ = τ1 + τ2 te kada τ

prijeđe kritičnu vrijednost, rješenje sustava u ishodištu gubi stabilnost i pojavljuje se

Hopfova bifurkacija.“ (Song, 2005)

4.1. Stabilnost BAM neuronske mreže

Neka je u1(t) = x1(t - τ1), u2(t) = y1(t), u3(t) = y2(t) pa se sustav (2) može zapisati na

sljedeći način

.

,

1313333

1212222

31312121111

tufctutu

tufctutu

tufctufctutu

(3)

Postavlja se sljedeća hipoteza na funkciju fi: .3,2,1,0)0(,)( 11 ifCfH ii

Linearizacija sustava (3) u točki (0, 0, 0) daje sljedeći sustav

,

,

113333

112222

331221111

tututu

tututu

tutututu

(4)

gdje je αij = cij fj'(0). Pripadna karakteristična jednadžba sustava (4) dobiva se iz

25

0

0

0det

313

212

31211

ee

i ona glasi

.0312212133113311221

3213231212

3213

e (5)

Ravnotežna točka (0, 0, 0) je stabilna ako sva rješenja od (5) imaju negativne realne

dijelove. Radi pojednostavljenja zapisa, jednadžba (5) prikazana je na sljedeći način

,001012

23 ebbaaa (6)

gdje je

1

0

2 0,1,0;2,1,0,j

jji bjiba . Jedno od rješenja jednadžbe (6) je iω (ω > 0)

ako i samo ako ω zadovoljava sljedeću jednadžbu

.0sincos01012

23 ibibaiaai (7)

Rastavljajući jednadžbu (7) na realni i imaginarni dio, zatim kvadriranje dviju jednadžbi s

obje strane te njihovo konačno zbrajanje daje sljedeću jednadžbu

.022 20

20

22120

21

41

22

6 babaaaaa (8)

Radi pojednostavljenja zapisa neka je z = ω2 i jednadžba (8) postaje

.023 rqzpzz (9)

Neka je

.23 rqzpzzzh (10)

Za jednadžbu (9) postoje tri slučaja rješenja:

1. S obzirom na to da

zhzlim , ako je r < 0, tada jednadžba (9) ima barem

jedno pozitivno rješenje.

2. Deriviranjem jednadžbe (10), dobije se

.23 2 qpzz

dz

zdh (11)

26

Ako je diskriminanta jednadžbe (11) 032 qp , tada je funkcija h(z)

monotono rastuća za ,0z te ako je 0r , jednadžba (9) nema pozitivnih

rješenja za ,0z .

3. Kada je 0,0 r , tada jednadžba 3z2 + 2pz + q = 0 ima dva realna rješenja

3*

2,1

pz ako i samo ako 0,0 *

1*1 zhz . Deriviranjem jednadžbe (11) i

uvrštavanjem rješenja *2,1z , dobije se .02,02 *

2''*

1'' zhzh Slijedi

da su rješenja *2,1z lokalni minimum i lokalni maksimum funkcije h(z).

Pretpostavlja se da jednadžba (9) ima pozitivna rješenja: .,, 332211 zzz Iz

jednadžbe (7) nakon izdvajanja realnih i imaginarnih dijelova, slijedi izraz za kašnjenje:

j

bb

bababab

k

kk

k

jk 2arccos

122

120

002

11024

1)( (12)

gdje je k = 1, 2, 3; j = 0, 1, ..., te je ki par imaginarnih rješenja jednadžbe (6) s )( jk .

Neka je

.,min00 0

)0(

3,2,1

)0(0 kk

kk

U izračunu za određivanje stabilnosti sustava i

pojavu Hopfove bifurkacije potrebno je zadovoljiti sljedeće uvjete: a0, a1, a2, p > 0. (Song,

2005)

Za sustave reda većeg od četiri, iz karakterističnog polinoma zatvorenog kruga

n

i

nn

nn

ii asasasa

00

11 0... tvori se Routhov raspored

...... 321

4321

7531

642

2

1

ccc

bbbb

aaaa

aaaa

s

s

s

nnnn

nnnn

n

n

n

,

gdje su koeficijenti

...,

...,

1

13512

1

12311

1

5412

1

3211

b

ababc

b

ababc

a

aaaab

a

aaaab

nnnn

n

nnnn

n

nnnn

.

27

Routh-Hurwitz kriterij stabilnosti uvjetuje da su svi koeficijenti ai > 0 te da svi elementi u

prvom stupcu Routhovog rasporeda moraju biti pozitivni. Broj nestabilnih polova

odgovara broju promjena predznaka u 1. stupcu Routhovog rasporeda.

Kriterij Routh-Hurwitz podrazumijeva da ako vrijedi (H2) a0 + b0 >0, a2(a1 + b1)>a0 +b0,

tada sva rješenja jednadžbe (5) uz τ = 0 imaju negativne realne dijelove.

Teorem 3. Neka je ai, bj (i = 0, 1, 2; j = 0, 1); τj je definiran pod (12) te neka vrijedi (H1) i

(H2). Tada vrijedi sljedeće:

a. Kada je 0r i 032 qp , sva rješenja jednadžbe (5) imaju negativne realne

dijelove za sve 0 i rješenje sustava u ishodištu (2) je asimptotski stabilno za sve

0 .

b. Ako je r < 0 ili 0r , 032 qp , 0,0 *1

*1 zhz , tada h(z) ima barem

pozitivno rješenje zk i sva rješenja jednadžbe (5) imaju negativne realne dijelove za

)0(,0 k te je sustav (2) asimptotski stabilan za )0(,0 k .

c. Ako svi uvjeti iz (b.) i h'(zk) ≠ 0 vrijede, tada se sustav (2) podvrgava Hopfovoj

bifurkaciji u rješenju sustava u ishodištu kada )( jk (j = 0, 1, 2, ...).

4.2. Pojava Hopfove bifurkacije

Neka se u sustavu (3) pojavljuje Hopfova bifurkacija u ravnotežnoj točki kada

)( jk (j = 0, 1, 2, ...), odnosno familija periodičnih rješenja razdvaja se iz rješenja

sustava u ishodištu. Koristeći teoriju normalne forme i smanjivanjem stupnja sustava

pomoću centralne mnogostrukosti može se otkriti da li periodična rješenja postoje lokalno

za τ > τ(j) ili τ < τ(j) te se mogu odrediti svojstva periodičnih rješenja, kao što su stabilnost i

period. (Song, 2005) Razmatra se sljedeći sustav

,

,

111322

111211

2231212111

txfctyty

txfctyty

tyfctyfctxtx

(13)

gdje je ν > 0, ci1(i = 2, 3) > 0 i c1j(j = 2, 3) < 0. Na funkciju f primjenjuje se hipoteza (H3)

.0)0(,0)0(,0)0(,0,0)(,3 fffuuufCf Specifična funkcija koja se

primjenjuje u neuronskim mrežama kao prijenosna funkcija dana je s f(u) = tanh(u) koja

28

zadovoljava navedene uvjete. Za sustav (13) vrijedi α12 = c12f '(0), α13 = c13f '(0), α21 = c21f

'(0), α31 = c31f '(0) te je a2 = 3ν > 0, a1 = 3ν2 > 0, a0 = ν3 > 0, b1 = - (c12c21 + c13c31)f '2(0) >

0, b0 = - ν (c12c21 + c13c31)f '2(0) > 0.

Hipoteza (H2) vrijedi te slijedi p = 3ν2 > 0, q = 3ν4 - (c12c21 + c13c31)2f '4(0), r = (a0 +

b0)(a0 - b0). Ako vrijedi ν4 < (c12c21 + c13c31) 2f '4(0) < 3ν4, tada vrijedi q > 0 i r < 0.

Jednadžba (10) ima samo jedno pozitivno rješenje označeno sa z0 te vrijedi h'(z0) > 0. Neka

je 00 z i τ = τ1 + τ2 te slijedi konačan izraz za kašnjenje

j

fccccj 2

)0()(arccos

12

31132112

20

2

0

)( . (14)

Kašnjenja τ1 i τ2 kvalitativno i kvantitativno utječu na dinamičko ponašanje sustava jer

njihov zbroj utječe na stabilnost odnosno nestabilnost sustava. (Xiao, 2013)

Sljedeći teoremi daju zaključak o stabilnosti sustava i pojavi Hopfove bifurkacije. (Song,

2005)

Teorem 4. Neka vrijedi 0)0(,0)0( ff i ν4<(c12c21 + c13c31) 2f '4(0)<3ν4 te je

kašnjenje definirano pod (14).

a. Kada [0, τ(0)) sva rješenja pripadne karakteristične jednadžbe sustava (13) imaju

negativne realne dijelove. Kada je τ = τ(0) pripadna karakteristična jednadžba

sustava (13) ima samo par jednostrukih čistih imaginarnih rješenja 0i i sva

ostala rješenja imaju negativne realne dijelove. Kada je τ > τ(0) pripadna

karakteristična jednadžba sustava (13) ima barem jedno rješenje s pozitivnim

realnim dijelom.

b. Rješenje sustava u ishodištu kao stabilno stanje sustava (13) je asimptotski stabilno

kada [0, τ(0)), a nestabilno kada je τ > τ(0).

c. Sustav (13) ima Hopfovu bifurkaciju u stabilnom stanju ishodišta kada τ = τ(j) za j

= 0, 1, 2, ... .

Kada je τ = τ(j) za j ≥ 1, netrivijalno periodično rješenje iz pozitivne ravnotežne točke mora

biti nestabilno u faznom prostoru, iako je stabilno u centralnoj mnogostrukosti, ali kada τ =

τ(0) stabilnost periodičnih rješenja u centralnoj mnogostrukosti implicira istu stabilnost kao

i u cijelom faznom prostoru.

29

Teorem 5. Hipoteza (H3) i ν4<(c12c21 + c13c31) 2f '4(0)<3ν4 vrijede te je kašnjenje

definirano pod (14). Tada je smjer Hopfove bifurkacije i stabilnost periodičnih rješenja u

τ(j) definirana s predznakom f '''(0) / f '(0). Ako je f '''(0) / f '(0) < 0 ( > 0 ) tada je Hopfova

bifurkacija superkritična (subkritična) i periodična rješenja su kružno asimptotski stabilna

(nestabilna) u centralnoj mnogostrukosti.

4.3. Računalni primjer

Računalni primjer rješava se numeričkom metodom Runge-Kutta u programskom

alatu Matlab čime će se opravdati teorijske postavke iz četvrtog poglavlja:

))(tanh()(2

))(tanh(2)(2

))(tanh())(tanh(2)(2

1122

1111

222111

txtyy

txtyy

tytytxx

. (15)

Kako bi se dobila kritična vrijednost kašnjenja (14), potrebno je izračunati parametre p, q i

r iz sljedećih izraza: p = 3ν2, q = 3ν4 - (c12c21 + c13c31)2f '4(0), r = (a0 + b0)(a0 - b0), a0 = ν3,

b0 = - ν (c12c21 + c13c31)f '2(0) gdje je iz sustava (15) prema sustavu (13) ν = 2, c12 = -2, c21

= 2, c13 = -1, c31 = 1 te je f(x) = tanh(x). Ravnotežna točka sustava je (0, 0, 0) te su

vrijednosti parametara p = 12, q = 23 i r = -36. S obzirom na to da je r < 0, jednadžba

rqzpzzzh 23

ima jedno pozitivno realno rješenje z0 = 1 iz kojeg slijedi ω0 = 1

te dva negativna realna rješenja. Iz izraza za kašnjenje dobije se kritična vrijednost

kašnjenja τ(0) = arccos(-3/5) = 2.21429744 rad za j = 0.

Zapis sustava (15) u Matlabu je sljedeći:

function dydt = ddex1de(t, y, Z)

ylag1 = Z(:,1);

ylag2 = Z(:,2);

dydt = [ -2*y(1) + 2*tanh(ylag2(2)) + tanh(ylag2(3))

-2*y(2) - 2*tanh(ylag1(1))

-2*y(3) - tanh(ylag1(1)) ];

end

Kôd 4.1 – Sustav diferencijalnih jednadžbi

30

Definirana je funkcija odnosno sustav diferencijalnih jednadžbi unutar skripte ddex1de.m

gdje varijabla t odgovara trenutnom vremenu, y je vektor stupac koji aproksimira y(t), a

Z(:,j) aproksimira y(t-τj) za kašnjenje τj = lags(j). Funkcija dde23 može

riješiti sustave diferencijalnih jednadžbi s kašnjenjem:

sol = dde23(@ddex1de,[tau1, tau2],[hist1, hist2, hist3],[0,1000]).

Argumenti funkcije dde23 su: funkcija ddex1de u kojoj je definiran sustav diferencijalnih

jednadžbi, konstantna i pozitivna kašnjenja τ1 i τ2, početna stanja varijabli x1, y1 i y2 te

interval integracije t od 0 do 1000. Funkcija plot3 prikazuje sustav u faznom portretu u tri

dimenzije:

plot3(sol.y(1,:),sol.y(2,:),sol.y(3,:));

dok funkcija plot prikazuje sustav u vremenu:

plot(sol.x,sol.y).

Kako bi simulacija sustava bila intuitivna za korisnika, izrađeno je grafičko sučelje u

Matlabu unutar skripte BAM_neuronska_mreza.m. Kroz programski alat Matlab

jednostavno se definira sučelje putem predložaka. Izvršni kod sučelja slijedi u nastavku,

gdje je uz pojedinu funkciju opisana akcija putem komentara.

% inicijalna funkcija definiranja sučelja

function varargout = BAM_neuronska_mreza(varargin)

gui_Singleton = 1;

gui_State = struct('gui_Name', mfilename, ...

'gui_Singleton', gui_Singleton, ...

'gui_OpeningFcn', @BAM_neuronska_mreza_OpeningFcn, ...

'gui_OutputFcn', @BAM_neuronska_mreza_OutputFcn, ...

'gui_LayoutFcn', [] , ...

'gui_Callback', []);

if nargin && ischar(varargin{1})

gui_State.gui_Callback = str2func(varargin{1});

end

if nargout

[varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});

else

gui_mainfcn(gui_State, varargin{:});

end

% prikaz inicijalnog sučelja

function BAM_neuronska_mreza_OpeningFcn(hObject, eventdata, handles,

varargin)

31

handles.output = hObject;

guidata(hObject, handles);

% izlaz se zapisuje na naredbenu liniju

function varargout = BAM_neuronska_mreza_OutputFcn(hObject, eventdata,

handles)

varargout{1} = handles.output;

% crtanje faznog portreta u tri dimenzije

function pushbutton1_Callback(hObject, eventdata, handles)

tau1 = str2double(get(handles.tau1,'String'));


hist1 = str2double(get(handles.hist1,'String'));



axes(handles.axes1);

sol = dde23(@ddex1de,[tau1, tau2],[hist1, hist2, hist3],[0,1000]);

plot3(sol.y(1,:),sol.y(2,:),sol.y(3,:));

title('Fazni portret');

xlabel('x1');

ylabel('y1');

zlabel('y2');


% crtanje sustava u vremenu

function pushbutton2_Callback(hObject, eventdata, handles)






axes(handles.axes1)

sol = dde23(@ddex1de,[tau1, tau2],[hist1, hist2, hist3],[0,1000]);

plot(sol.x,sol.y);

title('Sustav u vremenu');

xlabel('t');

ylabel('x1, y1, y2');

legend('x1','y1', 'y2', 1);


% funkcija koja stvara koordinatni sustav

function axes1_CreateFcn(hObject, eventdata, handles)


set(hObject,'toolbar','figure');

% poziva se lokalna funkcija za tau1 uz dobiveni ulazni argument

32

function tau1_Callback(hObject, eventdata, handles)

tau1 = str2double(get(hObject, 'String'));

if isnan(tau1)

set(hObject, 'String', 0);

errordlg('Input must be a number','Error');

end

% kreiranje tau1

function tau1_CreateFcn(hObject, eventdata, handles)

if ispc && isequal(get(hObject,'BackgroundColor'),

get(0,'defaultUicontrolBackgroundColor'))

set(hObject,'BackgroundColor','white');

end

% poziva se lokalna funkcija za tau2 uz dobiveni ulazni argument

function tau2_Callback(hObject, eventdata, handles)

tau2 = str2double(get(hObject, 'String'));

if isnan(tau2)



end

% kreiranje tau2

function tau2_CreateFcn(hObject, eventdata, handles)




end

% poziva se lokalna funkcija za hist1 uz dobiveni ulazni argument

function hist1_Callback(hObject, eventdata, handles)

hist1 = str2double(get(hObject, 'String'));

if isnan(hist1)



end

% kreiranje hist1

function hist1_CreateFcn(hObject, eventdata, handles)




end




33

if isnan(hist2)



end

% kreiranje hist2





end




if isnan(hist3)



end

% kreiranje hist3





end

Kôd 4.2 – Definiranje sučelja i načina rješavanja sustava

34

Pokretanjem sučelja u Matlabu, otvara se sljedeći prozor:

Slika 4.2 Inicijalno sučelje

Početno stanje varijabli x1, y1, y2 i kašnjenja τ1, τ2 postavljena su na vrijednost nula te je

potrebno upisati željene vrijednosti i pritisnuti gumb „Nacrtaj sustav u vremenu!“ odnosno

gumb „Nacrtaj fazni portret!“. Razmatra se pet slučajeva.

Prema teoremu 3.b kada je r < 0 i kada kašnjenje ne prelazi kritičnu vrijednost, sustav je

asimptotski stabilan te prema teoremu 4.b ravnotežna točka je asimptotski stabilna.

1. Prvi slučaj ima sljedeće vrijednosti: τ1 = 0.5, τ2 = 0.3, x1 = 0.1, y1 = 0.2 i y2 = 0.3.

Zbroj kašnjenja τ = τ1 + τ2 = 0.8 što je manje od kritične vrijednosti. Sustav je

stabilan prema teoremu 4. što je prikazano na slici (Slika 4.3) gdje je prikazan

sustav u vremenskoj domeni te fazni portret gdje spirala ide prema ravnotežnoj

točki (0, 0, 0) na slici (Slika 4.4).

35

Slika 4.3 Prikaz stabilnog sustava u vremenskoj domeni

Slika 4.4 Prikaz stabilnog sustava u faznom portretu

2. U drugom slučaju početni uvjeti su isti, ali se mijenja kašnjenje: τ1 = 1.2, τ2 = 0.9

pa zbroj kašnjenja iznosi τ = τ1 + τ2 = 2.1 što je manje od kritične vrijednosti.

Sustav je stabilan prema teoremu 4. što je prikazano na slici (Slika 4.5) gdje je

36

prikazan sustav u vremenskoj domeni te fazni portret gdje spirala ide prema

ravnotežnoj točki (0, 0, 0) na slici (Slika 4.6).



37

3. U trećem slučaju početni uvjeti su x1 = 1.1, y1 = 2.2 i y2 = 3.3., a kašnjenje iznosi: τ1

= 0.3, τ2 = 0.9 pa zbroj kašnjenja iznosi τ = τ1 + τ2 = 2.2 što je manje od kritične

vrijednosti. Sustav je stabilan prema teoremu 4. što je prikazano na slici (Slika 4.7)

gdje je prikazan sustav u vremenskoj domeni te fazni portret gdje spirala ide prema

ravnotežnoj točki (0, 0, 0) na slici (Slika 4.8). Zbog nedovoljne numeričke

rezolucije i toga što je zbroj kašnjenja blizu kritičnog kašnjenja, čini se kao da je

sustav nestabilan, ali spirala ipak nakon određenog vremena dođe u ravnotežno

stanje.


38


Prema teoremu 3.c sustav je nestabilan kada kašnjenje prijeđe kritičnu vrijednost te se

pojavljuje Hopfova bifurkacija gdje je prema teoremu 5. predznak razlomka f '''(0) / f '(0)

negativan te je Hopfova bifurkacija superkritična i periodična rješenja su kružno

asimptotski stabilna u centralnoj mnogostrukosti.

4. U četvrtom slučaju početni uvjeti su x1 = 0.1, y1 = 0.2 i y2 = 0.3, a kašnjenje iznosi:

τ1 = 0.4, τ2 = 1.9 pa zbroj kašnjenja iznosi τ = τ1 + τ2 = 2.3 što je veće od kritične

vrijednosti. Sustav je nestabilan prema teoremu 4. što je prikazano na slici (Slika

4.9) gdje je prikazan sustav u vremenskoj domeni te fazni portret gdje spirala ide

prema graničnom ciklusu na slici (Slika 4.10) što odgovara definiciji superkritične

Hopfove bifurkacije.

39

Slika 4.9 Prikaz nestabilnog sustava u vremenskoj domeni

Slika 4.10 Prikaz nestabilnog sustava u faznom portretu

5. U petom slučaju početni uvjeti su isti, ali se kašnjenje mijenja: τ1 = 1.5, τ2 = 1.3 pa

zbroj kašnjenja iznosi τ = τ1 + τ2 = 2.8 što je veće od kritične vrijednosti. Sustav je

nestabilan prema teoremu 4. što je prikazano na slici (Slika 4.11) gdje je prikazan

sustav u vremenskoj domeni te fazni portret gdje spirala ide prema graničnom

40

ciklusu na slici (Slika 4.12) što odgovara definiciji superkritične Hopfove

bifurkacije.

Slika 4.11 Prikaz nestabilnog sustava u vremenskoj domeni

Slika 4.12 Prikaz nestabilnog sustava u faznom portretu

41

Zaključak

Neuronske mreže, prikazane kao nelinearni dinamički sustavi, složeni su sustavi, a još

su i složeniji uz kašnjenje koje je prisutno kod prijenosa podataka. BAM neuronska mreža

može stvoriti periodično ponašanje. Slijed periodičnih impulsa je ključan za kontrolu

dinamičnih funkcija tijela kao otkucaj srca koji se manifestira s izvrsnom točnošću i

pravilnim disanjem. Periodična rješenja mogu proizaći iz Hopfove bifurkacije u

diferencijalnim jednadžbama s kašnjenjem, ali i u drugim sustavima diferencijalnih

jednadžbi. U ovom radu promatrala se BAM neuronska mreža s kašnjenjem s tri neurona.

Primjenom normalne forme i teorema o centralnoj mnogostrukosti, određuju se uvjeti pod

kojima mreža gubi stabilnost. Kada zbroj kašnjenja prijeđe kritičnu vrijednost kašnjenja,

sustav gubi stabilnost i dolazi do pojave Hopfove bifurkacije te familija periodičnih

rješenja titra oko rješenja sustava u ishodištu odnosno dolazi do pojave graničnog ciklusa.

Numerička simulacija potvrđuje teorijske postavke.

Različitim modelima neuronskih mreža moguće je postići niz funkcija kao što je

obrada slike i govora, funkcije učenja i adaptacije. Neuronska mreža pogodna je za

probleme optimizacije, probleme analogno-digitalne pretvorbe, problem dekompozicije

signala na Gaussove impulse, za područje robotike, itd. Neuronske mreže zbog

adaptivnosti i visokog stupnja paralelizma koji im omogućuje i visok stupanj pouzdanosti

predstavljaju važan način pristupa obradi informacija.

42

Literatura

[1] CAO, J., XIAO, M. Stability and Hopf Bifurcation in a Simplified BAM neural Network With Two Time Delays. IEEE transactions on neural networks, Vol. 18, No. 2 (2007), 416-430.

[2] HADIDI, E. Bifurcation of Limit Cycle for Three-Dimensional Lotka-Volterra Dynamical System. Applied Mathematical Sciences, Vol. 7, No. 139 (2013), 6909-6916.

[3] HRVATSKA ENCIKLOPEDIJA, Živci. http://enciklopedija.hr/Natuknica.aspx?ID=67762, 27.05.2014.

[4] ILAKOVAC, T. Razvoj neuronskih mreža genetskim algoritmom. Magistarski rad. Elektrotehnički fakultet Sveučilišta u Zagrebu, 1995.

[5] KARAASLANLI, C. C. Bifurcation Analysis and Its Applications. Numerical Simulation - From Theory to Industry. Dr. Mykhaylo Andriychuk (Ed.), InTech, (2012).

[6] KORKUT, L., ŽUPANOVIĆ, V. Diferencijalne jednadžbe i teorija stabilnosti. Zagreb: Element, 2009.

[7] KUANG, Y. Delay differential equations. Encyclopedia of Theoretical Ecology, (2012), 163-166.

[8] KUZNETSOV, Y. A. Andronov-Hopf bifurcation. Scholarpedia, 1(10):1858, (2006).

[9] LIAO, X., YU, P. Absolute Stability of Nonlinear Control Systems. Mathematical Modelling: Theory and Applications, Vol. 25, (2008), Second Edition, Springer Science + Business Media B. V.

[10] SALAPURA, V. Analiza svojstava Hopfieldove neuronske mreže. Magistarski rad. Elektrotehnički fakultet Sveučilišta u Zagrebu, 1991.

[11] SASTRY, S. Nonlinear systems: analysis, stability and control. Interdisciplinary applied mathematics, Vol. 10. New York: Springer-Verlag, 1999.

[12] SHAMPINE, L. F., THOMPSON, S. Solving DDEs in MATLAB. Applied Numerical Mathematics 37, (2001), 441-458.

[13] SONG, Y., HAN, M., WEI, J. Stability and Hopf bifurcation analysis on a simplified BAM neural network with delays. Physica D 200, (2005), 185-204.

[14] STROGATZ, S. H. Nonlinear dynamics and chaos: with applications to physics, biology, chemistry, and engineering. Massachusetts: Perseus Books Publishing, L.L.C., 1994.

[15] THOMPSON, S. Delay-differential equations. Scholarpedia, 2(3):2367, (2007).

[16] VISSER, S., MEIJER, H. G. E., VAN PUTTEN, M. J. A. M., VAN GILS, S. A. Analysis of stability and bifurcations of fixed points and periodic solutions of a lumped model of neocortex with two delays. The Journal of Mathematical Neuroscience, (2012), 2-8.

43

[17] XIAO, M., ZHENG, W. X. Bifurcation Analysis of Delayed Bidirectional Associative Memory Neural Networks. IEEE International Symposium on Circuits and Systems (ISCAS), Beijing, (2013), 2319-2332.

[18] ZHAO, H., WANG, L., MA, C. Hopf bifurcation and stability analysis on discrete-time Hopfield neural network with delay. Nonlinear Analysis: Real World Applications 9, (2008), 103-113.

44

Sažetak

Stabilnost BAM neuronske mreže

Neuronske mreže su sustavi modelirani od procesirajućih elemenata neurona po

uzoru na mrežu ljudskih moždanih stanica. Mreža ima specifičnu strukturu obrade

informacija sastavljene od velikog broja međusobno povezanih neurona koji zajednički

rade na rješavanju određenog problema. Neuronska mreža s dvosmjernom asocijativnom

memorijom (engl. Bidirectional Associative Memory - BAM) ima sposobnost izravno

adresirati sadržaj. U radu je prikazana BAM neuronska mreža s tri neurona te je

modelirana sustavom diferencijalnih jednadžbi s kašnjenjem. Takav model pojavio se po

uzoru na Hopfieldovu neuronsku mrežu potaknut idejom da kod prijenosa signala dolazi do

kašnjenja. Primjenom teorije, a zatim i numeričke simulacije, ispitana je stabilnost

pojednostavljene BAM neuronske mreže te su istraženi uvjeti pod kojima sustav gubi

stabilnost te dolazi do pojave Hopfove bifurkacije.

Ključne riječi: neuronska mreža, dvosmjerna asocijativna memorija, stabilnost, Hopfova

bifurkacija, diferencijalne jednadžbe s kašnjenjem.

45

Summary

Stability of BAM neural network

Neural networks are modeled by the processing elements of neurons based on a

network of human brain cells. The network has a specific structure of the information

processing composed of many interconnected neurons that work together to solve a

particular problem. Neural network with bidirectional associative memory (BAM) has the

ability to directly address the content. This work presents the BAM neural network with

three neurons and it is modeled by a system of differential equations with delays. Such

model has appeared by the model of Hopfield neural network driven by the idea that signal

transmission has delays. By applying the theory, and then the numerical simulations, the

stability of a simplified BAM neural network is examined, and the conditions under which

the system loses stability, and suffers from the Hopf bifurcation is explored.

Keywords: neural network, bidirectional associative memory, stability, Hopf bifurcation,

differential equations with delay.

46

Skraćenice

BAM Bidirectional Associative Memory dvosmjerna asocijativna memorija

LPDF local positive definite function lokalno pozitivno definitna funkcija

47

Privitak

Za pokretanje sučelja potrebno je instalirati programski alat Matlab verzije 7.0

nadalje. Kôd iz poglavlja 4.3, kôd 4.1, potrebno je spremiti u skriptu odnosno tzv. m-file

naziva ddex1de.m. Kôd 4.2 potrebno je spremiti u skriptu naziva

BAM_neuronska_mreza.m. Za izvršavanje skripte, u naredbenoj liniji Matlaba potrebno je

upisati naziv spremljene datoteke u kojoj je definirano sučelje. Korisniku će se prikazati

slika (Slika 4.2) iz poglavlja 4.3. Početno stanje varijabli x1, y1, y2 i kašnjenja τ1, τ2

postavljena su na vrijednost nula te je potrebno upisati željene vrijednosti i pritisnuti gumb

„Nacrtaj sustav u vremenu!“ odnosno gumb „Nacrtaj fazni portret!“ ovisno o tome što

korisnik želi. U slučaju da se u tražena polja upiše vrijednost koja nije brojčana, sustav

postavlja vrijednost polja na nula i vraća upozorenje da se mora upisati broj.

Documents

Stabilnost BAM neuronske mreže