Katedra za strojarsku automatiku - FSB Online · PDF fileKatedra za strojarsku automatiku UMJETNE SUSTAVI NEIZRAZITE LOGIKE NEURONSKE MREŽE TEHNIČKA UMJETNA INTELIGENCIJA

Katedra za strojarsku automatiku

Dubravko Majetić Neuronske mreže 0FSB - Zavod


Dubravko Majetić Neuronske mreže 1Naslov


SUSTAVIUMJETNE SUSTAVINEIZRAZITE

LOGIKE

UMJETNENEURONSKE

MREŽE LOGIKEMREŽE

TEHNIČKA TEHNIČKA UMJETNA

INTELIGENCIJAINTELIGENCIJA

GENETIČKIALGORITMI

EKSPERTNISUSTAVI

Dubravko Majetić Neuronske mreže 2Umjetna inteligencija


Dubravko Majetić Neuronske mreže 3Analiza, sinteza i odlučivanje


William James – 1890.Aktivnost bilo koje točke mozga čovjeka predstavlja zbroj nastojanja svih ostalih točaka da se prazne ili ispaljuju u nju.

Nastojanja ovise o :

Temelj za osnovnu strukturu umjetnog

neurona !Nastojanja ovise o :

broju točaka (broju veza) koje djeluju na promatranu točku

h b d ( ž ) intenzitetu tih uzbuda (težini veza)

odsutnosti rivalne točke koja nije u funkcionalnoj vezi s promatranomtočkom, a u koju bi se pražnjenje ostalih točaka moglo skrenuti

Dubravko Majetić Neuronske mreže 4Kako je počelo ?

, j p j j g


TIJELO NEURONA promjer 5-100 μm

DENDRITI

AKSON

Dubravko Majetić Neuronske mreže 5Biološki neuron

SINAPSA


100 milijardi neuronaLjudski mozak 100 trilijuna veza

2 % m tij lLjudski mozak 20 % tj l O2 % mase tijelaLjudski mozak 20 % tjelesnog O2

20 W energijeLjudski mozak

Više tisuća W energijeRačunalo “kapaciteta” mozga

Dubravko Majetić Neuronske mreže 6Ljudski mozak


Brzina prijenosa signala : milisekundenanosekunde

Načina procesiranja : paralelno - brzo sekvencijalno - sporo

Kvaliteta pogreške : Ne radi pogrešku dok Daje bolje zaključke i k k d

p gsu ulazni podaci, softver ihardver savršeno ispravni !

aproksimacije i kod djelomično nekompletnih i nekorektnih ulaza !

Ponekad loše, ali to nije onemogućilo

Dubravko Majetić Neuronske mreže 7Mozak - računalo

j gpreživljavanje čovjeka milijunima godina!


Ako se određena točka u mozgu čovjeka zamijeni neuronom, onda se aktivnost neurona može modelirati kao zbroj otežanih ulaza neurona.

Otežani ulaziulazi su ulazi pomnoženi određenim faktorima koji se nazivaju težinetežine neurona.

broju ulazabroju ulaza (veza) iz okoline (okruženja) neurona

Aktivnost umjetnog neurona ovisi o :

broju ulazabroju ulaza (veza) iz okoline (okruženja) neurona

intenzitetu tih uzbudaintenzitetu tih uzbuda (iznosu težinskih faktora)

j lji i j lji i k ji j d i ij pragu osjetljivostipragu osjetljivosti koji stanje neurona mora dosegnuti prije negošto ispali impuls preko svog izlaza u okolinu neurona

Formalizaciju umjenog neurona dali su McCulloch i Pitts 1943. godine.

Dubravko Majetić Neuronske mreže 8Aktivnost umjetnog neurona


TIJELO NEURONAULAZI NEURONA TIJELO NEURONA

j1w1x

ULAZI NEURONA

AKSONj2w2x

iijj xwnet jyAKSON

)( jnetj3w IZLAZ3x

AKTIVACIJSKAw

NEURONA

x

SUMATORDENDRITI

AKTIVACIJSKAFUNKCIJA

njw

SINAPSEŽ

AKSONI

nx

Dubravko Majetić Neuronske mreže 9Umjetni neuron

(TEŽINE)SO


Funkcijaizlaza

Lokalnamemorija

Funkcijasume

Aktivacijskafunkcija

Funkcijaskaliranja

Ograničenjej

SumMin

j

LinSgn

Sigmoid

j

DirektnoNajveći

yyjj

ww00

ww11

xx00

Max

Umnožak

itd.

SigmoidBAM

Perceptron

aT + b NajmanjiOdabraniAdaline

yyjj11

wwnn

xx11

xxnnitd.

Pravilo

itd.

GeneratorPraviloučenja

Učenje mreže

Generatoršuma PE

On/Offa b

Parametrialgoritma učenja

Natjecanje

Dubravko Majetić Neuronske mreže 10Funkcionalni prikaz neurona

Rad naučene mreže


j1w1x

j2w2x

iijj xwnet jy)( jnet

j3w IZLAZ3x

w

NEURONA

x

FUNKCIJA

AKTIVACIJSKAFUNKCIJA

njw

TEŽINEULAZI

NEURONA

nx

Dubravko Majetić Neuronske mreže 11Statički neuron

SUMETEŽINENEURONA


U1=1 Bias

bb

bb00wB

u2w

bb22

bb11

z-1 z-1 net(n) y(n)y(n)

w2

u3w3

y(n)

aa11

3

u4w4

aa22uj

wjJ 1

net(n) w u

jj j

j 1net(n) w u

0 1 2 1 2y(n) b net(n) b net(n 1) b net(n 2) a y(n 1) a y(n 2)

( ) ( )

Dubravko Majetić Neuronske mreže 12Dinamički neuron

By(n) y(n) w

y(n) (y(n))


y yy1

y1

net

-1

net

-11

net net 1 a) y sign(net) b)net net 1

ysign(net) net 1

Dubravko Majetić Neuronske mreže 13Tipične aktivacijske funkcije 1


y y1 1

net

-1

net

-1

) 2 1 d)1yc) nety 1

1 e

d) nety1 e



y yy1

y1

net

-11

2

netc

e) y sin(net) f)

21 net c2y e



DEFINICIJA neuronske mreže prema Robertu HechtDEFINICIJA neuronske mreže prema Robertu Hecht--Nielsenu :Nielsenu :

Umjetna neuronska mreža je paralelna distribuirana informacijska struktura koja se sastoji od elemenata procesiranja (neurona) koja se sastoji od elemenata procesiranja (neurona) koji su povezani u slojeve jednosmjernim vezama.

Neuroni imaju lokalnu memoriju i predstavljaju osnovnu jedinku procesiranja.

Dubravko Majetić Neuronske mreže 16Definicija neuronske mreže


Dubravko Majetić Neuronske mreže 17Umjetna neuronska mreža

ulazni sloj sakriveni sloj izlazni sloj


N j ž iji p m t j p b ti mj t ih kih m ž !Najvažniji parametar ocjene sposobnosti umjetnih neuronskih mreža!

Kapacitet umjetne neuronske mreže određuje :

broj neuronabroj neurona (elemenata procesiranja)

broj slojevabroj slojeva neurona j jj j

K i k ž i i j l b dj l b d ž k ji ž k ji

Thomas M. Cover – 1992.

Kapacitet neuronske mreže ovisi o stupnju slobodestupnju slobode mreže koji mreže koji je određen brojem promjenjivih (podesivih) parametara mreže. je određen brojem promjenjivih (podesivih) parametara mreže.

Neuronska mreža realizirana jednim jedinim neuronom, sa parametrom koji može poprimiti stotinu vrijednosti u različitim vremenskim trenutcima, može imati veći kapacitet od neuronske

ž d k fik i i i

Dubravko Majetić Neuronske mreže 18Kapacitet neuronske mreže

mreže sa desetak neurona s fiksiranim parametrima.


IzlazIzlaz

H1

H2

Izlaz

H1

H2

Ulaz

H1

Ulaz

H1

2 – 3 – 7 – 1

Izlaz

2 – 5 – 5 – 1

H1

Izlaz

H1

H2

Izlaz

UlazUlaz

H1

Dubravko Majetić Neuronske mreže 19Odabir strukture mreže

2 – 10 – 1 2 – 7 – 3 – 1


Primjer Odabir strukture za učenje ponašanja osnovnih dinamičkih članova !

Član Diferencijalna jednadžba Diskretna forma BU BI

T T

P1P1 PT x x K u

0k k 1 P k

0 0

0

T Tx x K uT T T

T konst.

P1P1 P

k k 1 k

P

uz T konst.K konst.

x f(x , u )

22 11

0k k k 1

Tx u xT

I0I0iT x u

i

0k k 1

ik

TT konst.

uzT

x f(x , u )konst.

22 11

BU = broj ulaznih neurona,

Dubravko Majetić Neuronske mreže 20Primjer odabira strukture 1

j ,BI = broj izlaznih neurona


Član Diferencijalna jednadžba Diskretna forma BU BI

1k 1 k 1 2 k 2 P k

0

2 10 2

1x a x a x K uaT Ta 1

P2 2 1 PT x T x x K u

0 200

2 1 21 22 2

00 0

a 1TT

2T T Ta , aTT T

0 0

0

k k 1 k k1

2

T konst.T konst.

uzT konst

x f(x ,x ,u )

1133

0 dT Tx x (u u )

2

P

T konst.K konst.

D1 dT x x T u

k k 1 k k 10 0

0

x x (u u )T T T TT konst.T konst

d

k k 1 k k 1d

P

T konst.uz

T konst.K kon

x f(x , u ,u

s .

)

t

1133

Dubravko Majetić Neuronske mreže 21Primjer odabira strukture 2


1O 2O 3O KO

k k k k

O1net O2net Oknet OKnet izlazni sloj

21w

1

1J 1w 11w k1w

1y 2y J 1y Jy

j j j1

BIASH1net H2net HJ 1net

21v

sakriveni sloj

12Z 3Z iZ

11v12v

21

1ZIZ

ulazni sloj

Dubravko Majetić Neuronske mreže 22Statička neuronska mreža

BIASj


k k k

1O 2O kO KO

izlazni sloj

k k k k

k1netk2net kknet kKnet

11v 12v

21v

sakriveni sloj

j j j

1

BIAS

1

1

BA

2

2

BA

J 1

J 1

BA

j1net j2net jJ 1net

ulazni sloj12Z iZ IZ

12w

11w

1Z

Dubravko Majetić Neuronske mreže 23

ulazni sloj

Dinamička neuronska mreža

1BIAS

2Z iZ IZ1Z


JednoslojneJednoslojneJednoslojneJednoslojne

Prema broju slojeva VišeslojneVišeslojneTroslojneTroslojne

DvoslojneDvoslojneDvoslojneDvoslojne

Dubravko Majetić Neuronske mreže 24Podjela neuronskih mreža 1


IterativnoIterativno S učiteljemS učiteljem AutoasocijativneAutoasocijativnejj jj

Prema načinu učenja Prema učitelju Prema podacima za učenje

Jedan korakJedan korak Bez učiteljaBez učitelja HeteroasocijativneHeteroasocijativne



Prema pravilu učenja

UnaprijedneUnaprijedne(FeedForward)(FeedForward)

Prema pravilu učenja

( )( )WidrowHopfield (ulaz, Hopfield, izlaz)HebbAd li ( l Ad li i l )Prema protoku

signalaAdaline (ulaz, Adaline, izlaz)MadalineKohonenError-Back propagation

PovratnePovratne(F dB k)(F dB k)

p p gRecurrent Error-Back propagationBi-directional Associative Memory (BAM)ARTR di l B sis Functi n (RBF)(FeedBack)(FeedBack) Radial Basis Function (RBF)Support Vector Machines (SVM)itd.



KLASIFIKACIJAKLASIFIKACIJA REGRESIJAREGRESIJA

Interpolacija Predikcijan = m

n < m

n > m Interpolacija

Aproksimacija

Predikcija

Dubravko Majetić Neuronske mreže 27Osnovni zadaci

n m


KLASIFIKACIJA KLASIFIKACIJA →→ n = mn = m LINEARNO SEPARABILNOLINEARNO SEPARABILNO

x2

xx1

Separacijski pravciKlasa 1

Klasa 2

Dubravko Majetić Neuronske mreže 28Klasifikacija n=m lin–sep


KLASIFIKACIJA KLASIFIKACIJA →→ n = mn = m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO

x2x2

Klasa 1

Klasa 2

Separacijska krivulja

Klasa 2

x1

Dubravko Majetić Neuronske mreže 29Klasifikacija n=m lin–nesep


KLASIFIKACIJA KLASIFIKACIJA →→ n = mn = m PREKLAPANJE KLASAPREKLAPANJE KLASA

x2

Klasa 1Klasa 1

Klasa 2

x1Separacijska krivulja

Dubravko Majetić Neuronske mreže 30Klasifikacija n=m preklapanje

Krivo klasificirano


KLASIFIKACIJA KLASIFIKACIJA →→ n < mn < m LINEARNO SEPARABILNOLINEARNO SEPARABILNO

x2

Klasa 1Klasa 1

Klasa 2

Klasa 3

Klasa 4

x1Separacijski pravci

Dubravko Majetić Neuronske mreže 31Klasifikacija n<m lin–sep

p j p


KLASIFIKACIJA KLASIFIKACIJA →→ n < mn < m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO

x2

Klasa 1Klasa 1

Klasa 2

Klasa 3

Klasa 4

x1


Dubravko Majetić Neuronske mreže 32Klasifikacija n<m lin–nesep



KLASIFIKACIJA KLASIFIKACIJA →→ n < mn < m PREKLAPANJE KLASAPREKLAPANJE KLASA

xx2

Klasa 1Klasa 1

Klasa 2

Klasa 3

Klasa 4


Krivo klasificirano

x1

Krivo klasificirano

Dubravko Majetić Neuronske mreže 33Klasifikacija n<m preklapanje

1


KLASIFIKACIJA KLASIFIKACIJA →→ n > mn > m LINEARNO SEPARABILNOLINEARNO SEPARABILNO

x2x2

Klasa 1Klasa 1

Klasa 2

Separacijska ravnina

x1

x3

Dubravko Majetić Neuronske mreže 34Klasifikacija n>m lin–sep


KLASIFIKACIJA KLASIFIKACIJA →→ n > mn > m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO

x2x2

Klasa 1Klasa 1

Klasa 2

Separacijska ploha

x1

x3

Dubravko Majetić Neuronske mreže 35Klasifikacija n>m lin–nesep


KLASIFIKACIJA KLASIFIKACIJA →→ n > mn > m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO

x2x2

Klasa 1Klasa 1

Klasa 2

Separacijska ploha

K i i ix1

Krivo separirani

x3

Dubravko Majetić Neuronske mreže 36Klasifikacija n>m preklapanje


INTERPOLACIJAINTERPOLACIJAINTERPOLACIJAINTERPOLACIJA

x2

x1

Interpolacijska krivulja

Dubravko Majetić Neuronske mreže 37Interpolacija


APROKSIMACIJAAPROKSIMACIJAAPROKSIMACIJAAPROKSIMACIJA

x2

x1

Aproksimacijska krivulja

Dubravko Majetić Neuronske mreže 38Aproksimacija


PREDIKCIJA PREDIKCIJA -- PREDVIĐANJEPREDVIĐANJE

x2

x1x1(k) x1(k+4)

Dubravko Majetić Neuronske mreže 39Predikcija


INTELIGENTNIINTELIGENTNIUPRAVLJAČKI

SUSTAVIINTELIGENTNO

Dubravko Majetić Neuronske mreže 40Naslov

INTELIGENTNORAČUNALO


ZVUČNIK

KAMERA

Dubravko Majetić Neuronske mreže 41Područje primjene – robotika


Brza obrada slike i prepoznavanje oblika

Analiza signala i filtriranje šuma

Konverzija teksta u govor i obrnuto

Predviđanje (cijene na burzi, prognoza vremena,…)

Dijagnostika (medicina, tehnika, …)

Upravljanje i regulacijamodeliranje dinamičkih sistemaidentifikacijaadaptivno upravljanjeidentifikacija

vođenje robota i mobilnih robotai b ličk lj j k ij ik i i b liksimboličko upravljanje – konverzija numerike i simbolike

autopiloti

implementacija neizrazite logike

Dubravko Majetić Neuronske mreže 42Primjena mreža

upravljanje u realnom vremenu


Naziv mreže Autori Godina Najčešća primjena Ograničenja Primjedbe

AdaptiveResonanceTheory

G. CarpenterS. Grossberg

1978 –1986

Prepoznavanje oblika(radarske i sonarske slike, glasovni zapisi).

Osjetljivost na translaciju i distorziju ulaznih podataka.

Za manji broj problema.y g p ). p .

Avalanche S. Grossberg 1967 Prepoznavanje govora, vođenje robota.

Složena promjena brzine i interpolacija

Grupa mreža –jedna mreža nedovoljna

Error-BackPropagation

P. WerbosD. Rumelhart

1974 –1985

Sinteza govora iz teksta, adaptivno vođenje robota.

Zahtjeva točne ulazno-izlazne parove.

Najraširenija primjena.

Bidirectional Sadržajno adresibilne Podaci moraju biti Associative Memory

B. Kosko 1985 Sadržajno adresibilne asocijativne memorije.

Podaci moraju biti kodirani. Najlakše se uči.

Boltzman and Caushy Machines

J. HintonJ. Hopkins

1985 –1986 Prepoznavanje oblika (sonar,

radar) Dugo vrijeme učenja.Funkcija šuma za traženje globalnog Caushy Machines H. Szu radar). minimuma.

Brain State in a Box J. Anderson 1977 Ekstrakcija podataka iz baze

podataka. Učenje u jednom koraku. Slična BAM-u.

Dubravko Majetić Neuronske mreže 43Najpoznatije mreže 1


Naziv mreže Autori Godina Najčešća primjena Ograničenja Primjedbe

C l b ll t D. Mar 1969 – Upravljanje motorima Komplicirana Slična mreži Celebellatron D. MarJ. Albus

1969 1982

Upravljanje motorima robotske ruke.

Komplicirana kontrola ulaza.

Slična mreži Avalanche.

Counter Propagation R.H. Nielsen 1986 Kompresija slike,

statička analiza slike.Veliki broj neurona i veza

Kao EBP, jednostavnija i l bijPropagation statička analiza slike. neurona i veza slabija

Hopfield J. Hopfield 1982 Rekonstrukcija slike iz pojedinih isječaka.

Ne uči – težine se postavljaju unaprijed.

Implementacija velikih struktura.

MADALINE B. Widrow 1960 –1962

Adaptivni modemi, adaptivni ekvilajzeri u telefonskim centralama.

Linearna veza ulaza i izlaza.

Koristi se više od 20 godina.

Neocognitron K. Fukushima 1978 –1984 Prepoznavanje rukopisa. Izuzetno veliki broj

neurona.Vrlo složena i vrlo moćna.

Perceptron F Rosemblatt 1957 Prepoznavanje strojopisa Ne prepoznaje Najstarija, danas Perceptron F. Rosemblatt 1957 Prepoznavanje strojopisa. p p jkompleksne karaktere.

j jrijetka u primjeni.

Seff-OrganizingMap T. Kohonen 1980

Geometrijska preslikavanja(pravokutna mreža-silueta aviona)

Zahtijevasveobuhvatno učenje.

Dubravko Majetić Neuronske mreže 44Najpoznatije mreže 2

p aviona). j


Naziv GodinaTehno.izrade

Broj EPBrojveza

Brojmreža

Veza/sec. Autori

Perceptron 1957 EM / E 8 512 1 1000F. RosenblattC. Wightman

Adaline / Madaline 1962 E 1 / 8 16 / 128 1 10.000 B. Widrow128

Electro-OpticalCrossbar

1984 EO 32 1000 1 100.000 D. Psaltis

R H NielsenMARK III 1985 E 8000 400.000 1 300.000

R.H. NielsenM. MyresT. Gutchow

Neural Emulation1985 E 4000 16 000 1 490 000

C. CruzProcessor

1985 E 4000 16.000 1 490.000(IBM)

Optical Resonator 1985 O 6400 1.6*107 1 160.000B. SofferY. OwechkoG D i

EP – Element procesiranjaEM – Elektromehanička tehnologija izradeE El k ičk h l ij i d

NO– nema ograničenja

G. Dunning

Dubravko Majetić Neuronske mreže 45Neuro–računala 1

E – Elektronička tehnologija izradeO – Optička tehnologija izrade



Broj EPBrojveza

Brojmreža

Veza/sec. Autoriizrade veza mreža

MARK IV 1986 E 250.000 500.000 1 5.000.000R.H. NielsenM. MyresT. Gutchow

Odyssey 1986 E 8.000 250.000 1 2.000.000A. PenzR. Wiggins

Crossbar Chip 1986 E 256 64000 1 6*108 L. JakelCrossbar Chip 1986 E 256 64000 1 6 108

J.Denker

Optical NovelyFilter

1986 O 16.000 2*106 1 2*107 D. Anderson

EP El

ANZA 1987 E 30.000 5*105 NO 140.000R.H. NielsenT. Gutschow

EP – Element procesiranjaEM – Elektromehanička tehnologija izradeE – Elektronička tehnologija izradeO – Optička tehnologija izrade


O Optička tehnologija izradeNO– nema ograničenja



Broj EPBrojveza

Brojmreža

Veza/sec. Autori

Parallon 2 1987E

10.000 5.2*104NO

30.000S. BogochO Clark

Parallon 2X 1987E

91.000 3*105 NO30.000

O. ClarkI. Bason

Delta-FloatingPoint Processor

1987 E 1*106 1.1*106 No 107G.A. WorksW.L.Hicks

Point ProcessorD.R. Kasbo

ANZA Plus 1988 E 1*106 1*106 NO 6*106 R.H. NielsenT. Gutschow

EP – Element procesiranjaEM – Elektromehanička tehnologija izradeg jE – Elektronička tehnologija izradeO – Optička tehnologija izradeNO – nema ograničenja



yj1w1x dyj1w j1w

iijj xwnet jy

)( jnet

j2w2x j2w

iijj xwnet )( jnet

j2w

iijj xwnet )( jnetjj )( jj3w3x j3w iijjet )( jj3w

jj

njwnxnjwnjw jd yye

ALGORITAMALGORITAMALGORITAM

Dubravko Majetić Neuronske mreže 48Učenje mreže

UČENJAUČENJAUČENJA


1d 2d 3d kd

k k k k

1O 2O 3O KO

Algoritamučenja

učenja

j j j1

BIASAlgoritam učenja

12Z 3Z iZ1Z

ZI

BIASBIAS

Dubravko Majetić Neuronske mreže 49Učenje statičke mreže

Z,d


1d 2d kd Kd

k k k k

1O 2O kO KO

O1net O2net Oknet OKnet

Algoritam učenja

j j j

1

BIAS

w1211w

1

1

BA

2

2

BA

J 1

J 1

BA

Algoritam učenja

1 2 J 1A

netH1 netH2 netHJ1

Algoritamučenja

1 BIAS2Z iZ IZ

v11

v12

v21

1Z

j

Dubravko Majetić Neuronske mreže 50Učenje dinamičke mreže

i I1

Z, d


Učenje mrežeUčenje mrežeRad EBPRad EBP

neuronskeneuronskemrežemreže

Rad naučene mrežeRad naučene mreže

Unaprijedna fazaUnaprijedna faza Unaprijedna fazaUnaprijedna faza

-- parametri učenja fiksniparametri učenja fiksniPovratna fazaPovratna faza parametri učenja fiksniparametri učenja fiksni-- ulazi iz skupa za testiranjeulazi iz skupa za testiranje

Povratna fazaPovratna faza

-- adaptacija parametara učenjaadaptacija parametara učenja-- ulazi i željeni izlaziulazi i željeni izlazi

Dubravko Majetić Neuronske mreže 51Rad EBP mreže

ulazi i željeni izlazi ulazi i željeni izlazi iz skupa za učenjeiz skupa za učenje


Učenje po uzorku Učenje po uzorku ((StohasticStohastic / / PatternPattern))

Učenje Učenje NeuronskeNeuronske

mrežemreže

Učenje po skupuUčenje po skupu((BatchBatch))

UnaprijednaUnaprijedna faza po uzorkufaza po uzorku UnaprijednaUnaprijedna faza skupa faza skupa

Povratna faza po uzorkuPovratna faza po uzorku Povratna faza skupaPovratna faza skupaPovratna faza po uzorkuPovratna faza po uzorku







Skup za učenjeUlazi u mrežu Željeni izlazi iz mrežeUlazi u mrežu Željeni izlazi iz mreže

U Z1 Z2 Z3 … … … ZI D1 D2 D3 … … … DK

1 Z11 Z12 Z13 … … … Z1I D11 D12 D13 … … … D1I

2 Z21 Z22 Z23 … … … Z2I D21 D22 D23 … … … D2I

3 Z31 Z32 Z33 … … … Z3I D31 D32 D33 … … … D3I

¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦

¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦

¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦

N ZN1 ZN2 ZN3 … … … ZNI DN1 DN2 DN3 … … … DNK

U = uzorakU uzorakI = broj ulaznih neuronaK = broj izlaznih neurona


1 korak učenja = 1 prolazak kroz cijeli skup za učenje1 korak učenja = 1 prolazak kroz cijeli skup za učenje


Uzorak Unaprijedna faza Povratna fazaPočetne težine V, W

1 Z11 … Z1I O1, O2, O3 … OK D11 … D1K EV, EW

V, W


V, W


V, W

V, W

N Z2N … ZNI O1, O2, O3 … OK DN1 … DNK EV, EW

V W koraka

, W

Dubravko Majetić Neuronske mreže 54Učenje po uzorku

1 korak učenja = 1 prolazak kroz cijeli skup za učenje1 korak učenja = 1 prolazak kroz cijeli skup za učenjeV, W koraka


Početne težine V, W

Uzorak Unaprijedna faza Povratna faza

1 Z11 … Z1I O1, O2, O3 … OK D11 … D1K EV1, EW1



N Z2N … ZNI O1, O2, O3 … OK DN1 … DNK EVN, EWN

V, W koraka

EV , EW

Dubravko Majetić Neuronske mreže 55Učenje po skupu

1 korak učenja = 1 prolazak kroz cijeli skup za učenje1 korak učenja = 1 prolazak kroz cijeli skup za učenje


k k k k

1O 2O 3O KO K = broj izlaznih neurona Izlazni sloj

J

O1net O2net Oknet OKnet

J

Ok kj jj 1

net w y

k=1,2,...,K j=1,2,...,J

O (net ) k=1 2 K

1J 1w 11w

21w

k1w

k k OkO (net ) k=1,2,...,K

j j j1

BIASH1net H2net HJ 1net

1y 2y J 1y Jy

Sakriveni sloj

J = broj sakrivenih neurona + 1

H1net H2net HJ 1net

I

Hj ji ii 1

net v Z

j=1,2,...,J-1, i = 1,2,...,I

12Z 3Z iZ

11v12v

21v

1ZIZ

j Hjy(j) (net ) j=1,2,...,J-1

Jy 1 Bias Ulazni sloj

Dubravko Majetić Neuronske mreže 56SNN unaprijedna faza

2 3 i1ZBIAS

I = broj ulaznih neurona + 1

j


N

21

2n n

n 1

1E (d O )2 Funkcija cilja Funkcija cilja

N = broj elemenata skupa za učenje (broj uzoraka)

(n 1) (n) (n)

Adaptacija učenog parametra Adaptacija učenog parametra

n = promatrani korak učenja

Težine V i W kod statičke mreže ! Težine V i W kod statičke mreže !

(n 1) (n) (n) n = promatrani korak učenja

veličina promjene parametara učenja

nova vrijednost parametra učenja

trenutna vrijednost parametra učenja

Dubravko Majetić Neuronske mreže 57SNN povratna faza - 1

nova vrijednost parametra učenja


Pogrešku E() moguće je u okolišu točke aproksimirati s prva dva čl T l d člana Taylorovog reda :

E( ) E( ) E( )

TE( ) E( )

E( )E( )

gradijent pogreške gradijent pogreške

Da bi se pogreška smanjivala najvećim mogućim iznosom, treba odrediti Δza koji promjena pogreške učenja ΔE() poprima najveći negativni iznos !

E( )E( )

Promjena učenog parametra u smjeruPromjena učenog parametra u smjerunajstrmijeg pada gradijenta pogreške !najstrmijeg pada gradijenta pogreške !

koeficijent brzine učenja 410 10 najčešćenajčešće



( 1) ( ) E( ( )) (n 1) (n) E( (n))

Teorija nelinearnog optimiranja Teorija neuronskih mreža

Algoritam najstrmijeg pada ( l )

Klasični algoritam povratnog prostiranja (engl. Steepest Descent) pogreške

(engl. Error Back-Propagation Algorithm)

Modifikacija algoritma :

(n 1) (n) E( (n)) (n 1)


momentum 0.1 1 najčešćenajčešće


Promjena težina izlaznog sloja :

kj kjw (n 1) w (n) E(n)

kj kj kjw (n 1) w (n) E(n) w (n 1) kj kj kj( ) ( ) ( ) ( )

kj kj Ok j kjw (n 1) w (n) y w (n 1) Ok k kd O

Promjena težina sakrivenog sloja :mj ž g j

ji jiv (n 1) v (n) E(n)

v (n 1) v (n) E(n) v (n 1) ji ji jiv (n 1) v (n) E(n) v (n 1)

K2

ji ji j i Ok kj ji1v (n 1) v (n) (1 y )Z w v (n 1)


ji ji j i Ok kj jik 1

v (n 1) v (n) (1 y )Z w v (n 1)2


K = broj izlaznih neurona Izlazni slojk k k k

1O 2O kO KO

J

Ok kj jj 1

net w y

k=1,2,...,K j=1,2,...,J 21w

k1netk2net kknet kKnet

J = broj sakrivenih neurona + 1

k k OkO (net ) k=1,2,...,K

j j j 1

BIAS

11w 12w

jy

jy

Sakriveni sloj

jy

jy

I

Hj ji inet v Z j=1,2,...,J-1, i = 1,2,...,I

1

1

BA

2

2

BA

J 1

J 1

BA

H1net H2netJ 1Hnet

Hj ji ii 1 j 1,2,...,J 1, i 1,2,...,I

j 0 Hj 1 Hj 2 Hj

1 j 2 j

y (n) b net (n) b net (n 1) b net (n 2)a y (n 1) a y (n 2)

12v

11v

Z

1 j 2 j

j j Bjy (n) y (n) w (n)

y (n) (y (n)) Ulazni sloj

Dubravko Majetić Neuronske mreže 61DNN unaprijedna faza

I = broj ulaznih neurona + 1

1BIAS

2Z 3Z iZ1Z j j jy (n) (y (n)) j


(n 1) (n) (n) wij

(n 1) (n) E( (n)) (n 1)

(n 1) (n) (n) wijvjka1a2(n 1) (n) E( (n)) (n 1)

E(n)∆ (n) η α∆ (n 1)

2b0b1b2∆ (n) η α∆ (n 1)

(n)

2

parametar učenja parametar učenja Promjena težina izlaznog sloja :


Dubravko Majetić Neuronske mreže 62DNN povratna faza - 1



P j t di ičkih čl i Promjena parametara dinamičkih članova i težina skrivenog sloja :

B(z)(n) net(n)

Linearni operator vremenskog pomaka :

( )y(n) net(n)A(z)

iz net(n) net(n i) z net(n) net(n i)

1 2A(z) y(z) y(n) a y(n 1) a y(n 2) 1 2( ) y( ) y( ) y( ) y( )

0 1 2B(z) net(n) b net(n) b net(n 1) b net(n 2)



1y(n) 1)1) je koeficijent brojnika B(z) :

1y(n) zD (n) net(n)A(z)bi

2)2) je koeficijent nazivnika A(z) : 1y(n) zD (n) y(n)

A(z)

A(z)ai

3)3) je težina wj : jy(n) B(z)D (n) u (n)

A(z)w j

j

4)4) t ži Biy(n)

4)4) težina Biasa wJ : JwwJ



Najčešće su u uporabi slijedeće tri mjere točnosti algoritma učenja :

11)) SrednjaSrednja kvadratnakvadratna pogreška,pogreška, MSMS (engl(engl.. MeanMean SquareSquare error)error) ::N

2n n

1(d O )

n 1N

MS

22)) KorijenKorijen srednjesrednje kvadratnekvadratne pogreške,pogreške, RMSRMS ((englengl.. RootRoot MeanMean SquareSquare error)error) ::N

2n n

n 1(d O )

MSN

RMS

N

3)3) Normalizirani korijen srednje kvadratne pogreške, Normalizirani korijen srednje kvadratne pogreške, NRMSNRMS((englengl. . NormalizedNormalized RootRoot MeanMean SquareSquare errorerror) :) :(( gg .. mm qq ))

N2

n nn 1

(d O )

RS MS N

n

N 2d n

1 d dN

N

n1d dN

Dubravko Majetić Neuronske mreže 65NRMS

n nd d

RNRMS MS N

nn 1N n 1N


Traženje globalnog minimuma ! Newton

Presjek hiperprostoraPresjek hiperprostora

NewtonMetoda najstrmijeg pada

Presjek hiperprostoraPresjek hiperprostoragreške učenjagreške učenja

Dubravko Majetić Neuronske mreže 66Globalni minimum


Problem lokalnog minimuma !

greškaučenjaučenja

Dubravko Majetić Neuronske mreže 67Lokalni minimum

Globalni minimum


Dubravko Majetić Neuronske mreže 68XOR naslov


XOR PROBLEM

Z1 Z2 D

0 0 0

1 0 1 1 0 1

0 1 1 0 1 1

1 1 0

Dubravko Majetić Neuronske mreže 69XOR problem


ZZ221 D=0D=0D 1D 1

XOR PROBLEM D=0D=0D=1D=1

Z1 Z2 D

0 0 0 ZZ111D=0D=0 D=1D=1

0 0 0

1 0 1 1

DD

0 1 1

D=1D=1D=1D=1

1 1 0 11

11ZZ22

ZZ11D=0D=0

D=0D=0

ZZ11

Dubravko Majetić Neuronske mreže 70XOR klasifikacija

Problem linearnoProblem linearno--neseparabilnih klasa neseparabilnih klasa


IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

ULAZI MREŽE

11v SLOJSLOJ

1y1Z

21v

IZLAZ

12vO2y

11w

MREŽE

22v2Z

12w

1ZBIAS

BIASBv1

Bw1

TEŽINESAKRIVENOG

13 Z13 y

BIASTEŽINE

IZLAZNOG SLOJA - W

Bv2

Dubravko Majetić Neuronske mreže 71XOR 2-2-1

SAKRIVENOG SLOJA - V

B2


DVIJE FAZE UČENJA DVIJE FAZE UČENJA :

1) UNAPRIJEDNA FAZA ) UN JEDN F Z

2) POVRATNA FAZA

Početak učenja :random težine ili već postojeće težinep j

Dubravko Majetić Neuronske mreže 72XOR faze učenja


11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

ULAZI MREŽE 21v

SLOJSLOJSLOJ

POČETNE TEŽINE2.0

1y11w

1Z12v

9.0

12w IZLAZ

1 12v

O2y9.0

2.0

12w IZLAZMREŽE22v

2y

2Z8.0

9.0

Bw1

BIAS

Bv1

3.00.7

TEŽINE

13 Z13 y

BIASTEŽINE

IZLAZNOG SLOJA - W

Bv2

20

Dubravko Majetić Neuronske mreže 73XOR početne težine


2.0


11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

ULAZI MREŽE 21v

2.0UNAPRIJEDNA FAZA

1y11w

1Z12v

9.00

12wIZLAZ

12

O2y9.0

2.0

0

-0.3000 -0.1489

12

w

IZLAZMREŽE22v

2Z8.0

9.00.2000 0.0997 0.6401 0.6401

Bw1

BIAS

Bv1

3.07.0

11 O1 = 0.6401

TEŽINE

13 Z13 y

BIAS TEŽINEIZLAZNOG SLOJA - WBv2

20 ODZIV NAKON NULTOG KORAKA

Dubravko Majetić Neuronske mreže 74Odziv 0 - uzorak 1

TEŽINESAKRIVENOG

SLOJA - V

2.0 ODZIV NAKON NULTOG KORAKA


11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

ULAZI MREŽE 21v

2.0UNAPRIJEDNA FAZA

1y11w

1Z12v

9.01

12wIZLAZ

12

vO2y

9.02.0

0

-0.1000 -0.0500

Bw1

IZLAZMREŽE22v

2Z8.0

9.0-0.7000 -0.3364 1.0127 1.0127

Bw1

1ZBIAS

BIAS

Bv1

3.07.0

11 O1 = 0.6401

O2 = 1.0127

TEŽINE

13 Z13 y

BIASTEŽINE

IZLAZNOG SLOJA - W

Bv2

20

Dubravko Majetić Neuronske mreže 75Odziv 0 – uzorak 2




11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

ULAZI MREŽE 21v

SLOJ2.0

UNAPRIJEDNA FAZA

1y11w

1Z12v

9.00

12w IZLAZ

12

O2y9.0

2.0

1

0.6000 0.2913

12

w

IZLAZMREŽE22v 2

2Z8.0

3.01.0000 0.4621 0.2258 0.2258

Bw1

BIAS

Bv1

3.07.0

11 O1 = 0.6401

O2 = 1 0127

TEŽINESAKRIVENOG

13 Z13 y

BIASTEŽINE

IZLAZNOG SLOJA - W

Bv2

20

O2 1.0127O3 = 0.2258





11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

ULAZI MREŽE 21v

2.0UNAPRIJEDNA FAZA

1y11w

1Z12v

9.01

12wIZLAZ

12

vO2y

9.02.0

1

0.8000 0.3799

Bw1

IZLAZMREŽE22v

2Z8.0

9.00.1000 0.0500 0.5790 0.5790

Bw1

1ZBIAS

BIAS

Bv1

3.07.0

11 O1 = 0.6401

O2 = 1.0127

TEŽINE

13 Z13 y

BIASTEŽINE

IZLAZNOG SLOJA - W

Bv2

20

O3 = 0.2258O4 = 0.5790





PARAMETRI UČENJA TEŽINSKI KOEFICIJENTIPARAMETRI UČENJA = TEŽINSKI KOEFICIJENTI

Dubravko Majetić Neuronske mreže 78Postupak učenja


11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

ULAZI MREŽE 21v

SLOJ2.0

UNAPRIJEDNA FAZA

1y11w

1Z12v

9.00

12w

12v

O2y9.0

2.0

0

-0.3000 -0.1489

12wIZLAZMREŽE

22v2y

2Z8.0

9.00.2000 0.0997 0.6401 0.6401

Bw1

BIAS

Bv1

3.07.0

11

TEŽINE

13 Z13 y

BIASTEŽINE

IZLAZNOG SLOJA - W

Bv2

20

Dubravko Majetić Neuronske mreže 79Naprijed – uzorak 1


2.0


11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

20ULAZI MREŽE 21v

2.0POVRATNA FAZA

1y11w

1Z12v

9.00

0

12wvO2y

9.02.0

0 -

Bw1 IZLAZ

22v2Z

8.09.0 0.6401

Bw1 IZLAZMREŽE

1ZBIAS

BIAS TEŽINE

Bv1

3.07.0

11

13 Z13 y

BIAS TEŽINEIZLAZNOG SLOJA - WBv2

2.0 ALGORITAMTEŽINE

SAKRIVENOG

Dubravko Majetić Neuronske mreže 80Nazad – uzorak 1

ALGORITAMUČENJA

SLOJA - V


11v IZLAZNI SLOJ

SAKRIVENI SLOJ

ULAZNISLOJ

20ULAZI MREŽE 21v

2.0

POVRATNA FAZA

1y11w1Z

12v

9.00

0

12w22v

O2y9.0

1905.0

0 -

Bw1 IZLAZ

22v2Z

8.09064.0

B1 IZLAZMREŽE

1ZBIAS

BIAS

Bv1

2937.06360.0

11

TEŽINESAKRIVENOG

13 Z13 y

BIAS TEŽINEIZLAZNOG SLOJA - W

Bv2

2285.0 ALGORITAM

Dubravko Majetić Neuronske mreže 81Nove težine – uzorak 1

SLOJA - V UČENJA


Dubravko Majetić Neuronske mreže 82RBF


OOsnovnesnovne karakteristike RBF mrežakarakteristike RBF mrežaOOsnovnesnovne karakteristike RBF mrežakarakteristike RBF mreža

RBF NM su statičke, troslojne, unaprijedne (feedforward)

neuronske mreže koje služe za rješavanje regresijskih i

klasifikacijskih vrsta problema

postupak učenja odvija se u jednom koraku (inverzijom

ili pseudoinverzijom matrice učenja H )

aktivacijska funkcija neurona skrivenog sloja spada u

skupinu radijalnih baznih funkcija

radijalne bazne funkcije imaju svojstvo da su im prve

derivacije u potpunosti monotone ovo je svojstvo nužno

i j l i i č j (d H 0) za osiguranje regularnosti matrice učenja (det H > 0)

uvjet regularnosti matrice učenja H predstavlja temelj i

Dubravko Majetić Neuronske mreže 83RBF karakteristike

j g j p j j

nužan uvjet provedbe postupka učenja


Radijalne bazne funkcije

dch d

2

( ) h d 1( ) 0 ch d e( ) h d

c d2 2( ) , 0

Dubravko Majetić Neuronske mreže 84Radijalne bazne funkcije

h d c d2 2( ) , 0 1 h d d( )


RBF neuronske mreže zasnivaju se na klasičnom matematičkom konceptu

aproksimacije (interpolacije) kontinuirane viševarijabilne funkcije f(x)

pomoću aproksimacijske (interpolacijske) funkcije F(x)

u cilju postizanja dobrih regresijskih karakteristika potrebno je

izabrati odgovarajuću funkciju F(x) (problem reprezentacije)

i namjestiti njene parametre

F( ) h(d) i 1 Ni jj

F(x ) = h(d) c , i = 1,...,N

Dubravko Majetić Neuronske mreže 85Građa RBF


(x )

(t1)1

(t2)1

(tL)1

c11(x1)i

(x2)i F1(xi)c1Mc21

(t1)2

( )

(tL)2

(x2)i+c2M

c31

(t2)2

(t2)3 (tL)3

+FM(xi)

c3M(t1)3

(t2)3 (tL)3

(xL)i cK1

(tL)K

(t1)K (t2)K

cKM

Dubravko Majetić Neuronske mreže 86Topologija RBF


elementi matrice H (h(d)) dobivaju se računanjem udaljenosti

(E klidij ih M h l bi ih i d ih) i đ l t l ih(Euklidijevih, Mahalanobisovih i drugih) između elemenata ulaznih

vektora i centara neurona skrivenog sloja

F(x ) = h(d) c = h( x - t ) c = y i = 1 N i j i j j ij j

F(x ) = h(d) c = h( x - t ) c = y , i = 1,...,N

ij i j(H) = h( x - t )

onaj neuron čiji su centri najbliži vrijednostima ulaznih vektora u

i-tom koraku učenja ostvaruje ekstremnu vrijednost u matrici učenja,

što na kraju faze učenja ostavlja utjecaja na iznos težinskog faktora

svaki neuron skrivenog sloja sadrži broj centara jednak broju

neurona ulaznog sloja svaki centar je vezan uz njemu pripadajući

neuron ulaznog sloja

t k č j d ij j d k k i t i ij (i t l ij ) ilipostupak učenja odvija se u jednom koraku i to inverzijom (interpolacija) ili

pseudoinverzijom (aproksimacija) matrice učenja H

y =Hc

Dubravko Majetić Neuronske mreže 87RBF matematika

y Hc

-1 + + T -1 Tc =H y ili c =H y, H =(H H) H


N -1

i i j jj=1

F(x ) = h( x - x ) c , i = 1,...,N y =H c , c =H y

Dubravko Majetić Neuronske mreže 88RBF interpolacija


K + + T -1 T

i i j jj=1

F(x ) = h( x - t ) c , i = 1,...,N y =H c , c = H y, H =(H H) H

Dubravko Majetić Neuronske mreže 89RBF aproksimacija


izračunaju se udaljenosti svih uzoraka skupa za učenje

od svih vektora centara radijalnih baznih funkcija (centri

neurona skrivenog sloja)neurona skrivenog sloja),

za dobivene udaljenosti izračunaju se vrijednosti radijalnih

baznih funkcija matrica H,

t lj tih (ž lj ih) i l ih ij d ti ( ) č jna temelju poznatih (željenih) izlaznih vrijednosti (y) računajuse težinski faktori c.

Dubravko Majetić Neuronske mreže 90RBF učenje


izračunaju se udaljenosti svih uzoraka skupa za testiranje od svih

vektora centara radijalnih baznih funkcija (centri neuronavektora centara radijalnih baznih funkcija (centri neurona

skrivenog sloja) definiranih u fazi učenja,

za dobivene udaljenosti izračunaju se vrijednosti radijalnih

baznih funkcija matrica Hbaznih funkcija matrica H,

na temelju u fazi učenja izračunatih težinskih faktorana temelju, u fazi učenja, izračunatih težinskih faktora

izračunavaju se izlazne vrijednosti y.

Dubravko Majetić Neuronske mreže 91RBF testiranje


% R B F Neural Network% for XOR problem%%%clcclearhelp rbf xorhelp rbf_xor

% ULAZNI PODACI

X=[0 00 11 01 01 1];

Dubravko Majetić Neuronske mreže 92RBF XOR 1


% ŽELJENI IZLAZNI PODACI

y=[01110];

% Određivanje položaja CENTARA neurona skrivenog sloja% Određivanje položaja CENTARA neurona skrivenog sloja

% centri neurona skrivenog sloja su isti kao ulazne

% vrijednosti X --> to znači da se problem rješava

% pomoću interpolacije, tj. svaki ulazni podatak (Xij)

% vezan je za centar svog neurona u skrivenom sloju

% (broj parova ulaznih podataka = broj neurona

% skrivenog sloja)

T=X;


T X;


% Računanje HAMMINGOVE UDALJENOSTI (HD)

for i=1:length(X(: 1))for i=1:length(X(:,1))

for j=1:length(T(:,1))

hdhd=0;

for k=1:length(X(1,:))

hd=hd+(X(i,k)-T(j,k)).^2;

end

HD(i,j)=hd;

H(i,j)=exp(-0.5*(hd.^2));

end

endend

% Faza UČENJA Računanje vektora TEŽINA IZLAZNOG SL0JA


c=inv(H)*y;


% Faza Testiranjadisp(' Vektor ulaznih vrijednosti za testiranje: ')p( j j )test=[1 1

0 01 00 1]

for i=1:length(test(:,1))for i 1:length(test(:,1))for j=1:length(T(:,1))

hd=0;for k=1:length(test(1,:))for k=1:length(test(1,:))

hd=hd+(test(i,k)-T(j,k)).^2;endHD(i j)=hd;HD(i,j)=hd;H(i,j)=exp(-0.5*(hd.^2));

endendend

% Ispis rezultatadisp(' Rezultati ucenja: ')


disp( Rezultati ucenja: ) rezultat=H*c


0 0

c1

0

xx11 +c2

0 100

xx11 +yy

c31 00

xx22 c4

0

1 1

H

1 0,6065 0,6065 0,1353

Dubravko Majetić Neuronske mreže 96RBF XOR grafički 1


0 0

c1

0

xx11 +c2

0 100

xx11 +yy

c31 01

xx22 c4

1

1 1

H

1 0,6065 0,6065 0,13530,6065 1 0,1353 0,6065



0 0

c1

0

xx11 +c2

0 110

xx11 +yy

c31 00

xx22 c4

0

1 1

H

1 0,6065 0,6065 0,13530,6065 1 0,1353 0,6065


0,6065 0,1353 1 0,6065


0 0

c1

0

6,646

xx11 +c2

0 110

–6,22

xx11 +yy

c31 01–6,22

xx22 c4

1

6 646

1 1

6,646

H

1 0,6065 0,6065 0,13530,6065 1 0,1353 0,6065 1c H y


0,6065 0,1353 1 0,60650,1353 0,6065 0,6065 1

c H y


0 0

c1

0

6,646

xx11 +c2

0 101

–6,22

xx11 +yy

c31 01–6,22

xx22 c4

1

6 646

1 1

6,646

H H

Dubravko Majetić Neuronske mreže 100RBF XOR grafički - test

H 0,6065 1 0,1353 0,6065 y H c


obje mreže imaju jednak broj slojeva,

slojevi neurona su međusobno potpuno povezani, dok neuroni

unutar slojeva nisu međusobno povezani,

ulazno i izlazni slojevi su istovjetni uz činjenicu da kod Statičkih

kih ž i l i l j ž biti đ ć li ih neuronskih mreže izlazni sloj može biti građen pomoću nelinearnih

izlaznih aktivacijskih funkcija, dok izlazni sloj RBF mreža uvijek ima

linearni karakter.linearni karakter.

Dubravko Majetić Neuronske mreže 101Sličnost RBF-SNM


mreže imaju različito strukturiran skriveni sloj;

dok se kod Statičkih neuronskih mreža varijable aktivacijskih funkcija

skrivenog sloja izračunavaju na temelju množenja ulaznih signala s

težinskim koeficijentima i zatim njihova međusobnog sumiranja za svaki

neuron zasebno, kod RBF mreža se u neuronima skrivenog sloja računaju

međusobne udaljenosti (najčešće Euklidijeve udaljenosti) izmeđumeđusobne udaljenosti (najčešće Euklidijeve udaljenosti) između

elemenata ulaznih signala i centara pripadajućih neurona

na temelju različito strukturiranih skrivenih slojeva proizlazi i činjenica

da RBF mreža uči u jednom koraku, dok Statička neuronska mreža

najčešće koristi metodu iterativnog učenjanajčešće koristi metodu iterativnog učenja

RBF mreža spada u skupinu statičkih mreža, dok se perceptronske (statičke)

Dubravko Majetić Neuronske mreže 102Razlika RBF-SNM

p p p p

mreže mogu konfigurirati i dinamički

Documents

Katedra za strojarsku automatiku - FSB Online · PDF fileKatedra za strojarsku automatiku UMJETNE SUSTAVI NEIZRAZITE LOGIKE NEURONSKE MREŽE TEHNIČKA UMJETNA INTELIGENCIJA