1

Neizrazite neuronske mreže 1

Umjetna inteligencija

- Umjetne neuronske mreže –

Neizrazite neuronske mreže

47895/47816 UMINTELI

HG/2008-2009

Sveučilište u Zagrebu

Fakultet prometnih znanostiDiplomski studij

Neizrazite neuronske mreže 2

IZRAZITI MODEL NEURONA

n

i

ijj dI1

)( jj Iy

Aktivacijska

funkcija

j

Zbroj

opterećenih

ulaza

Ij

JEZGRA

NEURON j

yj

x1

x2

xi

wij

SINAPSE -

TEŽINE

w1j

w2j

xn

wnj DENDRITI

AKSON

ULAZNI

SIGNALI

IZLAZNI

SIGNAL

)( iijij xwd

j = 1,2, ... m

2

Neizrazite neuronske mreže 3

FUZIFIKACIJA IZRAZITOG MODELA NEURONA (1)

– Ulazni vektor x = [x1, x2, ... , xn]T Rn zadan na

intervalu [0, 1]. Ulazni neuron y = x (razdioba)

– Sinaptičke težine su zadane na intervalu [0, 1]

– Dendritički ulazi su rezultat logičkih operacija npr.,

di = xi wij

– Operacija združivanja dendritičkih ulaza, zbroj

opterećenih ulaza, je logička operacija, npr.

iji

n

iij

n

ij wxdI

11

Neizrazite neuronske mreže 4

FUZIFIKACIJA IZRAZITOG MODEL NEURONA (2)

– Neizraziti neuron predstavlja linguističku vrijednost, npr.

NISKO

– Vrijednost izlaznog signala yj u intervalu [0, 1] odgovara

stupnju pripadnosti ulaznog vektora [x1, x2, ... , xn]T

linguističkoj vrijednosti

– Neuron j poslije prijema n ulaznih signala i obrade

prenosi izračunati stupanj pripadnosti yj na ostala (m -1)

neurona neuronske mreže sastavljene od m neizrazitih

neurona

– Svojstva neizrazitog neurona zavise o dendritičkim

operacijama, operacijama združivanja i aktivacijskim

funkcijama

3

Neizrazite neuronske mreže 5

ZDRUŽIVANJA DENDRITIČKIH ULAZA

• MAX NEIZRAZITI NEURON

• Izračunavanja maksimuma

dendritičkih ulaza - logička

ILI operacija

• MIN NEIZRAZITI NEURON

• Izračunavanja minimuma

dendritičkih ulaza - logička I

operacija

iji

n

iij

n

ij wxdI

11

iji

n

iij

n

ij wxdI

11

Neizrazite neuronske mreže 6

FUNKCIJE PRIPADNOSTI KOD NEURONA

Sinaptičke vrijednosti 1,0ix

m

j

yIj uuyj

1

/)(Izlazna vrijednost

m

j

Ij uuIj

1

/)(Združene vrijednosti

1,0u

m

j

dij uudij

1

/)(Dendritičke vrijednosti

4

Neizrazite neuronske mreže 7

NEIZRAZITE RELACIJE I KOMPOZICIJE KOD NEURONA

Dendritički ulazi - kompozicija ulaznih signala i težine

ijiij wxd

ijiij dxw

Težina - neizrazita relacija (Kartezijev produkt)

Poticanje, sprečavanje - neizraziti komplement na [0, 1]

ij

ij

ij d

d

ijij dd 1poticanje

sprečavanje

Neizrazite neuronske mreže 8

DENDRITIČKI ULAZI KOD NEURONA

jIj yj

x1

x2

x3

w3j

d1j

w2j

x4

w4j

w1j

d2j

d3j

d4j

1j

2j

3j

4j

Pojačanje 1j = d1j 2j = d2j

Slabljenje 3j =1 - d3j 4j = 1 - d4j

5

Neizrazite neuronske mreže 9

FUNKCIJE ZDRUŽIVANJA I AKTIVACIJE NEURONA

Općenito funkcija združivanja: T-norma ij

n

ij TI

1

Aktivacijska funkcija

ij

n

ijjj TIy

1

Linearna aktivacijska funkcija jj Iy

ij

n

ij Ty

1

Neizrazite neuronske mreže 10

T-NORME

Logički umnožak (Minimum) 2121 ),( xxxxT

Poopćavanje operacije I na implikaciju, zaključivanje

Algebarski umnožak 2121 xxxx

Ograničeni umnožak 0)1( 2121 xxxx

“Grubi” umnožak

protivnomu

x

x

x

x

xx 1

1

0

2

1

1

2

21

6

Neizrazite neuronske mreže 11

AKSIOMI T-NORME T: [0, 1] x [0, 1] -> [0, 1]

1221 xTxxTx 1,0, 21 xx

Zamjena

00,1 TxxTx 1,0x

Izraziti I

321321 )()( xTxTxxTxTx 1,0,, 321 xxx

Pridruživanje

323121 xTxxTxondaxxako 1,0,, 321 xxx

Uređenje

Neizrazite neuronske mreže 12

S-NORME

Logički zbroj (Maksimum) 2121 ),( xxxxS

Poopćavanje operacije ILI na implikaciju, zaključivanje

Algebarski zbroj 212121 xxxxxx

Ograničeni zbroj 1)( 2121 xxxx

“Grubi” zbroj

protivnomu

x

x

x

x

xx 0

0

0

2

1

1

2

21

7

Neizrazite neuronske mreže 13

AKSIOMI S-NORME S: [0, 1] x [0, 1] -> [0, 1]

1221 xSxxSx 1,0, 21 xx

Zamjena

xSxSx 0,11 1,0x

Izraziti ILI

321321 )()( xSxSxxSxSx 1,0,, 321 xxx

Pridruživanje

323121 xSxxSxondaxxako 1,0,, 321 xxx

Uređenje

Neizrazite neuronske mreže 14

ODNOS T-NORME I S-NORME

De Morgan-ovi zakoni za neizrazite skupove

),(),( 2121 xxSxxT

),(),( 2121 xxTxxS

8

Neizrazite neuronske mreže 15

IZVEDBA NORMI NEIZRAZITIM NEURONIMA

1x

2x),(),( 2121 xxTxxSy j

jyTT

1x

2x

),( 21 xxTy j T

Linearna aktivacijska funkcija

Neizrazite neuronske mreže 16

NEIZRAZITI NEURON VRSTE I

1x

nx

jyI

Linearna aktivacijska funkcija

2xjw1

njw

jw2

ijiij wILIxd S-norma:

T-norma: )()()( 2211 njnjjj wILIxIIwILIxIwILIxy

)(1

iji

n

ij wSxTy

Sprečavanje:Općenito: ix1

9

Neizrazite neuronske mreže 17

NEIZRAZITI NEURON VRSTE ILI

1x

nx

jyILI

Linearna aktivacijska funkcija

2xjw1

njw

jw2

ijiij wIxd T-norma:

S-norma: )()()( 2211 njnjjj wIxILIILIwIxILIwIxy

)(1

iji

n

ij wTxSy

Općenito: Sprečavanje: ix1

Neizrazite neuronske mreže 18

GRANIČNI SLUČAJ NEIZRAZITIH NEURONA

0ijw ii xSx 0

1ijw 11Sxi Ulaz ne utječe na izlaz

Dodatni prilagodljivi član 00 x jj wwS 000

)(0

iji

n

ij wSxTy

)(1

iji

n

ij wSxTy

• Neuron vrste I

• Neuron vrste ILI )(0

iji

n

ij wTxSy

10

Neizrazite neuronske mreže 19

TROSLOJNA NEIZRAZITA NEURONSKA MREŽA (1)

Ulazni sloj Unutarnji sloj Izlazni sloj

I

I

ILI

y

x1

x2

x2n

z1

zp

)(

11inli

n

ilii

n

il wSxTTwSxTz

zl

ll

p

lvTzSy

1

Neizrazite neuronske mreže 20

TROSLOJNA NEIZRAZITA NEURONSKA MREŽA (2)

Ulazni sloj Unutarnji sloj Izlazni sloj

I

y

x1

x2

x2n

z1

zp

)(

11inli

n

ilii

n

il wTxSSwTxSz

zl

ll

p

lvSzTy

1

ILI

ILI

11

Neizrazite neuronske mreže 21

MREŽNI MODEL NEIZRAZITIH PRAVILA ZAKLJUČIVANJA

n - neizrazitih ulaza

m - neizrazitih pravila

T

T

T

T T

S

y

y1

y2

ym

T ( I , min) neuron

S ( ILI, max ) neuron

x1

x n

x2

1. sloj 2. sloj 3. sloj

Neizrazite neuronske mreže 22

PODUČAVANJE NEIZRAZITE NEURONSKE MREŽE

• Promjenom težina sinaptičke veze poboljšati stupanj

podučenosti neuronske mreže

• Model sinaptičke veze

– izraziti neuron: skalarna veličina

– neizraziti neuron: dvodimenzionalna neizrazita relacija

12

Neizrazite neuronske mreže 23

PODUČAVANJE NEIZRAZITOG NEURONA (1)

x1(k)

xi(k)

xn(k)

dj(k)wij(k)

Neuron j

Aktiv.

funkcijaT

Algoritam

promjene

težine

yj(k)

-ej(k)

+tj(k)

Neizrazite neuronske mreže 24

PODUČAVANJE NEIZRAZITOG NEURONA (2)

)()()1( kwkwkw ijijij

)()()()( kyktFkeFkw jjjij

Pravilo promjene neizrazite relacije (težine) j-tog neurona

Promjena wij(k) odgovara promjeni plohe neizrazite relacije

13

Neizrazite neuronske mreže 25

OPĆI POSTUPAK UČENJA NEIZRAZITE MREŽE

Višeslojna neizrazita mreža - faktor stupnja podučenosti Q

N

k

kk txyQ1

2)(

sinapse)sinapse)

((

Q

= koeficijent učenja između 0 i 1

Neizrazite neuronske mreže 26

PRIMJER: UPRAVLJANJE VOZILOM

Vožnja vozila po sredini ravne ceste.

Opis približnog položaja i smjera vozila u odnosu na rub

ceste neizrazitim ulaznim varijablama u k-tom trenutku:

- udaljenost_od_lijevog_ruba (Lk),

- udaljenost_od_desnog_ruba (Rk),

- kut_smjera (k),

- kut_promjene_smjera (k).

Opis položaja upravljača neizrazitom izlaznom varijablom:

- kut_upravljanja (k).

14

Neizrazite neuronske mreže 27

MODELIRANJE UPRAVLJANJA VOZILOM

Ulaz

Izlaz

Neizrazite neuronske mreže 28

BAZE NEIZRAZITOG ZNANJA O UPRAVLJANJU (1)

ako udaljenost_s_lijeve_strane je Ljk I

udaljenost_s_desne_strane je Rjk

onda kut_upravljanja je jk, j = 1, 2, ..., 16

Baza znanja o zadržavanju vozila na sredini ceste sadrži

16 pravila oblika:

15

Neizrazite neuronske mreže 29

BAZE NEIZRAZITOG ZNANJA O UPRAVLJANJU (2)

Baza znanja o zadržavanju vozila usporedno s rubom

ceste sadrži 9 pravila oblika:

ako kut_smjera je jk I

kut_promjene_smjera je jk

onda kut_upravljanja je jk, j = 1, 2, ..., 9

Neizrazite neuronske mreže 30

NEIZRAZITI SKUPOVI LINGUISTIČKIH VARIJABLI

ZE Približno nula

S Malo

M Srednje

L Jako

P Pozitivno

N Negativno

PS Malo pozitivno

PM Srednje pozitivno

PL Jako pozitivno

NS Malo negativno

NM Srednje negativno

NL Jako negativno

16

Neizrazite neuronske mreže 31

FUNKCIJE PRIPADNOSTI NEIZRAZITIH SKUPOVA

Udaljenost od rubaKut smjera

Kut upravljanja

Neizrazite neuronske mreže 32

NEIZRAZITA NEURONSKA MREŽA ZA UPRAVLJANJE

DF = Defuzifikacija

DF1. sloj 2. sloj

3. sloj 4. sloj

)(16

11

k

jj

NTy

)(9

12

k

jj

NTy

),( 213 yyTy ))(( 34 yNTy

17

Neizrazite neuronske mreže 33