ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ

ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ

ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

Βακφάρης Γεώργιος Α.Ε.Μ. 3666

Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης

Θεσσαλονίκη 2003

Περιγραφή του Νευρωνικού Δικτύου

Block Diagonal Recurrent Neural Network

(χωρίς τους βρόχους ανάδρασης)

Full Recurrent Neural Network

(χωρίς τους βρόχους ανάδρασης)

CƒαW ƒαW


FeedForward – Block Diagonal Recurrent Neural Network(FF-BDRNN)

BDRNN

FF

Σ

C

u


Stabilizing Feedforward Neural Network (SFNN)

SFNN

W

Neural Networks( FF-BDRNN )

rs

rn

es

en

u


Επαναπροσδιορισμός του Πίνακα Κατάστασης(Shadows)

Υπολογισμός του πίνακα καταστάσεων δυο φορές1. Forward pass2. Backward Pass

Έλεγχος του σφάλματος ( Shadow Error Function )

Υλοποίηση του Διαγώνιου BDRNN

Αρχιτεκτονική της BDRNN Δομής

ƒα

ƒα

z-1

z-1

x1(k+1)

x2(k+1)

s1

s2

Wx1(k)

x2(k)


Forward Propagation

Backward Propagation – Τελεστές Lagrange

M

jjji

u

ujjjii kubkxwks

1,

1

, )1()1()(

όiiiu ,1,άiiu ,1

)1())(()(

,

kxksfwkx

jiaji

i

)()(

kxJ

ki

pi

)1())1(())(()()(,1 1

1

,,

kksfwckxcfkek jja

ij

No

h

N

j

u

ujihjjhbhi

όiiiu ,1,άiiu ,1

)()()( kykrke hhh


Υπολογισμός της παραγώγου του σφάλματος

Update του πίνακα βαρών

kf

k

kf

k ji

ii

k

i

i

p

ji

p

wkx

kiwkx

kxJ

wJ

0 0 ,,

)()(

)()(

)(

kf

k ji

p

ji

pji tw

tkJtwtJ

tw0 ,,

, )(),(

)()(

)(

)()()(

)()1(,

2,

1,, twtP

Ktw

twtwji

p

f

jijiji


Συνάρτηση Σφάλματος

→Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation

TpPJE ppp ,...1,

No

jjjp psequencekykrkJ

1

2 |))()((21)(

kf

kp

fp kJ

KJ

0

)(1

Ανάλυση της Διαδικασίας των Shadows

Στάδια Υπολογισμού

1. Forward Pass2. Backward Pass3. Shadow Error Function



1. Forward Pass Αν τότε και

2. Backward Pass3. Shadow Error Function

)( jsk sisi Njkxx ,...1),( Ni ,...1

N

jj

sj

fs kxcky1

)()(



1. Forward Pass2. Backward Pass• Αν τότε • Αλλιώς

3. Shadow Error Function

)( sk ssi

ri Njjxkx ,...1),()( Ni ,...,1

1

1,

11, )())1(([)(

u

uj

M

jjjij

raji

ri kubkxfwkx

N

j

rj

sj

rs kxcy1

)(



1. Forward Pass2. Backward Pass3. Shadow Error Function

)()()( kykyke fsrss


Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών

0,)11ln()( 1

axxxf a

a

ww

w nnnn

,1,1

1

ww

w nnnn

,1,1

1

ww

w nnnn

1,1,

1

ww

w nnnn

1,1,

1 Nnwwwww nnnnnnnn ,...4,2,01,,11,1,

Αλγόριθμοι και Δίκτυα Ευστάθειας

Συνθήκες Ευστάθειας

Τοπική Ευστάθεια Γενική Ευστάθειαnnnn

nnnn

wwww

wwww

wwww

W

1

111

4443

3433

2221

1211

00000000

0000000000000000

2)( fi W

2))(( 2

1

max fTf WW



Συναρτήσεις Ευστάθειας

1. BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες (Scaled Orthogonal Stability)2. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική

Ευστάθεια (Free Form Global Stability)3. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική

Ευστάθεια (Free Form Local stability)


BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

1,1,1

,11,12/

nnnn

nnnnn ww

wwW

1)(1))()((max2/

21

2/2/max nnT

n WWW

0.1,12

1,12 nnnn ww



1,1,1

,11,12/

nnnn

nnnnn ww

wwW

min2/ )det( wWn

0.1,12

1,12

min nnnn www



)0.1( ,12

1,12

2/ nnnndns wwfy

))(( ,12

1,12

min2/ nnnndn wwwfy

2/

1

2/

1

22 )()(21 N

i

N

iii

sis

p yryrP

0.1 iis rr


BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

nnnn

nnnnn ww

wwW

,1,

,11,12/

0.12

])()][()()[(2

)(

21,,1

2,1,1

21,,1

2,1,1

,2

1,2

,12

1,12

nnnnnnnnnnnnnnnn

nnnnnnnn

wwwwwwww

wwwwA



nnnn

nnnnn ww

wwW

,1,

,11,12/

1,,1,1,1min

min2/ )det(

nnnnnnnn

n

wwwww

wW



)1(2/ Afy dnsg

))()(( 21,,1,,1

2min2/

2 nnnnnnnndn wwwwwfy

2/

1

2/

1

2222 )()(21 N

i

N

iiii

sgi

sgp yryrP

0.12 iisg rr


BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

nnnn

nnnnn ww

wwW

,1,

,11,12/

0.11.,1,1,1 nnnnnnnn wwww

1,,1,1,1min

min2/ )det(

nnnnnnnn

n

wwwww

wW


BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

0.1)( 1,,1,1,12/1 nnnnnnnndns wwwwfy

1,,11,1,1,12

,2

2/2 42 nnnnnnnnnnnndns wwwwwwfy

))()(( 21,,1,,1

2min2/

2 nnnnnnnndn wwwwwfy

2/

1

2/

1

2/

1

222222211 )()()(21 N

i

N

i

N

iiii

si

si

si

sp yryryrP

0.1221 iis

is rrr


Συνάρτηση ευστάθειας ως Feedforward Δίκτυο

Σιγμοειδής

Είσοδος

1

1

wn-1,n-1

wn-1,n

-α1

ysn/2

1,1,11,11,12/ )()( nncnnnncnndns wfwwfwfy


Παρατηρήσεις

1. Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης,

2. Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch ,όπου τα βάρη W παραμένουν σταθερά

3. Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs.

4. Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN

5. Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών .

Παραδείγματα Προσομοίωσης

Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step

prediction)

Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών

Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass


4 Block Diagonals Single input – single output (SISO) Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal

Stabilizer) Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες

22 )2()1(1)(]0.1)2()[1()2()1()()1(

kxkx

kukxkukxkxkxkx pp

ppppppp

Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction)


• Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016

lrSFNN= -

Αριθμός Block Diagonals=4

Epochsize=50

Epochs to Converge=40000


• Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα 0.5-1.0

• Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας


• Προσθήκη Σταθεροποιητικού SFNN


lrSFNN=0.00001


Epochsize=100







Παρατηρήσεις – Επιλογή των Learning Rates

Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα

βάρη Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα

να ταλαντώνει σε μια περιοχή τιμών



•Επίδραση των παραμέτρων εκπαίδευσης


lrSFNN=0.001


Epochsize=50






•Είναι εμφανής η απόκλιση από την ευσταθή περιοχή


•Τροποποίηση της συνάρτησης ευστάθειας

)0.1( ,12

1,12

2/ nnnndns wwfy

0.12/ nsy 0.10.1,1

21,1

2 nnnn ww




lrSFNN=0.0001


Epochsize=100






Σχόλια• Ομαλή κίνηση των ιδιοτιμών ,

χωρίς spikes

•Καλύτερη τοποθέτηση ,

ψηλότερα από τη μηδενική

περιοχή


•Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)


lrSFNN=0.0001


Epochsize=100






Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%

Αριθμός Ασταθειών 16,76 26,44 28,06 31,27 33,01


Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών

4

1, )()1(

jj

pji

pai

p kxwfkx

059.1075.1356.0224.0463.0714.0242.0121.001.0196.0951.0076.0008.0193.0221.0024.1

}{ ,

jiwW

)()()()(1

)()()(42

32

22

12

311

kxkxkxkx

kxkxkypppp

pp

p



lrSFNN=0.00001


Epochsize=48


•Ορθογώνιος Stabilizer





Παρατήρηση•Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.


•Ελεύθερη Μορφή και Γενική Ευστάθεια


lrSFNN=0.00001


Epochsize=48







•Ελεύθερη Μορφή και Τοπική Ευστάθεια


lrSFNN=0.00001


Epochsize=48







•Σύγκριση των Stabilizers

η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή.

•Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..




lrSFNN=0.00001


Epochsize=48











lrSFNN=0.00001


Epochsize=48









lrSFNN=0.00001


Epochsize=48






Παράδειγμα 3 : Διαφορική Εξίσωση MacKey - Glass


τ=30

Είσοδος :

Έξοδος :

Είσοδος στο FeedForward Δίκτυο :

8.0)( tx p

)30( tx p

)6( tx p

5,...,0),6( qqtx p

)(1.0)(1)(2.0)( 10 tx

txtxtx p

p

pp


•Ορθογώνιος Stabilizer , χωρίς παράλληλο FF


lrSFNN=0.00005


Epochsize=100



•Ορθογώνιος Stabilizer , με παράλληλο FF


lrSFNN=0.00005


Epochsize=100



•Ορθογώνιος Stabilizer με παράλληλο FF


•Ορθογώνιος Stabilizer με παράλληλο FF

•τα learning rates κρατήθηκαν αρκετά χαμηλά

•το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών




•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer


lrSFNN=0.00005


Epochsize=100







•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer


lrSFNN=0.00005


Epochsize=100






Επίλογος - Συμπεράσματα

Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας.

Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.


Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks . Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες.

Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.

Stabilizing feedforward neural network (SFNN)

Stabilizationalogorithm

ys

-rs

es

W

z-1 CB

x(k)

D1 D2 DL-1

Σ

BDRNN learning algorithm

Back Propagation Algorithm

-rn(k)

en(k)

yn(k)

u(k)

sigmoid unit


ΤΕΛΟΣ

Documents

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &