Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí

Experimentálna analýza algoritmu náhodného výberu váh pre učenie

neurónových sietí

Vedúci / Konzultant: prof. Ing. Peter Sinčák, Csc.Ing. Rudolf Jakša, PhD Ing. Juraj Koščak

2

Úvod

• zjednodušenie implementácie algoritmu BPTT pre rozne topologie siete.

• BPTT – implementačne náročný• overenie modifikácie na

jednoduchom FF BP učení• využitie náhodného výberu váh pri

učení

3

Rozdiel:Poradie preratávania váh

BP rBP

4

Motivácia: použiť menej váh

5

Werbos - základná implementácia

• plné prepojenie siete – neexistujú vrstvy• Werbos – batch learning (prip. online)

6

Werbos vsersus Nasa Modifikácia

7

• topológia: 2x5x2• topológia: 2x10x6x2• iterácii: 2500• alfa moment: 0.95• gama: 0.01• lambda: 0.5• 10 x nahodna inicializácia,

spriemerované hodnoty

Kruh v štorci – BP, rBP, rBP+BP

8

Predpoklad

• Naša modifikácia by mala chodiť pomalšie

• Ale mala by chodiť

9

Kruh v štvorci2x5x2

E

iteracia

10

Kruh v štvorci2x10x6x2

E

iteracia

11

Kruh v štvorci2x10x6x2

E

iteracia

12

Synteticke dáta (SantaFe) – BP, rBP

• topológia: 2x5x1• topológia: 2x10x6x1• iterácii: 4000• alfa moment: 0.95• gama: 0.01• lambda: 0.5• 10 x nahodna inicializácia,

spriemerované hodnoty

13

Experimenty 2

24

23

221

221 )3.0()3.0( xxxx

)()(2

2

tFxVdt

dx

dt

xd

1122

212

2

124

23

22

214 )()( xaxxaxxxxaV

)sin()( omegattF

14

Synteticke dáta

15

Umelé data2x5x2

iteracia

E

16

Umelé data 2x10x6x1

E

iteracia

17

Stratégia do zirtačnej práce

1. Prvotný experiment – diplomová práca

2. Preskúmatmetódu náhodného výberu váh v učení

3. Vzorová implementácia pre rekurentný BP

4. Reálne dáta - predikcia

18

Ďakujem