Experimentálna analýza algoritmu náhodného výberu váh pre učenie
neurónových sietí
Vedúci / Konzultant: prof. Ing. Peter Sinčák, Csc.Ing. Rudolf Jakša, PhD Ing. Juraj Koščak
2
Úvod
• zjednodušenie implementácie algoritmu BPTT pre rozne topologie siete.
• BPTT – implementačne náročný• overenie modifikácie na
jednoduchom FF BP učení• využitie náhodného výberu váh pri
učení
3
Rozdiel:Poradie preratávania váh
BP rBP
4
Motivácia: použiť menej váh
5
Werbos - základná implementácia
• plné prepojenie siete – neexistujú vrstvy• Werbos – batch learning (prip. online)
6
Werbos vsersus Nasa Modifikácia
7
• topológia: 2x5x2• topológia: 2x10x6x2• iterácii: 2500• alfa moment: 0.95• gama: 0.01• lambda: 0.5• 10 x nahodna inicializácia,
spriemerované hodnoty
Kruh v štorci – BP, rBP, rBP+BP
8
Predpoklad
• Naša modifikácia by mala chodiť pomalšie
• Ale mala by chodiť
9
Kruh v štvorci2x5x2
E
iteracia
10
Kruh v štvorci2x10x6x2
E
iteracia
11
Kruh v štvorci2x10x6x2
E
iteracia
12
Synteticke dáta (SantaFe) – BP, rBP
• topológia: 2x5x1• topológia: 2x10x6x1• iterácii: 4000• alfa moment: 0.95• gama: 0.01• lambda: 0.5• 10 x nahodna inicializácia,
spriemerované hodnoty
13
Experimenty 2
24
23
221
221 )3.0()3.0( xxxx
)()(2
2
tFxVdt
dx
dt
xd
1122
212
2
124
23
22
214 )()( xaxxaxxxxaV
)sin()( omegattF
14
Synteticke dáta
15
Umelé data2x5x2
iteracia
E
16
Umelé data 2x10x6x1
E
iteracia
17
Stratégia do zirtačnej práce
1. Prvotný experiment – diplomová práca
2. Preskúmatmetódu náhodného výberu váh v učení
3. Vzorová implementácia pre rekurentný BP
4. Reálne dáta - predikcia
18
Ďakujem