А.Н. Чернодуб
Прямий метод навчання нейромереж прямого поширення на основі пакетного фільтра Калмана
для багатокрокового прогнозування часових рядів
ІПММС НАНУ, м. Киев відділ Нейротехнологій
25 квітня 2013 р.
Аннотація
2
Доклад присвячено темі багатокрокового прогнозування часових рядів. Розглядаються існуючи методи навчання рекурентних і нерекурентних нейромереж для задач багатокрокового прогнозування, в тому числі методи зворотного поширення похибки у часі і метод розширеного фільтра Калмана. Пропонується новий метод навчання мереж прямого поширення на основі пакетної версії фільтра Калмана і спеціального способу обчислення похідних «прогнозуюче поширення у часі». Надано результати експериментів на хаотичному процесі Маккея-Гласса і даних часового ряда «Santa Fe Laser Data Series».
Задача ідентифікації
3
Нейромережева ідентифікація динамічного об’єкта
4
Типи нейронних мереж для вирішення задачі ідентифікації
5
Існує два базових підходи для надання нейронним мережам прямого поширення властивостей, необхідних для обробки динамічних даних:
• додавання ліній затримок до нейромережі;• додавання рекурентних зв'язків до внутрішньої
структури нейронної мережі;
Динамічная лінійна нейронна мережа (DLNN)
6Обчислення похідних для навчання: зворотне проширення похибки (Backpropagation)
7Обчислення похідних для навчання: зворотне проширення похибки (Backpropagation)
Динамічний багатошаровий персептрон (DMLP)
Рекурентний багатошаровий персептрон (RMLP)
8Обчислення похідних для навчання: зворотне проширення у часі (BPTT)
Cхема обчислення динамічних похідних BPTT для мережі RMLP
9Обчислення похідних для навчання: зворотне проширення у часі (BPTT)
Нейромережа нелінійної авторегресії із зовнішніми входами (NARX)
10Обчислення похідних для навчання: зворотне проширення у часі (BPTT)
Cхема обчислення динамічних похідних BPTT для мережі NARX
11Обчислення похідних для навчання: зворотне проширення у часі (BPTT)
Cхема обчислення динамічних похідних BPTT для мережі NARX
12Обчислення похідних для навчання: зворотне проширення у часі (BPTT)
Порівняння різних типів архітектур нейронних мереж
13
Усього для кожного з часових рядів було навчено 10 мереж DLNN, 1100 мереж DMLP, 2750 мереж NARX з різними параметрами кількості нейронів у прихованому шарі, вхідних та вихідних затримок.
Результати кращіх нейромереж на задачі однокрокового прогнозування
14
Навчання нейромереж методом розширеного фільтра Калмана
15
Задача багатокрокового прогнозування
16
Обчислення похідних методом «прогнозуюче поширення в часі»
17
Багатокрокове прогнозування різними типами нейромереж
18
Пакетна версія метод розширеного фільтра Калмана для навчання
нейромереж
19
Експеримент з прогнозування рядів Маккея-Гласса на горизонт H=14
20
Експеримент з прогнозування даних лазера «Санта-Фе» H=100
21
Система магнітної левітації
22
Програмна модель системи магнітної левітації в Simulink
23
Схема з пропусканням похибки через нейроемулятор у режимі
реального часу: навіщо?
24
Поведінка навчених нейроемуляторів
25
Схема PID-управління
26
Результати оптимізації PID-контролерів: 1) Оригінальна модель Simulink
27
Результати оптимізації PID-контролерів: 2) Нейроемулятор DMLP + EKF + BP
28
Результати оптимізації PID-контролерів: 3) Нейроемулятор DMLP + BEKF + FPTT
29
Результати оптимізації PID-контролерів
30
Дякую за увагу!
31