Нейро-автоматное управление в машинном обучении

Выполнил: Губин Ю.А.ст. гр. 6539.

Руководитель: Шалыто А.А.д.т.н, проф., зав. каф. ТП, СПбГУ ИТМО

Автоматное Программирование

Программа рассматривается как совокупность

автоматизированных объектов управления.

Каждый такой объект состоит из системы управления и

объекта управления.

Состояние

Функция переходов

Функция выходов

Входные воздействия

Выходные воздействия

Понятие автомата

2

Искусственные Нейронные Сети

...

...

...Входной слой

Выходной слой

Скрытый слой

X1 XN

X’1 X’N1

X’’1 X’’N2

Y1 YM

Многослойный персептрон

Предложены Норбертом Винером в 1943г.Принцип организации и функционирования биологических нейронных сетей.Персептрон, сети Хопфилда, Хемминга

3

Использование ИНС и Автоматов

Внешняя среда

Нейронная сеть

Конечный автомат

Система со сложным

поведением

Числовые или логические

входные переменные

Логические переменные

Выходные воздействия

Нейронная сеть используется для классификации значений вещественных входных переменных и выработки входных логических переменных для автомата.

4

Использование ИНС и Автоматов

Внешняя среда Автоматы

Нейронная сеть

Автомат как источник входных данных для нейронной сети.

Клеточный автомат – элемент нейронной сети Хопфилда.

5

Актуальность

В описанных методах: Автомат – средство для работы с ИНС или часть ИНС. ИНС – объект для связи среды с автоматом.Используется одна ИНС.Осложнено повторное использование разработанных автоматов.Нет возможности корректировать ИНС в процессе работы.

6

Метод Нейро-Автоматного Управления

Использование ИНС для обработки данных в состоянии.Расширенное состояние.Реализация изначально неопределенной логики переходов.Корректировка ИНС в процессе работы автомата.Использование расширенных состояний для реализации ядра автомата.

7

Метод Нейро-Автоматного Управления

1) Автомат находится в состоянии А.2) Подается входное воздействие, состоящее из управляющего

воздействия E и входных данных D1, D2, D3. 3) По управляющему воздействию E срабатывает переход из состояния A

в расширенное состояние B.4) При входе в расширенное состояние B входные данные D1, D2, D3

подаются на вход нейронной сети, вычисляются V1, V2, V3.

A

НС

B

D1

D2

D3

V1

V2

V3

Событие E

Входные данные D1, D2, D3

1

2

4

3E

8

Метод Нейро-Автоматного Управления

Функция работы с НС.Использование результатов работы НС для генерации нового события.

Состояние

Функция переходов

Функция выходов

Выходные воздействия

Функция работы с НС

НС

СобытияВходные данные

Расчет выходных переменных НС Результат

События

9

Метод Нейро-Автоматного Управления

1) Автомат находится в состоянии A.2) На вход подается воздействия E1 и входные данные D1, D2, D3, D4, D5. 3) Автомат переходит в расш. состояние B.4) Обработка D1, D2, D3 нейросетью состояния B.5) Генерации нового управляющего воздействия E2. 6) По управляющему воздействию E2 автомат переходит в C.7) Обработка D4, D5, нейросетью состояния C.

A

НС

B

D1

D2

D3

V1

V2

V3

Событие E1

Входные данные D1, D2, D3, D4, D5

1

2

4

3

E1

НС

C

D4

D5

V4

V5

75 6

E2

10

Метод Нейро-Автоматного Управления

Определение структуры ядра автомата.Создание графа переходов автомата с использованием расширенных состояний для ядра автомата.Выбор топологии нейронной сети, используемой в расширенном состоянии.Реализация функции работы с НС.Сбор и подготовка данных для обучения. Обучение нейронных сетей расширенных состояний.Определение правил корректировки характеристик сети в процессе работы автомата.Проверка адекватности обучения и правил корректировки во время тестирования.

11

Реализация

Используется разработанная библиотека для создания автоматных классов на языке Java:

Классы для создания состояний, переходов, групп состояний.Абстрактные классы для реализации действий и условий.Возможность изоморфного переноса кода в графическую модель (Graphviz API).Класс для создания расширенного состояния.Классы для создания нейронных сетей.

12

Пример: Робот-Исследователь

Диаграмма состояний автомата Explorer

Wait

Detect see anything

Define action

Find way

Detect element in current position

Go

UnknownUnknown

Z: Step

Explore

ExplorerCore

Stop

Yes

Destroy^¬x

Z: Destroy

Collect ^¬x

Z: CollectUnknown

Yes

No ^¬x

Unknown v No

Z: Random_step

Detect state

Up

Z: UpRight

Z:Right

Z: x=false

Bad v Unknown

Z: x=true

Good

Z: Correct

Z: x=true

No ^x

Destroy^x

Z: Destroy

Collect ^x

Z: Collect

Down

Z: Down

Collect

Z: Collect

Left

Z: Left

Destroy

Z: Destroy

Move

Go

Stop

Think

x=true

13

Выводы

14

ИНС – составляющая состояний автомата.

Использование нескольких ИНС.

Возможность корректировки ИНС во время работы.

Доступно повторное использование разработанных автоматов.

Заключение

Предложен метод использования нейронных сетей в

автоматах.

Предложено использование расширенных состояний.

Продемонстрировано применение предложенного метода.

15

Спасибо за внимание!