Имитационные модели – виртуальная среда для обучения и

© The AnyLogic Company | www.anylogic.com

Имитационные модели как виртуальная среда для обучения и тестированияИИ для бизнес-приложений

ИММОД 2019Екатеринбург 16-18 октября 2019

Андрей БорщевArash Mahdavi The Anylogic CompanyАнатолий Жеребцов

© The AnyLogic Company | www.anylogic.com 2

~40% имитационных моделей для бизнеса в мире сделано на AnyLogic

AnyLogic31%

Arena25%

Simio14%

Simul86%

Flexsim8%

ExtendSim3%

AutoMod3%

ProModel

7%

Witness2%

Enterprise Dynamics

1%

AnyLogic38%

Arena20%

Simio12%

Repast5%

NetLogo10%

Simul87%

FlexSim

1%

ExtendSim4%

Promodel1%

Enterprise Dynamics

0%

Участники пользовательских групп в LinkedIn, декабрь 2018

Реальные проекты, представленные на WSC’18 (декабрь 2018)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

2013 2014 2015 2016 2017 2018

AnyLogic Arena

Simio Repast

NetLogo Simul8

FlexSim ExtendSim

Automod Promodel

Witness Enterprise Dynamics

Динамика mind share2013-2018


technologypharmahealthcare

railroadsglobal consulting

energy

automotiveaerospace

defensefundamental researchsupply chains

logistics

miningoil & gas

finance consumer goods

AnyLogic – универсальный инструмент ИМ, который используют везде:


• Об AnyLogic

• Что нового в Имитационном Моделировании?

• Почему ИИ + ИМ? Терминология. Как ИМ может помочь ИИ?

• Пример Глубокого Обучения с Подкреплением: Управление Светофором (подробно)

• Проект: ИИ, обученный с помощью ИМ, управляет Производством Ф-М Сердечников

• Обсуждение. Какие есть трудности, проблемы, вопросы?

в этом докладе:


что нового в имитационном моделировании?

3. Интеграция с ИИ2. Цифровые двойники1. Переход в облако

cloud.anylogic.com

ЭТО И ЕСТЬ НАША ТЕМА СЕГОДНЯ

https://cloud.anylogic.com/


• Об AnyLogic








• Сегодня разработчики ИИ пытаются расширить сферу его применения на бизнес-задачи, например: управление производством, логистику, цепочки поставок, бизнес-процессы, управление активами…

• Поэтому ИИ необходимо учиться эффективному поведению в динамичной бизнес-среде, гораздо более сложной и многообразной, чем компьютерные игры

• Имитационные модели естественным образом предоставляют мощную реалистичную среду, позволяющую проводить безопасную тренировку и тестирование обучающихся агентов

разработка ИИ создаёт спрос нового типа на имитационные модели

Реальные проблемы ограничены не так сильно, как игры, на которых был сфокусирован Deep Mind, поэтому им еще только предстоит найти настоящее масштабное коммерческое приложение глубокого обучения с подкреплением.

“” WIRED https://www.wired.com/story/deepminds-losses-future-artificial-intelligence/

https://www.wired.com/story/deepminds-losses-future-artificial-intelligence/


немного терминологии ИИ*

МашинноеОбучение

Алгоритмы, которые могут обу-чаться без явного программирования

ГлубокоеОбучение

Обучение

нейронных сетей на сырых

неструктурирован-ных данных

ИскусственныйИнтеллект

Всё, что может обучаться и рассуждать, как человек

* https://www.argility.com/argility-ecosystem-

solutions/industry-4-0/machine-learning-deep-learning/

ИИ – свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека [Wikipedia] (Никак не ограничивает тип реализации)

Самостоятельное получение знаний интеллектуальной системой в процессе её работы.

Это подмножество – так называемый “традиционный”

ИИ (Support Vector Machine, Random Forests, K Means Clustering, Naïve Bayes Classifier). Его применение ограничено, так как такому ИИ нужно явно указывать на значимые особенности входных данных. Такой ИИ не масштабируется, так как его обучение существенно зависит от руководства человека.

Глубокое обучение относится к искусственным нейронным сетям – структурам, копирующим работу мозга. Такие структуры способны учиться без руководства человека на необработанных данных.

https://www.argility.com/argility-ecosystem-solutions/industry-4-0/machine-learning-deep-learning/


парадигмы машинного обучения (как обычного, так и глубокого)

00100020101010000101010101001010010

01010100100101011110010101010010101

10100100010010010111101010010001010

01010100010100001010111101010101000

Обучение с учителемАгенту предоставляются заранее "помеченные" данные: пары вход/правильный ответ, на которых он учится[например: это спам/а это не спам]

00100010101010000101010101001010010

01010100100101011110010101010010101

10100100010010010111101010010001010

01010100010100001010111101010101000

Обучение без учителяАгенту предоставляются необработанные ("непомеченные") данные, в которых он должен обнаружить скрытые взаимосвязи, [например, кластеризация]

Обучение с подкреплениемДанных нет, агент учится, взаимодействуя со средой: наблюдает состояние, совершает действие, получает обратную связь - награду[результат: некая политика управления]

состояние

действие

награда

шаги


“Имитационное моделирование - ключевая технология для искусственного интеллекта, и специалисты по ИМ, которые воспользуются этим, получат преимущество.”

Lyle Wallis, Analytics Director, PwC2017


как именно имитационное моделирование может быть полезно ИИ?

0100010010010111101

1. Синтетические данныеГенерация чистых, детальных, помеченных данных, покрывающих все возможные сценарии

1110010101010010101

0100010010010111101

1110010101010010101

2. Среда для обученияДешевая безрисковая седа для глубокого обучения с подкреплением(Deep Reinforcement Learning, DRL)

состояние

действие

награда

шаги

3. Среда для тестированияОпять же, дешевая безрисковая седа для тестирования эффективности ИИ (обученного там же или вовне) путём интегрирования его в модель. Также позволяет сравнить ИИ с другими алгоритмами.

ХАЙП ЗДЕСЬ


• Об AnyLogic



• Пример Глубокого Обучения с Подкреплением: Управление Светофором(подробно)





пример: Управление Светофором* – постановка задачи

• Очень простой перекрёсток

• Никаких поворотов

• Оборудован светофоромN

S

EW

Цель:Минимизировать среднее время проезда перекрёстка

3AM 4AM 5AM 6AM 7AM 8AM 9AM 10AM 11AM

Интенсивность потоков изменяется со временем

Параметры:Длительность фаз светофора

*Этот пример был разработан совместно со


пример: Управление Светофором– имитационная модель

• Теперь это можно запустить

• Всё доступно и измеряемо: Координаты каждой машины,

скорость, …

Диаграмма процесса (AnyLogic Road Traffic Library) Фазы светофора

Интенсивность потоков

N

S

EW

Конфигурация


пример: Управление Светофором– состояние и наблюдение

• Мы редуцируем состояние до 10 численных значений:

• И будем проводить наблюдение каждые 10 (виртуальных) секунд

• (эти решения основаны на интуиции)

• Полное состояние системы включает: Координаты, направление, скорость,

ускорение каждой машины

Текущую фазу светофора, …

• Что же нам выбрать в качестве наблюдения для ИИ?

• А также: состояние постоянно меняется. Как часто нужнопроводить наблюдения?

N

S

EW7

6 2

3

0 1

4 5

8

Σдля всех машин в зоне 0

время в системе

…Σдля всех машин в зоне 8


Индекс текущей фазы светофора (0,1,2, или 3)


пример: Управление Светофором– структура сети, действия, награда

Наблюдение

Действия:0: ничего не делать1: поменять фазу светофора

(переключить NS и EW)

Награда (между -1 and 1)

Предыдущеенаблюдение

Σдля всех машин до или на перекрёстке


улучшение

10 входных нейронов (по размерности

наблюдения)

2 выходных нейрона для двух возможных действий

2 скрытых слоя(300 нейронов в каждом)

Простая полносвязная прямая нейронная сеть


виртуальное время

run()stop()

• Чтобы обучить НС мы провели 100 итераций (эпизодов) с2880 циклами обучения в каждой итерации; общее время обучения сети составило 30 минут (Итерации необходимы для исследования наиболее широкого набора сценариев)

цикл обучения (глубокое обучение с подкреплением с помощью ИМ)

t1

getObservation();

takeAction();runTo( t2 );

…

…runTo( t3 );

Итерации(эпизоды)

stop()run()

stop()run()

stop()run()

t2

getReward()

✓

t3

…

…runTo( t4 );

…

✓✓


пример: Управление Светофором– обученный ИИ в действии

Контрольная модель

(постоянные фазы)

Обученнаянейросеть (адаптивное управление)

Длительность фаз не меняется во время

моделирования; значения подобраны обычным

оптимизатором

• Этот пример был умышленно упрощён для целей демонстрации

• ИИ здесь может быть заменён на эвристики, которые, возможно, покажут лучшую производительность

• Однако, по мере роста сложности системы (например, десять связанных перекрёстков) преимущество ИИ будет более явным


архитектурные решения для DRL с использованием ИМ

Опция 2: импортируем имитационную модель в среду разработки ИИ

DQN, IMPALA, A3C,PPO, …

Модель экспортирована как Java-приложение из AnyLogic IDE в, например, Pathmind(автоматизированная платформа для RL)

DQN, IMPALA, A3C,PPO, …

Python или Java API

Модель выполняется в AnyLogic cloud and взаимодействует с AI IDE через Cloud API

Опция 3: модель выполняется в облаке, ИИ взаимодействует с ней через API

Опция 1: импортируем инструменты ИИ в среду моделирования

IDE

RL4J

DQN, A3C

Эта архитектура была использована в примере со светофором


• Об AnyLogic








• Сердечники очень тяжелые (до 10 тонн)

• Цех состоит из нескольких станций, соединённых конвейерами

• Каждый сердечник делается под заказ, имеет свой цикл операций

• В процессе находится одновременно несколько сердечников

• Планирование перемещений осуществляется вручную(на основании опыта)

• Возникают узкие места и блокировки

проект: DRL в управлении Производством Сердечников(1/3)

Проект выполнен Engineering Ingegneria Informatica и представлен на AnyLogic Conference 2019https://www.anylogic.com/blog/an-industrial-problem-resolved-by-ai-and-simulation/

https://www.anylogic.com/blog/an-industrial-problem-resolved-by-ai-and-simulation/


• Варианты решения проблемы автоматизации: Разработать эвристики Обучить ИИ управлять цехом

• Была разработана детальная модель производства на AnyLogic

• Задача управления была разбита на несколько подзадач

• Для каждой подзадачи с помощью модели методом DDQNбыла обучена нейросеть Например, одна из сетей находила

набор действий для освобождения пути перемещения сердечника

проект: DRL в управлении Производством Сердечников (2/3)

На этом видео: Агент научился перемещать сердечник из любой позиции в позицию T16. При достижении цели имитация запускается снова со случайным расположением сердечников.


• Была использована библиотека Skymind RL4J,интегрированная в AnyLogic

• Награда: Большая положительная (напр. 1000)

если сердечник в целевой позиции

Небольшая положительная (напр. 1) если действие приблизило его к цели

Небольшая отрицательная (напр. -1) в любом другом случае

• Обученное множество нейросетей (ансамбль агентов) способны эффективно управлять перемещениями сердечников по цеху

проект:DRL в управлении Производством Сердечников (3/3)


• Об AnyLogic





• Обсуждение.Какие есть трудности, проблемы, вопросы?



• ИМ выполняются медленно (единичный прогон не распараллеливается и не использует GPU) Однако, существуют технологии обучения с подкреплением на множестве параллельных

прогонов (которые несложно организовать в облаке) (это скорее проблема бизнес-задач вообще) пространство состояний и действий огромно,

сходимость обучения ИИ может быть очень медленной

• Модель отражает только то, что заложено в неё разработчиком (плохая модель – плохой ИИ) Требуется опыт моделирования – у разработчиков ИИ его обычно нет Хорошая сторона: хорошая модель представляет задачу гораздо чище, чем реальные данные

• Слишком много неформальных шагов, “искусства”, интуиции (это вообще проблема ИИ): Выбор состояния / наблюдения Частота циклов обучения Функция награды Структура нейросети и её гиперпараметры Новые платформы, такие как Pathmind или Bons.ai, двигаются в сторону автоматизации

• Разработчики ИИ привыкли к бесплатному открытому коду (или писать с нуля на Питоне), но для моделирования бизнес-проблем такого софта нет – так что нужно изменение привычек

трудности, проблемы, вопросы


Разработка ИИ в настоящее время – почти алхимия. В этом контексте ИМ выглядит состоявшейся технологией – здесь вы, по крайней мере, понимаете, какие действия приводят к какому результату :)


партнёры AnyLogic по разработкам в области ИИ:

наш стратегический партнёр сотрудничество по всем направлениям применения и интеграции ИМ

облачная платформа для автоматизированной разработки ИИ при помощи DRL и имитации

несколько проектов по разработке ИИ для конкретных

бизнес-задач с использованием ИМ, в том числе как генератора

синтетических данных

встраивание в облачный сервис Azure алгоритмов RL и

имитационных моделей для тренировки ИИ

тестирование эффекта от внедрения ИИ на результаты операционной деятельности


полезные ресурсы

AnyLogic BLOG: Machine Learning and Simulation - Traffic Light example

WEBINAR: How to Train a Policy for Controlling a Machine (using simulation and DRL)

AnyLogic AI PAGE: AnyLogic.com →Features → Artificial Intelligence

Ben Schumann BLOG: How To Build a Reinforcement Model With AnyLogic

Panel Discussion: Artificial Intelligence and Simulation at ALC 2019

Pathmind: An automated RL platform from SkyMind integrated with AnyLogic

Спасибо!

Documents

Имитационные модели – виртуальная среда для обучения и