С.В. Ковальчук , А.В. Бухановский

Облачные вычисления второго поколения: композитные

приложения, интерактивные системы и семантические

технологииС.В. Ковальчук, А.В. Бухановский

НИИ Наукоемких компьютерных технологий, СПб НИУ ИТМО, Санкт-Петербург

Всероссийская конференция «Инфокоммуникационные технологии в научных

исследованиях»

Таруса – 2012

Специфика проблемы

1. Гетерогенность вычислительных ресурсов в составе облака и использование ранее созданных сред распределенных вычислений (от «Ломоносова» – до ГридННС).

2. Уникальность и разнообразие прикладных сервисов для науки и образования (диверсификация по предметным областям).

3. Архитектурная привязка прикладных сервисов к вычислительной инфраструктуре (оптимизация под инфраструктуру разработчика).

4. Участие пользователей в создании и развитии новых сервисов и композитных приложений на их основе (самоорганизация состава облака).

5. Виртуальное профессиональное сообщество (устойчивая обратная связь).

6. Поддержка интерактивных сервисов в «реальном» времени (сервисы доступа к оборудованию, визуализации и пр.).

Инфокоммуникационные технологии в научных исследованиях

2

Облачные технологии для высокопроизводительных вычислений в научных исследованиях

Эволюция облачных технологий


3

от виртуализации – к глобальным управляемым средам

Cloud Computing Maturity Model – CСMM

Консолидацияресурсов

Абстракция ресурсов

Автоматизация использования ресурсов

Развитие поддержки облачных сервисов

Распространение сервисов воблаках разногоуровня

Технологии I поколения:• Унифицированный доступ к

вычислительным и программным ресурсам требуемой конфигурации

• Удаленное исполнение типовых приложений

• Коллективное хранение и использование сверхбольших объемов данных

• Виртуализация (кросс-платформенность и кросс-технологичность)

Технологии II поколения:• Создание композитных

приложений• Интеллектуальная

поддержка поиска и применения сервисов

• Динамическое управление производительностью сервисов

• Гибкая интеграция с системами реального времени

Многофункциональная инструментально-технологическая платформа CLAVIRE


5

Cloud Applications VIRtual Environment - платформа облачных вычислений второго поколения

Поиск и анализа информации о

террористических угрозах

Распределенные системы потоковой обработки

сверхбольших объемов данных

Исследовательское проектирование морских судов

и объектов океанотехники

Квантово-механические расчеты и моделирование атомно-молекулярных наноразмерных структур и комплексов

Предотвращение нагонных

наводнений в Санкт-Петербурге

Моделирование развития вирусной эпидемии и

определение эффективных средств противодействия

Корпоративные системы распределенных вычислений

Коллаборативные предметно-ориентированные системы

распределенных вычислений

Системы распределенных вычислений в составе ЦОД

Глобальные системы организации экстренных

вычислений

Многопрофильная инструментально-технологическая

платформа

Архитектура CLAVIRE


6

Реализация концепции iPSE (Intelligent Problem Solving Environment)

Абстрактное описание сервисов и приложений в терминах предметной области, и трансляция в исполнимую форму с использованием отчуждаемых знаний

Формализм описания пакета


7

Программный модуль – это прикладная программа, предоставляющая интерфейс для вызова и исполнения определенной предметной функциональности.

В рамках распределенной среды пакет можно формально представить:

Предлагается перейти к простой модели пакета, основанной на параметрах, за счет использования механизма абстрактных описаний ( ): «пакет преобразует входные параметры в выходные».

Композитное приложение в виде WF


8

Элементарные блоки – запуски программных модулей;

Зависимости двух типов: по данным и по управлению;

Использование описания пакетов в качестве основы для проектирования.

Пример WorkflowОсобенности представления КП

Модель Workflow – DAG

Предметно-ориентированные языки


9

EasyPackage – предметно-ориентированный язык, основанный на Ruby, для унифицированного описания пакетов в декларативном виде для обеспечения доступа к ним распределенной среде.

EasyFlow – предметно-ориентированный язык для унифицированного описания композитных приложений

Основан на модели DAG; Декларативный

(с императивной частью); Компактное представление; Использование базовых типов данных.

Узлы — запуски пакетов; Зависимости; Указание значений параметров; Варьирование параметров; Пост-обработка.

Особенности языка:

Элементы языка:

Общая информация о пакете и параметрах;

Предметные параметры: вход и выход; Способ запуска, режимы

распараллеливания, модель производительности в виде параметров исполнения;

Связи между параметрами, определяющие порядок интерпретации;

Возможности управления динамическим определением набора параметров;

Процедуры проверки корректности поставленной задачи.

В описании представлены:

Создание и интерпретация композитного приложения


10

Абстрактное описание Workflow (AWF)

Исполненный Workflow (CWF)

Использование предметно- ориентированного языка позволяет унифицировать описание и автоматизировать запуск композитных приложений

Интерактивные композитные приложения


11

поддержка WF, исполняющихся долгое время.

поддержка механизмов управления извне поведением исполняющихся заданий и их жизненным циклом;

поддержка коммуникации между узлами WF во время исполнения.

возможность изменения WF во время исполнения за счет сценария WF, а также за счет внешнего управления.

Принципы интерактивных КП:

Схема модельного интерактивного КПСхема модельного интерактивного КП

Модель интерактивных КП

Системы реального времени; Системы взаимодействия с

пользователем; Системы поддержки принятия

решений; Системы визуализации; Управление приложением во время

исполнения (computational steering); Получение данных из внешних

источников (датчиков).

Области применения и задачи

Интеллектуальная поддержка


14

Интеллектуальные технологии – технологии, построенные на знаниях

Интеллектуальные технологии предполагают наличие Базы знаний Механизма логического вывода (рассуждений на знаниях) Механизма адаптации (формализации, приобретения и оценки

новых знаний)

Базовый способ хранения знаний: онтологическая структура

1) Иерархия уровней абстракции: метаописание абстрактное описание предметная реализация системная реализация

2) Вложенная структура онтологий: каркасное описание классов описание реализации пользовательское расширение

3) Динамическая расширяемость а) на основе правил; б) на основе подключаемых компонентов

В нашем случае: знания – закономерности использования предметно-ориентированных

программных компонентов

Онтология – инструмент интеграции


15

Сессия пользователя

Предметная область

Описание реализации

Диалог с пользователем

Описание инфраструктуры

Информационная поддержка

Преобразование данных

Правила обработки сессии

Оценка данных

Коллективная работа

Поиск и ранжирование решений


16

Задача одной точкиВходные параметры:► Cистема: файлВыходные параметры:◄ HF (KS) орбитали◄ HF (KS) энергия

DFT Хартри-ФокаХартри-Фока

+ MP2

Задача поиска седловой точки

Задача оптими-зации геометрии

Хартри-Фока + CC

Задача одной точки

ORCA GAMESS ORCA GAMESSMOLPRO

Хартри-Фока

Входные параметры:► Базис: 6-31G


Входные параметры:► Базис: MINI


Входные параметры:► Базис: PC3

GAMESS

Входные параметры:► Тип SCF: RHF► Максимальное число итераций SCF: 300 ► Прямое SCF: Да

GAMESS

Входные параметры:► Тип SCF: RHF► Максимальное число итераций SCF: 300 ► Прямое SCF: Да

Кластер НИИ НКТ #1

Грид ННСКластер

НИИ НКТ #1Грид ННС

Время расчета: 20...32 минСтоимость: 10 ед.Надежность: 0,98Точность: 0,6

Время расчета: 1...1,5 чСтоимость: 30 ед.Надежность: 0,95Точность: 0,95

За

да

ча

Ме

тод

Па

кет

Се

рв

ис

Редактирование скрипта

Объяснение вывода

Дополнительная информация

►ЗАПУСК

Редактирование скрипта


Дополнительная информация

►ЗАПУСК

Информация о параметрах

Характеристики системы


Количество атомов: 23Состав атомов: H: 10; O: 6; C: 7

Онтологическое концептуальной иерархии компьютерного моделированияОценка качества допустимых решений (точность, скорость, надежность)Реализация в виде интерактивного дерева решений

Концепция виртуальных моделирующих объектов

Виртуальный объект – структурированная композиция моделей, для исследования некоторого объекта реального мира, снабженная графическим интерфейсом для пользовательской настройки процесса моделирования


17

Baltic sea : Sea

NWW_ITMOSoftware:

Scenario: From aloft wind

Parameters...Workflow...

SwanSoftware:

Scenario: Shallow water


Sea waves

Near-water wind

Object parameters

Wave spectrum

...

ОК

modelSource

Near-water wind

...

ОК

storageSource

Aloft wind

...

ОК

BOOS Source

Mode: forecast

BasesSpace FG: Full grid AP: Assimilation points Ø

Time ST: Start time FT: Forecast time Ø

...

Bathymetry

...

?

storageSource

FG/Ø

FG/FT

FG/FT

FG/FT

Режим работы объекта- прогноз- статический анализ- оптимизация параметров

Параметры объекта доступны всем моделям объекта

Модели- преобразуются в части композитного приложения;- могут быть настроены: выбор ПО и сценария, задание параметров;- могут быть включены или исключены из состава используемых

Наборы данных-могут быть получены из внутренних или внешних для объекта источников- выбор источника: хранилище, внешний сервис, явное задание- проверяется на корректность и доступность

Статус набора данных- проверен (ОК)- требует настройки (?)- недоступен (Х)

Базы объекта определяет доступные базы параметров (пространство, время, группа)

Базы набора данных Выбираются из баз объекта

Композиция виртуальных объектов


18

Baltic sea : Sea

NWW_ITMOSoftware:

Scenario: From aloft wind


SwanSoftware:

Scenario: Shallow water


BSM+AssimilationSoftware:

Scenario: With assimilation


Spectrum_interpSoftware:

Scenario: Jonswap


Level and currents Sea waves

Near-water wind

Spectrum parameterization

Wave parameters

...

X

model

Object parameters

Source

Currents

...

ОК

modelSource

Water level

...

ОК

modelSource

Wave spectrum

...

ОК

modelSource

Near-water wind

...

ОК

storageSource

Level (obs.)

...

ОК

storageИсточник

Aloft wind

...

ОК

BOOS Source

Mode: forecast

BasesSpace FG: Full grid AP: Assimilation points Ø

Time ST: Start time FT: Forecast time Ø

...

Ship #1 : Ship ...Mode: analysis

ShipXSoftware:

Scenario: Ship behavior


Ship behavior

Wave spectrum

...

ОК

modelSource

Resonance

...

ОК

modelSource

Rocking spectrum

...

ОК

modelSource

ShipDSSSoftware:

Scenario: Situation analysis


RecommendationsRecommendations

...

ОК

modelSource

Analysis log

...

ОК

modelSource

Object parameters

BasesSpace Ø

Time ST: Start time Ø

FP: Force points

Forces application

...

ОК

storageSource

MT: Simulation time

Movement

...

ОК

modelSource

Parameters...

Wave selection

Bathymetry

...

?

storageSource

Initial position

...

ОК

storageSource

Ship model

...

ОК

storageSource

FG/Ø

FG/FT

AP/ST

FG/FT

FG/FT

FG/FT

FG/FT

FG/FT

Ø/Ø Ø/Ø

Ø/MT FP/MT

Ø/MT

Ø/MT

Ø/MT

Ø/MT

Ø/Ø

FG/FT Ø/MT

Классы интерфейсов пользователя Интерфейс консольного / программного

доступа – решение для интеграции


19

Проблемно-ориентированный интерфейс – решение типовых задач с поддержкой ввода параметров

Система управления workflow – решение исследовательских задач с и построение композитных приложений

Интеллектуальный инструктор – поддержка сравнения и выбора типовых решений

Виртуальные моделирующие объекты – системный подход к композиции приложений

Системы виртуальной реальности


20

Применение платформы CLAVIRE (1/4)


21

Облачный УНК «Компьютерное моделирование в нанотехнологиях»

http://hpc-nasis.ifmo.ru



22

Система предотвращения наводнений в Санкт-Петербурге

- Ограничение на время принятия решений- Использование динамической распределенной архитектуры- Автоматизация управления вычислительными ресурсами- Сессионность и приоритеты

Система поддержки принятия решения – технология экстренных вычислений

Датчики КЗС

Измерения уровня моря

Оперативная информация

Актуальные прогнозыГидрометеороло-гические модели

Модели технических объектов

Социальные модели

Информационные модели

Оценка рисков(автоматическая/ручная)

СППР

Моделирование сценариев

Средства компьютерного моделирования

Вычислительная инфраструктураОператор Группа,

принимающаярешения



23

Задача моделирования флэшмоб-акций.

Визуализация во время моделирования

Результат работы — статическое определение зон с

критическим значением плотности агентов

1. Генерация комплексной сети;

2. Удаление случайных узлов;

3. Моделирование распространения информации по полученным сетям;

4. Агрегация и подсчет статистических характеристик;

5. Моделирование эвакуации и визуализация в интерактивном режиме;

Этапы работы приложения:

Исследования критических ситуаций, связанных с террористическими действиями в условиях несанкционированных флешмоб-акций, организованных с использованием социальных сетей



24

Сопряжение с системами виртуальной реальности- Семантическая интеграция объектов трехмерной сцены и виртуальных моделирующих объектов- Использование интерактивных технологий для «погружения» в виртуальную реальность- Применение нейрокомпьютерных интерфейсов для оценки трехмерной сцены

0.71.0

0.2

ЗаключениеРазработанная платформа CLAVIRE обеспечивает унифицированный доступ к разнородным ресурсам в рамках облачной инфраструктуры, при этом обеспечивая: Работу в рамках формализма workflow с использованием

предметно-ориентированных языков Возможность создания интерактивных композитных

приложений Динамическое планирование и управление

выполнением композитных приложений Высокоуровневую поддержку с использованием

семантических технологий Возможности создания и распространения проблемно-

ориентированных коллекций сервисов Доступ с использованием пользовательских

интерфейсов различных классов (уровней) Расширенную поддержку систем виртуальной

реальности с использованием современных технических решений


25

Documents

С.В. Ковальчук , А.В. Бухановский