SW, EB, Grid 1

Семантический Грид: новыеСемантический Грид: новые возможности в обработке возможности в обработке информацииинформации

Згуровский М.ЗЗгуровский М.З.,., ПетренкоПетренко А.И., А.И., ИПСА НТУУ «КПИ»ИПСА НТУУ «КПИ»

SW, EB, Grid 2

СодержаниеСодержание

• Интернет, Web ы Грид• Семантический Web и

языки его описания • Семантический Грид

(SG)– Архитектура– Композиции заданий– SG проекты

• Заключение

SW, EB, Grid 3

Интернет,Интернет,Web Web и Гриди Грид- - технологии, которые технологии, которые изменили мир изменили мир

Интернет- сеть компьютеров, объединенных каналами и использующих протоколы (ТСР\ІР) для связи ( изобретатели: Vint Cerf и Robert Kahn)

Web- сеть сайтов, использующих гиперссылки для переходов от страницы к странице

( изобретатель: Тim Berners-Lee). Web обеспечивает доступ к информации, которая находится в миллионах различных серверов, географически распределённых по всему миру

Грид – это новая вычислительная инфраструктура, которая обеспечивает бесперебойный доступ к вычислительным мощностям и ресурсам хранения данных, распределённых по всему миру (изобретатели: Ian Foster, Carl Kesselman)

SW, EB, Grid 4

Источник информации

World Wide WebWorld Wide Web

HTTP (Hyper Text Transport Protocol)HTML (Hyper Text Markup Language)URL (Uniform Resource Locator)

Web сервер

ПриложениеКлиент

HTTP

URL

HTML документ

• Человеко-машинный• интерфейс• Использование информации

SW, EB, Grid 5

Источник информации

Взаимодействие с помощью XML

XML (eXtensible Markup Language)SOAP (Simple Object Access Protocol)

SOAP сервер

Приложение

HTTP

XML документ

• Машинно-машинный интерфейс

• Автоматизация сервисов

SOAP сервер

Приложение

Источник информации

XML документ

SW, EB, Grid 6

Особенности ГридОсобенности Грид

• Если с помощью Web мы можем извлечь из Интернета информацию и документы, то с помощью Грид мы можем получить доступ и к другим ресурсам: вычислительным процессорам, хранилищам данных, программному обеспечению и т.д. …”.

• Грид-компьютинг – это скоординированное разделение ресурсов и решение задач в динамически меняющихся виртуальных организациях со многими участниками

Он имеет много общего с различными индустриальными приложениями :Business-to-business, Peer-to-peer, Application Service

Providers, Storage Service Providers, Distributed Computing, Internet Computing

• Виртуальная организация – объединение (коллаборация) специалистов из некоторой прикладной области, которые объединяются для достижения общей цели

SW, EB, Grid 7

OGSA, OGSI и WSRF

• Открытая Архитектура Грид сервисов (OGSA -Open Grid Services Architecture) определяет:

- структуру - архитектуру - функциональность грид систем • Открытая Инфраструктура Грид

сервисов ( OGSI - Open Grid Services Infrastructure ) определяет::

- соглашения и спецификации - протоколы и взаимодействие

интерфейсов - свойства и уровень сервисов • Структура Ресурсов Сетевых

Сервисов ((WSRF - Web Services Resource Framework ) определяет :

- дальнейший подход спецификации грид сервисов

SW, EB, Grid 8

Набор основных сервисов Набор основных сервисов OGSAOGSAКомпьютер пользователяКомпьютер пользователя

Сервисы доступа

Грид портал

Грид портал

Физические ресурсы

Cервисы управления

Авторизацияклиентов

Авторизацияклиентов

Регистраторзапросов

Регистраторзапросов Брокер ресурсовБрокер ресурсов

Каталог данных

Каталог данных

Сервисов репликаций

Сервисов репликаций

ПоискПО

ПоискПО

Каталог приложений

Каталог приложений

Адаптерзаданий

Адаптерзаданий

Менеджмент заданий

Менеджмент заданий

Информа-ционныйсервис

Информа-ционныйсервис

Доступ к отдаленным

данным

Доступ к отдаленным

данным

СервисданныхСервисданных

Менеджментресурсов

Менеджментресурсов

Сервисбезопасности

Сервисбезопасности

«стандарты SOAP, WSDL и UDDI

SW, EB, Grid 9

ППО Грид (ППО Грид (middlewaremiddleware))

● Используя ПК или рабочую станцию:

- Для входа – имя (account) и пароль (“Аутентификация”)

- Использование прав, разрешенных вам (“Авторизация”)

- Запуск заданий- Управление файлами:

создание, чтение/запись, список директорий

● Один административный домен

● Компоненты системы связываются по шине

● Операционная система

● Используя Грид

- Для входа – единый цифровой сертификат (“Аутентификация”)- Использование прав, делегированных вам (“Авторизация”)- Запуск заданий -Управление файлами: создание, чтение/запись, список директорий● Множество административных доменов

● Сервисы связываются

через Интернет

● ППО (middleware)

SW, EB, Grid 10

Наука расширяет применение средств вычислительного анализа и моделирования (e-Science)

Грид обеспечивает решения сложных научных, производственных, инженерных и бизнес-задач

Наука все больше делается через распределенные глобальные коллективы с использованием internet

ГРИД предоставляет доступ к: -- Очень большим наборам данных

–Огромным (тера…) вычислительным ресурсам–Высокопроизводительной визуализации–Высокоскоростным сетям

Применения Грид

SW, EB, Grid 11

Вычислительный Грид

Грид данных

Data Minig Грид

Семантический Грид – 1-е поколение

Существующие Грид

Следующее поколение

Грид

Развитие Web Технологии знаний

Развитие HPCМобильные сервисы

На пути к следующим поколениям Грид

SW, EB, Grid 12

Что такое Семантический Грид ?Что такое Семантический Грид ?

• Семантический Грид -это развитие существующего Грид, в котором информации и услугам (сервисам) приданы четкие значения, позволяющие компьютерам и людям работать в кооперации.

• Семантический Грид определяет, какие ИТ- ресурсы необходимы для решения поставленной задачи, какие ИТ-ресурсы уже имеются, какие внешние ИТ-ресурсы могли бы быть использованы и в какие ИТ- ресурсы необходимо создать.

• Грид технологии координируют собственные и внешние ИТ -ресурсы, уменьшая затраты и увеличивая эффективность Грид систем..

• Цель Семантического Грида - исследовать возможность использования Семантических Web технологий, чтобы обогатить Грид систему семантикой.

SW, EB, Grid 13

Пользователь Грид своему Пользователь Грид своему Web-Web-агенту:агенту:

• Найди, пожалуйста, данные о землетрясениях в Украине за прошлый век и данные о солнечной активности за этот период и оцени связь между ними.

• Проанализируй показатели мировой торговли с начала кризиса и попробуй выявить группу товаров которые занимают первое место в товарообороте развитых стран.

• Сходи на сайты свободного программного обеспечения и загрузи себя программой решения очень больших по размеру систем линейных разреженных уравнений

• Вот текст рукописи. Скажи мне, какие страницы и из каких источников позаимствованы без ссылок.

SW, EB, Grid 14

Что нужно, чтобы осуществить Что нужно, чтобы осуществить приведенный сценарий?приведенный сценарий?

Нереальный подход:• Разработать МЕГА- язык, на котором можно

описать все знания человечества и который был бы понятен компьютерам

• Под угрозой смерти заставить всех Web- мастеров снабжать сайты переводом на этот язык

• Написать программы, работающие со знаниями на этом языке (обработка запросов, логический вывод)

SW, EB, Grid 15

Предложение Тима Бернерса-ЛиПредложение Тима Бернерса-Ли

Отдельно разрабатывать синтаксис и семантику МЕГА- языка описания всех знаний человечества

• Синтаксис- набор правил построения фраз языка, позволяющий определить осмысленные предложения в этом языке

• Семантика- система правил истолкования отдельных языковых конструкций. Семантика определяет смысловое значение предложенного языка

• Синтаксис без семантики: XML• Семантика без синтаксиса: человеческая речь

SW, EB, Grid 16

Базовые составляющиеБазовые составляющие• RDF (Resource Description

Framework) – синтаксис документов семантического Webа. Использует ссылки на онтологии

• OWL (Ontology Web Language) – язык описания онтологий

• Онтология – описание классов объектов, их свойств и взаимоотношений для какой-то предметной области ( например, математики)

• DAML (DARPA Agent Markup Language ) – язык разметки агентов управления

• OIL (Ontology Interchange Language) – язык , оъединенный с DAML ( DAML+OIL) для разработки онтологий

SW, EB, Grid 17

План Тима Бернерса-ЛиПлан Тима Бернерса-Ли

Нужно последовательно разработать: • Синтаксис для представления знаний, использующий

ссылки на онтологии ( сделано: RDF)• Язык описания онтологий (сделано: OWL)• Язык описания Web- серверов ( начато: WSDL, OWL-S)• Инструментарий разработки / чтения документов

семантического Web (начато: Jena, Haystack, Ptotege) • Язык запросов к знаниям, записанным в RDF (начато:

SPARQL)• Логический вывод знаний (не сделано)• Семантическая поисковая система ( начато: SHOE)• Агенты семантического Web (не сделано)

SW, EB, Grid 18

Пирог Тима Бернерса-ЛиПирог Тима Бернерса-Ли

SW, EB, Grid 19

Cемантическая поисковая системаCемантическая поисковая система

SW, EB, Grid 20

Каталог онтологийКаталог онтологий

SW, EB, Grid 21

Каталог Каталог RDF RDF документовдокументов

SW, EB, Grid 22

Пример Пример RDFRDF- документа- документа

• Computer Science at the University of Southampton.</dc:description>

•   < dc:creator >AKT Project</dc:creator> •   < dc:creator>Nick Gibbins</dc:creator> •   <dct:created>2004-02-04</dct:created> •   <dc:source rdf:resource="http://research.ecs.soton.ac.uk/" /> •   <owl:imports

rdf:resource="http://www.aktors.org/ontology/portal" /> •   <owl:imports

rdf:resource="http://www.aktors.org/ontology/extension" /> •   </owl:Ontology>• - <akt:Project rdf:about="http://www.6init.org/">•   <support:has-pretty-name>6INIT</support:has-pretty-name> •   <akt:has-web-address>http://www.6init.org/</akt:has-web-address> •   <akt:involves-organization

rdf:resource="http://194.66.183.26/WEBSITE/GOW/ViewDepartment.aspx?Department=750" />

•  

SW, EB, Grid 23

OWL: OWL: язык описания онтологийязык описания онтологий

• OWL: использует синтаксис XML• Команды для задания дерева классов• Команды для задания принадлежности индивидов

классам• Команды описания свойств: область определения,

область значений и др.• Команды описания характеристик свойств:

симметричность, транзитивность, функциональность

• Команды для склеивания ( эквивалентности) классов

SW, EB, Grid 24

Фрагмент Грид онтологииФрагмент Грид онтологии

SW, EB, Grid 25Слабая Слабая семантикасемантика

Сильная семантикаСильная семантикаModal Logic

Логическая модель

Тезаурус

Тахономия

Концептуальначя модель

DB схема, XML схема

UML

Реляционнаямодель, XML

ER

Расшир. ER

Description LogicDAML+OIL, OWL

RDF/SXTM

Спектр онтологий

Синтактическвя интероперабильность

Структурная интероперабильность

Семантическая интероперабильность

SW, EB, Grid 26

Сравнение Грид и семантического Сравнение Грид и семантического WebWeb

• Много организационная структура распределенных услуг, выполняемых по запросам

• Распределенные вычисления

• Поддержка кооперации • Виртуализация и интеграция

ресурсов • Динамический пользователь

метаданных• Появляющиеся и исчезающие

Грид сервисы

• Автоматически выполняемая, компьютерам понятная сетевая Web технология

• Распределенный менеджмент знаний и информации

• Поддержка коммуникаций• Интеграция информации • Статический поставщик

метаданных• Постоянные Web сервисы

Grid Computing

Grid Computing Semantic

WebSemantic

Web

SW, EB, Grid 27

Что ожидают от семантического Грида?

• Описание ресурсов, их поставка и повторное использование • Описание процессов и введение шаблонов решения задач• Автономное поведение• Аннотирование• Информационная интеграция различных источников• Синхронизация информационных потоков• Дополнение SOA машинно – обрабатываемой семантикой

и предоставлением возможности:– сервисов открытия, адаптации, переговоров – сервиса композиции задания с помощью свободно

связывающихся , повторно используемых программных компонентов

– сервиса мониторинга

SW, EB, Grid 28

От OGSA к S-OGSA

SW, EB, Grid 29

Применения SGrid• В OntoGrid для страховых компаний для упрощения

процесса страховых выплат интегрированием услуг цепочки партнеров, вовлеченных в процесс

• В caBIG - системе, которая свободно объединяет исследователей, врачей и пациентов для распространения информации о средствах предотвращения и лечения рака.

• В BBC Grid - системе исследования изменения климата путем использования свободных мощностей домашних компьютеров для построения модели изменения климата

SW, EB, Grid 30

SGSG myGridmyGrid для биоинформатикидля биоинформатики

• Сервисы и регистраторы данных , основанные на RDF

• RDF-метаданные для экспериментальных компонентов

• Основанные на RDF графы происхождения данных RDF-based

• Управляемые словари на OWL для содержимого базы данных

• Основанная на OWL интеграция данных

SW, EB, Grid 31

MONET: математический сервис поиска и композиции• Решает задачи в пользовательском домене MKMnet

(Mathematical Knowledge Management NETwork )• Использует описание математических свойств задачи

на OpenMath ( языке для математики), согласительные словари онтологий (http://www.openmath. org) ;

• Анализирует задачу в математических терминах сети Calculemus автоматизированными методами доказательств и логических выводов.

• Идентифицирует сервисы , необходимые для композиции полного задания из служебных WSIL/UDDI, WSDL и других сервисов; способствует созданию виртуальных организаций

• Размещает программные компоненты на аппаратных ресурсах OGSA/Semantic Grid/Grid computing

• http://monet.nag.co.uk/

SW, EB, Grid 32

Общая MONET архитектура

SW, EB, Grid 33

Онтологии в МОНЕТОнтологии в МОНЕТ

SW, EB, Grid 34

Тематика предстоящих исследований

• «Розработка и внедрение методов эффективного использования существующих грид- ресурсов с помощью интеллектуальной обработки данных (Data Mining). Создание пилотного комплекса систем автоматизированного принятия решений»

Государственная программа на 2009-2013 годы) • Автоматизация создания и управления ВО

( виртуальными организациями) • Агентная реализация договоренностей сервисов при

их композиции• Метаданные и аннотации • Технологии извлечения знаний при обработке

контента • Проектирование и реализация грид- сервисов• Обеспечение взаимодействия и сотрудничества • Построение семантической грид- системы для

информационных задач Украинского Центра Мировых Данных

SW, EB, Grid 35

Агентная реализацияАгентная реализация C CГридГрид

SW, EB, Grid 36

WС 2 WС N-1Web сервис 1 Web сервис N

Три уровня программирования в Три уровня программирования в SGSG

Уровень 2 Программирование с использованием средств виртуализации прикладной семантики SG

(Meта - данные, онтологии)

Уровень 1 Программирование внутри сервисов Приложения на языках Java Fortran C++ MPI etc.

Уровень 3 Грид программирование композиций составных сервисов ( сложных заданий)

Инфраструктура сервисов

SW, EB, Grid 37

ЗаключениеЗаключение

• Симбиоз грида и семантического Web достаточно очевиден, перспективы их развития связаны. От семантического Web грид заимствует основу и сервисы для работы со своей семантикой. Сам семантический Web стимулируется мощным развитием грид- приложений и имитирует инфраструктуру грида. Базовые сервисы семантического Web - серверы онтологий, генераторы метаданных, согласование онтологий и т.д. – могут быть реализованы как грид- сервисы.

• Суть грида в порождении новых больших возможностей при широкомасштабной интеграции ресурсов. Предоставляемая гридом высочайшая автоматизация с необходимостью требует универсально доступной платформы, позволяющей как автоматизированным средствам, так и людям разделять и обрабатывать данные

• Некоторые стороны деятельности семантического Web могут стать приложениями грид- компьютинга, это относится, например, к поиску, извлечению информации, трансляции, выбору информации мультимедиа.

.

SW, EB, Grid 38

Вопросы?Вопросы?