Ю У р Г У

МехМат

С П

1

GRIDGRIDистория развития, технологииистория развития, технологии и стандартыи стандарты

((GTK, OGSA, WSRF, GPE)GTK, OGSA, WSRF, GPE)

Радченко Глеб ИгоревичЮУрГУ,

кафедра системного программирования

Ю У р Г У

МехМат

С П

2

ВведениеВведение

Содержание доклада:

– история развития и становления Grid;– что такое Grid;– основные современные технологии

Grid.

Ю У р Г У

МехМат

С П

3

Развитие Развитие GridGrid

Первый этап.Середина 1990-х – становление и развитие систем

распределенных вычислений.Второй этап.1998 г. – определение термина Grid (Грид) в рамках

книги "Грид. Новая инфраструктура вычислений" . Развитие распределенных систем, ориентированных на массивные объемы передачи информации и вычислительные затраты.

Третий этап.2001 г. – уклон в сторону “Виртуальных организаций”.

Развитие сервисно-оринентированных подходов, автоматизация методов управления ресурсами.

Ю У р Г У

МехМат

С П

Общая тенденция Общая тенденция развития развития GridGrid

4

Отдельные высокопроизводитель

ные приложения, отсутствие

стандартизации предоставления

ресурсов

Отдельные высокопроизводитель

ные приложения, отсутствие

стандартизации предоставления

ресурсовРазработка

методов управления

распределенными

вычислительными ресурсами,

создания GRID-сред, P2P

Разработка методов

управления распределенным

и вычислительным

и ресурсами, создания GRID-

сред, P2P

Стандартизация методов

формирования GRID-сред; виртуальные

организации; сервисно-

ориентированный подход

Стандартизация методов

формирования GRID-сред; виртуальные

организации; сервисно-

ориентированный подход

Ю У р Г У

МехМат

С П

Первый этап. Этап Первый этап. Этап становления становления GridGrid

Первые проекты по распределенным вычислениям (начало 1990-х) основывались на объединении вычислительных ресурсов суперкомпьютеров.

Проект FAFNER: Factoring via Network-Enabled Recursion (Сетевое разложение на множители посредством рекурсии).

Проект I-WAY: Information Wide Area Year (Год Информации Глобальных Сетей) – экспериментальная высокопроизводительная сеть, которая объединяла множество высокопроизводительных компьютеров и передовые средства визуализации. Прообраз Globus. 5

Ю У р Г У

МехМат

С П

Второй этап. Развитие Второй этап. Развитие средств создания средств создания GridGrid

Ближе к концу 1990-х годов наблюдается бурное развитие Grid-систем, начинаются разработки средств создания и управления Grid-сетями и вычислительными ресурсами.

В ходе исследований систем распределенных вычислений, Ян Фостер вывел 3 основных требования, которым они должны удовлетворять.•Гетерогенность. •Масштабируемость. •Адаптируемость.

Основные проекты: Globus, SETI@home (P2P)… 6

Ю У р Г У

МехМат

С П

Третий этап. Развитие Третий этап. Развитие виртуальных виртуальных организацийорганизаций

Развитие технологий в начале 21-го века приводит к переосмыслению понятия Grid. Теперь оно неразрывно связано с понятием “Виртуальной организации”. ВО - это ряд людей и/или организаций, объединенных общими правилами коллективного доступа к определенным вычислительным ресурсам.

Развитие сервисно-ориентированных подходов позволяет гибко использовать одни и те же вычислительные ресурсы многими пользователями.

Основные проекты и технологии: Globus, OGSA, WSRF…

7

Ю У р Г У

МехМат

С П

Сопоставление Сопоставление кластера, кластера, Grid, P2PGrid, P2P

Характеристика Кластер Грид P2P

Популяция commodity PC компьютеры

профессиональные компьютеры

сетевые концы (настольные PC)

Собственники один многие многие

Обнаружение службы членства

централизованный индекс и

децентрализованная информация

децентрализовано

Распределение/ планирование/

управлениецентрализованное децентрализовано децентрализовано

Интероперабельность на базе VIA более развитое (например, WSRF) стандартов нет

Образ одной системы да нет нетМасштабируемость 100 1000 миллионы

Возможности гарантированы переменны, но высоки переменны

Пропускная способность средняя высокая очень высокая

Ю У р Г У

МехМат

С П

9

Что такое Что такое GridGrid??

Grid – как электросеть: 1) координирует ресурсы, не

подчиняющиеся централизованному контролю…

2) …используя стандартные, открытые протоколы и интерфейсы общего назначения …

3) …чтобы предоставить возможность работы с нетривиальными свойствами служб.

Ю У р Г У

МехМат

С П

Пример Пример Grid Grid как как совокупности ВОсовокупности ВО

10

ВО, занимающаяся

моделированием

сложных 3D объектов

ВО, занимающаяся

анализом данных,

полученных со спутника

Ю У р Г У

МехМат

С П

Современные Современные технологии и стандарты технологии и стандарты

GridGrid

• Open Grid Services Architecture (OGSA).

• Web-сервисы, WSRF.• Globus, Globus Tool Kit (GTK).• GPE.

11

Ю У р Г У

МехМат

С ПOGSAOGSA

Грид-приложение состоит из множества компонент:– сервис управления ВО;– сервис поиска и управления ресурсами;– сервис управления заданиями;– ...

Для обеспечения взаимодействия данных сервисов необходима стандартизация, определение стандартных интерфейсов данных сервисов.

Open Grid Services Architecture (OGSA) определяет открытый стандарт для Грид-приложений. 12

Ю У р Г У

МехМат

С П

OGSAOGSA. Базовые . Базовые интерфейсыинтерфейсы

• Поиск: механизмы для поиска сервисов, предоставляющих те или иные возможности или ресурсы (Registry, HandleMap).

• Динамическое создание сервисов: стандартные механизмы динамического создания сервисов (Factory).

• Управление временем жизни: механизмы, производящие автоматическое завершение работы сервиса и высвобождение занимаемых ресурсов.

• Уведомление: универсальный механизм, позволяющий сервисам обмениваться информацией об изменении состояния.

• Управление: механизмы для управления ходом работы сервиса (GridService). 13

Ю У р Г У

МехМат

С ПWeb-Web-сервисысервисы

Web-сервисы – это основанная на XML платформенно-независимая технология разработки распределенных приложений.

Процесс работы с Web-сервисами заключается в обмене между клиентом и сервером XML-сообщениями.

14

КлиентWeb-

сервис

15

Add(5,10)

Div(15,3)

5

Ю У р Г У

МехМат

С П

Ресурсы

WS-WS-ресурсы, ресурсы, WSRFWSRFДля разработки Grid не получилось применить “чистые”

Web-сервисы, т.к. они не обладали “состоянием”.WSRF является попыткой решить указанную

архитектурную проблему с помощью введения понятия «состояние» в Web-сервисы, превратив их в Web-ресурсы, и указав механизмы использования этого понятия.

15

КлиентWeb-

сервис

Div(3), используя ресурс B

15 4

ID: A

Add(5) используя ресурс B

5

10

ID: B

155

Ю У р Г У

МехМат

С П

Web-Web-сервис + Ресурс = сервис + Ресурс = WS-WS-ресурсресурс

16

Web-сервис

Ресурсы

Filename: “install.xml”Size: 250Descriptors: {“install”}

Filename : “readme.txt”Size: 120Descriptors: {“info”}

Filename: “app.exe”Size: 1056Descriptors: {“application”}

ID: 0xF5412AB

ID: 0x14DC1A9

ID: 0xFF42123

Ю У р Г У

МехМат

С ПСпецификации Спецификации WSRFWSRF

Базовые спецификации:• WS-ResourceProperties – свойства WS-

ресурса;• WS-ResourceLifetime – время жизни WS-

ресурса;• WS-ServiceGroup – группы Web-сервисов и

WS-ресурсов;• WS-BaseFaults – обработка ошибок;

Близкие спецификации:• WS-Notification – обработка извещений;• WS-Addressing – адресация;

17

Ю У р Г У

МехМат

С ППроект Проект GlobusGlobus

Globus – это проект по разработке и предоставлению инфраструктуры для грид-вычислений.

В процессе развития, основной акцент был перенесен с поддержки высокопроизводительных вычислений в сторону сервисов поддержки виртуальных организаций.

Цель его создания – предоставление возможности приложениям работать с распределенными разнородными вычислительными ресурсами как с единой виртуальной машиной. 18

Ю У р Г У

МехМат

С П

19

Globus Tool Kit 4.0

Групповая Авторизация

Делегирование

Авторизация и аутентификация

Не-WS авторизация и

аутентификация

Управление доступом

Репликация данных

OGSA-DAI

Надежная передача файлов

GridFTP

Размещение реплик

Протокол удаленного

управления Grid

Управление рабочим

пространством

Управление и распределение ресурсов Grid

Не-WS методы управления и

распределения ресурсов

Коллективный планировщик

WebMDS

Index

Trigger

Pyton WS Core

C WS Core

Java WS Core

Библиотеки C

eXtensible IO (XIO)

Компоненты WS

Компоненты не-WS

БезопасностьУправление

даннымиРуководство исполнением

Информационные сервисы

Общие библиотеки

Ю У р Г У

МехМат

С П

Архитектура и Архитектура и взаимодействия между взаимодействия между

компонентами компонентами GTKGTKКлиент Внешний

клиент на Java

Внешний клиент на

С

Внешний клиент на

Pyton

Сервер

Контейнер Java

Внешний сервис на

Java

GR

AM

File

Tra

nsfe

r

Dat

a ac

cess

Trig

ger

Tel

econ

trol

. . .

Сервисы Java, библиотеки GT

Контейнер Pyton

Внешний сервис на

Pyton

Контейнер С

Внешний сервис на

С

Grid

FT

P

MyP

roxy

. . .

Сервисы C, библиотеки GT

Сервисы Pyton, библиотеки GT

Взаимодействие посредством открытого SOAP – протокола

обмена сообщениями; WSRF-сервисы

Внешний клиент на

Java

Внешний клиент на

С

Внешний клиент на

Pyton

Взаимодействие посредством других методов

Ю У р Г У

МехМат

С П

GTK4: GTK4: взаимодействие взаимодействие WSRF WSRF и и OGSAOGSA

21

GTK 4.0

Высокоуровневые сервисы для Grid-

приложений

OGSA WSRF

Другие пакеты

(WSRF.NET)

Web-сервисы с состоянием

Web-сервисы

реализует

реализует

реализуютсоответствуют требованиям реализованы

посредством

требует определяет

расширяют

Ю У р Г У

МехМат

С П

22

GPEGPE

GPE (Grid Programming Environment) – архитектура разработки и исполнения распределенных Grid-приложений, предложенная компанией Intel.

Мотивация разработки:• стандартизация подхода к разработке grid-

приложений;• создание высокоуровнего инструментария

разработки Grid-приложений;• облегчение переноса приложений в Grid-

среду.

Ю У р Г У

МехМат

С П

23

Приложения

Application Client

Expert Client

Web portals

GridBeans

Remote File Manager

Уровень создания

приложенийИнтерфейс grid-приложений (WSRF - Web Services Resource Framework; ...)

Admin ClientWorkflow Engine

Target System Registry

Database Access

Scheduler / Broker

Уровень связующего ПО

gridИнтерфейс grid-платформ (WSRF; JSDL; WSDM - Web Services Distributed Management; ...)

Платформа grid

Target System Factory

Target System Service

Job Management

Service

Storage Management

Service

File Transfer Services

MRTE (Managed Runtime Environment)

Service OS

Target System

Interface

OS

Виртуальная машина

Target System

Interface

OS

Виртуальная машина

Создание и управление

Платформа grid

. . .

Интерфейс аппаратного обеспечения

Ю У р Г У

МехМат

С П

24

GridBeanGridBean

GridBean – это одно из основных понятий GPE.

Функции, которые возлагаются на GridBean:– описание задания для grid-сервисов;– организация GUI для ввода и вывода

пользовательских данных;– организация GUI для взаимодействия с grid-

сервисами.

Ю У р Г У

МехМат

С П

25

Спасибо за внимание!Спасибо за внимание!