О технологии Грид и ее использовании

Ю.Ф.Рябов

Содержание

• Предпосылки создания и концепции технологии Грид

• Проект EGEE• Национальные Грид инициативы• Российский Грид• Опорная сеть СПбНЦ (РОКСОН)• Информация для контактов

Эволюция интернета

Совместно используемые ресурсы - Grid

Совместно используемая информация - World Wide

Web

Сети соединяющие локальные ресурсы

Совместно используемые сети

Что такое Что такое Grid? Grid?

“GRID” - некоторая аналогия с электрическими сетями (power grid),

предоставляющими всеобщий доступ к электрической мощности.

Предпосылки создания Гридобусловлены

• Стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных.

• Наличием во многих организациях вычислительных ресурсов (часто кластеров)

• Необходимостью решения сложных научных, инженерных и бизнес-задач

Компьютерные сети

• Производительность– Вычислительные скорости удваиваются каждые 18 месяцев– Скорости сетей удваиваются каждые 9 месяцев– Разница на целый порядок за 5 лет

• 1986 - 2000– компьютеры: x 500– сети: x 340 000

• 2001 - 2010– компьютеры: x 60– сети: x 4000

Цели создания Грид-инфраструктуры

Среди основных целей создания Грид на данный момент можно выделить:

организация эффективного использования ресурсов решение крупных задач, требующих огромных

процессорных ресурсов, памяти; вычисления с привлечением больших объемов

географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий,медицине,химии и т.д.

коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций.

..

Концепция Грид

• Гибкое, защищённое, координированное пользование вычислительными ресурсами между различными динамичными группами пользователей и организаций.

• Сделать возможным для различных групп пользователей (‘виртуальных организаций’) совместное использование географически удалённых ресурсов при совместной работе, подразумевая отсутствиецентрализованного расположения вычислительных ресурсов,централизированного управления ресурсными центрами

Виртуальная организация- объединение(коллаборация)специалистов из некоторой прикладной области,которые объединяются для достижения общей цели

О технологии ГридГрид Распределенная программно-аппаратная компьютерная

среда с принципиально новой организацией вычислений и управления потоками заданий и данных.

Компьютерная инфраструктура,предназначенная для объединения вычислительных мощностей различных организаций.

На основе технологии Грид Предполагается формирование региональных,

национальных и интернациональных вычислительных компьютерных инфраструктур, предназначенных для решения крупных научно-технических задач.

В идеальном случае пользователя не будет интересовать, где находятся используемые им ресурсы.

О технологии Грид

виртуализация ресурсов — концепция разделения и совместного использования логических и физических устройств в сети.

среда, в которой объединены находящиеся в разных местах глобальной телекомунникационной сети вычислительные ресурсы и которая предназначена для выполнения распределенных приложений, использующих эти ресурсы

технология распределенных вычислений в Интернете впервые серьезно ставится вопрос о гарантированном

качестве обслуживания. новое поколение Интернета.

До До GridGrid

Пользователи из многих центров нуждаются в распределённых ресурсах.

Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных

Различные протоколы и способы доступа – FTP, telnet, кровь, пот и слёзы… и очень слабая поддержка совместной работы в коллаборациях

Вместе с Вместе с Grid Grid

Объединенные сетью центры обработки данных и соответствующее программное обеспечение (”middleware”) - как элемент, “склеивающий” ресурсы

Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения.

Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных

GRID

MIDDLEWARE

Визуализация

Рабочие станции

Мобильный доступ

Суперкомпьютеры,PC-кластеры

Хранилища данных, эксперименты, …

Internet, сети

ППО Грид (ППО Грид (middlewaremiddleware))

Службы Грид (Службы Грид (gLitegLite))

Доступ в Грид

Интерфейс Пользователя

Управление заданиямиУправление данными

Безопасность

Информация и

мониторинг

Служба регистрации

сервисов

Авторизация

Аутентификация

Информационная служба и мониторинг

Каталог

метаданных

Элемент

хранения

Передача

данных

Каталог

файлов и реплик

Вычислительный

элемент

Выбор ресурса и

загрузка заданий

Ресурсыброкер ресурсов

принимает задание от пользователя согласует требования к ресурсам, содержащиеся в

описании задания, с имеющимися в наличии свободными ресурсами и

направляет задание на подходящий сайт.

25

Выбор ресурсаВыбор ресурса

Типы грид-систем с позиций решаемых задач

• Вычислительный Грид для махимальной скорости вычислений за счет распределения задач между различными центрами (Computational Grid);

• Грид для интенсивной обработки огромных массивов данныхданных (Data Grid);

• Семантический Грид для оперирования данными из различных баз данных (Semantic Grid);

Разномасштабные Гриды

Грид “кампуса”

Региональный грид (напр. BalticGrid)

Национальный грид

Международный грид (EGEE)

Ши

ре

сотр

удн

ич

еств

о,

бо

ль

ше

рес

урсо

в

Национальные центры данных, МВЦ, экспериментальные установки

Интситутские данные; кластеры

Международные проекты,..

EGEE проект

EGEE-Enable Grid for E-sciencE

=

Развертывание Грид-инфраструктуры

для науки

Основные цели и задачи проекта EGEE

•Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие

•Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения

•Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований

•Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура,… ) и обеспечить им высокий уровень обучения и поддержки

Участники и ресурсы EGEE

• 237 центров в 45 странах

• ~36 000 CPU

• ~ 5 PB дисковой памяти, + tape

• распределённое управление

• >200 ВО из различных областей науки

98k зад./день

Мониторинг узлов EGEE

Приложения в EGEE

•для экспериментов на ускорителе БАК (ATLAS, CMS, ALICE, LHCb)-LCG

• биомедицина и биоинформатика GATE - медицинская томография и планирование процедур радиотерапииgPTM3D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов,Mammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм GPS@ : портал по биоинформатике, посвящённый различным средствам для анализа белков CDSS - клиническая система поддержки принятия решений моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )

Необходимость ГРИД для БАК

• Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить?

• Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров. Где их взять?

• Ресурсы ЦЕРН уже сейчас составляют более 3000 2-х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Конкорд

(15 Км)

Воздушный шар(30 Км)

Стопка CD дисков с данными БАК за 1 год (~ 20 Км)

Монблан(4.8 Км)

Топология сети для обработки данных с БАК

Проект WISDOM

• Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным

лекарством и белком-мишенью

• Первый в истории биомедицины сеанс массовой обработки данных

• Исследовано 46 миллионов посадочных лиганд

• Получено более 1 Тб данных

• Были использованы ~1000 компьютеров из 15 стран, что составляет приблизительно 80 машино/лет

• Средний фактор ускорения - 600

Domain distribution of Flexx run jobs

es; 5122

fr; 7580

gr; 2004 il; 263 it; 3687

nl; 3356

tw; 827

uk; 8106

bg; 597 com; 1072

de; 715 cy; 383

pl; 1877

ru; 218

ro; 337

Другие области,использующие инфраструктуру EGEE

• Науки о Земле: наблюдения за поверхностью Земли со спутников, гидрология – проникновение морской воды в прибрежный водоносный слой, климатология – прогнозирование наводнений, физика Земли - численное моделирование землетрясений.

• Геофизика (промышленное приложение Geocluster)• Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO)• Термоядерный синтез (проект ITER)• Вычислительная химия (проекты CHARON, CompChem)• Археология• Финансовые приложения (проект EGRID)•……………………………………………………………………………..

(Всего свыше 200 виртуальных организаций)

Проекты с EGEE

EGEE EGEE-II EGEE-III

Проекты,представленные на

конференции EGEE’07

Взаимодействие проекта EGEE с Грид проектами по бизнесу

• EGEE Business Associates Program

Национальные ГРИД инициативы• Англия  UK National Grid Service http://www.ngs.ac.uk• Австрия  Austrian Grid Initiative http://www.austriangrid.at• Бельгия   BEgrid  http://www.begrid.be/• Болгария  Bulgarian Grid Consortium, BGGC, http://www.grid.bas.bg/consortium.htm• Хорватия  CRO-GRID http://www.srce.hr/crogrid/• Чехия  METACentrum http://meta.cesnet.cz• Эстония Estonian Grid, working under Estonian Educational and Research Network (EENet)

http://grid.eenet.ee• Финляндия  CSC – Scientific Computing Ltd., http:// www.csc.fi• Франция  EGEE-FranceGermanyD-Grid, https://www.d-grid.de/index.php?id=1&L=1• Греция   HellasGrid, HG, http:// www.hellasgrid.gr• Ирландия  Grid-Ireland http://www.grid.ie/• Израиль  Israel Academic Grid  (IAG) http://iag.iucc.ac.il• Италия Italian Grid Infrastructure, IGI, http://www.italiangrid.org• Литва   Lithuanian Grid LitGrid http://www.litgrid.lt• Голландия  Netherlands National Science Grid, internally known as BIGGRID project• Норвегия  Norwegian Grid (NorGrid), http:// www.norgrid.no• Польша  PL-Grid,  http://plgrid.cyfronet.pl    (public part in preparation)• Португалия Iniciativa Nacional Grid – INGRID http://www.gridcomputing.pt/• Румыния  RoGrid URL: http:// www.rogrid.ro   (old version)• Россия  Russian Data Intensive Grid (RDIG): http:// www.egee-rdig.ru (?????)• Сербия SerbiaAcademic and Educational Grid Initiative of Serbia AEGIS

http://aegis.phy.bg.ac.yu• Украина Ukrainian Grid, UGrid http://grid.ntu-kpi.kiev.ua/• Швеция  Swedish Grid, SweGrid, http://www.swegrid.se/ and http://www.snic.vr.se/• Турция  TR-Grid National Grid Initiative, TR-Grid NGI http://www.grid.org.tr • Германия(D-initiative)

D-GRID Initiative(Germany)D-Grid1(2005-2008)D-Grid2(2007-2010)

Проекты в рамках D-grid Consortium:– DGI-интеграционный проект;– AeroGrid-аэрокосмическая инженерия;– BauVOGrid-строительная индустрия;– Biz2Grid- для учреждений;– FinGrid- финансы;– PartnerGrid-для промышленности(>40фирм);

-- MediGRID -для медицины

………………………………………………(Всего > 20 проектов).

RDIG(РДИГ -Российский ГРИД для интенсивных операций с данными)

Цели:

- создание национальной ГРИД-инфраструктуры в интересах научного сообщества с участием организаций из различных областей науки, образования и промышленности

- предпринимать усилия по пропаганде ГРИД-технологий и обеспечивать возможность обучения и подготовки специалистов для использования ГРИД-сервисов в новых исследовательских областях и экономике

- обеспечения полномасштабного участия России в создании глобальной компьютерной ГРИД-инфраструктуры

- консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).

Участники РДИГ

Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).

Сейчас в РДИГ (http://www.egee-rdig.ru) входят 15 институтов (в 2003 году - 8)

Распределение CPU time по регионам

Распределение процессорного времени по российским организациям(сайтам)

Распределенный инженерный R&D центр ДМЗ-Камов

Предпосылки:• Необходимость проведения больших и сложных проектных

работ для создания летательных аппаратов нового поколения или глубокой модернизации существующих.

• Недостаток необходимого количества инженеров-конструкторов в любом из существующих ОКБ для проведения всего комплекса .

• Территориальная разбросанность ОКБ.

(из доклада на совещании в Дубне)

Распределенный инженерный R&D центр ДМЗ-Камов

Постановка задачи:• Возможность распределения из одного центра работ по

исполнителям.• Возможность постоянного контроля над ходом выполняемых работ.• Возможность распределенной работы с современными

CAD/CAM/CAE-системами.• Единая база данных.• Доступность данных в любой момент времени.• Защищенность от несанкционированного доступа.• Уникальность и сохранность данных и стадий их разработки

(протоколирование процесса разработки, архивация промежуточных данных).

• Минимальные капиталовложения.• Возможность рекрутинга через привлечение в виртуальные

коллективы студентов и аспирантов. (из доклада на совещании в Дубне)

О внедрении технологии гридв промышленном масштабе

-Обучение основам технологии (ознакомление руководства,изучение

и тренинг для пользователей);

-Создание ГРИД инфраструктуры как распределенного центра коллективного пользования)

- Подготовка приложений для использования технологии в конкретных областях науки, промышленности, бизнеса

Карта сети

РОКСОН в цифрах

1. Подключено: - академических организаций -40, - организаций образования, культуры, ГНЦ- 22.2. Протяженность ВОК составляет: - общая- >80 км - собственность СПбНЦ РАН – ~50км - аренда - ~30км.3. Количество опорных узлов – 7.4. Скорости магистральных каналов – 1000 MBps. 5. Скорости подключения конечных пользователей - 100 MBps

Опорная сеть СПБНЦ

ПИЯФ РАН МСЦ РАН СПИИРАН

Интернет

1000 Mbps1000 Mbps1000 Mbps

1000 Mbps

Пользователи ГРИД

Пользователи ГРИД

Академический Грид в Санкт-Петербурге

Обучение

• Введение в Грид технологию• Практические занятия с пользователями• Обучение администраторов вычислительных ресурсов

организаций

Место проведения:

в организациях (по запросу)

Контакты

• Рябов Юрий Федорович ryabov@pnpi.nw.ru

тел. 88137146076• Новодворский Евгений Григорьевич nevg@pnpi.nw.ru• Олешко Сергей Борисович oleshko@pnpi.nw.ru

Полезные ссылки

• http://www.gridclub.ru/ - GRIDCLUB.RU :: Интернет-портал по грид-технологиям

• http://grid.jinr.ru/ - грид-портал ОИЯИ• http://www.eu-egee.org - проект EGEE-II• http://www.egee-rdig.ru/ - RDIG консорциум• http://rocmon.jinr.ru:8080/accounting/ - мониторинг RDIG• http://egee.sinp.msu.ru - НИИЯФ МГУ• http://egee.pnpi.nw.ru/ - ПИЯФ РАН

Добро пожаловать

работать в ГРИД!

Спасибо за внимание