О технологии GRIDи

её применении в ФВЭ

Ю.Ф.РябовПетербургский институт ядерной физики

им.Б.П.Константинова РАН(ПИЯФ РАН)

.

• Предпосылки появления технологии ГРИД• Сущность технологии Грид• Ресурсы Грид• Состав управляющего программного обеспечения

Грид• Области применения Грид• Грид проекты• Всемирная научная ГРИД- инфраструктура (проект

EGEE/LCG) и участие в нем РФ• Грид для обработки данных с ускорителя БАК(LHC)

в ЦЕРНе

Содержание

“GRID” - некоторая аналогия с электрическими сетями (power grid),

предоставляющими всеобщий доступ к электрической мощности.

Обеспечивает доступ пользователей к Обеспечивает доступ пользователей к распределенным вычислительным ресурсамраспределенным вычислительным ресурсам

и архивам данныхи архивам данных

Интернет с помощью Интернет с помощью WEB-WEB-технологиитехнологииобеспечивает доступ только к информационным обеспечивает доступ только к информационным

ресурсам(серверам)ресурсам(серверам)

Что такое Грид?

- Необходимостью решения сложных научных,

производственных,инженерных и бизнес-задач.

- Ростом объемов данных,которые нужно обрабатывать.

- Наличием во многих организациях вычислительных

ресурсов.

- Стремительным развитием сетевой транспортной среды и

технологий высокоскоростной передачи данных.

- Развитием сотрудничества для совместных исследований

на уровне организаций,стран

Предпосылки появления Грид технологии

Объединенные сетью

центры обработки данных и соответствующее

программное обеспечение

”middleware” как элемент,

связывающий ресурсы

Концепция технологии Грид

Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения.

Научные инструменты и эксперименты поставляют

огромные массивы данных

Что такое Грид?

8

Грид это концепции и технологии концепции и технологии интеграцииинтеграции расположенных в разных местах телекоммуникационной сети (т.е. распределенных)

вычислительных систем вычислительных систем для обеспечения более эффективного использования

вычислительных ресурсов для решения прикладных задач

Грид это доступ пользователей к этим вычислительным систем осуществляемый через единый интерфейс с использованием протоколов разного уровня

ПредпосылкиУровни архитектуры протоколов ГридУр

овни

про

токо

лов

ГРИ

ДУр

овни

про

токо

лов

ГРИ

Д

ПрикладнойПрикладнойПрикладнойПрикладной

КоллективныйКоллективныйКоллективныйКоллективный

РесурсныйРесурсныйРесурсныйРесурсный

СвязывающийСвязывающийСвязывающийСвязывающий

БазовыйБазовыйБазовыйБазовый

ПрикладнойПрикладнойПрикладнойПрикладной

Уров

ни п

рото

коло

в И

нтер

нет

Уров

ни п

рото

коло

в И

нтер

нет

ТранспортныйТранспортныйТранспортныйТранспортный

СетевойСетевойСетевойСетевой

КанальныйКанальныйКанальныйКанальный

и их соответствие уровням архитектуры протоколов Интернет

Грид это географически распределенная вычислительная инфраструктура,объединяющая ресурсы различных типов с коллективным доступом к этим ресурсам в рамках Виртуальных

организаций,состоящих из предприятий и специалистов.совместно использующих эти ресурсы

Что такое Грид

Виртуальная организация Виртуальная организация представляет собой новую форму проблемно – ориентированной кооперации

предприятий,предприятий, научных центров,научных центров, образовательных учреждений,образовательных учреждений, а так же отдельных пользователейа так же отдельных пользователей,

осуществляемую на основе совместного использованиясовместного использования

принадлежащих им интеллектуальных, интеллектуальных, программных,программных,информационных и информационных и аппаратных ресурсоваппаратных ресурсов.

Виртуальные организации

• Информационные ресурсы особый вид ресурсов памяти, служат для хранения и предоставления

метаданных и информации о других ресурсах ГРИД

ГРИД - системы работают со следующими типами ресурсов:

• Вычислительные ресурсы - компьютеры, кластерыОсновная характеристика – производительность

• Ресурсы хранения данных диски и дисковые массивы, ленты, системы массового хранения

Основная характеристика – объем

• Сетевые ресурсы связующее звено между распределенными ресурсами ГРИД

Основная характеристика – скорость передачи данных

• Программное обеспечение ( базовое,промежуточного уровня- middleware, прикладное)

Ресурсы

ПО промежуточного уровня(middleware)

РесурсыВиртуальные организации

MiddlewareБезопасностьПриложение

GRID

MIDDLEWARE

Визуализация

Рабочие станции

Мобильный доступ

Суперкомпьютера, PC-кластеры

Хранилища данных, эксперименты, …

Internet, сети

Обеспечивает общие услуги Grid

Управление ЗаданиямиУправление ДаннымиБезопасностьРегистрацияМониторинг

Middleware

•Аутентификация (вход в ГРИД) Пользователь получает сертификат от

Certificate Authorities (CA) Соединяется с UI по SSH (UI – сервис

пользовательского интерфейса) Загружает сертификат на UI “Входит” в Грид

•Авторизация (права доступа к ресурсам)

Пользователь вступает в ВО ВО согласовывает доступ к Грид-узлам

и ресурсам Права пользователя определяются его

членством в ВО

UI

CA

VO mgr

Ежегодно

VO database

Определяет права доступа

VO service

Ежедневно

Доступ пользователя для работы в Грид

Пользовательский интерфейс (UI)

Элементы Грид

принимает задание от пользователя согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и направляет задание на подходящий сайт.

обеспечивает единообразный доступ к любым накопителям данных.может управлять дисковыми массивами, массовой памятью и т.п. скрывает детали и обеспечивает единообразный доступ к данным.

выполняет фактические вычисления, на нем установлено программное обеспечение для выполнения заданий конечных пользователей.

поддерживает базу данных о местах хранения оригинальных файлов и всех их копий.

Элемент хранения (SE)

Каталог реплик (RC)

Брокер ресурсов (RB)Вычислительный элемент (CE)

Служба информации (IS)поддерживает базу данных о характеристиках и состоянии вычислительных ресурсов и ресурсов хранения данных

обеспечивает для пользователя возможность входа в ГРИД.

Гриды учреждений

Национальный Грид

Региональный Грид

Международный Грид(EGEE)

Wid

er c

oll

abo

rati

on

g

reat

er r

eso

urc

es

Отдельный компьютер

Масштабы Грид-структур

Проекты Грид

• Более 90 партнёров

• 36 стран

• 12 федераций

Ведущие международные и национальные Грид проекты в Европе, США, Азии

+ 27 стран, участвующих в партнёрских проектах: BalticGrid SEE-GRID EUMedGrid EUChinaGrid EELA

EGEE-II: Участники и ресурсы

EGEE/LCG-2 грид: 160 центров, 36 стран >15,000 процессоров, ~5 PB памятиДругие национальные и региональные гриды: ~60 центров, ~6,000 процессоров

Страны - поставщики ресурсов Страны, готовые вступить

страна центры страна центры страна центрыАвстрия 2 Индия 1 Россия 10Бельгия 1 Израиль 2 Сингапур 1Болгария 4 Италия 25 Словакия 3Канада 6 Япония 1 Словения 1Китай 1 Корея 1 Испания 13Хорватия 1 Нидерланды 2 Швеция 2Кипр 1 Македония 1 Швейцария 2Чехия 2 Пакистан 2 Тайвань 4Франция 8 Польша 4 Турция 1

Германия 8 Португалия 1Великобритания иИрландия

35

Греция 6 Пуэрто Рико 1 США 3Венгрия 1 Румыния 1 Югославия 1

Проект EGEE-II (Enable Grid for E-science)

• В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности.

• Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).

• Главной задачей РДИГ является участие в обработке данных с Большого Андронного Коллайдера(БАК)

Участие России в проекте EGEE

• ИФВЭ (Институт физики высоких энергий, Протвино)

• ИМПБ РАН (Институт математических проблем биологии, Пущино)

• ИТЭФ (Институт теоретической и экспериментальной физики)

• ОИЯИ (Объединенный институт ядерных исследований, Дубна)

• ИПМ РАН (Институт прикладной математики)

• ПИЯФ РАН (Петербургский институт ядерной физики, Гатчина)

• РНЦ КИ (Российский научный центр «Курчатовский институт»)

• НИИЯФ МГУ (Научно-исследовательский институт ядерной физики МГУ)

• СПбГУ (Санкт-Петербургский государственный университет)

• НГУ (Новгородский государственный университет)

RDIG Consortium-EGEE federation

PNPI

ITEP

IHEP

RRC KI

SPbSU

JINR

SINP MSU

RRC-LHC

LCG Tier1/Tier2cloud

CERN

…

1Gbits/s

FZK

Regional connectivity:

cloud backbone –1 Gbit’s/s

to labs – 100–1000 Mbit/s

Collaborative centers

Tier2cluster

GRID access

Российский региональный центр

Операционный центр управления (OMС)

-ЦЕРН - общая координацияЦентры базовой инфраструктуры (CIC) - 5 центров (Великобритания, Франция, ЦЕРН, Италия, Россия)

-обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы;-реализация и контроль за

выполнением правил, выработанных OMS-обеспечение поддержки узлов 2-го уровня

Региональные операционные центры (ROC) ~ 11 центров

-поддержка пользователей и администраторов ресурсов-координация региональных

ресурсов

Управление ГРИД EGEE/LCG

CIC

CICCIC

CICCIC

CICCIC

CICCIC

CICCIC

RCRC

RCRC RCRC

RCRC

RCRC

ROCROC

RCRC

RCRC

RCRCRCRC

RCRCRCRC

ROCROC

RCRC

RCRC RCRC

RCRC

RCRC

ROCROC

RCRC

RCRC

RCRC

RCRC

ROCROC

OMCOMC

OMC-операционный центр управления

CIC- центр базовой инфраструктуры

RC = Resource Centre

Ресурсные центры

Мониторинг узлов EGEE/LCG

Физика высоких энергий симуляция, реконструкция, анализ, …

Медицина / Здравоохранение отображение, диагностика и лечение

Биоинформатика геном человека, …

Нанотехнологии разработка новых материалов на молекулярном уровнe,

…

Инженерия авиационная безопасность, …

Природные ресурсы и Окружающая среда прогноз погоды, …

Искусство

Материаловедение

Примеры

Биомедицина

Филогенетика Статистическа генетика Паразитология Маммология …

Искусство

Сканер Thomson

Музей виртуального искусства El Pais (MUVA) http://www3.diarioelpais.com/muva/

• Индустриальный подход к созданию установок

• Уникальность экспериментальной базы

• Масштабность экспериментов

• Дороговизна создания установок и проведения экспериментов

• Международный характер исследований

• Длительность работы экспериментальных установок

• Огромный объем экспериментальных данных

• Фундаментальность научных целей

Об экспериментах в ФВЭ

• Крупнейший в мире исследовательский центр по ФВЭ

• Работают представители ~500 университетов и институтов (штат~2500чел.,6500 визитеров из ~40 стран)

• Сделано много открытий и разработано много новых технологии, включая WWW.

• Расположен на границе Щвейцарии-Франции

О ЦЕРНе (CERN)

Europe: 267 institutes4603 users

Elsewhere: 208 institutes1632 users

LHC Computing uniting the computing resources of particle physicists in the

world!  

CERN has over 6,000 users from ~500 institutes from around the world

CERN Collaborators

Большой адронный коллайдер

View of LHC @ CERNView of LHC @ CERN ATLAS ATLAS

AA TToroidaLL AApparatuSS for LHC

Эксперимент ATLAS

Диаметр 25 м Длина 46 мВес 7000 тоннУчастники создания: 150 институтов и

университетов из 34 стран

Детектор ATLAS

Космологические цели

• Что такое масса?

• Что такое “темная материя”?

• Куда исчезла антиматерия?

Какие открытия ожидают от экспериментов?

• Суперпартнеры (открытие суперсимметрии) - вероятность 50%

• Черные дыры (mini) - вероятность 5%

• Higgs Boson (новая частица в рамках “стандартной модели”)

Научные цели экспериментов на БАК

Цель обработки данных БАК

Начиная с такого события…

Мы ищем вот такой “след”

Избирательность: 1 из 1013

Это как искать человека среди толпы в тысячу раз больше, чем население Земли!

Или как иголку в 20 миллионах стогах сена!

• 40 000 000 столкновений в секунду

• После фильтрации, остаётся только 100 событий в секунду

• Объём оцифрованных данных для одного события ~ 1Мб

• За год необходимо записать 1010 событий = 10 Петабайт данных в год

1 Мегабайт (1MB) Цифровая фотография

1 Гигабайт (1GB) = 1000MB DVD фильм

1 Терабайт (1TB) = 1000GB Объём всех книг, изданных за год в мире

1 Петабайт (1PB) = 1000TB Производит за год один эксперимент БАК

1 Экзобайт (1EB) = 1000 PB Объём информации, которую производит за год всё человечество

CMS LHCb ATLAS ALICE

Данные БАК

• Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить?

• Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров. Где их взять?

• Ресурсы ЦЕРН уже сейчас составляют более 1000 2-х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!!

Выход – объединение вычислительных ресурсов физиков всего мира

Конкорд(15 Км)

Воздушный шар(30 Км)

Стопка CD дисков с данными БАК за 1 год (~ 20 Км)

Монблан(4.8 Км)

Необходимость ГРИД для БАК

Online system

Tier 0

Tier 1

Tier 2

Tier 3

Offline farm

Церн вычисл.центр

. .

Tier2 Center Tier2 Center Tier2 Center

InstituteB InstituteA

. . .workstation

Regional Center

Regional Center

Regional Center

recorded data

Модель обработки данных

Топология сети для обработки данных БАК

Распределение CPU time в EGEE/LCG по VO

Распределение CPU time в EGEE/LCG по ВО

Распределение CPU time по регионам

Активность RDIG в EGEE/LCG за 2006г.

Активность RDIG в EGEE/LCG за 2006г.

• Обеспечение работы кластера в Грид-структуре EGEE/LCG (в состав кластера входят свыше 100 процессоров)

• Тестирование ПО промежуточного уровня -g-Lite (stress- tests)

• Поддержка прикладного ПО всех (4-х) БАК экспериментов

• Обеспечение работы в ВО nw_ru для обучения (работа в Грид) и счета вне коллабораций

Направление работ по EGEE/LCG в ПИЯФ

… then where are we now?

If “The Grid” vision leads us here…

Полезные ссылки

• http://www.gridclub.ru/ - Интернет-портал по грид- технологиям

• http://grid.jinr.ru/ - грид-портал ОИЯИ

• http://www.eu-egee.org - проект EGEE-II

• http://www.egee-rdig.ru/ - RDIG консорциум

• http://rocmon.jinr.ru:8080/accounting/ - мониторинг RDIG

• http://egee.sinp.msu.ru/gateway/index.php - НИИЯФ МГУ

• http://egee.pnpi.nw.ru/ - ПИЯФ РАН

Спасибо за внимание