Участие ОИЯИ в проектах LCG, EGEE

Кореньков В.В.

Рабочее совещание по проекту «Дубна-Грид», посвященное 75-летию Н.Н. Говоруна

21 июля 2005 года

LHC in the LEP Tunnel Counter circulating beams of protons in the same beampipe.

Centre of mass collision energy of 14 TeV. 1000 superconducting bending magnets, each 13 metres long, field 8.4 Tesla.

Super-fluid Helium cooled to 1.90 K

World’s largest superconducting structure

Online systemOnline system

• Multi-level trigger• Filter out background• Reduce data volume• Online reduction 107

• Trigger menus • Select interesting events • Filter out less interesting

level 1 - special hardware

40 MHz (40 TB/sec)level 2 - embedded processors

level 3 - PCs

75 KHz (75 GB/sec)5 KHz (5 GB/sec)100 Hz(100 MB/sec)Data recording &offline analysis

В эксперименте CMS поток данных с детек-тора уменьшается с 40TB/sec (1TB=1012

Bytes) на входе триггера первого уровня до 100MB/sec на выходе триггера третьего уров-ня. С такой скоростью данные будут записы-ваться на магнитную ленту или, возможно, на диски в течении нескольких лет для последующего анализа.

Российский региональный центр: the DataGrid cloud

PNPI

IHEP

RRC KI

ITEP

JINR

SINP MSU

Возможности ГРИД технологии

RRC-LHC

LCG Tier1/Tier2cloud

CERN

…

Gbits/s

FZK

Regional connectivity:

cloud backbone – Gbit’s/s

to labs – 100–1000 Mbit/s

Collaborative centers

Tier2cluster

GRID access

LHC Computing Grid Project (LCG)LHC Computing Grid Project (LCG)

Основной задачей проекта LCG является создание глобальной инфраструктуры региональных центров

для обработки, хранения и анализа данных физических экспериментов LHC.

Новейшие технологии GRID являются основой построения этой инфраструктуры.

Проект LCG осуществляется в две фазы. 1 фаза (2001-2005 гг.) - создание прототипа и разработка проекта системы (LCG TDR). 2 фаза (2005-2007 гг.) - создание инфраструктуры LCG, готовой к обработке, хранению и анализу данных на момент начала работы ускорителя в 2007 году.

Участие российских институтов в проектах LCG/EGEE

LHC Computing Grid Project LHC Computing Grid Project (LCG)(LCG)

В 2003 году подписан протокол между правительством России, CERN и ОИЯИ об участии в проекте LCG.

По этому соглашению Россия и ОИЯИ берет на себя в ответственность за следующие задачи:

- тестирование всех (внешних или разработанных внутри LCG) программных средств GRID, принятых для внедрения в инфраструктуру LCG;

- программы запуска, сопровождения, мониторинга, инсталляции генераторов событий (Events Database, Repository of generators);

- участие в оценке новых технологий GRID, появляющихся в мире, для использования в LCG (Globus toolkit 3, industrial GRID software)

LHC Computing Grid Project (LCG)LHC Computing Grid Project (LCG)

Основные результаты участия ОИЯИ в 2003 году:

– Создание инструментальных средств, тестовых пакетов и инфраструктуры для испытания программного обеспечения LCG.

– Создан тестовый полигон (названный “Beryllium”) для функциональных испытаний базовых компонент EU DataGRID в архитектурной среде OGSA (Globus Toolkit 3), основанной на технологиях Java и XML с использованием транспортного протокола высшего уровня SOAP. Выполнена работа по созданию инструментов для измерения производительности пакета Globus Toolkit 3 в условиях высокой загрузки и параллелизма.

– Разработана концепция и создано программное обеспечение для библиотеки Монте-Карло генераторов, названного GENSER, общего для всех четырех экспериментов LHC (lcgapp.cern.ch/project/simu/generator/).

LHC Computing Grid Project (LCG)LHC Computing Grid Project (LCG)

Задачи на 2004 и 2005 годы: • LCG Deployment and Operation• LCG Test suit• Castor• LCG AA- Genser&MCDB• ARDA

Основные результаты по проекту LCG в 2004 и 2005 году

1) Развитие системы G2G(GoToGrid) для поддержки инсталляции и настройки сайта LCG.

2) Участие в развитии системы CASTOR: разработка служебного модуля для выполнения функции сборщика мусора.

3) Разработка структуры базы данных, создание набор базовых модулей, разработка WEB-интерфейс для создания/добавления в базу данных статей (описания файлов с событиями и связанных с ними объектов) http://mcdb.cern.ch

4) Проведение тестов проверки надежности передачи данных по протоколу GidFTP, реализованного в пакете Globus Toolkit 3.0.

5) Тестирование компонентов EGEE middleware (gLite): Metadata catalog (каталог метаданных), Fireman catalog (комбинированный файловый и реплика каталог)

6) Разработка программы постоянного мониторинга WMS (Workload Management System) сайта INFN gundam.cnaf.infn.it в испытательном полигоне (testbed) для middleware GLite.

EGEE (Enabling Grids for E-sciencE)

Цель проекта EGEE - создание Грид инфраструктуры по всей Европе, доступной 24 часа в сутки.

Ключевые направления проекта:- формирование согласованной, устойчивой и защищённой

вычислительной сети;

- совершенствование программных средств middleware с целью обеспечения надежного обслуживания пользователей;

- привлечение новых пользователей из других сфер деятельности и обеспечение им высокого стандарта обучения и поддержки.

Russian Data Intensive GRID

(RDIG) Consortium

EGEE Federation

Eight Institutes made up the consortium RDIG (Russian Data Intensive GRID) as a national federation in the EGEE project. They are: IHEP - Institute of High Energy Physics (Protvino), IMPB RAS - Institute of Mathematical Problems in Biology (Pushchino), ITEP - Institute of Theoretical and Experimental Physics (Moscow), JINR - Joint Institute of Nuclear Physics , KIAM RAS - Keldysh Institute of Applied Mathematics, PNPI - Petersburg Nuclear Physics Institute (Gatchina), RRC KI - Russian Research Center “Kurchatov Institute”, SINP-MSU - Skobeltsyn Institute of Nuclear Physics (MSU).

МЕМОРАНДУМо создании в России компьютерной

инфраструктуры GRID

В целях обеспечения полномасштабного участия России в проекте создания глобальной (паневропейской) компьютерной инфраструктуры типа ГРИД – EGEE (Enabling Grids for E-science in Europe), принятом к финансированию летом 2003 года Европейской Комиссией (6-я Рамочная программа, проект 508833), и реализации отечественных приоритетов в этом международном проекте, нижеподписавшиеся Институты, участвующие в данном проекте, образовали консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности…

Russian Contribution to EGEE

RDIG as an operational and functional part of EGEE infrastructure (CIC, ROC, RC).

Activities:

SA1 - European Grid Operations, Support and Management

SA2 – Network Resource Provision

NA2 – Dissemination and Outreach

NA3 – User Training and Induction

NA4 - Application Identification and Support

JINR role and work in EGEE

• SA1 - European Grid Operations, Support and Management EGEE-RDIG monitoring and accounting. Middleware deployment and

resource induction. Participation in the OMII and GT4 evaluation and in the gLite testing.

LCG SC activity coordination in Russia.

• NA2 - Dissemination and Outreach Coordination of this activity in Russia, organization of EGEE RDIG

Conference, Creation and run the RDIG Web site (http://www.egee-rdig.ru), dissemination in JINR Member states.

• NA3 - User Training and Induction Organization of grid tutorials, induction courses and training courses for

administrators.

• NA4 - Application Identification and Support Coordination of this activity in Russia, organization of HEP applications

in Russia through the EGEE infrastructure.

RDIG мониторинг в ОИЯИ http://rocmon.jinr.ru:8080

Federating Worldwide Resources for the LHC