Grid – вычисления через Интернет

ФИАН, 12.05.2005

Enabling Grids for E-sciencE

http://www.egee-rdig.ru

Grid – вычисления через

ИнтернетВ.А. Ильин (НИИЯФ МГУ)

Марковские чтения, ФИАН, 12 мая 2005

1. Что есть Grid?

2. Немного о networking

3. Grid сейчас – EGEE …

4. LHC Computing Grid (LCG)

где и как Россия?

2


ФИАН, 12.05.2005 В.А. Ильин

Некоторые стартовые замечания …

Grid – не программирование/алгоритмы…, а организация ресурсов, пользователей и ПО (middleware)

Grid – инфраструктура ДЛЯ приложений

(одна для всех и разных)

Grid – сейчас это большая политика в ИТ,

к счастью, не только …

3



Было и есть

Уже есть и будет - ГРИД

Службы

4



Базовые службы Грид

• поиска сервисов Discovery Services• регистрации сервисов Registry

Services• управления именами Name Space

Management Services• аутентификации Authentication

Services• авторизации Authorization Servcies• ресурсов Resource Services• резервирования Reservation

Services• брокера запросов Brokering Services• планирования заданий Scheduling

services

• балансировки загрузки Load Balancing services

• отказоустойчивости Fault Tolerance Services

• событий и оповещений Event and Notification Services

• протоколирования Loggin Services• мониторинга Instrumental and

Monitoring• биллинга Accounting Services• кеширования и репликаций Data

Caches and Data ReplicationServices

• поиска метаданных Metadata Search Services

• транзакций Transaction Services• администрирования Administration

Services

5



Вопросы безопасности(OGSA Security Architecture)

6



Безопасность Грид

• Обеспечение конфиденциальности передаваемой информации

• Обеспечение целостности передаваемой информации (зашита от модификации и искажения)

• Обеспечение подтверждения подлинности объекта доступа к ресурсам

• Обеспечение аутентификации субъектов доступа к ресурсам

Система опирается на использовании цифровых сертификатов (цифровых удостоверений)

7



Некоторые оргвопросыНекоторые оргвопросы

8



Экскурсия в будущее …

9



Экспоненциальный ростЭкспоненциальный рост

• Быстродействие сетей и компьютеров– Скорость компьютеров удваивается каждые 18 месяцев– Скорости сети удваиваются каждые 9 месяцев– Разница = порядок величины за 5 лет

• 1986 до 2000– Компьютеры: x 500– Сети: x 340,000

• 2001 до 2010– Компьютеры: x 60– Сети: x 4000

10



Bandwidth Growth of Int’l HENP Networks Bandwidth Growth of Int’l HENP Networks (US-CERN Example)(US-CERN Example)

Rate of Progress >> Moore’s Law. (US-CERN Example) 9.6 kbps Analog (1985) 64-256 kbps Digital (1989 - 1994) [X 7 – 27] 1.5 Mbps Shared (1990-3; IBM) [X 160] 2 -4 Mbps (1996-1998) [X 200-400] 12-20 Mbps (1999-2000) [X 1.2k-2k] 155-310 Mbps (2001-2) [X 16k – 32k] 622 Mbps (2002-3) [X 65k] 2.5 Gbps (2003-4) [X 250k] 10 Gbps (2005) [X 1M]

A factor of ~1M over a period of 1985-2005 (a factor of ~5k during 1995-2005)

HENP has become a leading applications driver, and also a co-developer of global networks;

11



HENP Major Links Roadmap: Bandwidth in Gbps

Year Production Experimental Remarks

2001 0.155 0.622-2.5 SONET/SDH

2002 0.622 2.5 SONET/SDH DWDM; GigE Integ.

2003 2.5 10 DWDM; 1 + 10 GigE Integration

2005 10 2-4 X 10 Switch; Provisioning

2007 2-4 X 10 ~10 X 10; 40 Gbps

1st Gen. Grids

2009 ~10 X 10 or 1-2 X 40

~5 X 40 or ~20-50 X 10

40 Gbps Switching

2011 ~5 X 40 or

~20 X 10

~25 X 40 or ~100 X 10

2nd Gen Grids Terabit Networks

2013 ~Terabit ~MultiTbps ~Fill One Fiber

Continuing the Trend: ~1000X Bandwidth Growth Per Decade

12



Note 10 Gbps Connections to Poland, Czech

Republic, Hungary

Pan-European Multi-Gigabit Backbone (33 Countries)January 2004

Planning Underway for “GEANT2” (GN2), Multi-Lambda Backbone, started in 2005

13



GLORIAD: Global Optical Ring (US-Ru-Cn)

“Little Gloriad” (OC3) Launched January 2005

Also Important for Intra-Russia Connectivity

14



SCIC Monitoring WG - Throughput Improvements 1995-2004

Bandwidth of TCP < MSS/(RTT*Sqrt(Loss)) (1) 60% annual improvement Factor ~100/10

yr

Progress: but Digital Divide is Mostly Maintained

Some Regions ~5-10 Years

Behind

SE Europe and Parts of Asia

May be Catching Up

(Slowly);

India Ever-Farther Behind

15



Networks, Grids and HENP

Network backbones and major links used by HENP experiments are advancing rapidly

To the 2.5-10G range in < 2 years; much faster than Moore’s Law HENP is learning to use long distance 10 Gbps networks effectively

2003 Developments: to 5.6+ Gbps flows over 11,000 km Transition to a community-owned or leased fibers for R&E has begun

in some areas [us, ca, nl, pl, cz, sk] or is considered [de, ro; IEEAF] End-to-end Capability is Needed, to Reach the Physics Groups:

Removing Regional, Last Mile, Local Bottlenecks and Compromises in Network Quality are now

On the critical path, in all world regions Digital Divide: Network improvements are especially needed

in SE Europe, Latin America, China, Russia, Much of Asia, Africa Work in Concert with Internet2, Terena, APAN, AMPATH;

DataTAG, the Grid projects and the Global Grid Forum

ICFA recomendations:

16



Connectivity with CERN

International links for Russian science today: 155 Mbps Moscow-Stockholm (GEANT) operated by RBNet 2.5 Gbps Moscow-Perersburg-Stockholm operated by RUNNet/RBNet - 1 Gbps to NORDUNet - (GLORIAD) 622 Mbps to Amsterdam (NETHERLight), then to

Chicago (STARLight), to CERN (via SURFNet links), commodity (AMS-IX), …

In April the GEANT2 PoP in Moscow will be opened (FP6).

For specific needs for LHC community in Russia the link 622 Mbps Moscow (M9-IX) – Amsterdam (SURFNet) – CERNwill be available, e.g. for the October LCG Service Challenge.

17



Moscow 1 Gbps (ITEP, KI, SINP, …), sometimes “last mile” problem appears

IHEP 100 Mbps fiber-optic (good plans for 1Gbps)

JINR 45 Mbps (1 Gbps in Q2 2005)

BINP dedicated 45 Mbps GLORIAD (going to Gbps’s)

INR RAS 2 Mbps+2x4Mbps(m/w)

PNPI 2 Mbps (new o/f link to St-Peterburg is under developing)

REGIONAL CONNECTIVITY

Региональные линии связи

18



Site

Site

Запуск заданий в грид

UI RB CE

SE

WN

BDII RLS FS FS

CE

SE

WN

FS FS

UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый серверMyProxy – сервер продление действия сертификата пользователя

19



SiteUI RB CE

SE

WN

BDII RLS FS FS

SiteCE

SE

WN

FS FS

UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый сервер


20



SiteUI RB CE

SE

WN

BDII RLS FS FS

SiteCE

SE

WN

FS FS



21



SiteUI RB CE

SE

WN

BDII RLS FS FS

SiteCE

SE

WN

FS FS



22



SiteUI RB CE

SE

WN

BDII RLS FS FS

SiteCE

SE

WN

FS FS



23



SiteUI RB CE

SE

WN

BDII RLS FS FS

SiteCE

SE

WN

FS FS



24



О проекте EGEE

EGEE – Enabling Grids for E-sciencE

создание глобальной инфраструктуры типа грид для распределенных вычислений и интенсивных операций с данными в научных исследованиях

EGEE – проект EC FP6, апрель 2004 – апрель 2006 ( 2009),

70 команд из 30 стран (Европа, США, Россия),

более 30 ассоциированных партнеров

EGEE сейчас – более 1000 членов коллаборации, более 100 сайтов, ~10 прикладных областей,

в инфраструктуре более 10000 CPU и более 5 Pbyte данных

EGEE – создание грид инфраструктуры (SA1), Grid vs Networking (SA2),

разработка/развитие MW (JRA): Globus2+Condor+EDG+…,

поддержка грид-приложений (NA4), обучение (NA3),

dissemination (NA2)

50%

25%

25%

25



РДИГ

РДИГ – Российский грид для интенсивных операций с данными 8 институтов-участников инфраструктурного проекта EGEE:

ИФВЭ, ИТЭФ, РНЦ КИ,ИПМ РАН, ИМПБ РАН, ПИЯФ РАН,НИИЯФ МГУ, ОИЯИ

РДИГ – национальная федерация в проекте EGEE (всего 12 федераций)

РДИГ – создание российского сегмента глобальной инфраструктуры EGEE: участие в SA1 (все 8 институтов), SA2 (РНЦ КИ), NA2-NA4

РДИГ - полнофункциональная грид инфраструктура – российский грид для науки, также и как полигон для российских разработок в этой области.

РДИГ сейчас – более 100 членов коллаборации, (~) 10 сайтов,

3 (+3) прикладных областей,в инфраструктуре более 300 CPU и ~ 50 Tbyte данных

26



LHC Computing Grid (LCG) – start in Sept 2003

27



Мониторинг EGEE (March 2005)http://goc.grid-support.ac.uk/gridsite/gocmain/

28



Operations (SA1, SA2) Management

29



Структурные элементы

• CIC – Core Infrastructure Center– Обеспечение функционирования базовых грид сервисов 24х7 НИИЯФ МГУ– Мониторинг и реагирование на черезвычайные ситуации ОИЯИ– Ведение учета ресурсов и выполненных работ (accounting) НИИЯФ МГУ,

ОИЯИ– Управление и поддержка виртуальных организаций НИИЯФ МГУ– Поддержка безопасности инфраструктуры, CA РНЦ КИ– Сертификация (валидация) грид ПО ИПМ РАН

• ROC – Regional Operations Center– ИФВЭ, ИТЭФ (user support), ИПМБ РАН, ПИЯФ

• RC – Resource Center (8++)• VO – Virtual Organization

– физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, …

– биомед (ИМПБ РАН ++ EGEE)– российские VOs: e-Earth (геофизика - ИФЗ и ГЦ РАН), fusion

(РНЦ КИ ++), химфизика (Черноголовка, МГУ ++), МГУгрид (НИВЦ, НИИЯФ, ин-т Белозерского, ++), ++

30



РДИГ инфраструктура

ЦБГС (CIC) РОЦ (ROC)

Регистрация ВО

Регистрацияпользователей

Мониторинг

Группа дежурныхпо EGEE

Базовые сервисы

RB BDII MyP RLS ...

CA

Поддержкапользователей

Поддержка РЦ

Регистрацияновых РЦ

Ресурсные центры

IHEP ITEP JINR SINP ...

31



CIC-on-duty

32



Country providing resourcesCountry anticipating joining

In LCG-2: 113 sites, 30 countries >10,000 cpu ~5 PB storage

Includes non-EGEE sites:• 9 countries• 18 sites

Computing Resources: Feb 2005

33



The deployment process

• Key point – a certification process is essential– However, it is expensive (people,

resources, time)– But, this is the only way to deliver

production quality services– LCG-2 was built from a wide

variety of “research” quality code Lots of good ideas, but little

attention to the “mundane” needs of production …

– Building a reliable distributed system is hard –

Must plan for failure, must provide fail-over of services, etc

– Integrating components from different projects is also difficult

Lack of common standards for logging, error recovery, etc

34



Main Differences to LCG-2• Workload Management System works in push and pull mode

• Computing Element moving towards a VO based scheduler guarding the jobs of the VO (reduces load on GRAM)

• Distributed and re-factored file & replica catalogs

• Secure catalogs (based on user DN; VOMS certificates being integrated)

• Scheduled data transfers

• SRM based storage

• Information Services: R-GMA with improved API and registry replication

• Prototypes of additional services– Grid Access Service (GAS)– Package manager– DGAS based accounting system– Job provenance service

• Move towards Web Services

35



New MW: JINR, KIAM RAS, SINP MSU

OGSA/Globus evaluation for data intensive applications

• Based on the experience with OGSA/GT3 evaluation in 2003-2004 (T. Chen et al. “OGSA Globus Tolkit Evaluation Activity at CERN”, in Proc. of ACAT03, NIMA 534 (2004) 80)

• Release of the Globus Toolkit 4 is currently scheduled for April 29, 2005

www-unix.globus.org/toolkit/docs/development/4.0-drafts/GT4Facts

• Therefore: testing/evaluation of other OGSA/WS systems potentially interesting for LCG/EGEE

CERN-INTAS meeting, 14 March 2005, CERN

36



Testing the OMII basic functionality (KIAM RAS+JINR):

Applications must be pre-installed on the (Job Service) server; an execution of

programs prepared on client side is impossible.

No such core services like RB, IS, RC

Management of (grid) accounts is not well scalable, not well suitable for management

of large dynamic VOs

Clients must be installed for each user separately (e.g., not under root)

Failed to deploy a new custom service into the OMII container

Report was submitted to JRA1 and OMII Support The OMII 1.1.1 Job service was found to be robust in a test with 20 concurrent

clients The maximal job submission rate ~ 6 jobs/min no bulk batch mode for job submission --> problem for submitting large number of

jobs The Data Service was found to work stable with up to 5 concurrent clients and a file

size of up to 10MB (no tests beyond this limits yet).

CERN-INTAS meeting, 14 March 2005, CERN

37



(первая новая) VO в РДИГ

• RGStest – для тестирования РДИГ• eEarth – задачи геофизики и космических

исследований, – в частности, интерактивная картография и визуализация научных

данных в Интернет = задачи хранения геофизической информации на параллельном кластере баз данных, интерактивного поиска событий в окружающей среде, и совместной интерактивной визуализации карт (есть более подробное описание задачи – кто будет анализировать?)

– В рамках международных проектов Space Physics Interactive Data Resource (SPIDR) и Integrated Distributed Environmental Archive System (IDEAS), входящих в программу Президиума РАН «Электронная Земля» на базе Геофизического центра и Института физики Земли РАН

– Руководитель VO eEarth - зав. лаб. ИФЗ и ГЦ РАН М.Н. Жижин. – Численность VO в течение ближайшего года ~ 10

38



Fusion Grid: Automatic data processing testbed

Processing of data acquired on nuclear fusion facilities in RRC KI and other clusters.

Experiments are cyclic: ● results of a discharge are

immediately needed for next discharges planning

● but very peakly

To be developed:● Gate between DASSQL data

storage and file clients (on cluster in this example)

● Grid-aware dispatcher

storagedata

DASSQL

data interface:internal recordvs. external file

recoding

Grid CEsWMSRB/

DataAcquisition

DataAcquisition

DataControl

Dispatcher

Grid (WS)

39



EGEE – инфраструктура общего назначения

• РДИГ (+EGEE) – грид инфраструктура для научных исследований

приглашаем новые прикладные области (VO)

• РДИГ (+EGEE) – технологический полигон для – изучения существующего MW– тестирования/развития нового MW– новых архитектурных и инфраструктурных

разработок приглашаем российских разработчиков MW

40



LHCb DCs in Russia

2002 130K events, 1% contribution only one centre (ITEP)

2003 1.3M events, 3% contribution (IHEP, ITEP, JINR, SINP MSU)

2004 9.0M events, 5% contribution started to use LCG

2005 …PNPI and INR RAS are joining…

Site Total Jobs CPU Time (h) Events O.Data (GB) EventsUSA 56 1408 32500 13 0.02%Israel 77 2493 64600 21 0.03%Brasil 247 4489 231355 83 0.12%Switzerland 813 19826 726750 235 0.39%Taiwan 595 8332 757200 216 0.41%Canada 1148 21286 1204200 348 0.65%Poland 1418 24058 1224500 403 0.66%Hungary 1817 31103 1999200 592 1.08%France 5888 135632 4997156 1967 2.69%Netherlands 6408 131273 7811900 2246 4.21%Russia 10059 255324 8999750 3388 4.85%Spain 13378 304433 13687450 4189 7.38%Germany 17101 275037 17732655 6235 9.56%Italy 25626 618359 24836950 7763 13.39%United Kingdom 46580 917874 47535055 14567 25.62%CERN 52940 960470 53708405 18948 28.95%

All Sites 184151 3711397 185549626 61214 100.00%

2004 DCPhase I

41



Forward Proxy

Forward Proxy

RootdProofd

Grid/Root Authentication

Grid Access Control Service

TGrid UI/Queue UI

Proofd Startup

PROOFPROOFClientClient

PROOFPROOFMasterMaster

Slave Registration/ Booking- DB

Site <X>

PROOF PROOF SLAVE SLAVE SERVERSSERVERS

Site APROOF PROOF SLAVE SLAVE

SERVERSSERVERS

Site B LCG

PROOFPROOFSteerSteer

Master Setup

New Elements

Grid Service Interfaces

Grid File/Metadata Catalogue

Client retrieves listof logical file (LFN + MSN)

Booking Requestwith logical file names

“Standard” Proof Session

Slave portsmirrored onMaster host

Optional Site Gateway

Master

ClientGrid-Middleware independend PROOF Setup

Only outgoing connectivity

ALICE: distributed event processing + analysis

42



LCG - Russian Tier2-Cluster

Conception: Cluster of institutional computing centers with Tier2 functionality and summary resource between canonical Tier2-Tier1 figures for each experiment (ALICE, ATLAS, CMS, LHCb)

Basic functions: analysis; simulations; users data supportHost Tier1 in LCG infrastructure: CERN

Participating institutes:Moscow ITEP, SINP MSU, RRC KI, LPI, MEPhI…Moscow region JINR, IHEP, INR RASSt.Petersburg PNPI RAS, St-PSUNovosibirsk BINP SB RAS

43



Russian Institutes to participate in the analysis of ALICE data

N Istitutes Tasks

1 IHEP Direct , 0 , jet & HBT correlations in pp, pA, AA

2 INR RAS Multiplicity in forward detectors, background suppression in the vector meson production

3 ITEP TOF particle identification, charm and beauty production

4 JINR Direct , 0 , jet & HBT correlations in pp, pA, AA.

Resonance production, heavy quarqonia in pA.

5 PNPI Vector meson in the ultra peripheral nuclear collisions

6 RRC KI Direct , 0 , jet & HBT correlations in pp, pA, AA. Deconfinement, disoriented chiral condensates

7 SPbSU Collective properties of hot and dense matter in pp, pA and AA collisions (quark-gluon fusion, long range correlations, strange particles)

44



Computing model for ALICE in Russia

Consortium of Russian sites:

Tier2

RRC KI

SINP MSU

PNPISPbSU

IHEP JINR

INR RAS ITEP

associative

45



Heavy ions Quarkonia and Jet suppression (SINP MSU, LPI, HEPI Tbilisi) Global Observables (JINR, SINP MSU, HEPI Tbilisi) Coherent hard diffractive scattering of nuclei (ErPhI)

Higgs qq qqH qqWW (ITEP, SINP MSU) qqH qqZZ (KIPT) (H → ) + jets (SINP MSU) CP-violation at Higgs sector (SINP MSU) Diffractive Higgs production (IHEP, PNPI)

Standard Model Single top production (IHEP, SINP MSU) Electroweak physics (JINR, GSTU, PHEP Minsk) B-physics (JINR) QCD (JINR, LPI, PNPI) High multiplexity events (LPI) Studies of Proton Diffractive Function (ErPhI)

SUSY and beyond SM High pT muon pairs (JINR) High pT electrons (INR, IHEP) Search for SUSY particles (sleptons) (INR, IHEP) Search for heavy neutrino (INR)

RDMSRDMS in Physics analysis in Physics analysis

46



Итого:

• Концентрация ресурсов• Концентрация усилий• Распределение нагрузок• Организация совместной работы коллективов

НО…

47



Несите Ваши деньги в наш банк!

•Пока Вы спите, Ваш ресурс работает …•Мы приумножим и сохраним Ваш ресурс …

Вы отдали свой ресурс и думаете, что он все еще Ваш?

48



Технологическое обеспечение организации процессов управления ресурсами

• Мониторинг использования ресурсов• Учет использования ресурсов• Система взаимных расчетов (учета вкладов)• Безопасность:

o Идентификацияo Разграничение доступаo Защита от неправомерных действийo Контроль за соблюдением регламентов… и еще кое-что …

Вот тогда -

49



• Концентрация ресурсов• Концентрация усилий• Распределение нагрузок• Организация совместной работы коллективов

НО…

Светлое будущее и всеобщее благоденствие!

Documents

Grid – вычисления через Интернет