Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space

Polish InfrastructurePolish InfrastructureFor Supporting Computational ScienceFor Supporting Computational Science

in the European Research Spacein the European Research Space

Development of Polish Grid Development of Polish Grid Infrastructure - PL-Grid - in the Infrastructure - PL-Grid - in the

European Research SpaceEuropean Research Space

Jacek Kitowski and Łukasz DutkaACK CYFRONET AGH, Cracow

Institute of Computer Science AGH-UST

in collaboration with

Partners of PL-Grid Consortium

Konferencja Użytkowników Komputerów Dużej Mocy, ACK CYFRONET-AGHZakopane 18-19.03.2010

Narodowa Inicjatywa Gridowa w Polsce Motywacja – e-Science, Science 2.0 Uzasadnienie i Podstawy Stan Zaawansowania

Projekt PL-Grid – Rezultaty Podsumowanie

Plan wystąpieniaPlan wystąpienia

Działania integracyjne zachodzące w Europie w ramach European Grid Initiative

Badania naukowe: Teoretyczne Doświadczalne W komputerze

W komputerze (in silico) Zaawansowane, rozproszone obliczenia Wieloskalowe i wielodyscyplinarne Odnoszą się do zjawisk o ekstremalnych

skalach czasowo-przestrzennych Wymagające postępów w zakresie

informatyki i nauk obliczeniowych Realizowane przez międzynarodowe

zespoły badawcze we współpracy

Podejście e-Science: Science 2.0Podejście e-Science: Science 2.0

ACK: David de Roure, http://www.soton.ac.uk/~dder/talks.html

Oczekiwania ze strony środowisk naukowychOczekiwania ze strony środowisk naukowych

4

e-Infrastructures in Europe: Research Network infrastructure:

GEANT pan-European network interconnecting National Research and Education Networks

Computing Grid Infrastructure: Enabling Grids for E-SciencE (EGEE project) Transition to the sustainable European Grid

Initiative (EGI) currently worked out through EGI_DS project

Data & Knowledge Infrastructure: Digital Libraries (DILIGENT) and repositories (DRIVER-II)

A series of other projects : Middleware interoperation, applications, policy and support

actions, etc.

Cyber-Infrastructures around the world: Similar in US and Asia Pacific

Research e-Infrastructures

ACK: Fabrizio Gagliardi, Microsoft, ICCS 2008

Explosion of Data

Experiments Archives LiteratureSimulations

PetabytesDoubling every

2 years

ACK: Fabrizio Gagliardi, Microsoft, ICCS 2008

Petascale is coming

BlueGene/L, 596 TFlops peak, Low power, cheap processors

Earth Simulator, 35 TFlops peakVector processing

Jaguar / Franklin, 120 / 100 TFlops peak, Vector processing

Roadrunner, 1457 TFlops peak, Heterogeneous / PowerXCell 8iAMD Opteron DC 1.8GHzBE 3.2GHz (12.8 Gflops)

ACK: Hank Childs, Lawrence Livermore National Laboratory, ICCS 2008

129600 cores

212992 cores

TOP500, Nov.2008

ACK: F. Gagliardi

Zasoby – Usługi Obliczeniowe Dane Infrastruktura

Konsorcjum utworzone w styczniu 2007 jako odpowiedź na potrzeby polskiej społeczności naukowej i bieżących aktywności gridowych w Europie w ramach EGI_DS.

Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe, koordynowane przez ACK Cyfronet AGH

Cele dzialalności Konsorcjum: Dostarczenie polskiej społeczności naukowej usług informatycznych, służących

e-Science .Utworzenie stabilnej infrastruktury obliczeniowej kompatybilnej z gridem europejskim i światowym.

Rozwój specjalizowanych narzędzi i usług dla różnych dziedzin nauki i aplikacji Wchodzi w skład EGI (European Grid Initiative) jako Polish NGI (NGI_PL) Członkowie EGI Council nominowani przez MNiSW:

Prof. K. Wiatr, Prof. M. Turała Członkowie EGI Executive Board z wyboru:

Prof. M. Turała Członkowie grona ekspertów w F3 EU

„Research Infrastructure” nominowani przez MNiSW: Prof. J. Kitowski

Uczestnictwo w projektach: EU (FP6, FP7, EGI InSPIRE….), PO IG

Konsorcjum PL-GridKonsorcjum PL-Grid

Projekt PL-Grid Konsorcjum realizuje Projekt PL-Grid:

„„Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej” – PL-Grid

Projekt jest współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka.

Czas trwania Projektu: 01.01.2009 – 31.12.2012 Beneficjent:

Akademickie Centrum Komputerowe CYFRONET AGH Numer umowy: POIG.02.03.00-00-007/08 Project website: www.plgrid.pl

Projekt PL-Grid jest podzielony na kilka zadań

Planowana realizacja celówPlanowana realizacja celów

Główne wskaźniki projektu: • Moc obliczeniowa: 215 Tflops • Pamięć dyskowa: 2500 TB



Pakiet Pakiet 22: : InfrastrukturaInfrastruktura

Główne osiągnięcia Pakietu Główne osiągnięcia Pakietu 22

Rafał Tylman Rafał Tylman TASKTASK

9

WP 2 - InfrastrukturaWP 2 - Infrastruktura

CYFRONET, ICM, PCSS infrastruktury zasilająca i chłodząca gotowe na przyjęcie serwerów i pamięci masowych

WCSS końcowy etap instalacji infrastruktury zasilającej i chłodzącej

TASK faza końcowa procedur przetargowych infrastruktury zasilającej i chłodzącej

Serwery i Pamięć Masowa Systemy do wdrożenia w I połowie roku:

CYFRONET – zakończony arbitraż ICM – zakończony arbitraż PCSS – dostawa w trakcie realizacji

Systemy do wdrożenia w II połowie roku: WCSS – właśnie startuje procedura przetargowa TASK – przygotowanie procedury przetargowej (start maj)

Trwają przygotowania do instalacji systemów oraz uzgadniane są pakiety aplikacji do instalacji w pierwszym etapie. Pierwsze serwery PL-Grid gotowe na przyjęcie użytkowników już wkrótce.



Pakiet Pakiet 33: : Centrum OperacyjneCentrum OperacyjneGłówne osiągnięcia Pakietu Główne osiągnięcia Pakietu 33

Centrum Operacyjne PL-Grid a UżytkownicyCentrum Operacyjne PL-Grid a Użytkownicy

Marcin RadeckiMarcin Radecki

ACK Cyfronet AGHACK Cyfronet AGH

11

Usługi Centrum Operacyjnego dla UżytkownikówUsługi Centrum Operacyjnego dla Użytkowników

Centrum Operacyjne dąży do ułatwienia dostępu do infrastruktury poprzez prostsze procedury oraz wdrożenie przydatnych narzędzi:

System rejestracji i zarządzania kontem użytkownika PL-Grid• dostępny pod adresem https://konto.plgrid.pl/• wymagany wpis w bazie OPI bądź potwierdzenie opiekuna naukowego• gridowy dostęp do zasobów PL-Grid

5 ośrodków – gLite 1 ośrodek - UNICORE

• lokalny dostęp do sytemu kolejkowego klaster „zeus” w ACK CYFRONET AGH

• możliwość aplikowania o certyfikat gridowy on-line (wkrótce)• aplikowanie o dostęp do usług obliczeniowych w innych ośrodkach (wkrótce)

System pomocy „Helpdesk PL-Grid”• umożliwia zgłaszanie i śledzenie usterek• dostępny pod adresem https://helpdesk.plgrid.pl• dostęp również poprzez interfejs e-mail: [email protected]• dokumentacja: https://wiki.plgrid.pl/doku.php?id=pakiet5:publiczne:podrecznik_uzytkownika_pl-grid →

System Pomocy Helpdesk

https://konto.plgrid.pl/

https://helpdesk.plgrid.pl/

mailto:[email protected]

https://wiki.plgrid.pl/doku.php?id=pakiet5:publiczne:podrecznik_uzytkownika_pl-grid

12

Centrum Operacyjnego dla UżytkownikówCentrum Operacyjnego dla Użytkowników Centrum Operacyjne dba o poprawne działanie infrastruktury dla użytkowników PL-

Grid poprzez pro-aktywne monitorowanie elementów infrastruktury dostępności usług infrastrukturalnych aplikacji obliczeniowych wspieranych przez PL-Grid

Zapewnienie zgodności infrastruktury PL-Grid z europejską (EGI) oprogramowanie procedury operacyjne procedury bezpieczeństwa

Zaawansowane prace nad koncepcją „grantów PL-Grid” Integracja prezentacji danych dotyczących wykorzystania zasobów dla użytkownika Prace nad wprowadzeniem zintegrowanego portalu użytkownika



Pakiet 4: RozwPakiet 4: Rozwójój oprogramowania oprogramowania e-infrastruktury i narzędzi użytkownikae-infrastruktury i narzędzi użytkownika

Główne osiągnięcia Pakietu 4Główne osiągnięcia Pakietu 4

Krzysztof KurowskiKrzysztof Kurowski

Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)

Główne osiągnięcia Pakietu 4go - Nowa infrastrukturaGłówne osiągnięcia Pakietu 4go - Nowa infrastruktura Stworzenie infrastruktury rozwojowej łączącej zasoby obliczeniowe wszystkich 5

ośrodków superkomputerowych w kraju Bliska współpraca 8 grup programistyczno-testowych, około 20 osób Instalacja oraz udostępnienie do celów testowych środowiska warstwy pośredniej

gLlite, Unicore oraz QosCosGrid - zakończonie około 70 zadań Około 30 różnych konfiguracji wirtualnych maszyn z zainstalowanym

oprogramowaniem wykorzystywanych do celów rozwojowych i testowych nowych narzędzi dla użytkowników - zakończony wybór technologii

Testy funkcjonalne, zgodności oraz wydajnościowe wybranych pakietów oprogramowania badawczego celem przeprowadzenia wdrożenia oraz wsparcia na poziomie produkcyjnym nowych narzędzi i usług

Główne osiągnięcia Pakietu 4go - Nowe narzędzia i usługiGłówne osiągnięcia Pakietu 4go - Nowe narzędzia i usługi

Rozbudowa śrdowiska GridSpace o zestaw nowych funkcji, wsparcie dla nowych skryptów oraz integracja z nowymi usługami gridowymi

Implementacja i udostępnienie zaawansowanych interfejsów graficznych, wizualizacji oraz zarządzania zadań i danych dla wybranych aplikacji nowych użytkowników z wykorzystaniem Vine Toolkit

Testy wydajnościowe i funkcjonalne usług warstwy pośredniej QosCosGrid oraz integracja na poziomie systemów kolejkowych z infrastrukturą gLilte i Unicore

Integracja narzędzi Migrating Desktop oraz gEclipse z różnymi usługami warstwy pośredniej w PL-GRID

Plan rozbudowy oraz wdrożenia nowych narzędzi FiVO do zarządzania i monitorowania wirtualnych organizacji

Testowe wersje narzędzi dla użytkowników oraz administratorów systemów: Bazzar, mobilny dostęp do infrastruktury, nowe aplikacje bezpieczeństwa

Integracja wybranych narzędzi oraz aplikacji web’owych ze środowiskiem portalowym Liferay i systemem monitorowania Nagios

Główne osiągnięcia Pakietu 4go - nowi użytkownicyGłówne osiągnięcia Pakietu 4go - nowi użytkownicy Bezpośredni kontakt z nowymi użytkownikami na podstawie ogólnopolskiej ankiety

dostępnej pod adresem: www.plgrid.pl/ankieta Wymagania polskich użytkowników (wyniki ~100 ankiet) uwzględniane w nowych

aplikacjach, narzędziach oraz usługach rozwijanych i testowanych w ramach Pakietu 4go

Liczna grupa użytkowników współpracująca z zespołami Pakietu 4go Wydziału Chemii Uniwersytetu Jagiellońskiego Zakład Bioinformatyki i Telemedycyny CMUJ Uniwersytet Adama Mickiewicza Politechnicka Poznańska Politechnika Wrocławska Administratorzy centrów obliczeniowych …



Pakiet Pakiet 55: : Szkolenia i Wsparcie UżytkownikówSzkolenia i Wsparcie Użytkowników


Mariusz SterzelMariusz Sterzel

ACK Cyfronet AGHACK Cyfronet AGH

Maciej FilochaMaciej Filocha

ICMICM

18

Szkolenia i wsparcie użytkownikówSzkolenia i wsparcie użytkowników

Przeprowadziliśmy pierwszą serię szkoleń podstawowych z dostępu do infrastruktury poprzez środowiska gLite i UNICORE we wszystkich ośrodkach uczestniczących w projekcie – Gdańsk/Kraków/Poznań/Warszawa/Wrocław

Rozpoczęliśmy drugą serię szkoleń. Jeśli pojawi się zapotrzebowanie, podobne szkolenia możemy

przeprowadzić w innych ośrodkach (bezpłatnie!) W najbliższych dniach poprzez stronę projektu udostępnione zostaną

pierwsze szkolenia zdalne – dla każdego, bez ruszania się z domu (w technologii Blackboard).

Wsparcie użytkowników odbywać się będzie poprzez specjalizowany interfejs – tak, aby każde zgłoszenie było sprawnie obsłużone i trafiło do osób kompetentnych.

Pytania i uwagi: [email protected] oraz [email protected]

19

Aplikacje obliczenioweAplikacje obliczeniowe

Dostęp do aplikacji obliczeniowych zapewniony będzie w miarę możliwości na dwa sposoby: poprzez środowisko gLite, znane z EGEE i starszych projektów

gridowych, poprzez UNICORE – w środowisku graficznym.

Udostępniamy aplikacje licencjonowane bezpłatnie, a także niektóre płatne, m.in. Dalton, CPMD, NWChem, Cfour, Gaussian, GAMESS, Turbomole, ANSYS/Fluent, kolejne pakiety w trakcie udostępniania.

W razie zapotrzebowania udostępnimy większość aplikacji uruchamianych na dotychczasowej infrastrukturze obliczeniowej ośrodków KDM, jak również nowe oprogramowanie zaproponowane przez użytkowników.

Zachęcamy do zgłoszenia nam swoich oczekiwań – przygotowana jest specjalna ankieta:http://www.plgrid.pl/news/ankieta_projektu

Oprogramowanie Specjalistyczne Przykłady oprogramowania udostępnianego na infrastrukturze

PL-Grid

BiologiaAutoDock, BLAST, ClustalW2, CPMD, Gromacs, NAMD

Chemia kwantowaACES II, ADF, CFOUR, CHARMM, Dalton, GAMESS, Gaussian, MacroModel, Molcas, Molpro, MOPAC, NWChem, OpenBabel, Siesta, TURBOMOLE

Fizyka: Meep

Metody numeryczne i symulacja Mathematica, MATLAB

Oprogramowanie naukoweOprogramowanie naukowe

21

Oprogramowanie naukowe Wprowadzenie zunifikowanego systemu dostępu do aplikacji w środowisku

gridowym opartym o pakiet Modules Opracowanie i wdrożenie (wspólnie z WP3) systemu testowania aplikacji w

środowisku gridowym Poprawność działania aplikacji naukowych monitorowana jest automatycznie

w każdym z ośrodków na bieżąco. Wdrożenie szeregu aplikacji komercyjnych i ogólnie dostępnych na architekturze

obliczeniowej PL-Grid Dostępne pakiety

ADF, Blender, CFOUR, GAMESS, Gaussian, NAMD, Root, Turbomole W najbliższym czasie planowane jest udostępnienie kolejnych pakietów

oprogramowania naukowego

System szkoleńSystem szkoleń Pakiet 5 opracował zbiór szkoleń (zarówno tradycyjnych jak i on-line w systemie

Blackboard) Szkolenia dostępne są nieodpłatnie dla wszystkich użytkowników platformy PL-Grid System Blackboard będzie udostępniał szkolenia na poziomie podstawowym jak i

zaawansowanym Obecnie dostępne szkolenia to:

ABC użytkownika PL-Grid Po ukończeniu kursu danego poziomu użytkownik otrzymuje certyfikat.

22



Pakiet Pakiet 66: : Bezpieczeństwo InfrastrukturyBezpieczeństwo Infrastruktury


Bartłomiej BalcerekBartłomiej BalcerekWCSSWCSS

WP6 OsiągnięciaWP6 Osiągnięcia

24

Udostępnienie dwóch CA - centrów certyfikacji PKI użytkownikom gridu, Projekt systemu SimpleCA ułatwiającego użytkownikom otrzymywanie certyfikatów

PKI i ich użytkowanie - system zostanie udostępniony w marcu, Projekt i wdrożenie bezpiecznej konfiguracji infrastruktury, zgodnej z najnowszymi

standardami bezpieczeństwa, Projekt systemu monitorowania zgodności konfiguracji wdrożonej w ośrodkach z

polityką bezpieczeństwa, Powołanie zespołu specjalistów z dziedziny bezpieczeństwa w celu ciągłego

monitorowania środowiska, natychmiastowej reakcji na incydenty oraz wsparcia użytkowników i administratorów,

Prototypowa wersja systemu korelacji informacji o atakach na infrastrukturę (ACARM-ng)

Audyty kluczowych dla bezpieczeństwa gridu aplikacji.

Jaka aplikacja może być przystosowana do użytkowania w PL-Grid?

Każda!(niektóre po lekkich modyfikacjach)

Programy sekwencyjne – bez zmian Aplikacje równoległe (MPI) – bez zmian Programy interaktywne – wymagana zmiana w komunikacji z

użytkownikiem Operacje na wielkich zbiorach danych – zmiana dostępu do

danych

Możliwość jednoczesnego uruchamiania kilkudziesięciu/kilkuset instancji danego programu

25

Oprogramowanie – problemy użytkownikaOprogramowanie – problemy użytkownika

ACK: M. Sterzel

Jak zostać użytkownikiem ?Jak zostać użytkownikiem ? Każda osoba związana z polską nauką może korzystać z zasobów

PL-Grid

Aby zostać użytkownikiem należy zarejestrować się oraz uzyskać odpowiedni certyfikat

Procedura rejestracji oraz dalsze informacje dostępne są na stronie:http://www.plgrid.pl

Z chęcią odpowiemy na pytania:[email protected]

Procedura rejestracji:email: [email protected]

26ACK: M. Sterzel



Podsumowanie: Działania KonsorcjumPodsumowanie: Działania Konsorcjum Krótkoterminowe

Rozwój udostępnianych usług Zapewnienie środków dla pokrycia kosztów działania i współpracy międzynarodowej Nawiązanie współpracy z D-Grid (wstępne ustalenia poczynione) Zgłoszone zainteresowanie współpracy ze strony BE-Grid

Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk

• Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, PaaS, SaaS….)• National Cloud Initiative (chmury obliczeniowe, chmury danych)• paradygmat SOA, wykorzystanie wiedzy … • „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym

Strategiczne Rozwój środowisk domenowo specyficznych

PodziękowaniaPodziękowania ACK Cyfronet AGH

Kazimierz Wiatr Michał Turała Krzysztof Zieliński Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur

ICM Piotr Bała Maciej Filocha

PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk

WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński

TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman

28

http://plgrid.plhttp://plgrid.pl

Backup slidesBackup slides

30

Oczekiwania ze strony Środowisk NaukowychOczekiwania ze strony Środowisk Naukowych

E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych

Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk,

elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico Aby generować, interpretować i analizować obszerne

zasoby danych• Pochodzące z eksperymentów, obserwacji

i symulacji • Przy wykorzystaniu zarządzania jakością,

wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne

• Obliczenia i dane wieloskalowe• Wiarygodne, ekonomicznie uzasadnione,

o istotnym znaczeniu Aby umożliwić dynamiczną, rozproszoną współpracę

środowisk naukowych• Przez współdzielenie wiedzy i zasobów• Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności

M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK

I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007

Documents

Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space