Úvod do použití Gridů

INFSO-RI-508833

Enabling Grids for E-sciencE

www.eu-egee.org

Úvod do použití Gridů

Jan Kmuníček

CESNET

Seminář projektu EGEE-II, 12. prosinec, 2006 2


INFSO-RI-508833

Obsah

• Definice a vlastnosti Gridů

• Schéma služeb a jejich funkce

• Detaily gridové architektury

• Virtuální organizace

• Bezpečnostní prvky Gridů

• Evropské gridové prostředí



INFSO-RI-508833

Definice a vlastnosti Gridů

• Definice Gridu

– „A computational grid is a hardware and software infrastructure

that provides dependable, consistent, pervasive, and inexpensive

access to high-end computational capabilities.“

– „Výpočetní grid je hardwarová a softwarová infrastruktura,

která poskytuje spolehlivý, standardizovaný, všudypřítomný

a levný přístup ke špičkovým výpočetním službám. “

(I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1998)

– rozsáhlý distribuovaný systém organizačně samostatných

elementů, kterými mohou být individuální počítače (paměti,

pevné disky) a informační systémy vzájemně propojeny

počítačovou sítí



INFSO-RI-508833


• Grid versus distribuované prostředí

– Distribuované aplikace jako specializované systémy pro jediný cíl

nebo skupinu uživatelů.

– Gridy rozšiřují původní distribuované aplikace o nové vlastnosti

různé druhy zdrojů nevyžadován striktně stejný hardware, data a aplikace různé druhy interakcí různé uživatelské skupiny a aplikace interagují s Gridem různě dynamická povaha zdroje a uživatelé často přibývají / ubývají / mění se



INFSO-RI-508833


• Vlastnosti Gridu/Gridů

– velmi početné výpočetní zdroje– výpočetní zdroje jsou

heterogenní geograficky separované spojeny heterogenními sítěmi plně pod kontrolou jejich vlastníků

– vlastnictví vzájemně nezávislými organizacemi & jedinci– vyžadovány různé bezpečnostní požadavky a pravidla– vyžadována různá pravidla správy zdrojů– potenciální zahrnutí vadných zdrojů



INFSO-RI-508833


• Výpočetní Grid

– Grid poskytující výpočetní servis

– poskytuje zabezpečené služby pro spouštěníaplikací na distribuovaných výpočetních zdrojích

– jedná se o „virtuální distribuovaný počítač“ pro řešení výpočetně náročných aplikací

– dynamicky agreguje výpočetní kapacitu velkéhopočtu individuálních počítačů



INFSO-RI-508833


• Datový Grid

– principiálně jde o zpracování rozsáhlých datovýchsad pomocí služeb „výpočetního Gridu“

– charakterizován sdílením velkého množství dat,poskytováním zabezpečeného přístupu k těmtodatům a umožnění jejich následné správy

– řešeno formou replikovaných datových katalogůvytvářejících iluzi jednotného hromadnéhodatového úložiště



INFSO-RI-508833


• Informační / Znalostní Grid

– často také nazýván jako kolaborativní nebo aplikační Grid

– charakterizován snahou o rozšíření možnostídatových Gridů o poskytování kategorizace dat,ontologií, sdílení znalostí a tvorby workflow

– součástí informačních Gridů jsou virtuální prostředípro spolupráci resp. virtuální laboratoře umožňujícívzdálenou kontrolu a správu senzorů a zařízení



INFSO-RI-508833

Schéma služeb a jejich funkce

Bezpečnost

Správa zatížení zdrojůSpráva datInformace & monitorování

AplikaceVýpočetní & datové kapacity

• Zjednodušené schéma fungování

– funkce jednotlivých prvků víceméně společné všem Gridům

– pojmenování jednotlivých elementů podle projektu EGEE



INFSO-RI-508833

Detaily gridové architektury

• Jednotlivé prvky UI – User Interface

– zprostředkovává uživatelům „přístup“ do Gridu

– tvoří rozhraní ke službám Gridu (grafické nebo

pomocí příkazové řádky)

– UI umožnuje

přihlásit se do Gridu zadávat výpočetní úlohy (ve formátu JDL – Job Description Language) sledovat stav zadaných úloh zjišťovat informace o volných zdrojích získávat & vizualizovat výsledky zadaných výpočetních úloh správu uživatelských dat



INFSO-RI-508833


• Jednotlivé prvky CE – Computing Element

– tvoří frontend pro konkrétní skupinu výpočetních uzlů

– hlavní funkce CE jsou

přijímat joby určené pro konkrétní cluster/farmu (homogenní uzly) poskytovat detailní informace o výpočetní kapacitě a nainstalovaném

systémovém / aplikačním softwaru přijaté výpočetní úlohy následně předat lokálnímu dávkovému

plánovacímu systému (PBS, LFS, NQE, LoadLeveler, Condor, …),

který pošle úlohy ke zpracování na výpočetní prvky (WNs)



INFSO-RI-508833


• Jednotlivé prvky SE – Storage Element

– tvoří jednotné rozhraní k ukládaní dat uživatelů Gridu a umožňuje přístup k jednotlivým souborům

– soubory je možné replikovat a přistupovat k „nejbližší“ replice (tvořítaké zálohu pro případ výpadku některého z SE obsahujícího instanci souboru)

– každý registrovaný soubor má svoji identifikaci v Gridu, přes kterou se k němu přistupuje (nezávislé na jménu a umístění)

– znalost přesného umístění souboru (kolekce souborů/dat) není nezbytná



INFSO-RI-508833


• Jednotlivé prvky WNs – Worker Nodes

– tvoří vlastní výpočetní prvky – slouží ke zpracování jednotlivých úloh

– charakteristiky WN

musí mít přístup k aplikačnímu softwaru – řeší se většinou mountem z nějakého sdíleného prostředku

musí mít nainstalován software pro I/O dat na SE (grid-ftp) jediné nemusí být dosažitelné „zvenku“, ale pouze z CE



INFSO-RI-508833

Virtuální organizace

• Gridového počítání

– „Grid computing is coordinated resource sharing and problem

solving in dynamic, multi-institutional virtual organizations.“

(I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1998)

– Virtuální organizace (VO)

souhrn výpočetních zdrojů a lidí pracujících na společném projektu

– Cíle virtuálních organizací

sdílení datových zdrojů a výpočetních kapacit použitelných

pro zpracování výpočetních úloh



INFSO-RI-508833

Virtuální organizace

• Principy fungování

– uživatelé by si měli z Gridu vzít prostředky,

které zrovna potřebují, když je potřebují, tam kde je potřebují

procesory resp. jejich výkon diskový prostor přenosová kapacita sítí speciální hardware (mikroskopy, senzory, …)

– Grid zajistí

unifikovaný přístup, bezpečnost, spolehlivou dodávku vyúčtování za spotřebu



INFSO-RI-508833

Bezpečnostní prvky Gridů

• Autentizace

– proces ověření identity komunikujících partnerů (uživatel – služba)

Jste opravdu tím, kým tvrdíte, že jste?

– certifikace – mechanismus pro ustavení důvěry mezi partnery

• Autorizace

Máte přístup ke zdrojům, které požadujete?

• Šifrování

– utajení citlivých uživatelských dat (biomedicínské Gridy)

• Accounting

Co jste udělali, kdy jste to udělali a odkud jste to udělali?



INFSO-RI-508833

Evropské gridové prostředí

• rozvoj gridových technologií a reálné nasazení Gridů

podporováno Evropskou Unií (EU) - 5., 6. rámcový program EU

• heterogenita gridových projektů EU

– infrastrukturní budování jednotné evropské gridové infrastruktury(Damien, DataTAG, DEISA, SEE-GRID,

EGEE/EGEE-II)

– výzkumné rozvoj gridového middlewaru a gridových nástrojů(GRIP, Eurogrid, GridLab, DataGrid)

– aplikační specifické aplikačně orientované projekty(GRIA, EGSO, Crossgrid, Diligent, BioInfogrid)

http://egee.cesnet.cz/cs/grid/links.html

Documents

Úvod do použití Gridů