Korištenje grid okoline CRO NGI - unizg.hr...Ciljevi •Ciljevi •opis grid okoline i suvremenih gridova •uvod u osnovne funkcionalnosti grida •upravljanje poslovima i podacima

Korištenje grid okoline CRO NGI

Emir Imamagić

Sveučilišni Računski Centar (Srce)

http://www.srce.unizg.hr/otvoreni-pristup

http://www.srce.unizg.hr/

http://creativecommons.org/licenses/by-nc/4.0/deed.hr

Sadržaj


Ciljevi

• Ciljevi• opis grid okoline i suvremenih gridova

• uvod u osnovne funkcionalnosti grida

• upravljanje poslovima i podacima na gridu

• Što nije pokriveno• uspostava i održavanje grida

• programiranje za grid okoline


Sadržaj

• Uvod• Grid

• Grid posrednički sustavi

• Usporedba klastera i grida

• Aplikacije

• CRO NGI• Uvod

• Arhitektura

• Sigurnost• Uvod

• Digitalni certifikati


Sadržaj

• Upravljanje poslovima• HTCondor-G

• Nadzor• Ganglia

• GridSAFE

• EGI


Uvod


Grid

• “složeni računalni sustav koji omogućava ujedinjavanje proizvoljnih računalnih resursa (tzv. grid sjedišta) povezanih globalnom mrežom Internet.”

• Analogija s električnom mrežom (engl. grid)

• računalna moć – usluga poput struje, plina, vode…


Grid

• Resursi• zemljopisno raspodijeljeni, heterogeni

• računalni resursi (procesorska moć, spremište)

• ostali resursi (instrumenti, senzori)

• Ujedinjavanje resursa• stvaranje privida

superračunala

• sigurno, koordinirano, kontrolirano


Grid

• Virtualne organizacije• organizacije, osobe, resursi s istim interesima

• dinamične u trajanju, broju članova, ulogama članova

• npr. astrofizika, računalna kemija,biomedicina, itd.


Grid - stvarno stanje

• Dijeljenje postojećih računalnih resursa s ciljem boljeg ukupnog iskorištenja

• izbjegavanje „praznog hoda” računalne opreme

• Korištenje standardnih rješenja za ključne funkcionalnosti• izbjegavanje specifičnih rješenja za pojedine institucije (npr.

autentikacijski mehanizmi)

• Prvenstveno namijenjen aplikacijama iz područja visoke propusnosti

• engl. High Throughput Computing HTC

• zbog različite učinkovitosti i pouzdanosti pojedinih resursa


Arhitektura grida

• Grid sjedišta• zemljopisno raspodijeljene institucije

• računalni resursi (klasteri)

• podatkovni elementi

• Središnji servisi• sigurnosni servisi

• nadzorni servisi

• raspoređivanje i upravljanje izvođenjem poslova

• upravljanje podacima

• pristupni čvorovi


Grid posrednički sustavi

• Engl. grid middleware

• Programska potpora koja omogućava rad grida

• Funkcionalnosti• sigurnosni mehanizmi

• nadzor i dohvat informacija

• upravljanje podacima

• upravljanje poslovima

• Uspostavlja se na postojeće sustave• računalni klasteri

• spremišni sustavi


Usporedba klastera i grida

Komponenta Klaster Grid

Okolina - resursi usko povezani

(lokalna mreža)

- centralizirano upravljanje

- dedicirani resursi

- jedinstvena politika korištenja

- raspodijeljeni resursi

- nema jedinstvene točke

upravljanja

- resursi nisu dedicirani

- različite politike korištenja

Sigurnost otvaranje računa na

klasteru

digitalni i zastupnički

certifikati, virtualne

organizacije


Usporedba klastera i grida

Komponenta Klaster Grid

Upravljanje poslovima jedinstven i centraliziran

sustav za upravljanje

poslovima (npr. Torque i

SGE)

nema potpunog rješenja,

primjeri: HTCondor-G,

GridWay, gLite WMS, GRAM

Upravljanje podacima raspodijeljeni datotečni

sustav (npr. NFS,

BeeGFS), scratch

direktorij na čvorovima

GridFTP, gLite alati

Pristup SSH pristupni čvorovi (UI), gridportali, osobna računala


Grid aplikacije

• Velike paralelne aplikacije• veliku količinu računalne moći (nedostupna na pojedinim resursima)

• jako ili slabo povezane paralelne aplikacije

• raspodijeljene interaktivne simulacije, modeliranje klime planeta, astrofizika

• Podatkovno zahtjevne aplikacije• pristup i povezivanje velike količine raspodijeljenih podataka

• data mining, fizika visokih energija, astronomija, biomedicina

• Virtualni laboratoriji• sustavi za surađivanje

• pristup udaljenim instrumentima (mikroskopi, teleskopi, …)


CERN & LHC

• Conseil Européen pour la Recherche Nucléaire• najveći svjetski institut za fiziku visokih energija

• LHC (engl. Large Hadron Collider)• najveći znanstveni instrument

• 10PB podataka godišnje

• WLCG• Worldwide

LHC Computing Grid


CRO NGI


CRO NGI

• Hrvatska nacionalna grid infrastruktura

• Dostupna za znanstvenu i akademsku zajednicu


Trenutačno stanje - CRO NGI

Sjedište Model Broj čvorova CPU jezgri Spremište Klasterskisustav

UNIOS-ETFOS DELL PowerEdgeM600 Blade

16 128 5,5 TB (scratch)

SGE

UNIRI-GRADRI DELL PowerEdgeM600 Blade

16 128 880 GB(scratch)

SGE

IRB HP ProLiantSL230s Gen8

13 260 5,5 TB (scratch)

SGE

UNIZG-Srce IBM NeXtScalenx360 M5

12 336 200 TB SGE

HP ProLiantSL250s

16 208

Sun Fire x4600 11 352

Ukupno 84 1412 200 TB


Arhitektura - sjedište Srce


Arhitektura - ostala sjedišta


Čvorovi

• UI (User Interface)• grid pristupno računalo (Srce)

• grid klijenti• izvođenje poslova (HTCondor-G)

• CE (Computing Element)• računalni klasteri – sva grid sjedišta

• grid servisi• dohvat informacija (BDII)

• izvođenje poslova (GRAM)

• prijenos podataka (GridFTP)

• sustav za nadzor Ganglia


Čvorovi

• SE (Storage Element)• grid servisi

• prijenos podataka (GridFTP)

• MyProxy• servis MyProxy (Srce)

• IS (Information System)• središnji nadzorni poslužitelj (Srce)

• grid servisi• Ganglia

• Nagios

• GridSAFE


Prijava

• Sustav za prijavu• bez papirnatih formulara

• https://www.cro-ngi.hr/prijava

• autentikacija putem AAI@EduHr identiteta

• Detaljne upute• http://wiki.cro-ngi.hr/index.php/Registracija


https://www.cro-ngi.hr/prijava

http://wiki.cro-ngi.hr/index.php/Registracija

Sigurnost


Osnova sigurnosti

• X509 digitalni certifikati• poslužiteljski i korisnički certifikati

• Svi grid posrednički sustavi zasnovani na certifikatima

• International Grid Trust Federation (IGTF)• EUGridPMA, APGridPMA, TAGPMA

• certifikati Certifikacijskih autoriteta (CA) članova prihvaćeni na većini implementacija gridova

• SRCE CA – zadužen za korisnike iz Hrvatske


SRCE CA

• Certifikacijski autoritet za Republiku Hrvatsku

• Član EUGridPMA od 2006. godine

• Koristi sustav OpenCA

• Zahtjev se podnosi putem web sučelja• integrirano s AAI@EduHr

• Životni vijek certifikata 13 mjeseci• prije isteka potrebno napraviti obnovu

• http://ra.srce.hr


Digitalni certifikati

• Bitne komponente• puno ime (Distinguished name DN)

/C=HR/O=edu/OU=srce/CN=Pero PericCN=Pero Peric,OU=srce,O=edu,C=HR

• Common name (CN)Pero Peric

• životni vijek certifikata (Not After)Aug 2 18:00:21 2007 GMT

• puno ime CA /C=HR/O=edu/OU=srce/CN=SRCE CA CN=SRCE CA,OU=srce,O=edu,C=HR


Grid certifikati

• engl. Grid Security Infrastructure

• Zastupnički certifikati• kratkoročni certifikati (12 sati)

• stvaraju se korisničkim certifikatom

• Svojstva• smanjene ovlasti

• privatni ključ nije zaštićen lozinkom

• Funkcionalnosti• SSO (engl. Single Sign On)

• delegacija


Instalacija korisničkog certifikata

• Obavlja se na UI čvoru

• Pripremljena skripta

• unijeti password odabran prilikom spremanja certifikata

• Lokacije certifikata


$ convertCert.sh <cert.p12>

$HOME/.globus/usercert.pem - certifikat

$HOME/.globus/userkey.pem - ključ

SRCE CA potpisana izjava

• Nakon izdavanja svakog novog certifikata potrebno poslati potpisanu izjavu

• Potvrda certifikata na pristupnom računalu

• preduvjet instalacija certifikata u Globus formatu (convertCert.sh)

• upisati lozinku unesenu prilikom instalacije certifikata


$ cverify.pl

Zastupnički certifikat

• Stvaranje = ulazak na grid

• unijeti lozinku

• zastupnički certifikat se sprema u datoteku /tmp/x509_up<userid>

• Provjera stvaranja

• preporuča se prilikom prvog stvaranja zastupničkog certifikata

• korisno za rješavanje problema sa zastupničkim certifikatom


$ grid-proxy-init

$ grid-proxy-init –verify -debug

Zastupnički certifikat

• Provjera valjanosti certifikata

• prva provjera u slučaju problema s prijenosom datoteka ili podnošenja poslova

• Brisanje = odjava s grida


$ grid-proxy-info

$ grid-proxy-destroy

Automatsko osvježavanje

• Periodičko osvježavanje zastupničkog certifikata• dodatna komponenta na CRO NGI-ju

• Prijava zastupničkog certifikata

• unijeti lozinku korisničkog certifikata

• osvježavanje će se obavljati 7 dana

• Dodatne mogućnosti

• osvježavanje će se obavljati definirani broj dana

• 24h prije isteka korisnik će primiti email obavijest


$ myproxy-manage-create

$ myproxy-manage-create –m –d <dana>

Automatsko osvježavanje

• Naknadno produljenje

• Provjera trajanja postojećeg certifikata

• Prekid osvježavanja

• preporuča se izvesti ukoliko nema aktivnih poslova


$ myproxy-manage-create –m –d <dana>

$ myproxy-manage-destroy

$ myproxy-info

Upravljanje poslovima


Grid raspoređivanje poslova

• Korisnik opisuje i podnosi posao

• Raspoređivač dohvaća informacije od sustava za nadzor

• Raspoređivač odabire resurse

• Posao se izvodi korištenjem posredničkih sustava


Izazovi

• Osvježavanje zastupničkih certifikata• dugotrajni poslovi i dugotrajno čekanje u redu poslova

• na CRO NGI riješeno s myproxy-manage-create

• Prijenos ulaznih i izlaznih podataka na CE čvorove• u opisu posla navode se sve ulazne i izlazne podataka

• moguće koristiti GridFTP za pripremu podataka

• Pouzdane informacije o dostupnim resursima• koriste se sustavi za nadzor (npr. BDII)

• Veličina i lokacija ulaznih i izlaznih podataka• raspoređivanje prema podacima (engl. data-aware scheduling)


HTCondor-G

• Komponenta sustava HTCondor

• Namijenjena za podnošenje poslova na grid• podržani posrednički sustavi ARC, UNICORE, Globus, gLite

• Red poslova• podnošenje i upravljanje poslovima slično računalnim klasterima

• Nije raspoređivač poslova• potrebno je navesti adresu sjedišta na koje se podnosi posao


Trenutačno stanje - CRO NGI

Sjedište Adresa CE-a Brojčvorova

CPU jezgri

Spremište Klasterskisustav

MPI okolina

UNIOS-ETFOS ce.etfos.cro-ngi.hr 16 128 5,5 TB (scratch)

SGE MPICH2

UNIRI-GRADRI ce.gradri.cro-ngi.hr 16 128 880 GB(scratch)

SGE MPICH2

IRB ce.irb.cro-ngi.hr 13 260 5,5 TB (scratch)

SGE MPICH2

UNIZG-Srce ce.srce.cro-ngi.hr 39 896 200 TB SGE MVAPICH2

Ukupno 84 1412 200 TB


Opisivanje poslova

• Što se treba izvesti? S kojim argumentima?

• Koji podaci su potrebni za izvođenje poslova?

• Gdje spremati privremene podatke i rezultate?

• Gdje je radni direktorij na čvorovima?

• Koliko procesora posao zahtjeva? Koju arhitekturu procesora?

• Koliko memorije, prostora na disku, vremena je potrebno?


Opisivanje poslova

• Jezik Classads

• Nije osjetljiv na velika i mala slova

• Napomena: • jezik Classads ne podržava pisanje programa ljuske u opisu posla

• program ljuske se može navesti kao izvršna datoteka


attribute = value

attribute = value

attribute = value

attribute = value

Izvršna datoteka

• Definicija izvršne datoteke

• Podrazumijevano HTCondor prenosi lokalnu datoteku• ne mora biti puna putanja

• Za korištenje datoteke na sjedištu navesti

• u ovom slučaju se preporuča koristiti apsolutnu putanju


executable = path

transfer_executable = false

Argumenti

• Argumenti aplikacije

• Oznaka “ se mora posebno navesti


arguments = arg1 arg2 arg3

arguments = arg1 \"arg 2\" 'arg 3'

Standardni ulaz, izlaz i greška

• Standardni ulaz

• Standardni izlaz

• Standardna greška

• Izlaz i greška se prepisuju• razlika u odnosu na SGE


input = path

output = path

error = path

Prijenos datoteka

• Prijenos na udaljeno računalo

• Prijenos s udaljenog na lokalno računalu

• Datoteke se prenose u/iz direktorija iz kojeg se podnosi posao


transfer_input_files="path","path"...

transfer_output_files="path","path"...

Prijenos datoteka

• Prijenos iste datoteke na udaljeno računalo i natrag• HTCondor prije prijenosa obriše sadržaj ulazne datoteke

• Koristi se parametar transfer_output_remaps


transfer_input_files=test

transfer_output_files=test

transfer_output_remaps = "test=test.out"

Obavijesti

• Slanje obavijesti• moguće je navesti uvjete u kojim se šalju obavijesti

• Adresa korisnika


notification = Always | Complete | Error | Never

notify_user = email@address

Atributi HTCondora

• Atribute Universe• mora biti postavljen na “grid”

• Dnevnik• detaljne informacije o izvođenju posla


universe=grid

log=<path>

Atributi HTCondora

• Broj zadataka• obavezan, navodi se iza svih ostalih atributa

• Koristi se za podnošenje polja poslova


queue [<count>] [expr]

Adresa sjedišta – eksplicitno

• Potrebno je navesti adresu sjedišta

• Globus Toolkit


grid_resource=<grid_type> <address> <parameters>

grid_resource=gt2 ce.srce.cro-ngi.hr/jobmanager-sge

Podnošenje posla

• Naredba

• naredba ispisuje ID posla


$ condor_submit <classadd_file>

Prikaz stanja poslova

• Naredba

• prikaz svih poslova

• korisnik ne mora spremati ID posla

• Opcije


$ condor_q [-globus] [-long] [jobID] [username]

-globus prikaz sa specifičnim podacima od Globusa

-long detaljni podaci o poslu

(preporuča se koristiti sa jobID)

-hold detaljni podaci o razlogu zaustavljanja posla

Detalji o izvođenju posla

• Dnevnik• parametar log

• Detaljan HTCondorov dnevnik• /var/log/condor/GridmanagerLog.<username>


Paralelni poslovi

• Nisu izravno podržani

• Ostvaruju se korištenjem Globus parametara

• Primjeri (mpi.jdl)

• opis MPI posla koji zahtjeva 4 procesora

• nije potrebno navoditi mpirun u skripti

• proizvoljna paralelna aplikacija

• primjer Gaussian


globusrsl = (jobType=mpi)(count=4)

globusrsl = (jobType=single)(count=4)

Paralelni poslovi

• Svi procesori na istom čvoru


environment = "PE_MODE=single"

MPI okolina

• Tri verzije• MPICH2 1.5 : mpich2-x86_64

• MVAPICH2 2.0 : mvapich2-x86_64

• MVAPICH2 2.0 s prevodiocima GNU 4.9 : mvapich2-gcc49-x86_64

• MVAPICH2 na UNIZG-Srce, na ostalima MPICH2

• Na pristupnom čvoru i skriptama potrebno odabrati naredbom


module load <ime_modula>

Polja poslova

• Korištenjem parametra queue

• pokreće N neovisnih poslova

• Korisna varijabla u skripti

• $(Process) – jedinstveni identifikator pojedinog posla

• vrijednosti su 0 … N-1


queue N

output = array.out.$(Process)

transfer_input_files = input.$(Process)

Polja poslova

• Pokretanje na više CE čvorova (job-array.jdl)


executable = mojProg

output = ce.srce.out.$(Process)

error = ce.srce.err.$(Process)

grid_resource = gt2 ce.srce.cro-ngi.hr/jobmanager-sge

queue 2

output = ce.etfos.out.$(Process)

error = ce.etfos.err.$(Process)

grid_resource = gt2 ce.etfos.cro-ngi.hr/jobmanager-pbs

queue 2

GPU poslovi

• Poslovi koji zahtijevaju grafičke procesore (GPU)• GPU-ovi su dostupni isključivo na sjedištu Srce

• Primjer (gpu.jdl)


grid_resource=gt2 ce.srce.cro-ngi.hr/jobmanager-sge

environment = SGE_PE=gpu

GPU okoline

• Dostupne su dvije GPU okoline:• CUDA 5.5: cuda-5-5

• CUDA 7.0: cuda-7-0

• CUDA 8.0: cuda-8-0

• Na pristupnom čvoru i skriptama potrebno odabrati naredbom


module load <ime_modula>

Dodatni zahtjevi na sjedištu Srce

• Moguće je birati:• vrstu radnog čvora (vendor)

• količinu memorije za potrebe jednog procesa u GB (memory)

• količinu diska za potrebe jednog procesa u GB (memory)

• Dostupne vrste čvorova:• Sun - Sun Fire x4600

• HP - HP ProLiant SL250s

• IBM - IBM NeXtScale nx360 M5


Dodatni zahtjevi na sjedištu Srce

• Primjer zahtjeva Sun čvora (srce.jdl)

• Primjer zahtjeva IBM čvora, pri čemu je za izvođenje potrebno 16 jezgri, 64 GB radne memorije i 256 GB diska


globusrsl =

(jobType=single)(count=16)(memory=4)(vendor=IBM)

(scratch=16)

globusrsl = (vendor=Sun)

Varijable

• HTCondor omogućava korištenje varijabli u opisu posla• mogu se koristiti u vrijednosti svih atributa

• format: $(ime_varijable)

• korisne za izradu jednostavnijih skripti

• Varijable sustava• $(Cluster) - identifikator posla

• $(Process) - identifikator pojedinih poslova u polju

• primjer korištenja za jedinstveno ime izlaza i greške


Output = output.$(Cluster).$(Process)

Error = error.$(Cluster).$(Process)

Varijable

• Korisničke varijable• proizvoljan broj u opisu posla

• vrijednost se postavlja naredbom (customvar.jdl)

• vrijednost može biti postavljena naredbom queue (napredna polja poslova)


moja = test

Napredna polja poslova

• Tri operatora za odabir indeksa:• in: navodi se konačan broj vrijednosti za jednu varijablu

• from: navodi se konačan broj vrijednosti za više varijabli u opisu posla ili izdvojenoj datoteci

• matching: koristi se popis datoteka i direktorija kao vrijednosti za jednu varijablu

• Primjer korištenja operatora in (job-array-in.jdl)

• pokreće 4 posla

• varijabla $(MyTask) u poslu ima vrijednosti 1…4


queue MyTask in 1 2 3 4

Napredna polja poslova

• Primjer korištenja operatora matching (job-array-matching.jdl)

• pokreće onoliko poslova koliko ima datoteka test.* u direktoriju iz kojeg se pokreće posao

• varijabla $(MyTask) u poslu ima vrijednost imena pronađene datoteke

• Primjer korištenja operatora from• prikazan u primjeru aplikacije Gaussian


queue MyTask matching test.*

Primjer posla Gaussian

• Primjer posla Gaussian (gaus.jdl)

• Optimizacija posla pomoću korisničkih varijabli (gaus-custom.jdl)

• parametri naziv ulazne datoteke, broj jezgri i sjedište

• kod pokretanja mijenja se samo na jednom mjestu

• Optimizacija posla pomoću naprednog polja poslova (gaus-job-array.jdl)

• parametri se navode u tekstualnoj datoteci (gaus_run)

• navođenjem više linija pokreće se više poslova jednom naredbom


test230 10 srce

Problem prijenosa izlaznih datoteka

• Condor-G problem s izlaznim datotekama• datoteke definirane u atributu transfer_output_files

• Ako po završetku posla barem jedna datoteka ne postoji (hold-155.jdl)

• posao se postavlja u stanje Hold s opisom

• standardni izlaz, greška i sve ostale izlazne datoteke će biti obrisane

• Situacija najčešće uzrokovana zbog greške u izvođenju aplikacije


Globus error 155: the job manager could not stage

out a file

Problem prijenosa izlaznih datoteka

• Preporučeno rješenje (hold-155-fix.jdl)• na početku skripte stvoriti sve izlazne datoteke naredbom touch


touch izlaz1 izlaz2 izlaz3

Dohvat podataka

• Dodatne skripte za dohvat podataka tijekom izvođenja posla

• Moguće je dohvatiti• standardni izlaz i grešku

• pojedine datoteke

• sve datoteke

• Datoteke se spremaju u poddirektorij ./<jobid>


Dohvat podataka

• Dohvat liste datoteka u privremenom direktoriju

• Dohvat standardnog izlaza

• Dohvat standardne greške

• Dohvat datoteke


$ remote-scratch-ls <jobID>

$ remote-scratch-get <jobID> stdout

$ remote-scratch-get <jobID> stderr

$ remote-scratch-get <jobID> filename

Dohvat podataka

• Na sjedištu UNIZG-Srce moguće izravno pristupiti radnom direktoriju

• naredba vraća direktorij

• direktoriju je moguće izravno pristupiti na UI čvoru


$ remote-scratch-pwd <jobID>

Stanje sjedišta grida

• Naredba

• lista dostupnih sjedišta

• Detaljan status

• Ispis GRAM adresa


$ condor_status

$ condor_status -l

$ condor_status -l | grep grid_resource

Stanje sjedišta grida

• Dodatna naredba koja koristi SGE

• zahtjeva valjani korisnički certifikat


$ grid-queue-status

Zaustavljanje posla

• Naredba

• Ukoliko je posao u stanju X ili H


$ condor_rm <jobID>

$ condor_rm -forcex <jobID>

Povijest poslova

• Naredba

• ispis svih poslova koje je HTCondor izveo

• Ispis povijesti za posao

• Detaljan ispis povijesti posla


$ condor_history

$ condor_history <id>

$ condor_history -l <id>

Vježbe

• $HOME/gworkshop/


hostname.jdl – izvođenje udaljenog programa

test.jdl – izvođenje programa smještenog na UI čvoru

stage.jdl – prijenos datoteka

mpi.jdl – paralelni MPI posao

gpu.jdl – GPU posao

Vježbe



srce.jdl – dugotrajni posao s zahtjevom Sun čvora

job-array.jdl - polje poslova na dva sjedišta

customvar.jdl – HTCondor korisničke varijable

moj-app.jdl – primjer slanja korisničke aplikacije u paketu, izvođenje u scratch direktoriju i prijenos izlaznih podataka u paketu

job-array-in.jdl - polje poslova s operatorom in

job-array-matching.jdl - polje poslova s operatorom matching

Vježbe



gaus.jdl – posao Gaussian

gaus-custom.jdl – posao Gaussian s korisničkim varijablama

gaus-job-array.jdl - posao Gaussian kao polje poslova s operatorom from i definicijom parametara u datoteci

hold-155.jdl - posao koji završava greškom zbog izlazne datoteke koja nedostaje

hold-155-fix.jdl - rješenje problema izlaznih datoteka korištenjem naredbe touch

Nadzor


Ganglia

• Raspodijeljeni sustav za nadzor klastera i grida

• Agregira podatke na razini klastera i cijelog grida

• Središnji servis Ganglia• http://mon.cro-ngi.hr/ganglia


Ganglia


CRO NGI statistike

• Web stranice Srca• sustav za nadzor Zabbix

• razvijeni vlastiti senzori

• trendovi za dan, tjedan, mjesec, kvartal, pola godine i godinu

• CRO NGI prikaz• http://www.cro-ngi.hr/crongi_stats/

• statistike poslova

• ukupno zauzeće CPU i GPU resursa

• opterećenje i zauzeće raspodijeljenih datotečnih sustava BeeGFShome i shared


CRO NGI statistike

• CRO NGI prikaz po sjedištu• http://www.cro-ngi.hr/crongi_site_stats/

• statistike poslova po sjedištu

• ukupno zauzeće CPU i GPU resursa po sjedištu

• korisno za odluku gdje podnijeti poslove


CRO NGI statistike


GridSAFE

• Sustav za praćenje iskorištenja resursa

• Koristi podatke• sustava za upravljanje poslovima

• grid posredničkih sustava

• Web sučelje• autentikacija pomoću certifikata

• u pripremi integracija s AAI@EduHr


GridSAFE

• Vrste grafova• iskorištenje kroz vrijeme (Time Chart)

• stupčani graf (Bar Chart)

• tortni graf (Pie Chart)

• apsolutno (CPU-sekunde) kroz vrijeme (Service Usage)


GridSAFE

• Grafovi• podaci (Plot)

• broj poslova (Count)

• procesorsko vrijeme (Time)

• grupiranje (Group)• broj zauzetih jezgri (CPUs)

• korisničko ime (UserName)

• sjedište (MachineName)

• ustanova (Group)


GridSAFE

• Podržani formati• web stranica

• PDF

• CSV

• XML

• https://mon.cro-ngi.hr/webacct/


GridSAFE


GridSAFE


EGI


Uvod

• engl. European Grid Initiative

• Nastavak projekata EGEE

• Uspostava održive grid okoline za potrebe znanstvenika

• gridifikacija aplikacija iz određenih znanstvenih područja

• Grid sastavljen od nacionalnih grid infrastruktura (NGI)• NGI-jevi potpuno neovisni

• sukladno NREN (engl. National Research and EducationalNetworks) u računalnim mrežama

• Trenutno najveći svjetski grid


Uvod

• Preko 300 sjedišta

• Preko 650 000 procesorskih jezgri

• Gotovo 300 PB diskovnog prostora

• Preko 200 PB tračnog prostora

• 1,6 milijuna poslova dnevno

• Posrednički sustavi gLite, ARC, UNICORE, Globus


Uvod


Arhitektura

• Grid sjedišta• sjedišta sadrže različite vrste čvorova

• Vrste čvorova• CE, SE, MyProxy – ista svrha kao i na CRO NGI-ju

• sadrže veći skup servisa

• BDII – središnji informacijski servisi

• WMS – središnji servisi sustava za upravljanje poslovima

• LFC (engl. LCG File Catalog) – središnji katalog datoteka

• FTS (engl. File Transfer Service) – servisi za upravljanje prijenosom podataka

• VOMS (engl. Virtual Organization Membership Service) – središnji servis za upravljanje VO-ovima


Hrvatska u EGI

• Sudjeluje od druge faze EGEE-II (2006.)• operativne i networking aktivnosti

• Uspostavljena tri sjedišta• financirana od strane MZOS-a

• SRCE CA prihvaćeno u EUGridPMA (IGTF)


Virtualne organizacije

• Specifična područja primjene• LHC VO-ovi (npr. alice, atlas), biomed

• Regionalni VO-ovi• Hrvatska je dio CE regije

• svi korisnici imaju pravo pristupa VOCE VO-u

• Pojedini VO-ovi imaju zasebna sučelja za prijavu


Virtualne organizacije

• Operations Portal • http://operations-portal.egi.eu/vo/search

• pregled dostupnih VO-ova

• zahtjeva certifikat u pregledniku

• link VO Information / List

• VO Cards• detaljne informacije o pojedinim VO-ovima


http://operations-portal.egi.eu/vo/search

EGI web aplikacije

• Katalog aplikacija• popisom dostupnih aplikacija

• https://appdb.egi.eu/

• Accounting• korištenje resursa od strane pojedinih VO-ova

• http://accounting.egi.eu

• Dostupnost sjedišta• sustav ARGO koji razvijaju CNRS, GRNET i SRCE

• http://argo.egi.eu


https://appdb.egi.eu/

http://accounting.egi.eu/

http://argo.egi.eu/

Srce politikom otvorenog pristupa široj javnosti

osigurava dostupnost i korištenje svih rezultata rada

Srca, a prvenstveno obrazovnih i stručnih informacija

i sadržaja nastalih djelovanjem i radom Srca.

Ovo djelo je dano na korištenje pod licencom

Creative Commons Imenovanje-Nekomercijalno

4.0 međunarodna.

www.srce.unizg.hr creativecommons.org/licenses/by-nc/4.0/deed.hr www.srce.unizg.hr/otvoreni-pristup

Hvala na pažnji!

Pitanja?







Documents

Korištenje grid okoline CRO NGI - unizg.hr...Ciljevi •Ciljevi •opis grid okoline i suvremenih gridova •uvod u osnovne funkcionalnosti grida •upravljanje poslovima i podacima