Korištenje grid okolina CRO NGI i EGI - unizg.hr · arguments = arg1 \"arg 2\" 'arg 3' Standardni ulaz, izlaz i greška •Standardni ulaz •Standardni izlaz •Standardna greška

$Page 1: Korištenje grid okolina CRO NGI i EGI - unizg.hr · arguments = arg1 \"arg 2\" 'arg 3' Standardni ulaz, izlaz i greška •Standardni ulaz •Standardni izlaz •Standardna greška$
Korištenje grid okolina CRO NGI i EGI

Emir Imamagić

Sveučilišni Računski Centar (Srce)

http://www.srce.unizg.hr/otvoreni-pristup

http://www.srce.unizg.hr/

http://creativecommons.org/licenses/by-nc/4.0/deed.hr

Upravljanje poslovima Uvod


Uvod


Grid raspoređivanje poslova

• Korisnik opisuje i podnosi posao

• Raspoređivač dohvaća informacije od sustava za nadzor

• Raspoređivač odabire resurse

• Posao se izvodi korištenjem posredničkih sustava


Izazovi

• Osvježavanje zastupničkih certifikata • dugotrajni poslovi i dugotrajno čekanje u redu poslova

• na CRO NGI riješeno s myproxy-manage-create

• Prijenos ulaznih i izlaznih podataka na CE čvorove • u opisu posla navode se sve ulazne i izlazne podataka

• moguće koristiti GridFTP za pripremu podataka

• Pouzdane informacije o dostupnim resursima • koriste se sustavi za nadzor (npr. BDII)


Izazovi

• Veličina i lokacija ulaznih i izlaznih podataka • raspoređivanje prema podacima (engl. data-aware scheduling)

• Selidba poslova između sjedišta • poslovi čekaju u redu dok na drugim sjedištima ima dostupnih

resursa

• Otpornost na pogreške • najčešće ponovno raspoređivanje posla (engl. rescheduling)


Izazovi

• Podržani grid posrednički sustavi • GRAM, gLite, ARC, UNICORE, …

• Podržani tipovi poslova • serijski, paralelni, paralelni na više klastera, workflow, polje poslova

• Integracija sa sigurnosnim sustavima • na kojim sjedištima se korisnik može autenticirati i autorizirati


HTCondor-G Uvod


HTCondor-G

• Komponenta sustava HTCondor

• Namijenjena za podnošenje poslova na grid • podržani posrednički sustavi ARC, UNICORE, Globus, gLite

• Red poslova • podnošenje i upravljanje poslovima slično računalnim klasterima

• Nije raspoređivač poslova • potrebno je navesti adresu sjedišta na koje se podnosi posao


HTCondor-G

• Komponente • HTCondor Schedd

• Grid Manager

• HTCondor Schedd • upravlja redom poslova

• automatsko osvježavanje zastupničkih certifikata i slanje na udaljeno sjedište

• Grid Manager • upravlja poslovima

putem različitih posredničkih sustava (e.g. GRAM, WS-GRAM)


HTCondor-G Matchmaker

• Dodana komponenta za povezivanje HTCondor-G Matchmaker sa sustavim za nadzor

• BDII

• Rad s poslovima jednak HTCondor-G

• Trenutačno neaktivna na CRO NGI-ju

• plan je zamijeniti s tehnologijom HTCondor-CE


HTCondor-G Osnovni parametri poslova


Trenutačno stanje - CRO NGI

Sjedište Adresa CE-a Broj čvorova

CPU jezgri

Spremište Klasterski sustav

MPI okolina

UNIOS-ETFOS ce.etfos.cro-ngi.hr 16 128 5,5 TB (scratch)

SGE MPICH2

UNIRI-GRADRI ce.gradri.cro-ngi.hr 16 128 880 GB (scratch)

SGE MPICH2

IRB ce.irb.cro-ngi.hr 13 260 5,5 TB (scratch)

SGE MPICH2

UNIZG-Srce ce.srce.cro-ngi.hr 39 896 200 TB SGE MVAPICH2

Ukupno 84 1412 200 TB


Opisivanje poslova

• Što se treba izvesti? S kojim argumentima?

• Koji podaci su potrebni za izvođenje poslova?

• Gdje spremati privremene podatke i rezultate?

• Gdje je radni direktorij na čvorovima?

• Koliko procesora posao zahtjeva? Koju arhitekturu procesora?

• Koliko memorije, prostora na disku, vremena je potrebno?


Opisivanje poslova

• Jezik Classads

• Nije osjetljiv na velika i mala slova

• Napomena: • jezik Classads ne podržava pisanje programa ljuske u opisu posla

• program ljuske se može navesti kao izvršna datoteka


attribute = value

attribute = value

attribute = value

attribute = value

Izvršna datoteka

• Definicija izvršne datoteke

• Podrazumijevano HTCondor prenosi lokalnu datoteku

• ne mora biti puna putanja

• Za korištenje datoteke na sjedištu navesti

• u ovom slučaju se preporuča koristiti apsolutnu putanju


executable = path

transfer_executable = false

Argumenti

• Argumenti aplikacije

• Oznaka “ se mora posebno navesti


arguments = arg1 arg2 arg3

arguments = arg1 \"arg 2\" 'arg 3'

Standardni ulaz, izlaz i greška

• Standardni ulaz

• Standardni izlaz

• Standardna greška

• Izlaz i greška se prepisuju

• razlika u odnosu na SGE


input = path

output = path

error = path

Prijenos datoteka

• Prijenos na udaljeno računalo

• Prijenos s udaljenog na lokalno računalu

• Datoteke se prenose u/iz direktorija iz kojeg se podnosi posao


transfer_input_files="path","path"...

transfer_output_files="path","path"...

Prijenos datoteka

• Prijenos iste datoteke na udaljeno računalo i natrag • HTCondor prije prijenosa obriše sadržaj ulazne datoteke

• Koristi se parametar transfer_output_remaps


transfer_input_files=test

transfer_output_files=test

transfer_output_remaps = "test=test.out"

Obavijesti

• Slanje obavijesti • moguće je navesti uvjete u kojim se šalju obavijesti

• Adresa korisnika


notification = Always | Complete | Error | Never

notify_user = email@address

Atributi HTCondora

• Atribute Universe • mora biti postavljen na “grid”

• Dnevnik

• detaljne informacije o izvođenju posla


universe=grid

log=<path>

Atributi HTCondora

• Broj zadataka • obavezan, navodi se iza svih ostalih atributa

• Koristi se za podnošenje polja poslova


queue [<count>] [expr]

Adresa sjedišta – eksplicitno

• Potrebno je navesti adresu sjedišta

• Globus Toolkit


grid_resource=<grid_type> <address> <parameters>

grid_resource=gt2 <gram_address>

Adresa sjedišta – eksplicitno

• GRAM

• za CE čvorove s Torque/Maui

• za CE čvorove sa SGE

• Sustavi na CE čvorovima • http://wiki.cro-ngi.hr/index.php/CRO_NGI_čvorovi#Stanje_2


grid_resource=gt2 ce.fesb.cro-ngi.hr/jobmanager-pbs

grid_resource=gt2 ce.irb.cro-ngi.hr/jobmanager-sge

Podnošenje posla

• Naredba

• naredba ispisuje ID posla


$ condor_submit <classadd_file>

Prikaz stanja poslova

• Naredba

• prikaz svih poslova

• korisnik ne mora spremati ID posla

• Opcije


$ condor_q [-globus] [-long] [jobID] [username]

-globus prikaz sa specifičnim podacima od Globusa

-long detaljni podaci o poslu

(preporuča se koristiti sa jobID)

-hold detaljni podaci o razlogu zaustavljanja posla

Detalji o izvođenju posla

• Dnevnik • parametar log

• Detaljan HTCondorov dnevnik • /var/log/condor/GridmanagerLog.<username>


Vježbe

• $HOME/gworkshop/condorG


hostname.jdl – izvođenje udaljenog programa

test.jdl – izvođenje programa smještenog na UI čvoru

stage.jdl – prijenos datoteka

HTCondor-G Napredni parametri poslova


Globus parametri

• Moguće je posao opisati s Globusovim jezikom

• korisno za paralelne poslove i postavljanje resursa


globusrsl=(<att>=<value>)(<att>=<value>)...

Paralelni poslovi

• Nisu izravno podržani

• Ostvaruju se korištenjem Globus parametara

• Primjeri (mpi.jdl)

• opis MPI posla koji zahtjeva 4 procesora

• nije potrebno navoditi mpirun u skripti

• proizvoljna paralelna aplikacija

• primjer Gaussian


globusrsl = (jobType=mpi)(count=4)

globusrsl = (jobType=single)(count=4)

Paralelni poslovi

• Svi procesori na istom čvoru


environment = "PE_MODE=single"

MPI okolina

• Tri verzije • MPICH2 1.5 : mpich2-x86_64

• MVAPICH2 2.0 : mvapich2-x86_64

• MVAPICH2 2.0 s prevodiocima GNU 4.9 : mvapich2-gcc49-x86_64

• MVAPICH2 na UNIZG-Srce, na ostalima MPICH2

• Na pristupnom čvoru i skriptama potrebno odabrati naredbom


module load <ime_modula>

Polja poslova

• Korištenjem parametra queue

• pokreće N neovisnih poslova

• Korisna varijabla u skripti

• $(Process) – jedinstveni identifikator pojedinog posla

• vrijednosti su 0 … N-1


queue N

output = array.out.$(Process)

transfer_input_files = input.$(Process)

Polja poslova

• Pokretanje na više CE čvorova (job-array.jdl)


executable = mojProg

output = ce.srce.out.$(Process)

error = ce.srce.err.$(Process)

grid_resource = gt2 ce.srce.cro-ngi.hr/jobmanager-sge

queue 2

output = ce.etfos.out.$(Process)

error = ce.etfos.err.$(Process)

grid_resource = gt2 ce.etfos.cro-ngi.hr/jobmanager-pbs

queue 2

GPU poslovi

• Poslovi koji zahtijevaju grafičke procesore (GPU) • GPU-ovi su dostupni isključivo na sjedištu Srce

• Primjer (gpu.jdl)


grid_resource=gt2 ce.srce.cro-ngi.hr/jobmanager-sge

environment = SGE_PE=gpu

GPU okoline

• Dostupne su dvije GPU okoline: • CUDA 5.5: cuda-5-5

• CUDA 7.0: cuda-7-0

• Na pristupnom čvoru i skriptama potrebno odabrati naredbom


module load <ime_modula>

Dodatni zahtjevi na sjedištu Srce

• Moguće je birati: • vrstu radnog čvora (vendor)

• količinu memorije za potrebe jednog procesa u GB (memory)

• količinu diska za potrebe jednog procesa u GB (memory)

• Dostupne vrste čvorova: • Sun - Sun Fire x4600

• HP - HP ProLiant SL250s

• IBM - IBM NeXtScale nx360 M5


Dodatni zahtjevi na sjedištu Srce

• Primjer zahtjeva Sun čvora (srce.jdl)

• Primjer zahtjeva IBM čvora, pri čemu je za izvođenje potrebno 16 jezgri, 64 GB radne memorije i 256 GB diska


globusrsl =

(jobType=single)(count=16)(memory=4)(vendor=IBM)

(scratch=16)

globusrsl = (vendor=Sun)

Filtriranje sjedišta

• Moguće je definirati uvjete koje sjedište mora ispuniti

• Koristiti naredbu za dohvat svih atributa

• Moguće primijeniti samo u okolini s HTCondor Matchmaking


Requirements = <expr>

condor_status -l


• Primjer

• grid sjedište mora imati najmanje 2 procesora slobodna

• odabir dva sjedišta


Requirements = TARGET.MaxMatches > 2

Requirements = TARGET.Name == “ce.irb.cro-ngi.hr”

|| TARGET.Name == “ce.fesb.cro-ngi.hr”


• Parametar za sjedišta koje prihvaćaju paralelne poslove


Requirements = TARGET.ParallelOnly =?= 1

Ocjenjivanje sjedišta

• Sjedišta je moguće ocjenjivati opcijom

• Primjer

• posao preferira sjedišta s više slobodnih procesora

• Moguće primijeniti samo u okolini s HTCondor Matchmaking


Rank = <expr>

Rank = TARGET.MaxMatches

Varijable

• HTCondor omogućava korištenje varijabli u opisu posla • mogu se koristiti u vrijednosti svih atributa

• format: $(ime_varijable)

• korisne za izradu jednostavnijih skripti

• Varijable sustava • $(Cluster) - identifikator posla

• $(Process) - identifikator pojedinih poslova u polju

• primjer korištenja za jedinstveno ime izlaza i greške


Output = output.$(Cluster).$(Process)

Error = error.$(Cluster).$(Process)

Varijable

• Korisničke varijable • proizvoljan broj u opisu posla

• vrijednost se postavlja naredbom (customvar.jdl)

• vrijednost može biti postavljena naredbom queue (napredna polja poslova)


moja = test

Napredna polja poslova

• Tri operatora za odabir indeksa: • in: navodi se konačan broj vrijednosti za jednu varijablu

• from: navodi se konačan broj vrijednosti za više varijabli u opisu posla ili izdvojenoj datoteci

• matching: koristi se popis datoteka i direktorija kao vrijednosti za jednu varijablu

• Primjer korištenja operatora in (job-array-in.jdl)

• pokreće 4 posla

• varijabla $(MyTask) u poslu ima vrijednosti 1…4


queue MyTask in 1 2 3 4

Napredna polja poslova

• Primjer korištenja operatora matching (job-array-matching.jdl)

• pokreće onoliko poslova koliko ima datoteka test.* u direktoriju iz kojeg se pokreće posao

• varijabla $(MyTask) u poslu ima vrijednost imena pronađene datoteke

• Primjer korištenja operatora from • prikazan u primjeru aplikacije Gaussian


queue MyTask matching test.*

Primjer posla Gaussian

• Primjer posla Gaussian (gaus.jdl)

• Optimizacija posla pomoću korisničkih varijabli (gaus-custom.jdl)

• parametri naziv ulazne datoteke, broj jezgri i sjedište

• kod pokretanja mijenja se samo na jednom mjestu

• Optimizacija posla pomoću naprednog polja poslova (gaus-job-array.jdl)

• parametri se navode u tekstualnoj datoteci (gaus_run)

• navođenjem više linija pokreće se više poslova jednom naredbom


test230 10 srce

Problem prijenosa izlaznih datoteka

• Condor-G problem s izlaznim datotekama • datoteke definirane u atributu transfer_output_files

• Ako po završetku posla barem jedna datoteka ne postoji (hold-155.jdl)

• posao se postavlja u stanje Hold s opisom

• standardni izlaz, greška i sve ostale izlazne datoteke će biti obrisane

• Situacija najčešće uzrokovana zbog greške u izvođenju aplikacije


Globus error 155: the job manager could not stage

out a file

Problem prijenosa izlaznih datoteka

• Preporučeno rješenje (hold-155-fix.jdl) • na početku skripte stvoriti sve izlazne datoteke naredbom touch


touch izlaz1 izlaz2 izlaz3

Vježbe



mpi.jdl – paralelni MPI posao

gpu.jdl – GPU posao

srce.jdl – dugotrajni posao s zahtjevom Sun čvora

job-array.jdl - polje poslova na dva sjedišta

customvar.jdl – HTCondor korisničke varijable

job-array-in.jdl - polje poslova s operatorom in

job-array-matching.jdl - polje poslova s operatorom matching

Vježbe



gaus.jdl – posao Gaussian

gaus-custom.jdl – posao Gaussian s korisničkim varijablama

gaus-job-array.jdl - posao Gaussian kao polje poslova s operatorom from i definicijom parametara u datoteci

hold-155.jdl - posao koji završava greškom zbog izlazne datoteke koja nedostaje

hold-155-fix.jdl - rješenje problema izlaznih datoteka korištenjem naredbe touch

HTCondor-G Naredbe za upravljanje poslovima


Dohvat podataka

• Dodatne skripte za dohvat podataka tijekom izvođenja posla

• Moguće je dohvatiti • standardni izlaz i grešku

• pojedine datoteke

• sve datoteke

• Datoteke se spremaju u poddirektorij ./<jobid>


Dohvat podataka

• Dohvat liste datoteka u privremenom direktoriju

• Dohvat standardnog izlaza

• Dohvat standardne greške

• Dohvat datoteke


$ remote-scratch-ls <jobID>

$ remote-scratch-get <jobID> stdout

$ remote-scratch-get <jobID> stderr

$ remote-scratch-get <jobID> filename

Dohvat podataka

• Na sjedištu UNIZG-Srce moguće izravno pristupiti radnom direktoriju

• naredba vraća direktorij

• direktoriju je moguće izravno pristupiti na UI čvoru


$ remote-scratch-pwd <jobID>

Stanje sjedišta grida

• Naredba

• lista dostupnih sjedišta

• Detaljan status

• Ispis GRAM adresa


$ condor_status

$ condor_status -l

$ condor_status -l | grep grid_resource

Stanje sjedišta grida

• Dodatna naredba koja koristi SGE

• zahtjeva valjani korisnički certifikat


$ grid-queue-status

Zaustavljanje posla

• Naredba

• Ukoliko je posao u stanju X ili H


$ condor_rm <jobID>

$ condor_rm -forcex <jobID>

Povijest poslova

• Naredba

• ispis svih poslova koje je HTCondor izveo

• Ispis povijesti za posao

• Detaljan ispis povijesti posla


$ condor_history

$ condor_history <id>

$ condor_history -l <id>

Ponovno izvođenje poslova

• Naredbe

• posao se zaustavlja i vraća u red poslova

• HTCondor automatski zaustavlja grid poslove u slučaju greške

• Nastavak izvođenja


$ condor_hold <jobID>

$ condor_release <jobID>

Reference

• CRO NGI korisničke upute • http://wiki.cro-ngi.hr

• HTCondor • http://www.cs.wisc.edu/htcondor/

• HTCondor-G korisničke upute • http://research.cs.wisc.edu/htcondor/manual/v8.4/5_3Grid_Universe

.html

• HTCondor-G parametri za opisivanje poslova • http://research.cs.wisc.edu/htcondor/manual/v8.4/condor_submit.ht

ml


EGI


Uvod

• engl. European Grid Initiative

• Nastavak projekata EGEE

• Uspostava održive grid okoline za potrebe znanstvenika

• gridifikacija aplikacija iz određenih znanstvenih područja

• Grid sastavljen od nacionalnih grid infrastruktura (NGI) • NGI-jevi potpuno neovisni

• sukladno NREN (engl. National Research and Educational Networks) u računalnim mrežama

• Trenutno najveći svjetski grid


Uvod

• 42 države (službeno povezane)

• 310 sjedišta

• Preko 480 000 procesorskih jezgri

• Gotovo 300 PB diskovnog prostora

• Preko 200 PB tračnog prostora

• 1,5 milijuna poslova dnevno

• Posrednički sustavi gLite, ARC, UNICORE, Globus


Arhitektura

• Grid sjedišta • sjedišta sadrže različite vrste čvorova

• Vrste čvorova • CE, SE, MyProxy – ista svrha kao i na CRO NGI-ju

• sadrže veći skup servisa

• BDII – središnji informacijski servisi

• WMS – središnji servisi sustava za upravljanje poslovima

• LFC (engl. LCG File Catalog) – središnji katalog datoteka

• FTS (engl. File Transfer Service) – servisi za upravljanje prijenosom podataka

• VOMS (engl. Virtual Organization Membership Service) – središnji servis za upravljanje VO-ovima


Hrvatska u EGI

• Sudjeluje od druge faze EGEE-II (2006.) • operativne i networking aktivnosti

• Uspostavljena tri sjedišta • financirana od strane MZOS-a

• SRCE CA prihvaćeno u EUGridPMA (IGTF)


Hrvatska u EGI

• Ostale aktivnosti • nacionalne operacijske aktivnosti SA1 – održavanje središnjih

servisa i podrška sjedištima

• globalne operacijske aktivnosti u suradnji s CERN-om i GRNetom

• vođenje nadzorne aktivnosti Infrastructure for Grid Management Overview (SA1.4)

• razvojne aktivnosti JRA1 – sudjelovanje u razvoju sustava za nadzor grid servisa

• vođenje interoperacijske aktivnosti (SA1.3) – dodatni resursi


Sigurnost Uvod


Virtualne organizacije

• Specifična područja primjene • LHC VO-ovi (npr. alice, atlas), biomed

• Regionalni VO-ovi • Hrvatska je dio CE regije

• svi korisnici imaju pravo pristupa VOCE VO-u

• Pojedini VO-ovi imaju zasebna sučelja za prijavu


Virtualne organizacije

• Operations Portal • http://operations-portal.egi.eu/vo/search

• pregled dostupnih VO-ova

• zahtjeva certifikat u pregledniku

• link VO Information / List

• VO Cards • detaljne informacije o pojedinim VO-ovima


Katalog aplikacija

• Web sučelje s popisom dostupnih aplikacija

• https://appdb.egi.eu/


Sigurnost Praktične vježbe


Postavljanje gLite okoline na CRO NGI UI čvoru

• Trenutno podržani VO-ovi • dteam, cms, alice, atlas, ops, lhcb, voce, biomed

• obratite se na [email protected] za dodavanje drugih


Stvaranje zastupničkog certifikata

• Ulazak na grid

• unijeti lozinku

• zastupnički certifikat se sprema u datoteku /tmp/x509_up<userid>


$ voms-proxy-init –voms <VO>

Upravljanje zastupničkim certifikatom

• Dohvat informacija o certifikatu


$ voms-proxy-info -all

subject : /C=IT/O=GILDA/OU=Personal

Certificate/L=ZAGREB/CN=ZAGREB01/CN=proxy

...

=== VO gilda extension information ===

VO : gilda

...

attribute : /gilda/Role=NULL/Capability=NULL

attribute : /gilda/grelc/Role=NULL/Capability=NULL

attribute : /gilda/grelc/das/Role=NULL/Capability=NULL

attribute :

/gilda/grelc/das/grid009.ct.infn.it/Role=NULL/Capability=NULL

attribute :

/gilda/grelc/das/grid009.ct.infn.it/sakila/Role=NULL/Capability=NULL

timeleft : 11:41:42

Upravljanje zastupničkim certifikatom

• Brisanje zastupničkog certifikata


$ voms-proxy-destroy

Automatsko osvježavanje

• Periodičko osvježavanje VO zastupničkog certifikata • dodatna komponenta na CRO NGI-ju

• Prijava zastupničkog certifikata

• unijeti lozinku korisničkog certifikata

• osvježavanje će se obavljati definirani broj dana

• 24h prije isteka korisnik će primiti email obavijest


$ myproxy-manage-create -v <VO> –m –d <dana>

Nadzor


GSTAT

• Nadzor EGI grida

• Podaci prikupljeni od servisa BDII

• Web sučelje • http://gstat.egi.eu


Ostali alati

• SAM (engl. Service Availability Monitoring) • središnji nadzor stanja grid servisa

• http://grid-monitoring.egi.eu/myegi/

• Accounting • korištenje resursa od strane pojedinih VO-ova

• http://accounting.egi.eu

• Većina VO-ova ima vlastita sučelja za nadzor • primjer: Dashboard http://dashboard.cern.ch/


Upravljanje poslovima


Workload Management System


Opis poslova

• Jezik sličan HTCondor-G


attribute = value;

attribute = value;

attribute = value;

attribute = value;

Opis poslova

• Definicija izvršne datoteke

• Podrazumijevano se koristi datoteka na sjedištu

• Za korištenje lokalne datoteke potrebno eksplicitno navesti prijenos


Executable = “path”;

Argumenti

• Argumenti aplikacije


Arguments = “arg1 arg2 arg3”;

Standardni ulaz, izlaz i greška

• Standardni ulaz

• Standardni izlaz

• Standardna greška

• Potrebno eksplicitno definirati prijenos datoteka


StdInput = “path”;

StdOutput = “path”;

StdError = “path”;

Prijenos datoteka

• Potrebno eksplicitno definirati prijenos svih datoteka

• Prijenos na udaljeno računalo

• Prijenos s udaljenog na lokalno računalu

• Datoteke se prenose iz direktorija iz kojeg se podnosi posao

• Izlazne datoteke potrebno dohvatiti na završetku posla


InputSandbox = {" path", " path", ...};

OutputSandbox = {" path", " path", ...};


• Moguće je definirati uvjete koje sjedište mora ispuniti

• Koriste se atributi dohvaćeni od servisa BDII

• koristiti naredbu lcg-info

• Primjer

• grid sjedište mora imati najmanje 2 procesora slobodna


Requirements = <expr>;

Requirements = other.GlueCEStateFreeCPUs > 2;

Ocjenjivanje sjedišta

• Sjedišta je moguće ocjenjivati opcijom

• Primjer

• posao preferira sjedišta s više slobodnih procesora


Rank = <expr>;

Rank = other.GlueCEStateFreeCPUs;

Podnošenje posla

• Naredba

• naredba ispisuje ID posla

• Bitno: potrebno je zapamtiti ID posla • nema mogućnosti dohvata aktivnih poslova

• gubitak ID-ja znači gubitak posla


$ glite-wms-job-submit -a <classadd_file>

Podnošenje posla


$ glite-wms-job-submit -a <classadd_file>

Connecting to the service https://glite-

rb3.ct.infn.it:7443/glite_wms_wmproxy_server

====================== glite-wms-job-submit Success

======================

The job has been successfully submitted to the WMProxy

Your job identifier is:

https://glite-rb3.ct.infn.it:9000/3J_assjCOjNiWBOYfCRahg

============================================================

==============

Prikaz stanja posla

• Naredba


$ glite-wms-job-status <jobID>

Prikaz stanja posla


$ glite-wms-job-status https://glite-

rb3.ct.infn.it:9000/3J_assjCOjNiWBOYfCRahg

************************************************************

*

BOOKKEEPING INFORMATION:

Status info for the Job : https://glite-


Current Status: Done (Success)

Exit code: 0

Status Reason: Job terminated successfully

Destination: iceage-ce-01.ct.infn.it:2119/jobmanager-

lcgpbs-long

Submitted: Thu May 15 14:48:10 2008 CEST

...

Zaustavljanje poslova

• Datoteke navedene u OutputSandbox potrebno dohvatiti:

• spremaju se u poseban direktorij

• naredba ispisuje putanju do direktorija


$ glite-wms-job-output <jobID>

Dohvat izlaznih datoteka


$ glite-wms-job-output https://glite-


Connecting to the service https://glite-

rb3.ct.infn.it:7443/glite_wms_wmproxy_server

============================================================

====================

JOB GET OUTPUT OUTCOME

Output sandbox files for the job:

https://glite-rb3.ct.infn.it:9000/3J_assjCOjNiWBOYfCRahg

have been successfully retrieved and stored in the

directory:

/tmp/jobOutput/eimamagi_3J_assjCOjNiWBOYfCRahg

============================================================

====================

Zaustavljanje poslova

• Naredba


$ glite-wms-job-cancel <jobID>

Dohvat informacija o poslu

• Naredba


$ glite-wms-job-logging-info <jobID>

Vježba

• $HOME/gworkshop/wms


hostname.jdl – izvođenje udaljenog programa

test.jdl – izvođenje programa smještenog na UI čvoru

req.jdl – primjer filtriranja CE čvorova

rank.jdl – primjer ocjenjivanja CE čvorova

HTCondor-G


HTCondor-G

• HTCondor-G podržava posredničke sustave ne EGI • ARC, CREAM, UNICORE

• Potreban je važeći VO zastupnički certifikat

• Primjer podnošenja na CREAM (cream.jdl)

• Ostali parametri su standardni


grid_resource = cream ce.fesb.egi.cro-ngi.hr:8443/cream-pbs-sunx2200

Reference

• CRO NGI korisničke upute • http://wiki.cro-ngi.hr

• EGI • http://www.egi.eu

• EMI • https://www.eu-emi.eu

• Operations portal • https://operations-portal.egi.eu


Srce politikom otvorenog pristupa široj javnosti

osigurava dostupnost i korištenje svih rezultata rada

Srca, a prvenstveno obrazovnih i stručnih informacija

i sadržaja nastalih djelovanjem i radom Srca.

Ovo djelo je dano na korištenje pod licencom

Creative Commons Imenovanje-Nekomercijalno

4.0 međunarodna.

www.srce.unizg.hr creativecommons.org/licenses/by-nc/4.0/deed.hr www.srce.unizg.hr/otvoreni-pristup

Hvala na pažnji!

Pitanja?











Documents

Korištenje grid okolina CRO NGI i EGI - unizg.hr · arguments = arg1 \"arg 2\" 'arg 3' Standardni ulaz, izlaz i greška •Standardni ulaz •Standardni izlaz •Standardna greška