View
233
Download
2
Category
Preview:
Citation preview
Sistema EmMa Farm su GRID ENEA
Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea
Gino Briganti – ENEAAndrea Cappelletti – ENEAPietro Marri - ENEA Progetto MINNIRiunione plenaria 4-5 marzo 2010
Introduzione
Obiettivi
Illustrare sinteticamente il filesystem e gli scripts EmMa/Farm su GRID Dare uno schema per la preparazione di un nuovo caso Fornire info su spazi e tempi cpu
Filesystem
Qualsiasi nome
Filesystem
La disposizione delle directory è rigida
NOTA BENE: La data nel netcdf deve corrispondere alla dir “anno”
farm/inp
IT0
2005
2005010
2005002
diffemi_IT0_2005002.bin
Gli scripts
Gli scripts sono nidificati, chiamano a loro volta altri scripts che però, per motivi particolari, possono essere lanciati anche individualmente
hanno più opzioni
sono predisposti per sottomettere dei jobs alle code della GRID ma possono essere utilizzati anche per esegure i calcoli in interattivo
Hanno un piccolo help in linea
EmMa
paths setting (indica la root)
pulizia ..../script_emma/emma.grid.bash clean [zone] [year]
preprocessing..../script_emma/emma.grid.bash preproc [zone] [year]
modulazione temporale.../script_emma/emma.grid.bash decad [zone] [year] [decads]
copia dei files su AFS (eventuale).../script_emma/emma.copy.bash [zone] [year] [decads]
Farm
paths setting e creazione dell'albero in farm/out
tree.bash [zone] [year] [root dir]
creazione dei file di inizializzazione farm.NxN.loop_ini_files.bash [zone] [year] [decads] (N=4,20)
lancio sotto LSF su base mensile farm.bsub.bash [zone] [year] [months]
copia su AFS (eventuale)copy.bash [year] [julian start] [julian end] [from dir] [to dir]
Nesting
Calcolo delle B.C. dal un caso 20x20
farm.4x4.BC.bsub.bash [zones] [years] [months]
Concatenazione dei file BC creati in modo che contengano record dalle ore 00 alle 24
farm.4x4.BC.concatenate.bash [zones] [year]
Creazione delle I.C. dal caso 20x20
farm.4x4.IC.bash [zones] [year]
Nuovo casoCreare un nuovo ramo
/afs/enea.it/project/minnifarm
Copiare l'intero albero
meteo TEST 2005
farm/inp TEST 2005
meteo IT0 2005
farm/inp IT0 2005/PFS/por/cappelle/test
Documentation
In /PFS/por/cappelle
mihaela
soft
farm
meteo
emi
bound
inp
out
IT0 CI0 1 mese
In ..../soft/soft_ARIANET/script_[emma,farm] ci sono dei readme files ove sono spiegate più in dettaglio l'uso degli scripts
In /afs/enea.it/project/minnifarm/readmeci sono i log files degli updates eseguiti
Scenari di Riferimento
XXX=IT0,NI0,SI0,SA0,SC0,CI0
YYYY=1999,2005
EMISSIONI /PFS/por/cappelle/minnifarm/farm/inp/XXX/YYYY
CONCENTRAZIONIDEPOSIZIONI
/PFS/por/briganti/minnifarm/farm/out/XXX/2005
/afs/enea.it/project/minnifarm/farm/out/XXX/1999
ATM
SS=25,50 PPP=PM10,NOx,SO2,NH3,VOC RRR=LAZ,LOMYYYY=2005 (emis) ZZZZ=2005 (meteo)
EMISSIONI
/PFS/por/cappelle/minnifarm/ATM/inp/SS/PPP/RRR/YYYY
CONCENTRAZIONIDEPOSIZIONI
/PFS/por/briganti/minnifarm/ATM/farm/out/YYYY/ZZZZ/SS/PPP/RRR
SPAZIO & TEMPO CPU
Simulazioni di 1 mese
SpazioGB
CPU time h
IT0Italy 20x20 25 16
CI0Centro Italia 4x4
60 100
Recommended