Sistema EmMa Farm su GRID ENEA

Introduzione all'utilizzo del sistema EmMa/Farm su GRID Enea

Gino Briganti – ENEAAndrea Cappelletti – ENEAPietro Marri - ENEA Progetto MINNIRiunione plenaria 4-5 marzo 2010

Introduzione

Obiettivi

Illustrare sinteticamente il filesystem e gli scripts EmMa/Farm su GRID Dare uno schema per la preparazione di un nuovo caso Fornire info su spazi e tempi cpu

Filesystem

Qualsiasi nome

Filesystem

La disposizione delle directory è rigida

NOTA BENE: La data nel netcdf deve corrispondere alla dir “anno”

farm/inp

IT0

2005

2005010

2005002

diffemi_IT0_2005002.bin

Gli scripts

Gli scripts sono nidificati, chiamano a loro volta altri scripts che però, per motivi particolari, possono essere lanciati anche individualmente

hanno più opzioni

sono predisposti per sottomettere dei jobs alle code della GRID ma possono essere utilizzati anche per esegure i calcoli in interattivo

Hanno un piccolo help in linea

EmMa

paths setting (indica la root)

pulizia ..../script_emma/emma.grid.bash clean [zone] [year]

preprocessing..../script_emma/emma.grid.bash preproc [zone] [year]

modulazione temporale.../script_emma/emma.grid.bash decad [zone] [year] [decads]

copia dei files su AFS (eventuale).../script_emma/emma.copy.bash [zone] [year] [decads]

Farm

paths setting e creazione dell'albero in farm/out

tree.bash [zone] [year] [root dir]

creazione dei file di inizializzazione farm.NxN.loop_ini_files.bash [zone] [year] [decads] (N=4,20)

lancio sotto LSF su base mensile farm.bsub.bash [zone] [year] [months]

copia su AFS (eventuale)copy.bash [year] [julian start] [julian end] [from dir] [to dir]

Nesting

Calcolo delle B.C. dal un caso 20x20

farm.4x4.BC.bsub.bash [zones] [years] [months]

Concatenazione dei file BC creati in modo che contengano record dalle ore 00 alle 24

farm.4x4.BC.concatenate.bash [zones] [year]

Creazione delle I.C. dal caso 20x20

farm.4x4.IC.bash [zones] [year]

Nuovo casoCreare un nuovo ramo

/afs/enea.it/project/minnifarm

Copiare l'intero albero

meteo TEST 2005

farm/inp TEST 2005

meteo IT0 2005

farm/inp IT0 2005/PFS/por/cappelle/test

Documentation

In /PFS/por/cappelle

mihaela

soft

farm

meteo

emi

bound

inp

out

IT0 CI0 1 mese

In ..../soft/soft_ARIANET/script_[emma,farm] ci sono dei readme files ove sono spiegate più in dettaglio l'uso degli scripts

In /afs/enea.it/project/minnifarm/readmeci sono i log files degli updates eseguiti

Scenari di Riferimento

XXX=IT0,NI0,SI0,SA0,SC0,CI0

YYYY=1999,2005

EMISSIONI /PFS/por/cappelle/minnifarm/farm/inp/XXX/YYYY

CONCENTRAZIONIDEPOSIZIONI

/PFS/por/briganti/minnifarm/farm/out/XXX/2005

/afs/enea.it/project/minnifarm/farm/out/XXX/1999

ATM

SS=25,50 PPP=PM10,NOx,SO2,NH3,VOC RRR=LAZ,LOMYYYY=2005 (emis) ZZZZ=2005 (meteo)

EMISSIONI

/PFS/por/cappelle/minnifarm/ATM/inp/SS/PPP/RRR/YYYY

CONCENTRAZIONIDEPOSIZIONI

/PFS/por/briganti/minnifarm/ATM/farm/out/YYYY/ZZZZ/SS/PPP/RRR

SPAZIO & TEMPO CPU

Simulazioni di 1 mese

SpazioGB

CPU time h

IT0Italy 20x20 25 16

CI0Centro Italia 4x4

60 100