Upload
geronimo-napoli
View
217
Download
4
Embed Size (px)
Citation preview
Riunione PON SCoPE PON SCoPE - 29 marzo 2007
L’esperienza dell’INFN per l’infrastruttura GRIDL’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europeanazionale ed europea
L’organizzazione del progetto in work packagesL’organizzazione del progetto in work packages
Il prototipo presso il Dipartimento di Scienze FisicheIl prototipo presso il Dipartimento di Scienze Fisiche
L. Merola
L’esperienza dell’INFN per l’infrastruttura GRIDL’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europeanazionale ed europea
L’organizzazione del progetto in work packagesL’organizzazione del progetto in work packages
Il prototipo presso il Dipartimento di Scienze FisicheIl prototipo presso il Dipartimento di Scienze Fisiche
Progetti nazionali:- INFN-GRIDINFN-GRID [dal 2000]- Grid.ITGrid.IT, finanziato dal MIUR/FIRB [2002-2005]- BioinfoGrid, LIBI, LITBIO, Cyclops
Progetti europei: - DataGrid (EDG) [V PQ UE [2001-2004] - DataTAG [V PQ UE 2002-2003] - LHC Computing Grid (LCGLCG), progetto CERN [dal 2002] - EGEEEGEE [VI PQ UE 2004-2006] - EGEE-IIEGEE-II [VI PQ UE 2006-2008] - EELA, EUChinaGrid, EuIndiaGrid, EUMedGrid,
OMII, ETICS, CoreGRID, GRIDCC [VI PQ UE]
VII PQ UE (EGEE-IIIEGEE-III, NMR, OGF, …) Da testbed a infrastruttura Grid di produzione verso la costituzione di Italian Grid Infrastructure Association e di una European Grid Initiative.
LCG
INFN Comm. Scient. Naz.
I progetti INFN sulle Grid sono gestiti da un INFN Executive BoardINFN Executive Board
(presieduto da M. Mazzucato; L.M. ne è componente)
EGEE
40 nazioni200 siti> 100 VO
37 k CPU7 PB storage
INFNPONFIRB
Middleware INFNGRIDMiddleware INFNGRID
Servizi “core” (presenti in ciascun sito) Repository pacchetti del middleware
(YAIM - INFNGRID 3.0.0 - Scientific Linux CERN 3.x - Istallazione e aggiornamenti automatici via PXE – Framework Globus 2.x)
Servizi di computing
(Computing Element gestione dei Worker Node – Servizi Globus: globus-gatekeeper, globus-gridftp, GRIS – Batch system: PBS, Torque, LSF)
Servizi di storage
(Storage Element gestione dello storage – Servizi Globus: globus-gridftp, GRIS)
User Interface
(sottomissione di job, visualizzazione stato di un job, cancellazione di un job, recupero dell'output di un job, via remota SSH o web GENIUS)
Piena compatibilità con il m/wEGEE (gLite/LCG) con release e aggiornamenti frequentie controllati centralmente.
Servizi “collective” (gestiti centralmente) Servizi di autenticazione/autorizzazione
(VOMS - Virtual Organization Membership Service) Servizi di allocazione dei job
(Resource Broker – allocazione job via matchmaking con le risorse) Servizi informativi
(GRIS Grid Resource Information Service Information Index Cataloghi di file / repliche
(LFC LCG File Catalog localizzazione dei dati, copia dei dati, gestione e replica dei dati, gestione dei meta-dati, MySQL)
User interface
Servizi aggiuntivi di supporto e gestione dell’infrastruttura
Certification Authority
(Certificati personali e server di una Registration Authority locale) Servizi di Monitoring
(GridIce monitoring delle risorse, SAM Service Availability Monitoring monitoring dei servizi)
Servizi di Accounting
(DGAS - Distributed Grid Accounting: le informazioni sono raccolte in un database Home Location Register)
Servizi di Ticketing per la risoluzione di problemi
(Gestione dei trouble ticket)
SE
WNCE
YAIM
UI
GRID
UI
DGAS
TS
SAM
MS
LFC
II
VOMS
RB
Grid Service Center
Grid Site
No jobsRunning/Waiting jobs
Il laboratorio GILDA
Il portale GENIUSDISSEMINATIONDISSEMINATION
Esempio di applicazioneScienze del Microcosmo – Fisica delle Alte Energie
Hierarchical model
Data ServerData Server
Data Server
CPU Server
CPU Server
CPU Server
desktop
CPU Server desktop
desktop
desktop
CERNTier 0
CPU Server
Tier 2 (“Regional” Centers)Tier-2 Esp.Atlas:Tier-2 Esp.Atlas:RM1, NARM1, NA
Tier 3-4 (Dip. e Institute)
Tier 1 (“Regional”naz. and internaz. Center)
Esperimento ATLAS
Tier-0 (CERN)Tier-0 (CERN)• Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 • Prompt Reconstruction • Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1
Il modello generale di calcolo per l’offline e l’analisi dati di un esperimento di Fisica delle Alte Energie (es. Esp.ATLAS, CMS, ALICE, LHC-b) è quello gerarchico multi-Tier.
Tier-1 (10)Tier-1 (10)• Accesso a lungo termine e archivio di un subset di RAW data• Copia dei RAW data di un altro Tier-1• Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio dati simulati MC prodotti nei Tier-2
Tier-2 Tier-2 • Simulazione Monte Carlo • Analisi dei dati
~50 Mb/s
~3-4/T1~3-4/T1
Event Builder
Event Filter
Tier3
10 GB/s
320 MB/s
~ 150 MB/s
~10~10
~PB/s
Tier2
Tier0
Tier1
Esempio di uso del Tier-Esempio di uso del Tier-2 di Napoli in termini di 2 di Napoli in termini di CPU time e Wall TimeCPU time e Wall Time
ATLAS
Altre VO
L’esperienza dell’INFN per l’infrastruttura GRIDL’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europeanazionale ed europea
L’organizzazione del progetto in work packagesL’organizzazione del progetto in work packages
Il prototipo presso il Dipartimento di Scienze FisicheIl prototipo presso il Dipartimento di Scienze Fisiche
Resp. ScientificoG. MARRUCCI
Resp. Amministr.E. CESARO
Comitato Direttivo G. MARRUCCIV. BARONE G. FRANCESCHETTIN. MAZZOCCA L. MEROLAA. MURLI G. RUSSOF. SALVATORE G. VENTRE
Middleware Middleware A&BA&B
(30 prof. + ric.)
Scienze del Scienze del Microcosmo e Microcosmo e
del Macrocosmodel Macrocosmo(19 prof. + ric.)
Scienze dei Scienze dei Materiali e Materiali e
dell’Ambientedell’Ambiente(37 prof. + ric.)
Scienze Scienze della Vitadella Vita
(42 prof. + ric.)
Aree scientifiche
WP1WP1PROGETTAZIONE, REALIZZAZIONE PROGETTAZIONE, REALIZZAZIONE
E TEST DELL'INFRASTRUTTURA E TEST DELL'INFRASTRUTTURA DI CALCOLO E GRIDDI CALCOLO E GRID
( 1 contr. )( 1 contr. )
Work Packages
WP2WP2IMPLEMENTAZIONE IMPLEMENTAZIONE
DEL MIDDLEWARE DI BASE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRIDDELLA PIATTAFORMA GRID
( 3 contr. )( 3 contr. )
WP3WP3REALIZZAZIONE E GESTIONE REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE DELLA VO E DELLE RISORSE
E SUPPORTO AGLI UTENTIE SUPPORTO AGLI UTENTI( 2 contr. )( 2 contr. )
WP4WP4PROGETTAZIONE E SVILUPPO DI PROGETTAZIONE E SVILUPPO DI
MIDDLEWARE APPLICATIVO E SVILUPPO MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHEDELLE APPLICAZIONI SCIENTIFICHE
( 34 contr. )( 34 contr. )
WP5WP5INTEGRAZIONE DELLA GRID SCOPE INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE NELL'INFRASTRUTTURA NAZIONALE
ED INTERNAZIONALEED INTERNAZIONALE( 1 contr. )( 1 contr. )
WP6WP6DIFFUSIONE DEI RISULTATI E DIFFUSIONE DEI RISULTATI E
TRAINING AGLI UTENTITRAINING AGLI UTENTI( 0 contr. )( 0 contr. )
WP1 PROGETTAZIONE, REALIZZAZIONE E TEST DELL'INFRASTRUTTURA DI CALCOLO E GRID
1.1 Definizione delle specifiche generali e delle infrastrutture hw/sw del sistema di calcolo.
1.2 Definizione delle specifiche di dettaglio delle risorse di calcolo, storage e rete.
1.3 Partecipazione all'elaborazione del capitolato tecnico per la gara relativa alle opere edili ed agli impianti tecnologici.
1.4 Partecipazione all'elaborazione del capitolato tecnico per la gara relativa alle attrezzature.
1.5 Progettazione, realizzazione e test del prototipo SCoPE a scala ridotta.
1.6 Monitoraggio tecnico/scientifico della realizzazione dell’infrastruttura e del centro di calcolo SCoPE.
1.7 Attivazione del centro di calcolo SCoPE.
1.8 Connessione ed integrazione delle sedi periferiche non ancora collegate.
WP2 IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID
2.1 Definizione delle specifiche del middleware di base di Grid e dei tools relativi.
2.2 Installazione e test del middleware di base LCG/EGEE sul prototipo SCoPE (CE, WN, SE, UI).
2.3 Progettazione, realizzazione e test dei servizi Grid di start-up sul prototipo ScoPE (VOMS, RB, II, LFC)
2.4 Progettazione, realizzazione e test dei servizi di Grid Monitoring (GridICE) e di Service Availability (SAM)
2.5 Progettazione, realizzazione e test dei tool di monitoring ambientale e di management dell'infrastruttura.
2.6 Installazione e test del middleware di base INFNGRID nelle strutture periferiche coinvolte (CE, WN, SE, UI).
2.7 Progettazione di algoritmi per lo sviluppo di nuovo software per realizzare librerie e servizi di griglia specifici
WP5 INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE
5.1 Coordinamento con gli atri PON, progettazione e realizzazione dell'infrastruttura Grid comune.
5.2 Integrazione nelle Grid nazionali Grid.it, INFN-GRID e nella Grid europea EGEE
WP6 DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI6.1 Realizzazione di un Laboratorio Virtuale per la diffusione dei risultati ed il training
dei nuovi utenti.6.2 Inclusione di un sottoinsieme di risorse della Grid SCoPE nel testbed GILDA (Grid
INFN Laboratory for Dissemination Activities) per l'integrazione di realtà territoriali (industria, ecc.)
WP3 REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI
3.1 Creazione della Virtual Organization SCoPE e definizione delle politiche di utilizzo delle risorse SCoPE.3.2 Management dei servizi “core” del centro di calcolo ScoPE.
3.3 Management dei servizi “core” nei siti periferici.
3.4 Management dei servizi “collective” del centro di calcolo ScoPE.
3.5 Progettazione ed implementazione di un sistema di trouble ticketing (TS).3.6 Installazione di un portale di accesso (Web User Interface) alle risorse Grid
(GENIUS) 3.7 Gestione della VO SCoPE
WP4 PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE
4.1 MATEMATICA NUMERICA
4.2 FISICA SUBNUCLEARE4.3 MATERIALI E AMBIENTE4.4 ASTROFISICA4.5 INFORMATICA4.6 ELETTROMAGNETISMO E TELECOMUNICAZIONI4.7 SCIENZE STATISTICHE E SOCIALI4.8 SCIENZE DELLA VITA E BIO-INFORMATICA
MATEMATICA NUMERICA Sviluppo, validazione e testing di codici per la risoluzione numerica di problemi inversi di base della matematica numericaSviluppo, validazione e testing di codici di base della matematica numerica e loro utilizzo nella risoluzione di problemi inversi applicati all'imagingStudio di metodi di algoritmi paralleli di base della matematica numericaFISICA SUBNUCLEARESviluppo, test e gestione del software per il sistema distribuito basato su grid di simulazione, data management e analisi dati dell'esperimento atlasStudio del modello di analisi dati dell'esperimento atlas nell'ambito delle interazioni protone-protone presso l'acceleratore LHCSupporto alla modellizzazione e allo sviluppo di algoritmi di fisica per utilizzo sulla Grid del Progetto PON SCoPEMATERIALI E AMBIENTESviluppo di un codice tight binding per il calcolo delle proprietà ottiche di semiconduttori nanostrutturatiSviluppo e validazioni di codici basati sulla teoria del funzionale della densità per lo studio di materiali semiconduttori e polimericiIntegrazione di metodi classici e quantistici per lo studio di nanomaterialiMetodi informatici, statistici e documentali di interesse ambientaleModellistica e simulazione numerica di materiali complessi quali vetri, gel, polimeri, colloidi, sistemi biolodgici, sistemi magnetici disordinati e materiali granulari.
ASTROFISICAStudio del modello di analisi dati nell'ambito della struttura cosmica su larga scala
Studio di codici innovativi per la ricerca di onde gravitazionaliImplementazione, validazione e documentazione codici per l'astrofisica di survey
Supporto alla modellizzazione di algoritmi per il Progetto PON SCOPEINFORMATICAMetodologie e tecnologie per l'accesso in sicurezza e la valutazione delle prestazioni di sistemi gridApplicazione in ambito grid computing di metodologie e tecnologie per la gestione delle risorse dei sistemi distribuiti con garanzia di qualità del servizioProgetto e realizzazione di un repository per la scoperta e il matchmaking intelligenti di risorse
Argomenti di ricerca
ELETTROMAGNETISMO E TELECOMUNICAZIONIProgetto di una rete di sensori in connessione wireless operante in architettura grid e realizzazione di un test-bed per una città sicuraModelli numerici di sistemi elettromagnetici complessi in ambiente gridUn'architettura grid innovativa per il monitoraggio elettromagnetico di un'area geografica
Nuovi algoritmi per l'elaborazione di segnali ed immagini in architetture wireless grid
Progettazione, realizzazione e modellazione di servizi web e sviluppo di sistemi prototipali per applicazioni di elaborazione di segnali e di monitoraggio ambientale per l’architettura GRID del Progetto PON SCOPE
Sviluppo di metodi e algoritmi efficienti, implementabili su piattaforma GRID, per l’analisi e la caratterizzazione elettromagnetica di strutture complesse di grandi dimensioni
SCIENZE STATISTICHE E SOCIALIAlgoritmi di ottimizzazione per la statistica computazionale basati su grid computing
Metodologie dell'e-learning basate sull'integrazione di sistemi complessi per la gestione dei contenuti nelle scienze socialiSCIENZE DELLA VITA E BIO-INFORMATICASviluppo ed implementazione di protocolli per l'interfacciamento di database bioinformatici con metodi di simulazione molecolareSviluppo ed implementazione di protocolli computazionali per la simulazione di sistemi e processi nel campo delle scienze della vitaMessa a punto di strumenti software per l'analisi di sequenze conservate del genoma umano e loro interfacciamento con il sistema di grid computingAnalisi computazionale di sequenza del genoma umano, mediante strumenti software innovativi per l'annotazione di elementi funzionaliStudio di un sistema di analisi centralizzato per immagini biologiche diretto allo studio del movimento cellulare e capace di avvalersi dei sistemi di calcolo distribuito ad alte prestazioniStudio di metodi di annotazioni caratteristiche funzionali in genomi batterici, con tecniche di predizione su larga scalaAnalisi mediante tecniche computazionali di dati di spettrometria di massa di peptidi e proteineStudio di metodi multiscala per applicazioni nel campo delle scienze della vitaProgettazione e realizzazione di sistemi di gestione e di interfacce computazionali nell’ambito della bioinformatica
L’esperienza dell’INFN per l’infrastruttura GRIDL’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europeanazionale ed europea
L’organizzazione del progetto in work packagesL’organizzazione del progetto in work packages
Il prototipo presso il Dipartimento di Scienze FisicheIl prototipo presso il Dipartimento di Scienze Fisiche
Liv.1 ed G
CentroCentroPON S.CO.P.EPON S.CO.P.E..
DDipartimento di ipartimento di SScienze cienze FFisicheisicheINFNINFNEdificio GEdificio G
Cabina elettricaG.E. 1 MW
Tier2–ATLASTier2–ATLASPrototipo SCoPEPrototipo SCoPE
CAMPUS GRIDMSA
DMADiChi
DSF INFN
C.S.I.
GARR
Fibra ottica
PON PON S.CO.P.E.S.CO.P.E.
14 marzo 2007
9 marzo 2007
Infrastruttura di Grid======= 1 -------------- management
G ======= 2 --------------I ======= …. -------------- FG ======= 10 -------------- AA SB User Interface & Test node TI ======= 1 --------------T ======= 2 -------------- E
======= …. -------------- TE ======= 10 -------------- HT EH Computing Element RE ======= 1 -------------- NR ======= 2 -------------- EN TE Worker Node Blade AT -------------- 1 -------------- low latency
-------------- 2 ---------------------------- … ---------------------------- 96 --------------
Worker Node Blade B======= 1
G ======= 2 II ======= … NG ======= 128 FA IB TIER 2 ATLAS NI ======= 1 IT ======= 2 B
======= … AE ======= N NT DH Grid Storage ElementsE ======= 1 --------------R ======= 2 --------------N ======= … --------------E ======= 10 --------------T
100
Storage SATA12…
100
Storage SCSI12…
Risorse di calcoloe di storagepreviste nel PON
Da integrare nell’infrastruttura grid nazionale ed internazionale (Grid.It, INFN-Grid, EGEE)
Scientific Linux 3.x, 4.xLCG/EGEE m/w
Sala infrastrutturaSala infrastruttura
Principale Campus GridPrincipale Campus Grid
Sala Sala Tier-2 ATLASTier-2 ATLAS
Prototipo SCoPEPrototipo SCoPE
Tier-2 ATLAS e Prototipo SCoPETier-2 ATLAS e Prototipo SCoPE
PC1PC1Monitoraggio ambientale (T, HV, UPS)
PC3PC3HW Monitoring(Operating Systems)
PC2PC2SW Monitoring(servers, storage)
PC4PC4GRID Monitoring(infrastruttura, servizi)
Backup system
UPS INFN60 kVA
LOCALE TIER-2 ATLAS
CHILLER
Locali o spazi esterni
SIST. ANTINCENDIO
PRESENTER 42”
Campus Grid Network
1 Gb/s1 Gb/s
8 biproc. dual core
Unità di raffreddamento
switch
Rack UNIV. FED II
SE + 9 TB
Serversservizi
GRUPPO ELETTRO
GENO UniNA
Locali PON SCoPE
7 biproc. dual core
Rack-2 TIER-2 ATLAS
switch
Unità di raffreddamento
17 biproc.
UPS INFN400 kVA
SE + 25 TB
Rack-1 TIER-2 ATLAS
switch
Unità di raffreddamento
CISCO CISCO 37503750 1 Gb/s1 Gb/s1 Gb/s1 Gb/s
Unità di raffreddamento
A T L A SSCOPE
Servers per serviziComputing elementStorage elementWorker Nodes
PC monitoring
Le Connessioni di ReteLe Connessioni di ReteLe Connessioni di ReteLe Connessioni di Rete
LAN INFN
1 Gbps
1 Gbps1 Gbps
1 Gbps
2 x1Gbps
100/200 Mbps
10 Gbps
1 Gbps
10 Gbps
1 Gbps
N x1 Gbps
2.5 GbpsCampus Grid
GARR
MAN UNINA
Siti Campus Grid
Tier 2Pon UniNA
CPU1
YAIMRepository pacchetti e profili di GRID
CPU2-CPU2’
VOMSCPU3-CPU3’
RB - IICPU4
LFC
CPU5
CECPU6
WNCPU7
SECPU8
UI
CPU9
GridICECPU10
SAMCPU11
GENIUSCPU12
Ticketing
PON SCoPEINFRASTRUTTURA e SERVIZI GRID
Registration Authority Federico II
COLLECTIVE CORE
Man power allo startup delPrototipo SCOPE
Man power a regime nelCentro SCoPE
N. 4 persone intercambiabili e specializzate a 2 a 2:
• 2 per VOMS e LFC• 2 per RB e II
N. 4 persone intercambiabili e specializzate a 2 a 2:
• 2 per VOMS e LFC• 2 per RB e II
N. 2 persone N. 4 persone
N. 2 persone N. 2 persone
Totale man powerstartup prototipo:
n. 8 persone
Totale man powera regime:
n. 10 persone
wp2 wp2/wp3
Tempistica e ConclusioniTempistica e Conclusioni
I Fase:I Fase: Costruzione dell’Edificio e realizzazione degli Impianti.Realizzazione della GRID (e della VO) d’Ateneo integrando le preesistenze e costruendo i servizi Grid collective e core.Uso delle APPLICAZIONI
II Fase:II Fase: Acquisizione e messa in produzione delle risorse di calcolo/storage.
Integrazione delle infrastrutture GRID dei 4 PON.Uso delle APPLICAZIONI
III Fase:III Fase: Operatività a regime del Centro ScoPE .Integrazione nella GRID
nazionale ed europea LCG/EGEE Uso delle APPLICAZIONI
Obiettivi Intermedi (OR)Obiettivi Intermedi (OR)
OR1:OR1: Specifiche generaliSpecifiche generaliOR2:OR2: ModellizzazioneModellizzazioneOR3:OR3: Logistica e sistemiLogistica e sistemiOR4:OR4: Middleware di baseMiddleware di baseOR5:OR5: Attivazione del sistemaAttivazione del sistemaOR6:OR6: Middleware applicativoMiddleware applicativoOR7:OR7: Sviluppo algoritmi e Sviluppo algoritmi e prime applicazioniprime applicazioniOR8:OR8: Sviluppo Applicazioni Sviluppo Applicazioni IntegrateIntegrateOR9:OR9: Potenziamento di reti di Potenziamento di reti di collaborazione scientificacollaborazione scientificaOR10:OR10: Diffusione dei risultatiDiffusione dei risultati