36
24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive Following Data Challenges: prospettive CMS e LCG: aspettative CNAF Tier1 e LNL Tier2+: considerazioni Richieste 2004 e anticipi possibili 2003 Conclusioni

24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

Embed Size (px)

Citation preview

Page 1: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

24 Settembre 2003P. Capiluppi - CSN1 Lecce

Calcolo LHC: CMS, progressi nel 2003 e prospettive

Outline

PCP DC04: status 2003

Data Challenge 04: prospettive

Following Data Challenges: prospettive

CMS e LCG: aspettative

CNAF Tier1 e LNL Tier2+: considerazioni

Richieste 2004 e anticipi possibili 2003

Conclusioni

Page 2: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

2P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CMS (Data) Challenges: Current schedule

CMS (Data) Challenges: Current schedule

DC04 [Mid 03 – April 04] June 03: generation of data (CMKIN) (pre-phase) 15 July 03: official start of simulation (CMSIM) (Pre Challenge Production: PCP) 31 December 03: end of PCP (including transfer of data to CERN T0) January 04: preparation of DC04 February 04: DC04 within LCG deployment Mar – Apr 04: follow-up of DC04

CTDR [Mid 03 – October 04] End August 03: Outline ready April 04: First complete draft ready

DC05 & P(hysics)TDR [Mid 04 – February 05 – End 05] Jun – Dec 04?: PCP DC05 (to be defined in scope) of ~100 Mevents and analysis Feb 05: DC05 or similar DC for analysis, with full support from LCG End 05: PTDR ready

LCG TDR [Fall 05] Include contributions from CMS CTDR and results from DC04/05

DC06 [Mid 05 – Mid 06] Ramp up of LCG distributed System for CMS (50% of a single LHC experiment)

Page 3: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

3P. Capiluppi - CSN1 Lecce 24 Settembre 2003

PCP-DC04 (1/2)PCP-DC04 (1/2)

Scopo: Simulare gli eventi necessari al DC04 Usare questi eventi per gli studi preliminari del Physics TDR Mettere a punto il software e middleware per il DC04

Dimensione Necessari ~50 M eventi per il DC04 (1 mese run a bassa lumi) Richiesti dai gruppi di Fisica ~69 M eventi

Commitment italiano (approvato dalla CSN1): ~ 20 % del PCP ~ 14 M eventi in totale, ma “solo” ~ 10 M eventi per il DC04

Produzioni in corso Negoziazione degli eventi da generare in Italia (quelli che ci

interessano per l’analisi) “Centro Regionale distribuito” INFN Produzioni “Tradizionali” (Farm dedicate e controllate localmente)

e “Grid” (early-LCG CMS deployment: CMS LCG0/1)

Coordinazione Italiana DC04: L. Barone (coord.), C. Grandi (Grid), M. Biasotto (Farms), V. Ciulli (Sw)

Page 4: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

4P. Capiluppi - CSN1 Lecce 24 Settembre 2003

PCP-DC04 (2/2)PCP-DC04 (2/2)Italian Centers ready since Beginning-of-July 03: CMS validated “Traditional” and “Grid” (CMS LCG0/1, see below…)

Bari (Grid+Tradit.), Bologna (Grid+Tradit.), Catania (Tradit.), Firenze (Tradit.), Legnaro (Grid +Tradit.), Milano (Tradit.), Padova (Grid), Perugia (Tradit.), Pisa (Tradit.), Roma1 (Tradit.), CNAF-Tier1 (Tradit.), CNAF-EDT (Grid)

Also active in CMS (mostly Tier1s): CERN (1.8 M events), Wisconsin (4.5 M), Spain (2.8 M), Imperial College (2.8 M),

Bristol/RAL (3.2 M), USMOP (US Grid) FNAL (0.9 M), IN2P3/Lyon (1.6 M), Moscow (0.5 M), Karlsruhe (1.6)

CMS LCG0/1 (Grid) also includes (besides Ba, Bo, LNL, Pd, …): CERN, Imperial College, LLR (Ecole Poly), Taiwan, Islamabad (@CERN),

Bristol, University Iowa, Milano (EDT) Centro regionale “virtuale” coordinato da C. Grandi

Produzione in Italia (ad oggi): CMKIN (generatori): LNL, Bari, Pisa, CMS-LCG0/1(Grid) CMSIM (simulazione): Tier1, LNL, Bari, Firenze, Perugia, Pisa, Roma1,

CMS-LCG0/1(Grid) OSCAR (simulazione G4, validation only): Pisa, Bologna, Padova

Page 5: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

5P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Ritardi (non di CMS Italia)Ritardi (non di CMS Italia)PRS

Definizione degli eventi da simulare utili al PTDR CMKIN: Ritardo nella partenza (late June 03) CERN overloaded INFN help

CMSIM Rilascio iniziale di “CMSIM 132” e bugs corrections

Oscar Validazione e correzione di bugs

LCG POOL (late delivery and lack of CMS person-power) LCG-1 deployment (late delivery and opening-up to experiments) Grid middleware: EDG & VDT (late deployment and integration)

Data movement Definizione dei tools (SRB) e debugging/installation critical issue !

Productions tools Tools non abbastanza automatizzati per la gestione continua delle

produzioniOrganization

Dicotomia tra l’attesa di Oscar e la produzione con CMSIM Divergenza delle architetture e implementazione di “production Grids”

(EU & US) Mancanza di un consistente coordinamento centrale (CMS@CERN)

lack of person-power L. Barone gestisce direttamente gli assignments per l’INFN e I. Fisk per gli US

Page 6: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

6P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Difficolta’Difficolta’Oscar

Collaborazione col G4 Team e CMS validationLCG

Interazione col Progetto Sviluppo comune di sw e deployment della infrastruttura

Delivery del software assenza di ritorno allo sviluppo nel “core software” di CMS

Data movement Assenza di una strategia and lack of person power

Production tools Assenza di una architettura scalabile all’analisi e alla Grid-enabling

lack of person-powerOrganization

Difficolta’ di un coordinamento distribuito autonomia dei RC e gestione di Grid

Processo decisionale farraginoso scelte estemporanee di tools e dispersione di sforzi

Malgrado tutto cio’ Malgrado tutto cio’

Page 7: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

7P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Snapshot (Italy 20 Sept 03)Snapshot (Italy 20 Sept 03)

CMKIN: 9.65 + 0.5 M events LNL: 8.45 M (380 GB) Bari: 0.9 M Pisa: 0.3 M CMS LCG0/1: 0.5 M

CMSIM: ~5.8 + 0.5 M events + running LNL: 3.0 M (2.6 TB) + 1.5M running T1-CNAF: 2.6 M (2.2 TB) + 1.5M running Bari: 100k + 100k running Firenze: 40k Perugia: 20k running Pisa: 60k running Roma1: 100k running CMS LCG0/1: 500k + 1M running

OSCAR test/validation Pisa: 500 k Bologna: 50 k Padova: just started

In ~80 giorni CMKIN: ~ 40.000 jobs + run CMSIM: ~ 25.000 jobs + run

Spazio disco: ~ 7 TB

+ backups

I dati prodotti al CNAF sono anche su CastorI dati prodotti a LNL sono anche su seconda copiaI dati delle Sezioni sono in backup locale (waiting T1 tapes)I dati CMKIN sono in copia anche al CNAF (e al ~CERN)

I dati prodotti con CMS LCG0/1 sono anche sugli SE di Grid (e CERN)

End 2003 Target : 10 (14) M events fully digitizedEnd 2003 Target : 10 (14) M events fully digitized

Page 8: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

8P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CMKIN production

INFN 14%

CMS-LCG 1%

IN2P3 6%

Imperial College

11%

Karlsruhe 4%

CERN 22%

Bristol/Ral 5%Wisconsin

23%

CIEMAT 5%

USMOP 6%

Bristol/Ral

CERN

CIEMAT (Madrid)

Karlsruhe

Imperial College

Cantabria

IN2P3

INFN

CMS-LCG

Moscow

Pakistan

RICE

USMOP

Wisconsin

CMSIM production

CMS-LCG 2%

USMOP 4%

INFN 22% IN2P3

6%Cantabria

5%

Imperial College

9%

Karlsruhe 6%

CIEMAT 6%

CERN 7%

Bristol/Ral 13%

Wisconsin 18%

Bristol/Ral

CERN

CIEMAT (Madrid)

Karlsruhe

Imperial College

Cantabria

IN2P3

INFN

CMS-LCG

Moscow

Pakistan

RICE

USMOP

Wisconsin

CMS Production: 20 Sept 03CMS Production: 20 Sept 03

Page 9: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

9P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CNAF Tier1 snapshotCNAF Tier1 snapshot

Page 10: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

10P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CNAF Tier1: other snapshotsCNAF Tier1: other snapshots

Occupazione DischiOccupazione DischiLiberoLibero

OccupatoOccupato

OccupatoOccupato

LiberoLibero

Page 11: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

11P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Snapshot of LNL Tier2+Snapshot of LNL Tier2+

Page 12: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

12P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Sites of CMS-LCG0/1Sites of CMS-LCG0/1~180 CPUs, di cui ~150 INFN (~180 CPUs, di cui ~150 INFN (Ba, Bo, LNL, PdBa, Bo, LNL, Pd))

Page 13: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

13P. Capiluppi - CSN1 Lecce 24 Settembre 2003

“Grid” Jobs on CMS LCG0/1 “Grid” Jobs on CMS LCG0/1

Job submissionJob submission

SE Storage fillingSE Storage filling

Page 14: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

14P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Verso la fine del PCP (Dec 2003)Verso la fine del PCP (Dec 2003)Il rate di produzione e’ ~12 M CMSIM-events/month

~25 M now, fine simulazione 50 M ~end November Critico, ma non tutti i siti hanno prodotto per via dei ritardi menzionati (ma i

maggiori si)

OSCAR ha superato il milione di eventi (~350k con POOL) Non ancora “validato” da tutti i PRS (fisica) Fattore 2 in CPU time (non si fa in tempo a fare 25 M entro Dec)

Conclusione: Proseguire con CMSIM (salvo contrordine) Continuare i test con OSCAR (e POOL) al CERN e in “selected

sites (INFN incluso) Passare ad Oscar appena possibile e compatibile con le risorse

Digitizzazione Inizio Ottobre decisione sulle procedure Site-by-site rather than CMS-wide (CERN, FNAL, INFN, …T1s or equiv.)

Extra 19 M events Dove e quando simularli e digitizzarli? (extra time and extra costs)

Page 15: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

15P. Capiluppi - CSN1 Lecce 24 Settembre 2003

DC04 (Feb 04)DC04 (Feb 04)Data Challenge e Physics Challenge

“Data” per verificare un modello da riportare nel CTDR “Physics” perche’ gli eventi servono gli studi (preliminari) del

PTDR

Data and Processes flow (~50 M events in one month): Ricostruzione al Tier0-CERN e flusso giornaliero >1TB/Tier1 (o

streams dei soli ESD/AOD?)

Analisi e calibrazioni predefinite presso i Tier1 = “Data” Challenge (anche nei Tier2/3? = “Physics” Challenge)

Commenti: Trasferendo solo ESD/AOD (tutti), in ogni Tier1 si hanno solo “parte” dei

Raw data (quelli cola’ prodotti e conservati, su nastro?) Se non c’e’ un catalogo “unico” non e’ possibile fare analisi inter-Tier1s,

o inter-Tier2/3s (“analisi di utente”), solo “intra-Tiers” Effetti sia sul “data” (Feb 04) che sul “Physics” Challenge (prima,

durante e dopo Feb 04)

Page 16: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

16P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Data Challenges: towards DC05 and DC06

Data Challenges: towards DC05 and DC06

Analisi dei dati prodotti per il DC04 (Ottobre 2003 – Ottobre 2004?) Challenge continuo per Tier2, Tier3, GRID e supporto Tier1: novita’?

Piu’ volte ribadito che dal 2004 la attivita’ di analisi sarebbe cresciuta fino a diventare dominante

CMS DC05 (2004 – 2005): 10% di “Full Luminosity” Simulazione, ricostruzione ed analisi di ~100 M eventi

Saranno piu’ complessi (demanding dal punto di vista computazionale) di quelli del DC04

Gli eventi verranno usati per preparare il Physics Technical Design Report (PTDR) di CMS

Ancora due fasi schematizzate, ma piu’ continue nell’attivita’: Pre Challenge Production (PCP) Challenge vero e proprio (DC05)

Contributo Italiano Partecipazione di tutte le sedi CMS Italia (con precisi commitments) Contribuire con circa 20 M eventi durante il PCP (simulazione/digitizzazione) Partecipare all’analisi del DC05

CMS DC06 (2005 – 2006): 20% di “Full Luminosity” Preparazione al commissioning… e agli “acquisti” massicci di HW

Page 17: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

17P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CMS e LCG CMS e LCG LCG per CMS

Commitment di CMS su LCG: importante per il coordinamento, lo sviluppo e l’infrastruttura

Da POOL al deployment di LCG-1 Ruolo importante degli RTAGs

CMS LCG0/1 testbed: essenziale per CMS e per LCG stesso (INFN leading)

Difficolta’ nella gestione (PEB) e nel ritorno di man-power (non tutto puo’ essere “common”): maggior trasferimento alle attivita’ degli esperimenti

LCG per CMS in Italia LNL e Tier1, per ora Migrare progressivamente CMS LCG0/1 a LCG-1 “ufficiale”

Richiede test di LCG-1 (e LCG-1.x) Mantenere CMS LCGn testbed per verifica e preparazione

Integrazione con INFN-Grid “production testbed” su siti “selezionati”

LCG e’ LCG e’ criticocritico per i Data/Physics Challenges di CMS: per i Data/Physics Challenges di CMS: o funziona in tempo o CMS dovra’ trovare soluzioni alternative o funziona in tempo o CMS dovra’ trovare soluzioni alternative

(gia’ esistenti o da sviluppare in proprio)(gia’ esistenti o da sviluppare in proprio)

Page 18: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

18P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CNAF e LNL per CMS ItaliaCNAF e LNL per CMS ItaliaIl Tier1 ci sara’ ! (per mille buoni motivi…)

Non abbiamo quello che ci servirebbe (e che avevamo chiesto) 4 TB di disco a fronte di 11 (July) – 30 (Sept) TB richiesti <2 TB di nastro a fronte di 40 TB richiesti ~ 140 CPU equiv a fronte di 210 CPU equiv richieste

Ma un ringraziamento al personale per la preziosa collaborazione e disponibilita’, che ha permesso di sopperire fino ad ora…

LNL c’e’ ! Averne altri…, attuali Tier2? LNL ha le risorse che avevamo chiesto, ma deve crescere per mantenere

lo stesso livello di competitivita’ Specialmente ora che si va verso l’analisi, diventa un riferimento di

modello per gli altri Tier2 e per i Tier3 Le sperimentazioni sono fattibili solo a LNL (dedicato a CMS)

Nuovo hardware Tools di analisi e produzione Farm ibride e loro configurazione

Page 19: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

19P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Milestones 2004: specifiche (1/2)Milestones 2004: specifiche (1/2)

Partecipazione di almeno tre sedi al DC04 [Marzo] Importare in Italia (Tier1-CNAF) tutti gli eventi ricostruiti al T0 Distribuire gli streams selezionati su almeno tre sedi (~ 6 streams, ~ 20 M

eventi, ~ 5TB di AOD) La selezione riguarda l’analisi di almeno 4 canali di segnale e relativi fondi,

ai quali vanno aggiunti gli studi di calibrazione Deliverable: contributo italiano al report DC04, in funzione del C-TDR e

della “preparazione” del P-TDR. Risultati dell'analisi dei canali assegnati all'Italia (almeno 3 stream e 4 canali di segnale)

Integrazione del sistema di calcolo CMS Italia in LCG [Giugno] Il Tier1, meta’ dei Tier2 (LNL, Ba, Bo, Pd, Pi, Rm1) e un terzo dei Tier3 (Ct,

Fi, Mi, Na, Pg, To) hanno il software di LCG installato e hanno la capacita’ di lavorare nell’environment di LCG

Comporta la installazione dei pacchetti software provenienti da LCG AA e da LCG GDA (da Pool a RLS etc.)

Completamento analisi utilizzando infrastruttura LCG e ulteriori produzioni per circa 2 M di eventi

Deliverable: CMS Italia e’ integrata in LCG per piu’ della meta’ delle risorse

Page 20: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

20P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Milestones 2004: specifiche (2/2)Milestones 2004: specifiche (2/2)

Partecipazione al C-TDR [Ottobre] Include la definizione della partecipazione italiana al C-TDR in termini di:

Risorse e sedi (possibilmente tutte) Man-power Finanziamenti e piano di interventi

Deliverable: drafts del C-TDR col contributo italiano

Partecipazione al PCP DC05 di almeno il Tier1 e i Tier2 [Dicembre] Il Tier1 e’ il CNAF e i Tier2 sono: LNL, Ba, Bo, Pd, Pi, Rm1 Produzione di ~ 20 M di eventi per lo studio del P-TDR, o equivalenti (lo

studio potrebbe richiedere fast-MC o speciali programmi) Contributo alla definizione del LCG-TDR Deliverable: produzione degli eventi necessari alla validazione dei tools

di fast-simulation e allo studio dei P-TDR (~20 M eventi sul Tier1 + i Tier2/3)

Page 21: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

21P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Richieste 2004 (e possibili anticipi 2003)

Richieste 2004 (e possibili anticipi 2003)

Serve piu’ spazio disco: lo storage non e’ condivisibile. Nei Tier2 e Tier3 per analisi e simulazioni (attivita’ dominante da ORA) Nel Tier1 per le simulazioni, Data Challenges e archivio (nastro,

sottovalutato) CMS diventa in questa fase di DC04 molto simile ad un Esperimento

“running”

Elementi delle richieste 2004: (Inventario: 220 k€ + 160k€ s.j.) Si tiene conto di LCG su LNL e delle richieste al Tier1:

no doppio conteggio, ma dipendenza nelle richieste. Investimenti in dischi: 26 TB nei Tier2+Tier3 (5 LNL)(anticipabili ‘03) Poche CPU (rimpiazzi): 29 box dual CPU (15 LNL) (anticipabili ’03) Sub judice consistente (sincronizzazione attivita’ CMS e CSN1): 8 TB e 38

box dual CPU Contributo CORE Computing Common Fund (penultimo anno MoU)

Persone con responsabilita’ (che necessitano di ME aggiuntive) Ba (Lucia S.), Bo (Claudio G. & Paolo C.), Fi (Vitaliano C.), LNL (Massimo B.), Pd

(Ugo G.), Pi (Giuseppe B.), Roma1 (Luciano B.), e molti altri…fortunatamente

Page 22: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

22P. Capiluppi - CSN1 Lecce 24 Settembre 2003

ConclusioniConclusioniCMS Calcolo Italia partecipa ai Data Challenges con:

Contributo sostanziale (miglior rate e tempi di risposta in CMS) Coordinamento e ruoli definiti

Il Modello di calcolo permette: L’uso degli strumenti Grid appena disponibili L’utilizzo delle risorse (umane e non) con buona efficienza L’adozione di LCG appena disponibile La condivisione delle risorse, purche’ pianificata

Necessari altri investimenti: Nello spazio disco nei Tier2/3 Sulle risorse di calcolo del Tier1 (nastri inclusi) Nella potenza di calcolo e storage per il DC05 Nel migliorare l’uso delle CPU (duty cycle) attraverso sia tools di

produzione migliori (personale!) che tools di Grid Nel coordinamento inter- e intra- Esperimenti/Progetti

Page 23: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

23P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Richieste 2004 (incluso s.j.) (1/2)Richieste 2004 (incluso s.j.) (1/2)

Tier BoxesBoxes

S.J CPUsCPUs

s.j DisksDisks

s.j DisksDisks

s.j Commenti# # KEuro KEuro TBs TBs Keuro Keuro

Bari Tier2 1 5 2.5 12.5 2 2 10 10

1 box in sostituzione di 3 box vecchie, 1 TB sostituzione 1 TB obsoleto. Altro sono 2 box e 1TB disco per analisi interattiva

Bologna Tier2 0 5 0 12.5 2 1 10 5Le vecchie macchine sono gia' state riciclate come desk-top

Catania Tier3 2 3 5 7.5 2 0 10 02 box per svecchiamento e 5 aggiuntive. Altro sono i posti lavoro CERN!

Firenze Tier3 1 3 2.5 7.5 2 0 10 0

Legnaro Tier2+ 15 0 37.5 0 5 5 25 25Sostituzione di 34 box (27 kSI2K) e 5 TB di disco obsoleti (5 TB nuovi)

Milano Tier3 0 2 0 5 2 0 10 0Altro sono 2 box + 0.5TB disco per analisi interattiva e switch+KVM (3kE)

Napoli Tier3 0 3 0 7.5 2 0 10 0

Padova Tier2 5 5 12.5 12.5 2 0 10 0

5 box CPU in sostituzione di 10 obsolete, 5 nuove in sostituzione di box temporanee . Consumo e' licenze LSF 2.0. Altro e' un contributo alla LAN

Perugia Tier3 0 5 0 12.5 2 0 10 0

Pisa Tier2 5 2 12.5 5 3 0 15 0 5 box CPU in sostituzione di 10 obsolete.

Roma1 Tier2 0 5 0 12.5 2 0 10 0 Consumo pezzi rotti farm.Torino Tier3 0 0 0 0 0 0 0 0

Total 29 38 72.5 95 26 8 130 40

LNL LCG LCG 14 0 35 0 9.6 0 48 0 Altro e' il contributo alla LAN network

Tier1 CNAF Tier1 0 50 0 125 0 30 0 150Le box CPU sono considerate tutte "nuove" (1800 kSI2k/box). Risorse aggiuntive rispetto al 2003.

Richieste 2004

Page 24: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

24P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Richieste 2004 (incluso s.j.) (2/2)Richieste 2004 (incluso s.j.) (2/2)

TierConsu

mo COREMiss. Est Altro

Altro s.j

Totale inv

Totale inv s.j.

Totale senza ME Totale

Totale s.j

invent. invent. Keuro Keuro kEuro Keuro Keuro

Bari Tier2 25 10 12.5 32.5 12.5 37.5 32.5Bologna Tier2 41 35 10 17.5 51 86 17.5Catania Tier3 2 17 7.5 17 17 7.5Firenze Tier3 8 12.5 7.5 12.5 20.5 7.5Legnaro Tier2+ 6 8 15 77.5 25 83.5 91.5 25Milano Tier3 10 10 15 10 10 15Napoli Tier3 10 7.5 10 10 7.5

Padova Tier2 2 15 10 22.5 22.5 24.5 39.5 22.5Perugia Tier3 10 12.5 10 10 12.5Pisa Tier2 8 27.5 5 27.5 35.5 5Roma1 Tier2 2 0 10 12.5 12 12 12.5Torino Tier3 0 0 0 0 0

Total 10 41 99 17 30 219.5 165 270.5 369.5 165

LNL LCG LCG 15 98 0 98 0

Tier1 CNAF Tier1 0 275 0 275

Richieste 2004

S.j. alla definizione dei commitments al DC05 e analisi PTDR: Aprile 04

Page 25: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

25P. Capiluppi - CSN1 Lecce 24 Settembre 2003

LNL in LCGLNL in LCGLNL

#box #CPUs#CPUs eq. kSI2K

LCG finanziato

CMS finanziato

LCG dichiarato

Differenza finanziata

TB disco

LCG finanziato

CMS finanziato

LCG dichiarato

Differenza finanziata SW LSF

2003 stato 82 164 178 71 15 56 47 -32 18 4 14 8 -4 1 CMS1+1 CMS

2003 richiesto LCG 19 38 58 23 23 56 47 -9 4.8 4.8 14 8 0.8 1 LCG

2004 richiesto LCG 14 29 58 23 23 56 77 -16 9.6 9.6 14 15 3.4 1 LCG

2004 svecchiamento + incremento disco(5TB) 15 30 60 24 53 10 19 1 CMS

1 CMS

totale 2004, con ipotesi sopra 97 193 285 114 61 53 77 -16 37.4 18.4 19 15 3.4

2 CMS 2 LCG

3 CMS

Ipotesi 2004 raddoppio risorse 2003 356 142 36differenza -18 -36 -71 -28 1.4

Page 26: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

26P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Additional slidesAdditional slides

Page 27: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

27P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Milestones 2003: statusMilestones 2003: status

Scadenza Giugno 03 (Status)

Settembre 03 (Status)

Meta’ delle sedi CMS Italia “enabled” per la produzione su Grid

Aprile 80% 100%

Protitipi Tier1 + Tier2 pronti per la produzione con LCG

Giugno 100% 100% (80%?)

Nuovo environement di CMS per l’analisi installato e funzionate (selected sites)

Giugno 50% 50%

Meta’ delle sedi “lavorano” con la nuova “persistenza”

Giugno 10% 20%

Partecipazione al 5% Data Challenge (PCP-DC04) del Tier1 e meta’ dei Tier2

Dicembre 0% 70%

Page 28: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

28P. Capiluppi - CSN1 Lecce 24 Settembre 2003

Stime a lungo termine CMS Calcolo

Stime a lungo termine CMS Calcolo

Investimenti/anno (kEuro)

Tier1 CNAF CMS

Tier2 e Tier3 di CMS Italia (#6+6)

Totale CMS Italia

2005 740 675 1415

2006 750 725 1475

2007 870 870 1740

2008 1100 1100 2200

Totale 06-08 2720 2695 5415

+ ~ 1500 kEuro in 3 anni (06-08) sul Tier0 al CERN

Page 29: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

29P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CMS Model: a remindCMS Model: a remindScope and roles of the Tiers

Tier0: Central recording and “first” treatment of data Tier1s: Computing support for the CMS Collaboration and the Analysis Groups Tier2s: Analysis support and specific (identified) problems task-forces Tier3s: Analysis dedicated and focused issues on particular tasks Lower level Tiers: Local agreed activities and personal (users’) tasks

Scope and roles of the Regional Centers (RCs) in the “Grid” Local RCs: User Interfaces and personal DBs Distributed RCs: Ad-hoc resources for particular tasks and test services Dedicated RCs: Analysis-dedicated resources and common (CMS) DBs Common RCs: Grid Services (both common and CMS-specific) and DBs repositories

Dynamically de-localized commitments and resources Mostly person-power- & knowledge-based on specific problems

Both for computing and Physics skills Re-allocation of tasks within a:

Virtual Organization (Grid VOs) Country Organization (INFN coordination, hierarchy of Centers) Analysis Organization (CMS coordination, hierarchy of Roles)

We believe that LCG will deploy this Model, Provided that CMS (and other experiments) largely invest on the Project Commonalities are only tried when possible (and necessary): diversity within the

Project is necessary Grid components are validated (and requested) by the experiments The “Cerncentric” view is abandoned (or at least mitigated)

Page 30: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

30P. Capiluppi - CSN1 Lecce 24 Settembre 2003

CMS-Italy resources statusCMS-Italy resources status

Tier Boxes CPUs CPUs eq SI95 Disks# # # TBs

Bari Tier2 15 30 30 1200 2.0Bologna Tier2 14 28 32 1280 3.8Catania Tier3 10 20 28 1120 1.9Firenze Tier3 6 12 18 720 1.6Genova 0 0 0 0 0.0Legnaro Tier2+ 82 164 178 7120 18.0Milano Tier3 12 22 31 1240 2.0Napoli Tier3 5 10 15 600 1.0Padova Tier2 27 54 60 2400 1.8Pavia Tier3 0 0 0 0 0.0Perugia Tier3 4 8 12 480 2.4Pisa Tier2 14 28 30 1200 3.0Roma1 Tier2 13 26 31 1240 2.0Torino Tier3 11 22 26 1040 2.8

0 0 0 0 0.0Total 208 414 0 19040 41.8

LNL LCG LCG 19 38 57 2280 4.8Tier1 CNAF Tier1 70 140 210 8400 31.0

45 112 168 6720 4

Foreseen late 2003

Page 31: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

31P. Capiluppi - CSN1 Lecce 24 Settembre 2003

2004 planned INFN resources2004 planned INFN resources

Tier Boxes CPUs CPUs eq SI95 Disks# # # TBs

Bari Tier2 21 42 54 2160 5.0Bologna Tier2 19 38 52 2080 6.8Catania Tier3 15 30 48 1920 3.9Firenze Tier3 10 20 34 1360 3.6GenovaLegnaro Tier2+ 97 194 238 9520 28.0Milano Tier3 14 26 39 1560 4.0Napoli Tier3 8 16 27 1080 3.0Padova Tier2 37 74 100 4000 3.8Pavia Tier3Perugia Tier3 8 16 28 1120 4.4Pisa Tier2 21 42 58 2320 6.0Roma1 Tier2 18 26 31 1240 4.0Torino Tier3 11 22 26 1040 2.8

Total 279 546 29400 75.3

LNL LCG LCG 33 66 113 4520 14.4Tier1 CNAF Tier1 120 240 410 16400 61

Grand Total 432 852 523 50320 151

Stato al Giugno 2004

Page 32: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

32P. Capiluppi - CSN1 Lecce 24 Settembre 2003

“Distributed” Models“Distributed” Models

Tier

Tier

Tier

TierTier

Tier

Tier

Tier

TierTier

Grid

Page 33: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

33P. Capiluppi - CSN1 Lecce 24 Settembre 2003

“Distributed” Models“Distributed” Models

Tier

Tier

Tier

TierTier

Tier

Tier

Tier

TierTier

Distributed Computing

Page 34: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

34P. Capiluppi - CSN1 Lecce 24 Settembre 2003

“Distributed” Models“Distributed” Models

Tier3

Tier2Tier2 Tier2

Tier1

Tier3

Tier0

Tier2

Tier1 Tier1

Monarc

Tier2

Tier3Tier3

Page 35: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

35P. Capiluppi - CSN1 Lecce 24 Settembre 2003

“Distributed” Models“Distributed” Models

Tier3

Tier2Tier2 Tier2

Tier1

Tier3

Tier0

Tier2

Tier1 Tier1

Monarc - Grid

Tier2

Tier3Tier3

LCG ?!

Page 36: 24 Settembre 2003 P. Capiluppi - CSN1 Lecce Calcolo LHC: CMS, progressi nel 2003 e prospettive Outline PCP DC04: status 2003 Data Challenge 04: prospettive

36P. Capiluppi - CSN1 Lecce 24 Settembre 2003

“Distributed” Models“Distributed” Models

LCG & CMS

Tier3

Tier2Tier2 Tier2

Tier1

Tier3

Tier0

Tier2

Tier1 Tier1

Tier2

Tier3Tier3

Tier2

Common resourcesCommon resources

CMS resourcesCMS resources

Other resourcesOther resources

LCG Now?