Upload
loredana-mora
View
214
Download
0
Embed Size (px)
Citation preview
24 Settembre 2003P. Capiluppi - CSN1 Lecce
Calcolo LHC: CMS, progressi nel 2003 e prospettive
Outline
PCP DC04: status 2003
Data Challenge 04: prospettive
Following Data Challenges: prospettive
CMS e LCG: aspettative
CNAF Tier1 e LNL Tier2+: considerazioni
Richieste 2004 e anticipi possibili 2003
Conclusioni
2P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CMS (Data) Challenges: Current schedule
CMS (Data) Challenges: Current schedule
DC04 [Mid 03 – April 04] June 03: generation of data (CMKIN) (pre-phase) 15 July 03: official start of simulation (CMSIM) (Pre Challenge Production: PCP) 31 December 03: end of PCP (including transfer of data to CERN T0) January 04: preparation of DC04 February 04: DC04 within LCG deployment Mar – Apr 04: follow-up of DC04
CTDR [Mid 03 – October 04] End August 03: Outline ready April 04: First complete draft ready
DC05 & P(hysics)TDR [Mid 04 – February 05 – End 05] Jun – Dec 04?: PCP DC05 (to be defined in scope) of ~100 Mevents and analysis Feb 05: DC05 or similar DC for analysis, with full support from LCG End 05: PTDR ready
LCG TDR [Fall 05] Include contributions from CMS CTDR and results from DC04/05
DC06 [Mid 05 – Mid 06] Ramp up of LCG distributed System for CMS (50% of a single LHC experiment)
3P. Capiluppi - CSN1 Lecce 24 Settembre 2003
PCP-DC04 (1/2)PCP-DC04 (1/2)
Scopo: Simulare gli eventi necessari al DC04 Usare questi eventi per gli studi preliminari del Physics TDR Mettere a punto il software e middleware per il DC04
Dimensione Necessari ~50 M eventi per il DC04 (1 mese run a bassa lumi) Richiesti dai gruppi di Fisica ~69 M eventi
Commitment italiano (approvato dalla CSN1): ~ 20 % del PCP ~ 14 M eventi in totale, ma “solo” ~ 10 M eventi per il DC04
Produzioni in corso Negoziazione degli eventi da generare in Italia (quelli che ci
interessano per l’analisi) “Centro Regionale distribuito” INFN Produzioni “Tradizionali” (Farm dedicate e controllate localmente)
e “Grid” (early-LCG CMS deployment: CMS LCG0/1)
Coordinazione Italiana DC04: L. Barone (coord.), C. Grandi (Grid), M. Biasotto (Farms), V. Ciulli (Sw)
4P. Capiluppi - CSN1 Lecce 24 Settembre 2003
PCP-DC04 (2/2)PCP-DC04 (2/2)Italian Centers ready since Beginning-of-July 03: CMS validated “Traditional” and “Grid” (CMS LCG0/1, see below…)
Bari (Grid+Tradit.), Bologna (Grid+Tradit.), Catania (Tradit.), Firenze (Tradit.), Legnaro (Grid +Tradit.), Milano (Tradit.), Padova (Grid), Perugia (Tradit.), Pisa (Tradit.), Roma1 (Tradit.), CNAF-Tier1 (Tradit.), CNAF-EDT (Grid)
Also active in CMS (mostly Tier1s): CERN (1.8 M events), Wisconsin (4.5 M), Spain (2.8 M), Imperial College (2.8 M),
Bristol/RAL (3.2 M), USMOP (US Grid) FNAL (0.9 M), IN2P3/Lyon (1.6 M), Moscow (0.5 M), Karlsruhe (1.6)
CMS LCG0/1 (Grid) also includes (besides Ba, Bo, LNL, Pd, …): CERN, Imperial College, LLR (Ecole Poly), Taiwan, Islamabad (@CERN),
Bristol, University Iowa, Milano (EDT) Centro regionale “virtuale” coordinato da C. Grandi
Produzione in Italia (ad oggi): CMKIN (generatori): LNL, Bari, Pisa, CMS-LCG0/1(Grid) CMSIM (simulazione): Tier1, LNL, Bari, Firenze, Perugia, Pisa, Roma1,
CMS-LCG0/1(Grid) OSCAR (simulazione G4, validation only): Pisa, Bologna, Padova
5P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Ritardi (non di CMS Italia)Ritardi (non di CMS Italia)PRS
Definizione degli eventi da simulare utili al PTDR CMKIN: Ritardo nella partenza (late June 03) CERN overloaded INFN help
CMSIM Rilascio iniziale di “CMSIM 132” e bugs corrections
Oscar Validazione e correzione di bugs
LCG POOL (late delivery and lack of CMS person-power) LCG-1 deployment (late delivery and opening-up to experiments) Grid middleware: EDG & VDT (late deployment and integration)
Data movement Definizione dei tools (SRB) e debugging/installation critical issue !
Productions tools Tools non abbastanza automatizzati per la gestione continua delle
produzioniOrganization
Dicotomia tra l’attesa di Oscar e la produzione con CMSIM Divergenza delle architetture e implementazione di “production Grids”
(EU & US) Mancanza di un consistente coordinamento centrale (CMS@CERN)
lack of person-power L. Barone gestisce direttamente gli assignments per l’INFN e I. Fisk per gli US
6P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Difficolta’Difficolta’Oscar
Collaborazione col G4 Team e CMS validationLCG
Interazione col Progetto Sviluppo comune di sw e deployment della infrastruttura
Delivery del software assenza di ritorno allo sviluppo nel “core software” di CMS
Data movement Assenza di una strategia and lack of person power
Production tools Assenza di una architettura scalabile all’analisi e alla Grid-enabling
lack of person-powerOrganization
Difficolta’ di un coordinamento distribuito autonomia dei RC e gestione di Grid
Processo decisionale farraginoso scelte estemporanee di tools e dispersione di sforzi
Malgrado tutto cio’ Malgrado tutto cio’
7P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Snapshot (Italy 20 Sept 03)Snapshot (Italy 20 Sept 03)
CMKIN: 9.65 + 0.5 M events LNL: 8.45 M (380 GB) Bari: 0.9 M Pisa: 0.3 M CMS LCG0/1: 0.5 M
CMSIM: ~5.8 + 0.5 M events + running LNL: 3.0 M (2.6 TB) + 1.5M running T1-CNAF: 2.6 M (2.2 TB) + 1.5M running Bari: 100k + 100k running Firenze: 40k Perugia: 20k running Pisa: 60k running Roma1: 100k running CMS LCG0/1: 500k + 1M running
OSCAR test/validation Pisa: 500 k Bologna: 50 k Padova: just started
In ~80 giorni CMKIN: ~ 40.000 jobs + run CMSIM: ~ 25.000 jobs + run
Spazio disco: ~ 7 TB
+ backups
I dati prodotti al CNAF sono anche su CastorI dati prodotti a LNL sono anche su seconda copiaI dati delle Sezioni sono in backup locale (waiting T1 tapes)I dati CMKIN sono in copia anche al CNAF (e al ~CERN)
I dati prodotti con CMS LCG0/1 sono anche sugli SE di Grid (e CERN)
End 2003 Target : 10 (14) M events fully digitizedEnd 2003 Target : 10 (14) M events fully digitized
8P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CMKIN production
INFN 14%
CMS-LCG 1%
IN2P3 6%
Imperial College
11%
Karlsruhe 4%
CERN 22%
Bristol/Ral 5%Wisconsin
23%
CIEMAT 5%
USMOP 6%
Bristol/Ral
CERN
CIEMAT (Madrid)
Karlsruhe
Imperial College
Cantabria
IN2P3
INFN
CMS-LCG
Moscow
Pakistan
RICE
USMOP
Wisconsin
CMSIM production
CMS-LCG 2%
USMOP 4%
INFN 22% IN2P3
6%Cantabria
5%
Imperial College
9%
Karlsruhe 6%
CIEMAT 6%
CERN 7%
Bristol/Ral 13%
Wisconsin 18%
Bristol/Ral
CERN
CIEMAT (Madrid)
Karlsruhe
Imperial College
Cantabria
IN2P3
INFN
CMS-LCG
Moscow
Pakistan
RICE
USMOP
Wisconsin
CMS Production: 20 Sept 03CMS Production: 20 Sept 03
9P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CNAF Tier1 snapshotCNAF Tier1 snapshot
10P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CNAF Tier1: other snapshotsCNAF Tier1: other snapshots
Occupazione DischiOccupazione DischiLiberoLibero
OccupatoOccupato
OccupatoOccupato
LiberoLibero
11P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Snapshot of LNL Tier2+Snapshot of LNL Tier2+
12P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Sites of CMS-LCG0/1Sites of CMS-LCG0/1~180 CPUs, di cui ~150 INFN (~180 CPUs, di cui ~150 INFN (Ba, Bo, LNL, PdBa, Bo, LNL, Pd))
13P. Capiluppi - CSN1 Lecce 24 Settembre 2003
“Grid” Jobs on CMS LCG0/1 “Grid” Jobs on CMS LCG0/1
Job submissionJob submission
SE Storage fillingSE Storage filling
14P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Verso la fine del PCP (Dec 2003)Verso la fine del PCP (Dec 2003)Il rate di produzione e’ ~12 M CMSIM-events/month
~25 M now, fine simulazione 50 M ~end November Critico, ma non tutti i siti hanno prodotto per via dei ritardi menzionati (ma i
maggiori si)
OSCAR ha superato il milione di eventi (~350k con POOL) Non ancora “validato” da tutti i PRS (fisica) Fattore 2 in CPU time (non si fa in tempo a fare 25 M entro Dec)
Conclusione: Proseguire con CMSIM (salvo contrordine) Continuare i test con OSCAR (e POOL) al CERN e in “selected
sites (INFN incluso) Passare ad Oscar appena possibile e compatibile con le risorse
Digitizzazione Inizio Ottobre decisione sulle procedure Site-by-site rather than CMS-wide (CERN, FNAL, INFN, …T1s or equiv.)
Extra 19 M events Dove e quando simularli e digitizzarli? (extra time and extra costs)
15P. Capiluppi - CSN1 Lecce 24 Settembre 2003
DC04 (Feb 04)DC04 (Feb 04)Data Challenge e Physics Challenge
“Data” per verificare un modello da riportare nel CTDR “Physics” perche’ gli eventi servono gli studi (preliminari) del
PTDR
Data and Processes flow (~50 M events in one month): Ricostruzione al Tier0-CERN e flusso giornaliero >1TB/Tier1 (o
streams dei soli ESD/AOD?)
Analisi e calibrazioni predefinite presso i Tier1 = “Data” Challenge (anche nei Tier2/3? = “Physics” Challenge)
Commenti: Trasferendo solo ESD/AOD (tutti), in ogni Tier1 si hanno solo “parte” dei
Raw data (quelli cola’ prodotti e conservati, su nastro?) Se non c’e’ un catalogo “unico” non e’ possibile fare analisi inter-Tier1s,
o inter-Tier2/3s (“analisi di utente”), solo “intra-Tiers” Effetti sia sul “data” (Feb 04) che sul “Physics” Challenge (prima,
durante e dopo Feb 04)
16P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Data Challenges: towards DC05 and DC06
Data Challenges: towards DC05 and DC06
Analisi dei dati prodotti per il DC04 (Ottobre 2003 – Ottobre 2004?) Challenge continuo per Tier2, Tier3, GRID e supporto Tier1: novita’?
Piu’ volte ribadito che dal 2004 la attivita’ di analisi sarebbe cresciuta fino a diventare dominante
CMS DC05 (2004 – 2005): 10% di “Full Luminosity” Simulazione, ricostruzione ed analisi di ~100 M eventi
Saranno piu’ complessi (demanding dal punto di vista computazionale) di quelli del DC04
Gli eventi verranno usati per preparare il Physics Technical Design Report (PTDR) di CMS
Ancora due fasi schematizzate, ma piu’ continue nell’attivita’: Pre Challenge Production (PCP) Challenge vero e proprio (DC05)
Contributo Italiano Partecipazione di tutte le sedi CMS Italia (con precisi commitments) Contribuire con circa 20 M eventi durante il PCP (simulazione/digitizzazione) Partecipare all’analisi del DC05
CMS DC06 (2005 – 2006): 20% di “Full Luminosity” Preparazione al commissioning… e agli “acquisti” massicci di HW
17P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CMS e LCG CMS e LCG LCG per CMS
Commitment di CMS su LCG: importante per il coordinamento, lo sviluppo e l’infrastruttura
Da POOL al deployment di LCG-1 Ruolo importante degli RTAGs
CMS LCG0/1 testbed: essenziale per CMS e per LCG stesso (INFN leading)
Difficolta’ nella gestione (PEB) e nel ritorno di man-power (non tutto puo’ essere “common”): maggior trasferimento alle attivita’ degli esperimenti
LCG per CMS in Italia LNL e Tier1, per ora Migrare progressivamente CMS LCG0/1 a LCG-1 “ufficiale”
Richiede test di LCG-1 (e LCG-1.x) Mantenere CMS LCGn testbed per verifica e preparazione
Integrazione con INFN-Grid “production testbed” su siti “selezionati”
LCG e’ LCG e’ criticocritico per i Data/Physics Challenges di CMS: per i Data/Physics Challenges di CMS: o funziona in tempo o CMS dovra’ trovare soluzioni alternative o funziona in tempo o CMS dovra’ trovare soluzioni alternative
(gia’ esistenti o da sviluppare in proprio)(gia’ esistenti o da sviluppare in proprio)
18P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CNAF e LNL per CMS ItaliaCNAF e LNL per CMS ItaliaIl Tier1 ci sara’ ! (per mille buoni motivi…)
Non abbiamo quello che ci servirebbe (e che avevamo chiesto) 4 TB di disco a fronte di 11 (July) – 30 (Sept) TB richiesti <2 TB di nastro a fronte di 40 TB richiesti ~ 140 CPU equiv a fronte di 210 CPU equiv richieste
Ma un ringraziamento al personale per la preziosa collaborazione e disponibilita’, che ha permesso di sopperire fino ad ora…
LNL c’e’ ! Averne altri…, attuali Tier2? LNL ha le risorse che avevamo chiesto, ma deve crescere per mantenere
lo stesso livello di competitivita’ Specialmente ora che si va verso l’analisi, diventa un riferimento di
modello per gli altri Tier2 e per i Tier3 Le sperimentazioni sono fattibili solo a LNL (dedicato a CMS)
Nuovo hardware Tools di analisi e produzione Farm ibride e loro configurazione
19P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Milestones 2004: specifiche (1/2)Milestones 2004: specifiche (1/2)
Partecipazione di almeno tre sedi al DC04 [Marzo] Importare in Italia (Tier1-CNAF) tutti gli eventi ricostruiti al T0 Distribuire gli streams selezionati su almeno tre sedi (~ 6 streams, ~ 20 M
eventi, ~ 5TB di AOD) La selezione riguarda l’analisi di almeno 4 canali di segnale e relativi fondi,
ai quali vanno aggiunti gli studi di calibrazione Deliverable: contributo italiano al report DC04, in funzione del C-TDR e
della “preparazione” del P-TDR. Risultati dell'analisi dei canali assegnati all'Italia (almeno 3 stream e 4 canali di segnale)
Integrazione del sistema di calcolo CMS Italia in LCG [Giugno] Il Tier1, meta’ dei Tier2 (LNL, Ba, Bo, Pd, Pi, Rm1) e un terzo dei Tier3 (Ct,
Fi, Mi, Na, Pg, To) hanno il software di LCG installato e hanno la capacita’ di lavorare nell’environment di LCG
Comporta la installazione dei pacchetti software provenienti da LCG AA e da LCG GDA (da Pool a RLS etc.)
Completamento analisi utilizzando infrastruttura LCG e ulteriori produzioni per circa 2 M di eventi
Deliverable: CMS Italia e’ integrata in LCG per piu’ della meta’ delle risorse
20P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Milestones 2004: specifiche (2/2)Milestones 2004: specifiche (2/2)
Partecipazione al C-TDR [Ottobre] Include la definizione della partecipazione italiana al C-TDR in termini di:
Risorse e sedi (possibilmente tutte) Man-power Finanziamenti e piano di interventi
Deliverable: drafts del C-TDR col contributo italiano
Partecipazione al PCP DC05 di almeno il Tier1 e i Tier2 [Dicembre] Il Tier1 e’ il CNAF e i Tier2 sono: LNL, Ba, Bo, Pd, Pi, Rm1 Produzione di ~ 20 M di eventi per lo studio del P-TDR, o equivalenti (lo
studio potrebbe richiedere fast-MC o speciali programmi) Contributo alla definizione del LCG-TDR Deliverable: produzione degli eventi necessari alla validazione dei tools
di fast-simulation e allo studio dei P-TDR (~20 M eventi sul Tier1 + i Tier2/3)
21P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Richieste 2004 (e possibili anticipi 2003)
Richieste 2004 (e possibili anticipi 2003)
Serve piu’ spazio disco: lo storage non e’ condivisibile. Nei Tier2 e Tier3 per analisi e simulazioni (attivita’ dominante da ORA) Nel Tier1 per le simulazioni, Data Challenges e archivio (nastro,
sottovalutato) CMS diventa in questa fase di DC04 molto simile ad un Esperimento
“running”
Elementi delle richieste 2004: (Inventario: 220 k€ + 160k€ s.j.) Si tiene conto di LCG su LNL e delle richieste al Tier1:
no doppio conteggio, ma dipendenza nelle richieste. Investimenti in dischi: 26 TB nei Tier2+Tier3 (5 LNL)(anticipabili ‘03) Poche CPU (rimpiazzi): 29 box dual CPU (15 LNL) (anticipabili ’03) Sub judice consistente (sincronizzazione attivita’ CMS e CSN1): 8 TB e 38
box dual CPU Contributo CORE Computing Common Fund (penultimo anno MoU)
Persone con responsabilita’ (che necessitano di ME aggiuntive) Ba (Lucia S.), Bo (Claudio G. & Paolo C.), Fi (Vitaliano C.), LNL (Massimo B.), Pd
(Ugo G.), Pi (Giuseppe B.), Roma1 (Luciano B.), e molti altri…fortunatamente
22P. Capiluppi - CSN1 Lecce 24 Settembre 2003
ConclusioniConclusioniCMS Calcolo Italia partecipa ai Data Challenges con:
Contributo sostanziale (miglior rate e tempi di risposta in CMS) Coordinamento e ruoli definiti
Il Modello di calcolo permette: L’uso degli strumenti Grid appena disponibili L’utilizzo delle risorse (umane e non) con buona efficienza L’adozione di LCG appena disponibile La condivisione delle risorse, purche’ pianificata
Necessari altri investimenti: Nello spazio disco nei Tier2/3 Sulle risorse di calcolo del Tier1 (nastri inclusi) Nella potenza di calcolo e storage per il DC05 Nel migliorare l’uso delle CPU (duty cycle) attraverso sia tools di
produzione migliori (personale!) che tools di Grid Nel coordinamento inter- e intra- Esperimenti/Progetti
23P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Richieste 2004 (incluso s.j.) (1/2)Richieste 2004 (incluso s.j.) (1/2)
Tier BoxesBoxes
S.J CPUsCPUs
s.j DisksDisks
s.j DisksDisks
s.j Commenti# # KEuro KEuro TBs TBs Keuro Keuro
Bari Tier2 1 5 2.5 12.5 2 2 10 10
1 box in sostituzione di 3 box vecchie, 1 TB sostituzione 1 TB obsoleto. Altro sono 2 box e 1TB disco per analisi interattiva
Bologna Tier2 0 5 0 12.5 2 1 10 5Le vecchie macchine sono gia' state riciclate come desk-top
Catania Tier3 2 3 5 7.5 2 0 10 02 box per svecchiamento e 5 aggiuntive. Altro sono i posti lavoro CERN!
Firenze Tier3 1 3 2.5 7.5 2 0 10 0
Legnaro Tier2+ 15 0 37.5 0 5 5 25 25Sostituzione di 34 box (27 kSI2K) e 5 TB di disco obsoleti (5 TB nuovi)
Milano Tier3 0 2 0 5 2 0 10 0Altro sono 2 box + 0.5TB disco per analisi interattiva e switch+KVM (3kE)
Napoli Tier3 0 3 0 7.5 2 0 10 0
Padova Tier2 5 5 12.5 12.5 2 0 10 0
5 box CPU in sostituzione di 10 obsolete, 5 nuove in sostituzione di box temporanee . Consumo e' licenze LSF 2.0. Altro e' un contributo alla LAN
Perugia Tier3 0 5 0 12.5 2 0 10 0
Pisa Tier2 5 2 12.5 5 3 0 15 0 5 box CPU in sostituzione di 10 obsolete.
Roma1 Tier2 0 5 0 12.5 2 0 10 0 Consumo pezzi rotti farm.Torino Tier3 0 0 0 0 0 0 0 0
Total 29 38 72.5 95 26 8 130 40
LNL LCG LCG 14 0 35 0 9.6 0 48 0 Altro e' il contributo alla LAN network
Tier1 CNAF Tier1 0 50 0 125 0 30 0 150Le box CPU sono considerate tutte "nuove" (1800 kSI2k/box). Risorse aggiuntive rispetto al 2003.
Richieste 2004
24P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Richieste 2004 (incluso s.j.) (2/2)Richieste 2004 (incluso s.j.) (2/2)
TierConsu
mo COREMiss. Est Altro
Altro s.j
Totale inv
Totale inv s.j.
Totale senza ME Totale
Totale s.j
invent. invent. Keuro Keuro kEuro Keuro Keuro
Bari Tier2 25 10 12.5 32.5 12.5 37.5 32.5Bologna Tier2 41 35 10 17.5 51 86 17.5Catania Tier3 2 17 7.5 17 17 7.5Firenze Tier3 8 12.5 7.5 12.5 20.5 7.5Legnaro Tier2+ 6 8 15 77.5 25 83.5 91.5 25Milano Tier3 10 10 15 10 10 15Napoli Tier3 10 7.5 10 10 7.5
Padova Tier2 2 15 10 22.5 22.5 24.5 39.5 22.5Perugia Tier3 10 12.5 10 10 12.5Pisa Tier2 8 27.5 5 27.5 35.5 5Roma1 Tier2 2 0 10 12.5 12 12 12.5Torino Tier3 0 0 0 0 0
Total 10 41 99 17 30 219.5 165 270.5 369.5 165
LNL LCG LCG 15 98 0 98 0
Tier1 CNAF Tier1 0 275 0 275
Richieste 2004
S.j. alla definizione dei commitments al DC05 e analisi PTDR: Aprile 04
25P. Capiluppi - CSN1 Lecce 24 Settembre 2003
LNL in LCGLNL in LCGLNL
#box #CPUs#CPUs eq. kSI2K
LCG finanziato
CMS finanziato
LCG dichiarato
Differenza finanziata
TB disco
LCG finanziato
CMS finanziato
LCG dichiarato
Differenza finanziata SW LSF
2003 stato 82 164 178 71 15 56 47 -32 18 4 14 8 -4 1 CMS1+1 CMS
2003 richiesto LCG 19 38 58 23 23 56 47 -9 4.8 4.8 14 8 0.8 1 LCG
2004 richiesto LCG 14 29 58 23 23 56 77 -16 9.6 9.6 14 15 3.4 1 LCG
2004 svecchiamento + incremento disco(5TB) 15 30 60 24 53 10 19 1 CMS
1 CMS
totale 2004, con ipotesi sopra 97 193 285 114 61 53 77 -16 37.4 18.4 19 15 3.4
2 CMS 2 LCG
3 CMS
Ipotesi 2004 raddoppio risorse 2003 356 142 36differenza -18 -36 -71 -28 1.4
26P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Additional slidesAdditional slides
27P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Milestones 2003: statusMilestones 2003: status
Scadenza Giugno 03 (Status)
Settembre 03 (Status)
Meta’ delle sedi CMS Italia “enabled” per la produzione su Grid
Aprile 80% 100%
Protitipi Tier1 + Tier2 pronti per la produzione con LCG
Giugno 100% 100% (80%?)
Nuovo environement di CMS per l’analisi installato e funzionate (selected sites)
Giugno 50% 50%
Meta’ delle sedi “lavorano” con la nuova “persistenza”
Giugno 10% 20%
Partecipazione al 5% Data Challenge (PCP-DC04) del Tier1 e meta’ dei Tier2
Dicembre 0% 70%
28P. Capiluppi - CSN1 Lecce 24 Settembre 2003
Stime a lungo termine CMS Calcolo
Stime a lungo termine CMS Calcolo
Investimenti/anno (kEuro)
Tier1 CNAF CMS
Tier2 e Tier3 di CMS Italia (#6+6)
Totale CMS Italia
2005 740 675 1415
2006 750 725 1475
2007 870 870 1740
2008 1100 1100 2200
Totale 06-08 2720 2695 5415
+ ~ 1500 kEuro in 3 anni (06-08) sul Tier0 al CERN
29P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CMS Model: a remindCMS Model: a remindScope and roles of the Tiers
Tier0: Central recording and “first” treatment of data Tier1s: Computing support for the CMS Collaboration and the Analysis Groups Tier2s: Analysis support and specific (identified) problems task-forces Tier3s: Analysis dedicated and focused issues on particular tasks Lower level Tiers: Local agreed activities and personal (users’) tasks
Scope and roles of the Regional Centers (RCs) in the “Grid” Local RCs: User Interfaces and personal DBs Distributed RCs: Ad-hoc resources for particular tasks and test services Dedicated RCs: Analysis-dedicated resources and common (CMS) DBs Common RCs: Grid Services (both common and CMS-specific) and DBs repositories
Dynamically de-localized commitments and resources Mostly person-power- & knowledge-based on specific problems
Both for computing and Physics skills Re-allocation of tasks within a:
Virtual Organization (Grid VOs) Country Organization (INFN coordination, hierarchy of Centers) Analysis Organization (CMS coordination, hierarchy of Roles)
We believe that LCG will deploy this Model, Provided that CMS (and other experiments) largely invest on the Project Commonalities are only tried when possible (and necessary): diversity within the
Project is necessary Grid components are validated (and requested) by the experiments The “Cerncentric” view is abandoned (or at least mitigated)
30P. Capiluppi - CSN1 Lecce 24 Settembre 2003
CMS-Italy resources statusCMS-Italy resources status
Tier Boxes CPUs CPUs eq SI95 Disks# # # TBs
Bari Tier2 15 30 30 1200 2.0Bologna Tier2 14 28 32 1280 3.8Catania Tier3 10 20 28 1120 1.9Firenze Tier3 6 12 18 720 1.6Genova 0 0 0 0 0.0Legnaro Tier2+ 82 164 178 7120 18.0Milano Tier3 12 22 31 1240 2.0Napoli Tier3 5 10 15 600 1.0Padova Tier2 27 54 60 2400 1.8Pavia Tier3 0 0 0 0 0.0Perugia Tier3 4 8 12 480 2.4Pisa Tier2 14 28 30 1200 3.0Roma1 Tier2 13 26 31 1240 2.0Torino Tier3 11 22 26 1040 2.8
0 0 0 0 0.0Total 208 414 0 19040 41.8
LNL LCG LCG 19 38 57 2280 4.8Tier1 CNAF Tier1 70 140 210 8400 31.0
45 112 168 6720 4
Foreseen late 2003
31P. Capiluppi - CSN1 Lecce 24 Settembre 2003
2004 planned INFN resources2004 planned INFN resources
Tier Boxes CPUs CPUs eq SI95 Disks# # # TBs
Bari Tier2 21 42 54 2160 5.0Bologna Tier2 19 38 52 2080 6.8Catania Tier3 15 30 48 1920 3.9Firenze Tier3 10 20 34 1360 3.6GenovaLegnaro Tier2+ 97 194 238 9520 28.0Milano Tier3 14 26 39 1560 4.0Napoli Tier3 8 16 27 1080 3.0Padova Tier2 37 74 100 4000 3.8Pavia Tier3Perugia Tier3 8 16 28 1120 4.4Pisa Tier2 21 42 58 2320 6.0Roma1 Tier2 18 26 31 1240 4.0Torino Tier3 11 22 26 1040 2.8
Total 279 546 29400 75.3
LNL LCG LCG 33 66 113 4520 14.4Tier1 CNAF Tier1 120 240 410 16400 61
Grand Total 432 852 523 50320 151
Stato al Giugno 2004
32P. Capiluppi - CSN1 Lecce 24 Settembre 2003
“Distributed” Models“Distributed” Models
Tier
Tier
Tier
TierTier
Tier
Tier
Tier
TierTier
Grid
33P. Capiluppi - CSN1 Lecce 24 Settembre 2003
“Distributed” Models“Distributed” Models
Tier
Tier
Tier
TierTier
Tier
Tier
Tier
TierTier
Distributed Computing
34P. Capiluppi - CSN1 Lecce 24 Settembre 2003
“Distributed” Models“Distributed” Models
Tier3
Tier2Tier2 Tier2
Tier1
Tier3
Tier0
Tier2
Tier1 Tier1
Monarc
Tier2
Tier3Tier3
35P. Capiluppi - CSN1 Lecce 24 Settembre 2003
“Distributed” Models“Distributed” Models
Tier3
Tier2Tier2 Tier2
Tier1
Tier3
Tier0
Tier2
Tier1 Tier1
Monarc - Grid
Tier2
Tier3Tier3
LCG ?!
36P. Capiluppi - CSN1 Lecce 24 Settembre 2003
“Distributed” Models“Distributed” Models
LCG & CMS
Tier3
Tier2Tier2 Tier2
Tier1
Tier3
Tier0
Tier2
Tier1 Tier1
Tier2
Tier3Tier3
Tier2
Common resourcesCommon resources
CMS resourcesCMS resources
Other resourcesOther resources
LCG Now?