capiluppi calcolo lhc cms - Istituto Nazionale di Fisica Nucleare · 22/09/2004 P. Capiluppi - CSN1 Assisi Calcolo CMS Per dettagli sulle attività svolte, vedi CSN1 di Pisa (22 Giugno

22/09/2004P. Capiluppi - CSN1 Assisi

Calcolo CMSPer dettagli sulle attività svolte, vedi CSN1 di Pisa (22 GiugnoPer dettagli sulle attività svolte, vedi CSN1 di Pisa (22 Giugno 04)04)

Due attività dominanti nel 2005:§ Computing TDR§ Physics TDR

Entrambe richiedono:§ Simulazione (“produzione”)§ Analisi (“distribuita”)

Evoluzione da una attività a “Data Challenges” ad una “Permanent Production and Analysis effort”

2P. Capiluppi - CSN1 Assisi 22/09/2004

CMS Computing scheduleCMS Computing schedule

u 2004 § Oct RRB for MoUs structures agreement

§ Dec Computing TDR in initial draft form

u 2005§ April RRB Comp MoUs (Exps and LCG) final document

[to be signed in June]

§ July LCG TDR and CMS Computing TDR submission

§ Dec Physics TDR submission[Based on “steady state” prod and analysis]

u 2006§ ~Spring (Final) Data Challenge 06§ Dec Computing Systems Operational


Organizzazione del Computing di CMS (Computing-and-Core-Software e Physics-

Reconstruction-and-Selection)

Organizzazione del Computing di CMS (Computing-and-Core-Software e Physics-

Reconstruction-and-Selection)u CCS new tasks arrangement:

1) Computing and Software Infrastructure: Nick Sinanis

2) Core Software (Architecture, framework and toolkits): Vincenzo Innocente

3) Production: Tony Wildish and LucianoBaroneè Subtasks: Operation and Tools

4) Data Management: Lothar Bauerdick5) Workload Management: Stefano

Lacaprara

u PRS Groups:1) E-gamma/ECAL: Chris Seez & Yves Sirois2) B-tau/Tracker: Marcello Mannelli & Lucia

Silvestris3) Muons/Muon: Ugo Gasparini & Darin

Acosta4) Jet-met/HCAL: Jim Rohlf & Chris Tully5) Higgs: Sasha Nikitenko6) Standard Model: Joachim Mnich7) SUSY: Luc Pape8) Heavy Ions: Bolec Wyslouch

u “Cross” CCS and PRS (+TriDAS) PROjects Management§ RPROM (Reconstruction Software): Stephan Wynhoff§ SPROM (Simulation Software): Albert de Roeck§ APROM (Analysis Software): Lucia Silvestris

u CMSCCC (Computing Coordinating Committee): a CMS Collaboration Board sub-committee§ One computing expert and one senior physicist per major Agency/Country

contributing to Computing (CERN, France, Germany, Italy, Spain, UK, USA, Taipei) + CPT managers + CB chair: Roberto Tenchini & Paolo Capiluppi


Attivita’ svolte 2004(03)Attivita’ svolte 2004(03)uProduzione (simulazione) di ~ 15 M eventi§ Di interesse dei Gruppi di Fisica (PRS) italiani§ Usando le Farm in locale e via Grid (LCG)uPartecipazione al DC04 in maniera sostanziale§ Responsabilita’ della implementazione in LCG per il DC04§ Tier1 del CNAF e Tier2 di LNL

èMiglior rate di trasferimento dei files (insieme a PIC-Barcellona)èCoinvolgimento del Tier2 LNL (unico altro Tier2: CIEMAT-Madrid)

§ Real-time analysis realizzata al Tier1 e Tier2 (Bari, Bologna, Padova)èTutti i tools e setup di “marca”italiana

uMisure e feed-back dal DC04 per il Computing Model§ Prestazioni§ L’archietteura del softwareuSviluppo del software di ricostruzione (e simulazione) e partecipazione all’analisi per i PRS sostanziale dall’INFN :§ Muons§ Tracker§ E-gamma§ Higgs§ SUSY/BSM§ SM

22/09/2004P. Capiluppi - CSN1 Assisi

5P. SphicasPRS Status and Plan of Work

Physics TDRn Outline

u Volume I: one person to provide overall coherence, etc. Parts split to the detector PRS group responsibles.

u Volume II, part I: given all that is presented in Volume I, a detailed expose of early procedures and physics. A first-run, explanation of deployment of various tools, turning CMS from a 12,500-ton object to a detector – and last the 1fb-1 physics reach.

u Volume II, part II: full analyses, given Vol I and all that will have been achieved in Vol II part I.

u Volume II, part III: the physics of 10 and 30 fb-1. Include a chapter on asymptotic (300 fb-1) reach.

n “Special” chapters go to corresponding pieceu Diffractive Physics – the CMS-TOTEM combination – goes to Vol I (detectors), Vol 2.1, 2.2,

2.3u Luminosity measurement (and monitor): in Vol I. Also in Vol II.1u Startup scenario/procedure: this is now a whole “part” in Vol II (II.1)

n Heavy Ionsu Include it directly in Phys-TDR. Means special mention for heavy-ion response in Vol I and

a special section (part?) in Vol IIl Decision: add a part IV to Vol II


Attivita’ italiane 2005(04) di CMS Calcolo (1/2)


uLe due attivita’ 2005 dominanti richiedono:§ Analisi distribuita dei dati simulati durante (PCP incluso) e dopo il DC04èInclusi gli studi di calibrazione/allineamento

§ Produzione (simulazione) dei nuovi dati necessari per il PhysicsTDR (inclusa la High Luminosity) e la preparazione al commissioning§ Distribuzione dei dati e accesso ad essi in modo distribuito

uQuesta attivita’ portera’ a:§ Definire un CMS Computing Model, “misurato” anche nella parte dell’analisi§ Definire l’uso delle componenti di “Grid” (LCG)§ Produrre il Computing TDR di CMS e contribuire a quello di LCG§ Definire i contenuti dei Computing MoUs§ Produrre il Physics TDR




uE’ intenzione di CMS (e di CMS Italia) di usare il piu’possibile LCG:§ Sia per l’Analisi (anche con “ARDA/GLite”) che per la ProduzioneuAttivita’ di Analisi “continua” (PRS in cui gli italiani sono coinvolti, vedi dopo):§ Accesso attraverso User Interfaces (LCG-UI) dei Tier2/3§ Dati principalmente presso il Tier1-CNAF e il Tier2-LNL (e altri Tier2, Pisa, Bari, etc.)èData samples completi (MC truth, Digi, DST, EOD, …)

§ Dati parzialmente replicati presso i Tier2/3 è In funzione delle responsabilita’ nei PRS

uAttivita’ di Produzione “continua” (privilegiati i canali di interesse italiano)§ Il target di CMS e’ ~10M eventi/mese (dall’Autunno 2004 al Settembre 2005): upper-limit ~2M eventi/mese in Italia§ Tier1-CNAF, Tier2 LNL/Pi/etc. dominanti, ma contributo sostanziale di “alcuni” Tier2/3 sia nella produzione (via LCG/Grid-it o meno) che nello sviluppo dei Tools


Attivita’ delle sedi italiane (1/2)Attivita’ delle sedi italiane (1/2)uAttivita’ locali in TUTTE le sedi:§ simulazioni, studi dei detectors, sviluppo software, tools, Farm system admin, Grid a vario livello§ per il supporto a laureandi, dottorandi, costruzione degli apparati§ usando l’environment comune di CMS

uLeading support nell’analisi dei dati da Test Beams§ Pd, Bo, To: Muons DC§ Ba, Pi, Fi, Pg: Tracker§ Rm1, Mi: ECALuLeading nel supporto al “early commissioning” dei Detectors (dall’allineamento, alla calibrazione al commissioning)§ Tracker, Muons, ECALuLeading nel supporto e sviluppo del sw di ricostruzione (ORCA)§ To, Pd, Bo: Muons DC§ Pi, Ba: Tracker§ Ba, Na: Muons RPCuLeading nel supporto e sviluppo dei tools di Computing:§ Bo: core tools e architettura distribuita§ Pd, Bo, Ba: tools e integrazione nel calcolo distribuito (Grid)§ Pd, Bo, Ba, RM1: integrazione e sviluppo dei tools di job submission e production§ Na, To, Fi: sviluppo di algoritmi OO di ricostruzione§ Ba, Bo, Pd: sviluppo di tools di analisi distribuita§ CNAF, LNL, Rm1, Ba, Bo: supporto alle produzioni


Attivita’ delle sedi italiane (2/2)Attivita’ delle sedi italiane (2/2)uCoinvolgimento in varie attivita’ di analisi nei PRS, inclusi quelli di “Physics reach”:§ e-gamma: Rm1, Mi§ b-tau: Ba, Fi, Pg, Pi§ Muons: Bo, Pd, To§ Higgs: Ba, Bo§ SUSY/BSM: Ct, To§ SM: Pi, To, …§ Etc.

uPrincipali servizi di accesso, distribuzione e archivio dati:§ CNAF verso e da tutti i Tier2/3 e verso/dal Tier0-CERN (e altri Tier1)§ LNL verso/dal CNAF e i Tier2§ CNAF per archivio di tutti i dati su Nastro

uSupporto al Tier1-CNAF da parte di CMS Italia§ Contributo principale di Bo

uSupporto al Tier2-LNL da parte di CMS Italia§ Contributo principale di Pd

uContributo alla definizione del Computing Model di CMS (C-TDR) e LCG§ Principalmente: Ba, Bo, …

An

nu

al R

evie

wA

nn

ual

Rev

iew

David SticklandCPT-AR19 Sept 2004

Page 10/60

Computing Memoranda of Understanding1) LCG MoU and 2) Addendum to M&O

n LCG Computing MoU– Covers CERN + major Computing Centres for 4 expts– Dedicated task force (I. Willers for CMS)

n Addendum to CMS M&O MoU– Covers CMS-specific efforts – Categories A and B – Mostly manpower, small amount of hardware– Addendum annexes cover

• WBS tasks (CCS + CPT_TriDAS) for Cat A and B

• Institutes and responsibilities (snapshot – will evolve)

• Resource needs (firm in short-term, rough projections to 2010)

• Category A (FTE and CHF) by country

• Category B voluntary commitments

An

nu

al R

evie

wA

nn

ual

Rev

iew


Page 11/60

Computing Memorandum of Understanding

n LCG phase II– Collaboration in the Deployment and Exploitation of the LHC

Computing GRID

n Partners are: – CERN as host laboratory, Tier0, Tier1 and coordinator of LCG– Funding agencies/institutes qualifying as Tier1 or Tier2 centers

n Aim to provide the computing resources needed to process and analyze the data gathered by the LHC experiments

Experiments?Experiments?

“Coordinator” of LCG as “Coordinator” of LCG as a Partner!?a Partner!?

L”RRB L”RRB approvaapprova unauna“Collaboration”?“Collaboration”?

Chi decide Chi decide qualiquali, dove e , dove e quantequante risorserisorse sonosono

necessarienecessarie??

An

nu

al R

evie

wA

nn

ual

Rev

iew


Page 12/60

Computing Memoranda of Understanding Computing Manpower (N.B. numbers are preliminary!)

WBS Tasks

Project Task Subtask A B

1. CCS 1.1 Management 1.1.1 Project management 2.41.1.2 Liaison with non-CMS Projects 0.9

1.2 Infrastructure & Services 1.2.1 Central Computing Environment 6.01.2.2 User support 2.01.2.3 Software Process Service 3.91.2.4 Software Process Tools 3.4

1.3 Core Applications Software 1.3.1 Application Framework 2.51.3.2 Basic Toolkits 4.31.3.3 Development and integration of data / metadata systems 2.71.3.4 User Interfaces and Graphics 1.5

1.4 Production 1.4.1 Production tools 4.41.4.2 Production Operations 4.1

1.5 Data Management 1.5.1 Architecture and basic services 1.91.5.2 Integration with Production 2.8

1.6 Workflow Management 1.6.1 Architecture and basic services 1.31.6.2 Batch job management tools 1.41.6.3 User Tools 4.11.6.5 Validation of Grid for users 2.41.6.6 Integration with EGEE / ARDA 1.5

1.7 Computing TDR 1.7.1 Editorial 0.41.7.2 Computing Model 2.51.7.3 Validation of Computing Model 1.0

2. TRIDAS 2.1 Online Filter Framework 2.1.1 Coordination 0.52.1.2 Input Data Handling 1.02.1.3 Output Data Handling 0.02.1.4 Control and Monitoring of filter system 1.92.1.5 Code guidelines, validation, quality control 0.72.1.6 Run condition and calibration tracking 0.7

2.2 Online Farm management / monitoring2.2.1 Online Farm system management 1.12.2.2 Cluster Monitoring and Administration 0.5

M&O category

n Category A– General support and

infrastructure tasks– Agreement on scope with

• ATLAS (in detail)

• ALICE (in principle)

• LHCb has no Cat A

– Pro-rata cost sharing• ~17 FTE’s needed

• ~8 FTE’s missing

n Category B– Voluntary adoption of

responsibilities• ~58 FTE’s needed

• ~13 FTE’s missingn Note: We are still chasing much

of our promised manpower

MancanoMancano la “category” III (la “category” III (ililmanpower manpower neinei CentriCentri RegionaliRegionali) ) e e ilil manpower manpower distribuitodistribuito per i per i tools tools didi computing computing

Inclusi i due FTE “in arrivo” dall’INFN per CMS


Stato delle risorse CMS ItaliaStato delle risorse CMS Italia Stato al Settembre 2004

Tier Boxes SI2000 Disks Comments # TBs

Bari Tier2 16 13600 4.0 Bologna Tier2 15 13200 5.8 Catania Tier3 9 10800 1.0 Firenze Tier3 6 7200 5.2 Legnaro Tier2+ 72 73000 24.0 Milano Tier3 12 12400 1.0 Napoli Tier3 5 6000 1.0 Padova Tier2 32 35000 3.8 Pavia Tier3 Perugia Tier3 12 14400 2.4 Pisa Tier2 9 16800 5.0 Roma1 Tier2 13 12400 5.0 Torino Tier3 11 10400 2.8

Total 212 225200 61.0

LNL LCG LCG 40 54000 22.0 Tier1 CNAF Tier1 120 164000 60 ?? ~80 kSI2000 e 20 TB disk ??

Grand Total 372 443200 143

An

nu

al R

evie

wA

nn

ual

Rev

iew


Page 14/60

Hardware

n CPUs are not an issue– we have done similar amounts during PCP and now we have more

and more powerful– although relevant resources (T1s etc.) are now under LCG (see

below)

n Storage may be more critical– depends on the model of data distribution to T1s– if all DSTs everywhere, then needs at least 3 new TB/site/month– is a matter of money and procurement

NecessitaNecessita’ ’ didi spaziospazio disco! disco!

E E accessoaccesso distribuitodistribuito aiai datidati con “con “qualchequalche” CPU!” CPU!


Milestones 2005: specifiche Milestones 2005: specifiche u CMS Computing TDR (e TDR-LCG) [Luglio 2005]§ Definizione delle risorse del Tier1 e dei Tier2 che partecipano al Computing

Model [Febbraio 2005]§ Definizione dei servizi (dati, software, LCG) disponibili in Italia [Febbraio

2005]§ Definizione della partecipazione di CMS Italia a LCG e INFN Grid [Maggio

2005]u Produzione ed analisi dei dati per il P-TDR [Gennaio 2006]

Gruppi di fisica di responsabilità e interesse italiano: b-tau, muon, e-gamma, Higgs, SYSY, SM

§ Partecipano il Tier1 e almeno metà dei Tier2/3 [Luglio 2005]§ Produzione di ~2 M eventi/mese [Gennaio 2005]§ Analisi preliminare di almeno 4 canali (es. H->WW->2mu2nu) [Febbraio 2005]§ Partecipano il Tier1, tutti i Tier2 e piu’ della metà dei Tier3 [Ottobre 2005]§ Produzione di ~ 20 M eventi [Dicembre 2005]§ Analisi di almeno 8 canali per il P-TDR [Dicembre 2005]u Deployment di un prototipo di sistema di analisi distribuito su LCG

[Aprile 2005]§ Definizione delle componenti [Gennaio 2005]§ Definizione e implementazione dell’infrastruttura organizzativa italiana

[Febbraio 2005]u Data Challenge 05 completato (~20% INFN) [Dicembre 2005]===========================================


Milestones 2004: specifiche (1/2)Milestones 2004: specifiche (1/2)

uPartecipazione di almeno tre sedi al DC04 [Marzo]§ Importare in Italia (Tier1-CNAF) tutti gli eventi ricostruiti al T0§ Distribuire gli streams selezionati su almeno tre sedi (~ 6 streams, ~ 20 M

eventi, ~ 5TB di AOD)§ La selezione riguarda l’analisi di almeno 4 canali di segnale e relativi fondi,

ai quali vanno aggiunti gli studi di calibrazione§ Deliverable: contributo italiano al report DC04, in funzione del C-TDR e

della “preparazione” del P-TDR. Risultati dell'analisi dei canali assegnati all'Italia (almeno 3 stream e 4 canali di segnale)

uIntegrazione del sistema di calcolo CMS Italia in LCG [Giugno]§ Il Tier1, meta’ dei Tier2 (LNL, Ba, Bo, Pd, Pi, Rm1) e un terzo dei Tier3 (Ct,

Fi, Mi, Na, Pg, To) hanno il software di LCG installato e hanno la capacita’di lavorare nell’environment di LCG§ Comporta la installazione dei pacchetti software provenienti da LCG AA e

da LCG GDA (da Pool a RLS etc.)§ Completamento analisi utilizzando infrastruttura LCG e ulteriori produzioni

per circa 2 M di eventi§ Deliverable: CMS Italia e’ integrata in LCG per piu’ della meta’ delle risorse

Fine del DC04 slittata ad AprileFine del DC04 slittata ad Aprile

Sedi: Sedi: BaBa, , BoBo, , FiFi, LNL, , LNL, PdPd, Pi, , Pi, PgPg, CNAF, CNAF--Tier1Tier1

2 2 StreamsStreams, ma 4 canali di analisi, ma 4 canali di analisi

DONE, 100%DONE, 100%

Sedi integrate in LCG: CNAFSedi integrate in LCG: CNAF--Tier1, LNL, Tier1, LNL, BaBa, , PdPd, , BoBo, Pi, , Pi, FiFi

Il prolungarsi dell’Il prolungarsi dell’analisianalisi dei risultati del DC04 dei risultati del DC04 fa slittare di almeno fa slittare di almeno 4 mesi4 mesi

In progress, 60%In progress, 60%


Milestones 2004: specifiche (2/2)Milestones 2004: specifiche (2/2)

uPartecipazione al C-TDR [Ottobre]§ Include la definizione della partecipazione italiana al C-TDR in termini di:

èRisorse e sedi (possibilmente tutte)

èMan-power

èFinanziamenti e piano di interventi

§ Deliverable: drafts del C-TDR col contributo italiano

uPartecipazione al PCP DC05 di almeno il Tier1 e i Tier2 [Dicembre]§ Il Tier1 e’ il CNAF e i Tier2 sono: LNL, Ba, Bo, Pd, Pi, Rm1§ Produzione di ~ 20 M di eventi per lo studio del P-TDR, o equivalenti (lo

studio potrebbe richiedere fast-MC o speciali programmi)§ Contributo alla definizione del LCG-TDR§ Deliverable: produzione degli eventi necessari alla validazione dei tools

di fast-simulation e allo studio dei P-TDR (~20 M eventi sul Tier1 + i Tier2/3)

Il Computing TDR e’ ora dovuto per Luglio 2005Il Computing TDR e’ ora dovuto per Luglio 2005

La La milestonemilestone slitta di conseguenzaslitta di conseguenza

StandStand--byby/progress, 20%/progress, 20%

Il Data Il Data ChallengeChallenge 05 e’ stato cancellato e sostituito 05 e’ stato cancellato e sostituito dalla produzione ed analisi continua per il Pdalla produzione ed analisi continua per il P--TDRTDR

La La milestonemilestone e’ annullatae’ annullata

0%0%


ConclusioniConclusioni

uSequenza temporale non ottimale dei MoUs§ Computing TDR (inclusa la analisi)§ Approvazione scientifica§ MoUsuCMS “on track” per definire § Computing Model§ Software/framework per l’analisi§ Componenti di Grid (LCG)§ Infrastruttura di Calcolo§ Physics TDRuCMS Calcolo Italia ha un ruolo proporzionato alla partecipazione globale: ~20%§ Ed e’ leading in molti campi del Computing e dell’analisi


Additional slidesAdditional slides

An

nu

al R

evie

wA

nn

ual

Rev

iew


Page 20/60

Computing Milestone Revisions

n DC04: challenge is complete and conclusions will be presented at CHEP ‘04

n CCS TDR will be aligned with LCG TDR submission

n DC05: cancelled

Identifier Task Update Jan 04

v34.0 May 04

Revised: 21 Jun 04

CS-1039 Delivery of baseline core software for CCS and Physics TDR's

Level 1 1-Mar-04 31-Jul-04 1-Feb-05

CS-1041 DC04 (5%) data challenge complete Level 2 1-Apr-04 1-Jan-05 31-Aug-04

CS-1040 First Draft CCS Technical Design Report Level 2 1-Apr-04 1-Jan-05 1-Jan-05

CS-1042 CCS TDR submission Level 1 1-Oct-04 31-Jul-05 31-Jul-05

CS-1057 DC05 (10 %) Data challenge complete Level 2 1-Apr-05 1-Dec-05 1-Dec-05Cancelled


LCG e INFN-GridLCG e INFN-Grid

uCMS Calcolo Italia continua a supportare e sviluppare la integrazione del Calcolo in LCG, con ruolo leading§ Produzione su CMS-LCG/0 worldwide (Stress Test)§ Produzione PCP DC04 su LCG-1 EU-wide§ DC04 su LCG-2 EU-wide§ Unica misura realistica delle potenzialita’ di LCG-GRID ad oggi§ Analisi coi tools LCG e collegamento con gLite/ArdauIn LCG sono coinvolte (per CMS) le sedi di:§ CNAF-Tier1 per (anche) CMS§ LNL § Pisa dal 2005§ Progressivamente le altre sedi (Tier2/3) si stanno aggiungendouIn INFN-Grid sono coinvolte le Farm di CMS di:§ LNL, Pd, Ba, Pi da tempo§ Bo dal Giugno 2004§ Fi e Na tra la fine del 2004 e l’inizio del 2005§ Altre si aggiungeranno …

An

nu

al R

evie

wA

nn

ual

Rev

iew


Page 22/60

Continuous Operation

n Instead of DC05 we need to progressively bring up a full time operation– Not a test or a challenge.– Physicist access to data required.

n Generic GRID resources (for Generation/Simulation)– ~750 CPU Continuous

• CPU means current generation ~2.4+GHz

n CMS T1 resources (Grid with significant Disk and MSS)– Needed for data intensive Digitization and Reconstruction steps– ~750 CPU Continuous– Now 60TB +20TB/month (Spread across T1 centers)

n T1/T2 resources (probably not generic)– 150C CPU Continuous– Now 40TB Analysis disk space to grow by about 2-5TB/month (T1+T2)

n We intend to run all this within LCG – “LCG” being all those resources available to CMS being steady migration from/between LCG2,

GRID3, gLite, …

n We need to reach the 10M event/month level soon ( Autumn)

n We need to make the resources available to a growing CMS user base in the same time scale

Documents

capiluppi calcolo lhc cms - Istituto Nazionale di Fisica Nucleare · 22/09/2004 P. Capiluppi - CSN1 Assisi Calcolo CMS Per dettagli sulle attività svolte, vedi CSN1 di Pisa (22 Giugno