View
27
Download
0
Category
Preview:
DESCRIPTION
Le calcul et l’informatique à l’IN2P3 et au DAPNIA Prospectives, La colle sur Loup 2004. L’informatique des laboratoires de l’IN2P3 et du Dapnia Le calcul pour les astroparticules Le calcul pour le LHC. Fairouz O-Malek. - PowerPoint PPT Presentation
Citation preview
1
Le calcul et l’informatique à l’IN2P3 et au DAPNIA
Prospectives, La colle sur Loup 2004
Contributions:B. Boutherin (sécurité), J. Delabrouille (Astro-particules), F. Etienne (Coordination, IN2P3), F. Hernandez (CC-IN2P3 et LCG), P. Micout (Dapnia), G. Wormser (EGEE)
L’informatique des laboratoires de l’IN2P3 et du Dapnia
Le calcul pour les astroparticules
Le calcul pour le LHCFairouz O-Malek
2
F. Le Diberder (IN2P3)F. Etienne (IN2P3)
F. Le Diberder (IN2P3)F. Etienne (IN2P3)
Organisation de l’Informatique et du calcul
J-P. Génin (CEA/DSM)J. Le Foll (DAPNIA)
J-P. Génin (CEA/DSM)J. Le Foll (DAPNIA)
Informatique labo IN2P3
CC-IN2P3D. Linglin
Calcul LHC: LCG
Utilisateurs IN2P3/Dapnia
Comité des utilisateurs
Responsables Informatique des labos
BaBar
Resp. Calcul exp.
Resp. Calcul exp.
Resp. Calcul exp.
Resp. Calcul exp.
Informatique labo IN2P3
D0
Théorie
Gestion des ressources
3
L’informatique des laboratoires de l’IN2P3 et du Dapnia
Le calcul pour les astroparticules
Le calcul pour le LHC
4
233 Informaticiens à l’IN2P3(juin 2004)
Effectif Informaticiens
22
10 8 117
1510
4
28
1925
14
2 4 4
15
35
05
10152025303540
46%
34%
20%
ASR Développement DAQ
Informaticiens
= 6% effectifs
Informaticiens =
15% ITAEffectifs des informaticiens par métier
0
2
46
8
10
12
ASR
Soft offline
DAQ
Développeurs= Offline+Online
ASR=administrateurs systèmes et réseaux
5
La sécurité informatique
Enjeux de la sécurité informatique à l’IN2P3 – Continuité du service – Risque juridique – Vol de ressources – Image de marque
Menace : liée au nombre de machines visibles sur Internet (3000)
Vulnérabilité : 500 avis de sécurité par an
SQL injection
Buffer overflowVer
Virus
Actions mises en place Filtrage en entrée, cloisonnement des réseaux, chiffrement des communications (SSH), surveillance réseau.
Juridique : mettre en place une structure pour pour dégager la responsabilité de l’IN2P3 en cas de plainte.
Code pénal
6
Le CC-IN2P3
Chiffres– 54 personnes (07/10/04) dont CDDs: 25 (46%) , Permanents: 29
(54%) financements des CDDs: Sur convention: 13 personnes (EPT)CNRS: 4 personnes (2 EPT)EGEE (Grille de calcul): 7 personnes -- bientôt 10RUGBI (Grille bio): 1 personne
– Budget (2004)OrigineOrigine kk€€ % Total% Total
CNRS 4750 68
DSM-CEA 1500 20
Autres, CDD(EGEE, Grille, …)
890 12
Total 6940 100
7
Le CC-IN2P3
Chiffres (suite)– CPU: 1,2 MSI2K Linux (environ 700 machines biprocesseurs)– disque ~ 100 TO– bande ~ 700 TO– 2500 comptes– ~40 expériences (+groupes bio)
Évolution– D’un centre de ressources vers un centre de services– Mise en place de solutions élaborées adaptées aux expériences y
compris des services autres que le calcul et le stockage (hébergement web, visio-conférence, webcast,…)
8
Consommations CPU de juillet à septembre 2004 : les 10 groupes les plus consommateurs
babar24%
atlas11%
hess10%
d09%
lhcb8%
cmsf6%
alice5%
archeops4%
virgo4%
pauger4%
Autres 15%
Le CC-IN2P3
Gestion des ressources:Gestion des ressources: un comité IN2P3 qui se réunit 1 fois par trimestre pour régler et corriger les répartitions calcul par expérience: http://cc.in2p3.fr/rubrique.php3?id_rubrique=144
Les ressources demandées sont au delà des capacités du Centre de calcul !!!!
10 expériences consomment 85% des ressources du CC-IN2P3
9
Le CC-IN2P3
Croissance − 100% par an de la puissance CPU et de la capacité de stockage sur
bande (à budget constant)− Légèrement moins en stockage disque
DAPNIA: depuis 1993 Une convention triennale le lie à l’IN2P3 pour l’utilisation des moyens de calcul centraux.
AnnèeAnnèe Contribution au CC Contribution au CC en ken k€€
2004 1500
2005 1600
2006 1700
10
Le CC-IN2P3
0
1 000
2 000
3 000
4 000
5 000
6 000
7 000
2002 2003 2004 2005 2006 2007 2008
Ter
aByt
es
0
2 000
4 000
6 000
8 000
10 000
12 000
14 000
K S
pec
tIn
t200
0
Stockage
CPU (K SI2K)
LCG: ~70%
LCG: 20%
11
Le CC-IN2P3
Les expériences LHC deviennent prioritaires– Budget et ressources humaines actuellement disponibles ne
permettront pas de satisfaire les besoins à venir– Rôle prépondérant du CC-IN2P3 pour la composante française de
ces expériences en tant que centre de services connecté à la grille
Travail Collaboratif:Dans un modèle de calcul global, le travail en étroite collaboration entre le représentant expert de chaque expérience au CC-IN2P3 est fondamental– Success Stories: Babar et D0– En cours de mise en place: LCG– Le CC souhaite que la composante française de chaque
expérience tienne compte des besoins en ressources humaines correspondantes
12
L’informatique des laboratoires de l’IN2P3 et du Dapnia
Le calcul pour les astroparticules
Le calcul pour le LHC
13
Expériences astroparticule
préparationacquisitionanalyse
AMSAntaresArcheopsAugerEdelweissGLASTHESSLISANEMOPlanckSNLSVIRGO
2005 2008 20142011
14
Besoins spécifiques à l'Astroparticule
- Augmentation du stockage disque (données modestes mais beaucoup d'accès)- Besoin de bande passante spécifiquement pour la visualisation- Besoin de manipuler des dizaines de GO en mémoire (ou des centaines)
Questions ouvertes
- Pic dans les besoins de disque et de CPU en même temps que LHC (2007) pour les expériences HESS, Planck, VIRGO, GLAST- Rôle du CC pour l'organisation / la distribution des données astroparticule ? (implication pour les moyens humains au CC et dans les labos)
Evaluation des besoins
-Dépend fortement du taux d'implication du CC (de 0% à 100% des moyens)-Dépend fortement du rôle du CC (e.g. service pour la composante française de l'expérience, pour toute l'expérience ou pour toute la communauté scientifique ?)-Dépend des méthodes de traitement encore en cours de développement-Dépend de la qualité ultime des données (ex. Planck, problème de "trivial" à "insoluble")
15
TO/an science
Total TO produits
Stockage (TO) Disque (TO) RAM (GO) "partagée"
AMS 100 100 nans 100 nans <1
Archeops 2 10 2 16
ANTARES 100 100 nans 100 nans <1
AUGER 1 1 nans 10 300
EDELWEISS 4 4 nans 20 <1
GLAST 30 50 30
HESS 15-30 (15-30) nans 30 nans <1
LISA 0,05 (TBC) ? ? ? ?
NEMO ? ? ? ?
Planck 4 240 3000 (TBC) 300 600 (TBC)
SNLS 10 10 nans 10 nans 3 (TBC)
VIRGO 100 100 nans 100 nans 2 ?
16
UI 2004
demandé
Gflop/s à prévoir
à terme
Dates approx. Heures CPU 1GHz
Personnes dédiées CC
% au CC pour l'exp.
AMS 0.3M ? 2007 - 2011 ? ?
Archeops 0.6M 20 2005 - 2006 5 MHr/an 0 100%
ANTARES 0.5M 40 2007 - … 10 MHr/an ?
AUGER 7M 40 2005 - … 10 MHr/an
EDELWEISS 2005 - … 100%
GLAST ? 2007 - … ? ? 20% (TBC)
HESS 4M 3 2005 - 2008
2009 - …
1. MHr/an
1.5 MHr/an
100%
LISA ? 2010 - … ? ? 20-50%
NEMO 6M ? ? ?
Planck 200 2007 - 2012 15 MHr/an 1 ? 10-30%(en négociation
avec l’INSU)
SNLS 2 2004 - 2009 0.5 MHr/an
VIRGO 2M 100 2005 - … 15 MHr/an 0 50%
17
0
20
40
2003 2004
consommation astroparticule ccin2p3
virgoThemissnovaenemohessglasterosedelw eissarcheopsantaresamsauger
Le calcul astroparticule est en augmentation au centre (en %)(Remarque : ~16% demandé, ~38% consommé les 4 premiers mois de 2004 !)
Ceci correspond à un besoin réel et traduit l'investissement croissant des équipes IN2P3 dans le traitement des données des expériences astroparticule et cosmologie
La montée en puissance des activités VIRGO, Planck, LISA va encore augmenter considérablement les besoins d'ici quelques années
%
18
Estimation des demandes pour les 5 ans à venir
Stockage : ~ 3-6 PODisque : ~ 700 TOMHr 1GHz : ~ 70 MHr/an …soit ~ 8000 CPU à 1 GHz…
(1500 machines actuelles)
PLANCK:Une machine dédiée au calcul parallèle disposant de 500 processeurs et d’un réseau haute performance est actuellement envisagée (1 M€)
19
L’informatique des laboratoires de l’IN2P3 et du Dapnia
Le calcul pour les astroparticules
Le calcul pour le LHC
20
LCG
LHC Computing Grid Project – LCG
LCG 40 million de collisions par seconde
Après filtrage, ~100 collisions d’intérêt physique par seconde
1-10 Megabytes de données digitisées pour chaque collision taux stockage: 0.1-1 GigaBytes/sec
~ 1010 collisions enregistrées par an quelques PetaBytes/an
CMS LHCb ATLAS ALICE
LHC Computing Grid Project – LCG
22
LCG
Europe: 267 instituts 4603 utilisateursHors Europe: 208 instituts 1632 utilisateurs
La communauté du CERNLa communauté du CERN
23
LCGLe LHC Computing GRID - LCG
Objectif: fournir L’INFRASTRUCTURE de calcul pour LHC
4 expériences , 1 seule infrastructure 20% des ressources seront présentes au CERN (80% du temps du
LEP, 50% BABAR,..)
Quatre zones d’activités Applications area (POOL, GEANT4, outils logiciels,..) Fabric management Grid technology area Grid deployment area
Deux phases R&D : 2001-2005 (Contribution volontaires des états membres) Déploiement 2006-2008
24
LCG
RAL
IN2P3
BNL
FZK
CNAF
PIC ICEPP
FNAL
Tier-1
Petitscentres
Tier-2
Postes de
travail
USCNIKHEFKrakow
CIEMATRome
Taipei
TRIUMF
CSCS
Legnaro
UB
IFCA
IC
MSU
Prague
Budapest
Cambridge
IFIC
LHC: 140 sites actuellement connectés sur la grille de calcul mondiale3 différentes technologie (protocoles) de grille: LCG-2, GRID3, NorduGrid
Mais d’autres grilles HEP existent et sont performantes: SAM-GRID (D0)
25
LCG
LCG-2
Actuellement 80 sites
Compagnie générale de géologie
2 sitesFrançais
26
LCGCurrent Grid3 Status(http://www.ivdgl.org/grid2003)
• 30 sites, multi-VO
Grid 3Grid 3
27
LCG
NorduGrid & Co. Resources
7 countries:
Sites for ATLAS: 22 Dedicated: 3, the rest is shared
CPUs for ATLAS: ~3280 Effectively available: ~800
Storage Elements for ATLAS: 10 Capacity: ~14 TB, all shared
30 sites
28
LCG
LCG-2 et les générations futures du logiciel (Middleware)
LCG-2 est le service principal pour 2004 pour les data challenges
Le logiciel (middleware) LCG-2 va être mantenu et développé jusqu’à ce que la nouvelle génération aura été éprouvée (et aura fait preuve de stabilité et d’efficacité)
2004 2005
LCG-2
Nouvelle Génération prototype produit en développement Service principal
29
LCG
RAL
IN2P3
BNL
FZK
CNAF
PIC ICEPP
FNAL
Tier-2 – stockage disque Simulation Travail d’analyse du
physicien
Tier-1Petits
centres
Tier-2
Postes de travailportables
USCNIKHEFKrakow
CIEMATRome
Taipei
TRIUMF
CSCS
Legnaro
UB
IFCA
IC
MSU
Prague
Budapest
Cambridge
IFIC
Le modèle de computing du LHC
Tier-0 – Le lieu de l’accélérateur Données brutes Reconstruction des données : ESD Stockage données brutes et ESD Distribution données brutes et ESD
aux Tier-1 Tier-1 –
Management du stockage de mass services de la grille indispensables
Retraitement données brutes ESD Support National et régional
Budget global 2005-2008: 200M€Budget global 2005-2008: 200M€
Tier-0+Tier-1 CERN: ~90 M€Tier-0+Tier-1 CERN: ~90 M€
30
LCG Experiment Alice Atlas CMS LHCb SumResource
CERN Tier 0 + Tier 1Disk PetaBytes 0.5 2.0 1.8 0.3 5
Mass Storage PetaBytes 2.3 7.6 9.2 1.0 20Processing M SI2000** 5.6 5.4 5.7 2.7 19
Sum of resources at all Tier1 centresExpected number of centres 3 6 6 5
Disk PetaBytes 3.0 6.8 8.7 1.3 20Mass Storage PetaBytes 3.6 7.2 6.6 0.4 18
Processing M SI2000** 9.1 13.6 12.6 9.5 45
Sum of resources at all Tier12centresExpected number of centres 16 24 25 15
Disk PetaBytes 3.0 3.8 5.0 0.6 12Mass Storage PetaBytes 0.0 1.6 2.9 0.0 5
Processing M SI2000** 7.2 8.4 7.5 16.4 40
** Current fast processor ~1K SI2000
First full year of data - 2008Estimated Resources Required by LHC Experiments in 2008
Estimations préparées pour la Task Force du MoU, Juin 2004, Guy Wormser
31
LCGSummary of Phase 2 Costs & Funding at CERNAll figures are MCHF
year 2005 2006 2007 2008 total Phase 2
ESTIMATED COSTSMaterials 25.5 30.0 27.6 83.1 a=b+c
Tier-0+1 Installation and Operation -- 21.1 25.7 23.2 70.0 b see "Tier-0+1 Materials"
Base Physics Service -- 4.4 4.3 4.4 13.1 cPersonnel 2.1 17.7 16.6 14.9 51.3 d=e+f see "Human Resources"
Nominal cost of funded personnel (CERN +
anticipated external funding) -- 12.0 11.6 11.9 35.5 e
Nominal cost of missing staff 2.1 5.7 5.0 3.0 15.8 f
2005 included in Phase 2 costs (overlap of personnel for Phase 1 and Phase 2)
Total Estimated Costs 2.1 43.2 46.6 42.5 134.4 g=a+d
FUNDINGPhysics Service Base Budget -- 6.0 5.9 6.0 17.9 h1Base systems administration -- 0.5 0.5 0.4 1.4 h2
Special Phase 2 Funding -- 19.8 19.8 19.8 59.4 iNominal personnel funding
(CERN + anticipated external funding) -- 12.0 11.6 11.9 35.5 j=e
Funding -- 38.3 37.8 38.1 114.2 k=h1+h2+i+jMissing Funding 2.1 4.9 8.8 4.4 20.2 l=g-k
80 M€
LCG-POB, Août 2004, Les Robertson
- 12 M€
32
LCG Data Challenges
Un effort de production à grande échelle pour les expériences LHC dans le cadre du projet LCG
Tests et validation des modèles de calcul (computing
models) Production des données nécessaires de simulation Test de la production dans le cadre de l’architecture du
logiciel de l’expérience Test des logiciels de la grille de calcul Test des services fournis par LCG-2
Toutes les expériences ont utilisé LCG-2 en tout ou en partie de leur production
33
LCG
ATLAS DC2 - CPU usage
LCG41%
NorduGrid30%
Grid329%
LCG
NorduGrid
Grid3
Total:
~ 1350 kSI2k.months~ 95000 jobs~ 7.7 Million events fully simulated (Geant4)~ 22 TB
34
LCG
ATLAS DC2 - LCG - September 71%
2%
0%
1%
2%
14%
3%
1%
3%
9%
8%
3%2%5%1%4%
1%
1%
3%
0%
1%
1%
4%1%
0%
12%
0%
1%
1%
2%
10%
1% 4%
at.uibk
ca.triumf
ca.ualberta
ca.umontreal
ca.utoronto
ch.cern
cz.golias
cz.skurut
de.fzk
es.ifae
es.ific
es.uam
fr.in2p3
it.infn.cnaf
it.infn.lnl
it.infn.mi
it.infn.na
it.infn.na
it.infn.roma
it.infn.to
it.infn.lnf
jp.icepp
nl.nikhef
pl.zeus
ru.msu
tw.sinica
uk.bham
uk.ic
uk.lancs
uk.man
uk.rl
CERN
Brookhaven
INFN 1
Espagne
UK
35
LCG
ATLAS DC2 - Failures on LCG
Athena4% LCG-RB
7%
LCG-MaxRetry22%
LCG-Proxy27%
LCG-Globus2%
LCG-Others0%
DMS-Input4%
DMS-Output (ATLAS)23%
DMS-Output (LCG)10%
DMS-Others1%
Athena
LCG-RB
LCG-MaxRetry
LCG-Proxy
LCG-Globus
LCG-Others
DMS-Input
DMS-Output (ATLAS)
DMS-Output (LCG)
DMS-Others
36
LCGPhase 1 finie
DIRAC alone
LCG inaction
1.8 106/day
LCG paused
3-5 106/day
LCG restarted
186 M Produced Events
186 M events et 61 TBytes
Total CPU: 424 CPU an sur 43 sites LCG-2 et 20 sites DIRAC
Jusqu’à 5600 jobs en compétition sur LCG-2
37
LCG
Partage DIRAC-LCG
May: 89%:11%
11% of DC’04
Jul: 77%:23%
22% of DC’04
424 CPU · Years
5 à 6 fois plus que possible au CERN seul
Aug: 27%:73%
42% of DC’04
Jun: 80%:20%
25% of DC’04
38
LCG
EGEE : Enabling Grids
for EsciencEButBut
Créer une infrastructure de qualité de la Grille Européenne (HEP + Bio + Météo + …)
StatusStatusPlus grande collaboration ”développement de la grille dans le monde”
Budget: €100 millions /4 ansMoyensMoyens
Soutenir les efforts actuels et plannifiés des programmes GRID nationaux et régionaux (e.g. LCG)
Travailler étroitement avec les développements de la grille dans l’Industrie et collaborer avec les recherches hors Europe (US)
EGEE
applications
Geant network
39
LCG
La complémentarité EGEE-LCG
EGEE est un projet MultiSciences Européen
LCG est un projet de la Physique des Particules au niveau mondial
EGEE et LCG utilisent la même INFRASTRUCTURE constituée par des noeuds répartis à travers le monde (80 aujourd’hui) et d’un logiciel (actuellement LCG-2). La grande majorité de ces ressources et d'utilisateurs appartient à la communauté HEP.
Le développement du middleware (logiciel intermédiaire) est assuré par EGEE , qui délivrera LCG-3=EGEE-1 au printemps 2005.
EGEE exploitera l'infrastructure qui sera utilisée par LCG.
01/06/200401/06/2004
Equipe LCG Tier-1Services Grid, Exploitation & Support
Equipe LCG Tier-1Services Grid, Exploitation & Support
Groupe Applications LHC
Groupe Applications LHC
Tier-2LPC
ClermontFerrand
Tier-2LPC
ClermontFerrand
Tier-2Labo
IN2P3/DAPNIALAL …
Tier-2Labo
IN2P3/DAPNIALAL …
Projet LCG
Autres Tier-1
CC-IN2P3Direction
CC-IN2P3Direction
Le projet LCG-France http://grid.in2p3.fr/lcg/
• responsable scientifique: F.OM (LPSC)• responsable technique: F. Hernandez (CC-IN2P3)• comité de pilotage (incluant resp. LCG/CERN)• comité direction
Tier-2 ?Subatech
Tier-2 ?Subatech
Data-Challenges ALICENœuds EGEE
Resp. calcul expériences
ALICE: Y. Schutz
ATLAS: A. Rozanov
CMS: C. Charlot
LHCb: A. Tsaregorodtsev
Financements locaux > 80%
SC2, POB, GDB, GDA, …
Le Centre Tier-1 Français hébergé au CC-IN2P3
Au démarrage du LHC, il devra fournir:• CPU: ~12M SpectInt2000 (équivalent 6000 machines biprocesseurs) • Stockage disque et stockage permanent: ~ 6 PétaOctets• Connectivité réseau (RENATER) avec le Tier-0 (CERN) de 10 Gbps• Service et Support à la communauté d'utilisateurs de LCG, 24h/24 et 365 jours/an
0
1 000
2 000
3 000
4 000
5 000
6 000
7 000
2002 2003 2004 2005 2006 2007 2008
Te
raB
yte
s
0
2 000
4 000
6 000
8 000
10 000
12 000
14 000
K S
pe
ctI
nt2
00
0
Stockage
CPU (K SI2K)
LCG: ~70%
LCG: 20%
Année Budget
2005 2,3 M€
2006 3,3 M€
2007 4,6 M€
2008 6,2 M€
TOTAL 16,4 M€
Année
Personnel CC-IN2P3 affecté à
LCG (ETP)
Embauchesnécessaires
(ETP)Total (ETP)
2005 16 3 19
2006 23 4 27
2007 31 4 35
2008 38 2 40
Demandes budgétaires et de ressources humaines Tier-1
Année
Renouvellement du matériel LCG et
frais de fonctionnement
(M€)
Coût Annuel Ressources Humaines
(M€)
Total annuel(M€)
2009 3,0 2,2 5,2
2010 3,0 2,2 5,2
--- --- --- ---
2014 3,0 2,2 5,2
2015 3,0 2,2 5,2
Budget 2005-2008 requis : 26 MBudget 2005-2008 requis : 26 M€€
Budget requis au-delà de 2008Budget requis au-delà de 2008
43
Conclusions
La sécurité est un domaine critique, important, sérieux et il faudra s’attendre à des limitations des modes de travail
L’augmentation des ressources du centre de calcul CC-IN2P3 par la loi de Moore (1.6) ne semble pas satisfaire les expériences LHC (et peut-être aussi les Astro)
A la demande de LCG-France, le DG du CNRS semble avoir été réceptif à la nécessité d’augmenter les ressources en calcul des expériences LHC
Comment tout ceci s’intègre-t-il au CNRS dans le cadre de la mise en place des TGE ??
Recommended