Http:// Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010 Page 1 CALMIP : Calcul en Midi-Pyrénées Premiers résultats

Page 1http://www.calmip.cict.fr/

Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010

CALMIP : Calcul en Midi-PyrénéesPremiers résultats scientifiques avec lenouveau supercalculateur de CALMIP

Pierrette BARBARESCO (UPS)Responsable Système CALMIP

Boris DINTRANS (CNRS)Responsable Scientifique CALMIP

Alain MILON (VP CS UPS)Président du Comité d'Orientation CALMIP

Nicolas RENON (UPS)Responsable Calcul Scientifique CALMIP



Le Groupement Scientifique CALMIP : Historique

Fondé en 1994 par 17 Laboratoires de Recherche Publics en Région Midi-Pyrénées et soutien des 5 établissements interuniversitaires de l'époque via le CICT

Aujourd'hui : 5+1 établissements universitaires toulousains = PRES

Université Paul Sabatier (Toulouse 3)

Institut National Polytechnique de Toulouse (INPT)

Institut National des Sciences Appliquées (INSA)

Université des Sciences Sociales (Toulouse 1)

Université du Mirail, Lettres, Langues et Arts (Toulouse 2)

Institut Supérieur de l'Aéronautique et de l'Espace (Supaero + ENSICA)

Missions CALMIP : Promotion du calcul scientifique haute performance

Formation calcul parallèle, optimisation code

Echanges d’expérience (Journées Thématiques) Mise à disposition d’un environnement en calcul scientifique performant

Acquisition d’un système de calcul mutualisé

Plus performant qu'un simple « cluster labo »

« Facilement » exploitable par les chercheurs

Stable

Organisation de l’exploitation et du support aux utilisateurs



#223 @ TOP500

2010 : 3ème renouvellement machine

1999 2004 2007 2010

Magellan64 procs / 72 Go

Soleil168 procs / 136 Go

Soleil2512 procs / 512 Go

Hyperion2912 procs / 14 To

40 Gflop

400 Gflop1500 Gflop

33 000 Gflop

x10

x22

Renouv. #1 Renouv. #2 Renouv. #3

x900 / 10 ans- PC 2010 : 40 Gflop / 4Go- loi Moore : x5 / 4 ans

x3,75



CALMIP 2010 = 1er mésocentre de calcul en France

Mésocentre Mésocentre

Centres nationauxCentres nationaux

Centres EuropéensCentres Européens

o CINES o IDRISo CCRT (CEA)

o CIMENTo CALMIPo CRIHANo …

Puissance de Calcul

Positionnement CALMIPPositionnement CALMIP Mésocentre de production

multi-thématiques (+10 champs disciplinaires)

GENCI

Gouvernance régionale

/Universitaire 10 TF

100 TF

1000 TF

x10

x10

PRACE



Le Groupement Scientifique CALMIP : Organisation

C.I.C.T C.I.C.T

PilotageAttribution des ressourcesAnimation scientifique

Support aux utilisateursSupport projets de RechercheExploitation du supercalculateur

6 Vice-Présidents des CS des établissements du PRES Directeur du C.I.C.T.Président du Comité de Programmes3 représentants utilisateurs du calcul intensif5 personnalités qualifiées :

•MENRT•Région•CNRS•GENCI•CERFACS

Industriels via pôles de compétitivité

10 experts scientifiques issus des laboratoires10+ thématiques scientifiques

1 Ingénieur calcul scientifique2 Ingénieurs système

Bureau CALMIP Bureau CALMIP

Président Comité de ProgrammesDirection CICTResponsables CALMIP CICT

Montage dossier

Comité de Programmes Comité de Programmes Comité d'Orientation Comité d'Orientation



Gouvernance CALMIP : comment ça marche en pratique ?

2 appels d’offre annuels(printemps / automne)

2 appels d’offre annuels(printemps / automne)

Comité de Programmes Comité de Programmes

Chercheurs laboratoiresChercheurs laboratoires

Comité de Programmes Comité de Programmes

Allocation d’heures gratuites Allocation d’heures gratuites

Rapport d'activité du projetRapport d'activité du projet

Rapport annuel CALMIPRapport annuel CALMIP

Projet Scientifique(interface web)

Projet Scientifique(interface web)

Évaluation scientifiqueet technique

Évaluation scientifiqueet technique

Session Formation Session Formation

Projet Test 500h Projet Test 500h



Ouverture aux entreprises : le programme PRAI

Idées forces PRAI : Programme Régional d’Actions Innovatrices

Accès à des ressources de calcul de haut niveau pour les entreprises

Synergies avec la recherche publique locale

Cibles : PME-PMI via un tarif bonifié

Disponibilité actuelle :

15 % du système de calcul dédié aux entreprises

2010 : 3 000 000 heures CPU

Tarification à l’heure de calcul consommée :

30 000h achetées en 2010



CALMIP en 2010 : un supercalculateur qui «décolle»

Année 2005 2006 2007 2008 2009 2010

Heures demandées 760 000 1 200 000 1 800 000 2 345 000 2 520 000 10 550 000

Heures machine 400 000 800 000 800 000 1 600 000 1 600 000 17 000 000

Taux de satisfaction 52% 66% 44% 68% 64% 161%

+50% +30% +7% +318%+58%

Evolution demandes temps

2005 2006 2007 2008 2009 2010

0

2000000

4000000

6000000

8000000

10000000

12000000

Demandes Session1

Demandes Session2

Total demandes

2005 2006 2007 2008 2009 2010

0

20

40

60

80

100

120

140

160

Evolution nombre projets

Projets Session1

Projets Session2

Total Projets

Evolution nombre projets



CALMIP : un supercalculateur au service des labos

Répartition labos 2010

30 labos 10 550 000h 143 projets 200 chercheursPRES+EPST

(CNRS+INRA+...)

Répartition des thématiques 2010



CALMIP Projet #1 : Neptune_CFD (P0111 / 3 000 000h,Simonin / Neau / Laviéville, IMFT)



CALMIP Projet #2 : fragmentation des populations de poissons (P1003 / 12 000h, Paz / Loot / Blanchet, EdB)

Non fragmentée Fragmentée

Ne correspondent pas à la fragmentation1500 - 9000

ans1500 - 6300

ans2000 - 9000

ans3000 - 4000

ans

Mag

nitu

de d

es c

hang

emen

ts

Correspondent aux colonisations post-

glaciaires!!

1500 - 9000 ans

1500 - 6300 ans

2000 - 9000 ans

3000 - 4000 ans



CALMIP et la formation au calcul intensif

Formation CALMIP en 2010 : 80 personnes

3 sessions de deux jours pour la prise en main d'Hyperion

1 session visualisation

1 session GPU (calcul sur cartes graphiques) 2011 : formation commune UPS / CNRS

Session de deux jours mêlant théorie et pratique

Objectif de 3 sessions / an

30 participants à chaque fois

Intervenants locaux

Arrivée d'Hyperion :

Passage 256 processeurs → 2912 processeurs

Faiblement parallèle → massivement parallèle

Besoin urgent d'une formation adéquate



Plan Exposé :

• Technique– Maîtrise du Processus de renouvellement– Solution Performante et Innovante



CALMIP : Processus de renouvellement

Projet CPER 2007-2013 : Troisième génération de supercalculateur

Enjeux : qualité, quantité, proximité et adhésion

Qualité

Système performant pour « tirer les applications vers le haut »

Système stable et facilement utilisable : production scientifique

Système généraliste multi-thématiques

Environnement: efficacité/consommation électrique, mode de refroidissement, …

Quantité

Pallier la pénurie de ressources et anticiper les besoins

Proximité

Support de qualité: aide aux utilisateurs dans la transition, formations, portage de codes

Adhésion de la communauté

Faire participer les utilisateurs à ce choix.



Processus itératif en 4 phases

1 groupe de dialogue

1 groupe de tests de performance

Objectif : Ouverture production début 2010


Groupe dialogue :

Mission

Sélectionner et auditionner les candidats : 6 retenus

Rédiger le programme fonctionnel: fin du processus itératif

Composition

Jean-Pierre Silvain, Directeur du CICT

Dominique Astruc, Président Comité de Programme IMFT

Pierrette Barbaresco, Directrice technique du CICT

Nicolas Renon, Ingénieur en Calcul Scientifique CALMIP

Michel Dayde, Expert Informatique IRIT

Thierry Monteil, Expert Informatique LAAS

Qualité/QuantitéQualité/Quantité

Procédure de renouvellement : Dialogue Compétitif



Groupe de tests de performance

Composition

Pierrette Barbaresco, Directrice technique du CICT

Nicolas Renon, Ingénieur en Calcul Scientifique CALMIP

Chimie Quantique : C. Lepetit (LCC), R. Poteau (LPCNO), L. Maron (LPCNO), F. Jolibois (LPCNO)

Physico-chimie de la matière : H. Tang (CEMES), I. Gerber (LPCNO)

Dynamique Moléculaire : J. Czaplicki (IPBS), P. Arnaud (LCC) et I. Andre (LISBP)

Astrophysique : B. Dintrans (LATT, OBS-MIP)

Mécanique des Fluides : A. Pedrono (IMFT) H. Neau (IMFT)

Physique Théorique et Quantique: S. Capponi (LPT-IRSAMC) ; A. Scemama, T. Bouabca (LCPQ–IRSAMC)

Génomique : E. Courcelles (LIPM)

Algorithmique : I. Touche (LGC)


AdhésionAdhésion

Mission

Préparer les tests de performance : 11 tests

Valider fonctionnement et résultats : phase dédiée du dialogue compétitif

Procédure de renouvellement : Groupe de tests de performance




Juillet 2008 : Lancement de la Procédure

Novembre 2008 - Mai 2009 :

4 phases du dialogue (dont phase de tests de performance)

6 candidats

Juillet 2009 : bilan et synthèse des deux groupes

Septembre 2009 : Notification

Novembre 2009 - Janvier 2010 :

Installation et tests du système

Février 2010 : Mise en Production

Premières sessions de formation

Ouverture utilisateurs

Juillet 2010 : Enrichissement de la solution

Installation ALTIX UV SGI®

Calendrier

Maîtrise du CalendrierMaîtrise du Calendrier




Dialogue compétitif :

Bénéficier des dernières avancées technologiques : itérations

Journée de test chez les candidats:

« Principe de réalité »

Evaluer la qualité du support applicatif et système proposé

Participation des utilisateurs :

Valider la réponse aux besoins

Adhésion/Appropriation

Bilan Processus renouvellement

Un processus de choix complexe pour une mise en production rapide et réussie

Un processus de choix complexe pour une mise en production rapide et réussie



Plan Exposé :

• Technique– Maîtrise du Processus de renouvellement– HYPERION : Solution Performante et Innovante



3ieme génération Système de calcul CALMIP : HYPERION

Massivement Parallèle : Altix ICE SGI®

352 nœuds de calcul

8 processeurs et 36 Gb ram /nœud du calcul

2816 processeurs

Massivement Parallèle : Altix ICE SGI®

352 nœuds de calcul

8 processeurs et 36 Gb ram /nœud du calcul

2816 processeurs

Espace Fichier : 250 To Espace Fichier : 250 To

Mémoire Partagé : Altix UV SGI® Mémoire Partagé : Altix UV SGI®

Refroidissemen

t par eau

Refroidissemen

t par eau

Visualisation à Distance Visualisation à Distance



HYPERION : Performance de la solution

Exemple de code utilisateur : MésoNH

Code de climatologie (GIEC / Changement Climatique)

Code développé/maintenu au Laboratoire d’Aérologie (UMR 5560 UPS/CNRS) et au CNRM-GAME (URA 1357 CNRS/Météo-France)

Code MASSIVEMENT Parallèle

Exemple de code utilisateur : MésoNH

Code de climatologie (GIEC / Changement Climatique)

Code développé/maintenu au Laboratoire d’Aérologie (UMR 5560 UPS/CNRS) et au CNRM-GAME (URA 1357 CNRS/Météo-France)

Code MASSIVEMENT Parallèle



Performance Code MesoNH sur HYPERION

10000

Performance meilleure

Performance meilleure

HYPERION meilleur tempsHYPERION meilleur temps

nbre proc. x 5

nbre proc. x 5



Problématique technique difficile :

Certains codes sont Massivement Parallèles :

exemple : MesoNH, Neptune, Pencil, etc…

d’autres codes beaucoup moins…

il FAUT néanmoins tirer les performances vers le haut

Problématique technique difficile :

Certains codes sont Massivement Parallèles :

exemple : MesoNH, Neptune, Pencil, etc…

d’autres codes beaucoup moins…

il FAUT néanmoins tirer les performances vers le haut

HYPERION : Enrichissement de la solution

Réponse : Solution technologique Innovante

choix CALMIP : Altix UV SGI®

choix reconnu par la communauté du Calcul Haute Performance :

ORAP : Organisation Associative du Parallélisme (structure de collaboration : CEA, CNRS et INRIA)

Focus spécial sur CALMIP dans le bulletin ORAP Avril 2010

GENCI Grands Equipements Nationaux en Calcul Intensif :

AO EquipEX : Projet EQUIP@MESO

CALMIP sélectionné comme partenaire GENCI sur le projet EQUIP@MESO

Réponse : Solution technologique Innovante

choix CALMIP : Altix UV SGI®

choix reconnu par la communauté du Calcul Haute Performance :

ORAP : Organisation Associative du Parallélisme (structure de collaboration : CEA, CNRS et INRIA)

Focus spécial sur CALMIP dans le bulletin ORAP Avril 2010

GENCI Grands Equipements Nationaux en Calcul Intensif :

AO EquipEX : Projet EQUIP@MESO

CALMIP sélectionné comme partenaire GENCI sur le projet EQUIP@MESO



HYPERION

Hardware

96 cores

1 To RAM = 1000 Go RAM

NHM EX 6 cores, 2,667GHz, 18 Mo cache, 45 nm

Intégration transparente dans le système

Hardware

96 cores

1 To RAM = 1000 Go RAM

NHM EX 6 cores, 2,667GHz, 18 Mo cache, 45 nm

Intégration transparente dans le système

Altix UV SGI® : Innovation Technologique



Diagonalisation Matrice réussie : 6 jours de calculs sur 96 cores et 150 go RAM sur Altix UV ® Diagonalisation Matrice réussie : 6 jours de calculs sur 96 cores et 150 go RAM sur Altix UV ®

Altix UV : VU par les utilisateurs

Physique Théorique

Sylvain Capponi (Prof. UPS, membre Junior IUF, LPT-IRSAMC UPS-CNRS)

Projet CALMIP p0677 : Physique N-corps

Physique Théorique

Sylvain Capponi (Prof. UPS, membre Junior IUF, LPT-IRSAMC UPS-CNRS)

Projet CALMIP p0677 : Physique N-corps



Hyperion : rupture pour le calcul intensif en Midi-Pyrénées

33 TF & 3000 processeurs

Réponse aux besoins exponentiels des chercheurs

Adéquation avec GENCI x30 (2007-2010)

Fondation solide pour l'HPC européen

Tier-0PRACE

Tier-1IDRIS/CCRT/

CINESTier-2

CALMIP

CALMIP 2 / Montaudran : renouvellement #4 fin 2013

HPC compétitif : renouvellement complet tous les 4 ans

Projet plateforme numérique à Montaudran (Espace Clément Ader)

CALMIP est un acteur central de ce projet :

• unique service inter-universitaire dans le domaine du calcul intensif depuis 1994 : savoir-faire reconnu au service des chercheurs

• expertise technique & gouvernance éprouvées par les 3 renouvellements en 10 ans

• bon timing au regard de la dynamique actuelle (1er mésocentre France)

MERCI AUX FINANCEURS... ET BONS CALCULS SUR HYPERION !

Documents

Http:// Présentation CALMIP - Bilan 1er année HYPERION- 30 Novembre 2010 Page 1 CALMIP : Calcul en Midi-Pyrénées Premiers résultats