View
0
Download
0
Category
Preview:
Citation preview
Mesurer la consommation électrique des serveurs dans les data-centers: besoins & challenges
Laurent Lefèvre
Inria – Laboratoire LIP – Ecole Normale Supérieure de Lyon laurent.lefevre @ inria.fr
M. Diouri, J.-P. Gelas, O. Gluck, A.-C. Orgerie, J.-C. Mignot, F. Rossigneux
18 Décembre 2012
ANF 2012 Eco info, Satillieu
Rapide présentation
Equipe INRIA AVALON / ENS Lyon : Thème de recherche : efficacité énergétique
dans les grands systèmes distribués (DC/HPC, Cloud, Réseaux)
Projets de recherche :
– PrimeEnergyIT (petits et moyens DC) : formations, aides achats publics, métriques,
services http://www.efficient-datacenter.eu/
– Action Européenne COST IC804 : Energy efficiency in large scale distributed systems
: http://www.cost804.org/
– CompatibleOne : Energy Efficient Open Source Cloud Broker
http://www.compatibleone.fr/
– XLCLOUD : Energy Efficient HPC as a Service (Openstack) http://xlcloud.org/
– GreenTouch : Réduire la consommation des réseaux d’un facteur 1000 à l’horizon
2015 http://greentouch.org/
– Eco-info : http://ecoinfo.cnrs.fr/
2 18/12/2012 ANF2012 Info. Verte
Point de vue / chercheur EE
On mesure quoi ?
On mesure comment ?
Que fait on des mesures ?
On applique quels leviers (logiciels/matériels) ?
Comment on conçoit des logiciels sensibles et optimisés en
consommation électrique ?
Dans les datacenters difficile> sujet de recherche/exploration !
et dans la « vraie vie » ?
3 18/12/2012 ANF2012 Info. Verte
Comment faire le bon choix /
les bonnes mesures ?
Exemple : Catherine Mohr - TED Talk
http://www.ted.com/talks/catherine_mohr_builds_green.html
Comment (bien) essuyer une tache de yaourt ?
4 18/12/2012 ANF2012 Info. Verte
Comment faire le bon choix ?
5 18/12/2012 ANF2012 Info. Verte
Indicateurs : Wh Gris/eau : essuie tout, chiffon/éponge recyclable, essuie tout recyclé …
Et sur les serveurs ?
C’est quoi une tonne de co2 ? ©Dave Ames, Cohasset High School
Mesurer ce que l’on comprend : des watts !
6 18/12/2012 ANF2012 Info. Verte
Bien mesurer l’énergie consommée dans les
serveurs ?
Besoin de précision, besoin de mesures fréquentes
De l’externe à l’interne
PDU : EATON, Schleifenbauer, Raritan
Wattmetres : Omegawatt / Watt’sup
Internes : IPMI, Powermon
Ressources internes
7 18/12/2012 ANF2012 Info. Verte
Capteurs utilisés (pdu)
EATON Intelligent PDUs
Schleifenbauer
Raritan
Avantages : Dialogue en SNMP
Inconvénients:
• Fréquence :1 mesure toutes les 3 à 5 secondes
• Précision : paliers de 3 à 5 W
Parfait pour des alertes et mesures globalisées
18/12/2012 ANF2012 Info. Verte - 8
Capteurs utilisés (pdu)
Ex : Mesures
avec Raritan
(site de Reims
de Grid5000)
18/12/2012 ANF2012 Info. Verte - 9
Consommation électrique/ Usage
18/12/2012 ANF2012 Info. Verte
- 10
Trouver un capteur plus rapide !
• Monitoring externe
• Facile à installer
18/12/2012 ANF2012 Info. Verte - 11
Exemple : Grid5000 Lyon
• 4 baies de calcul
• Déploiement à grande échelle : 150 serveurs et équipements
réseaux monitorés
• Wattemetre : grosse boite (25 kg) , 48 cables (1 par serveur)
18/12/2012 ANF2012 Info. Verte - 12
13
Collecte et affichage
(Green) Grid'5000
French experimental testbed
7400 cores
10 sites
External energy sensors
Full site monitoring
18/12/2012 ANF2012 Info. Verte - 13
Profiler des serveurs (remontée dans
ganglia - Omegawatt)
18/12/2012 - 14 ANF2012 Info. Verte
Profiler la consommation des applications sur un serveur
15
Profiler des applications
18/12/2012 ANF2012 Info. Verte - 15
16
Profiler des applications virtualisées
6% increase of energy with 1 VM running
HP Proliant 85
G2 Servers (2.2
GHz, 2 dual core
CPUs per node)
XenServer 5.0
18/12/2012 ANF2012 Info. Verte - 16
17
Détecter des anomalies
~14% of the electricity
consumed by the
platform (5 months
period)
18/12/2012 ANF2012 Info. Verte - 17
Evaluer des leviers verts : shutdown,
slowdown…
Capping • Tuning
18/12/2012 ANF2012 Info. Verte - 18
19
Evaluer des services : ex migration
18/12/2012 ANF2012 Info. Verte - 19
Donner des infos (utiles) à l’utilisateur
18/12/2012 ANF2012 Info. Verte - 20
18/12/2012 ANF2012 Info. Verte - 21
Mini déploiement
18/12/2012 ANF2012 Info. Verte
Equipement mono-prise :
Watt’s UP Pro
Remontée d’info en USB
1 mesure par seconde
Mini : 0.5 W - précision
1.5%
200 euros
- 22
Limites : problèmes
18/12/2012 ANF2012 Info. Verte - 23
Wattmètre : c’est cher ! (100 / 200… euros par prise)
Pas de vision interne de la machine : 1 prise pour n coeurs
Les constructeurs nous disent : « wattmètre pas utile => tout est monitoré en
interne » : utiliser les mesures des capteurs internes
Regardons IPMI : Intelligent Platform Management Interface : des interfaces
communes qui permettent de surveiller certains composants
IPMI vs Wattmetre
18/12/2012 ANF2012 Info. Verte - 24
DELL R610 Dual CPU Quad cœur (Intel® Xeon® Processor E5506) Lancement de cpuburn toutes les 10 minutes Pidle : 98 W Plus grande conso entre 2-3, 4-5 et 6-7. Cores 2 par 2 Pmax : 203 W Temps de convergence
P1 P2
P3
P4
P5
P6
P7
Pidle = 98 W
Pmax = 203 W
Mesures avec IPMI
18/12/2012 ANF2012 Info. Verte - 25
00 MOIS 2011 - 26
Précisions des mesures
Georges Da Costa (IRIT) –
Aurélien Ortiz
Site de Pau : plate-forme
PireGrid
Hardware : 16 physical hosts,
128 (real and virtual) cores
– Intel Xeon E5520 (2.27 Ghz)
– 8 cores / 24 GB of RAM
– 4 Xen virtual machines (4GB
RAM, 2 Cores) per host
racadm (Dell) + IPMI
18/12/2012 ANF2012 Info. Verte - 26
Mesures internes hautes fréquences
18/12/2012 ANF2012 Info. Verte - 27
Mesurer en interne : prometteur : mais avec du matériel dédié et des
fréquences plus hautes
Idéal : plusieurs mesures par seconde par ressource (cpu/mémoire/ carte
réseaux…),
Impact des ventilateurs / qualité de l’alimentation ?
Powermon 2
18/12/2012 ANF2012 Info. Verte - 28
Equipement RENCI ilab US: ilab.renci.org/powermon
Daniel Bedard, Min Yeol Lim, Robert Fowler, and Allan Porterfield “PowerMon: Fine-grained and
Integrated Power Monitoring for Commodity Computer Systems”
• 15.2cm x 10.2cm x 2.5cm
• 10A / channel
• 8 canaux de mesures
• 1024Hz / canal, configurable(jusqu’à 3072 Hz aggrégé)
• ADM1191 power sensor IC
• ATmega168 microcontroller
• FTDI FT232R IC + hardware UART for USB/I2C
• étiquetage temporel par matériel
From Renci iLab
Powermon 2
18/12/2012 ANF2012 Info. Verte - 29
Mesures DC
Précision par canal
Connecté directement à ATX
API simple
Pas cher (~$150)
From Wikipedia
From Renci iLab
Utilisation intensive de CPU
18/12/2012 ANF2012 Info. Verte - 30
18/12/2012 ANF2012 Info. Verte - 31
Consommation mémoire intensive
18/12/2012 ANF2012 Info. Verte - 32
Accès disque
18/12/2012 ANF2012 Info. Verte - 33
Communications réseaux
Limites
18/12/2012 ANF2012 Info. Verte - 34
Difficile à déployer dans les nouveaux serveurs
Mesures de serveurs pour efficacité
énergétique !
Mesures par capteurs externes :
- non intrusif
- Moins en moins intéressant (trop de ressources (cœurs) par prise)
Mesures par capteurs internes :
- Moins précis (intégré)
- Contraignant (dédié)
- Difficile à grande échelle
Mesures par analyse de l'utilisation des ressources
- Registres/ accès mémoires / IO
- Nécessite encore un peu de calibrage
- Intrusif
Comparatif de 10 capteurs hétérogène en cours (avec Université Jaume1) – à
venir sur ecoinfo.cnrs.fr
18/12/2012 ANF2012 Info. Verte - 35
La suite…
• Mesures externes à hautes vitesse : LMG Zimmer LMG 450
• 2 K mesures par seconde / 4 prises monitorées
• Mais 11 Keuros..pour 4 prises….
- 36 18/12/2012 ANF2012 Info. Verte
Questions ? laurent.lefevre@inria.fr
• Quelques citations :
- Marcos Dias de Assuncao, Anne-Cécile Orgerie, and Laurent Lefèvre. "An
Analysis of Power Consumption Logs from a Monitored Grid Site",
IEEE/ACM International Conference on Green Computing and
Communications (GreenCom-2010), Hangzhou, China, December 2010
- Marcos Dias de Assuncao, Jean-Patrick Gelas, Laurent Lefèvre, and Anne-
Cécile Orgerie. "The Green Grid5000: Instrumenting a Grid with Energy
Sensors", 5th International Workshop on Distributed Cooperative
Laboratories: Instrumenting the Grid (INGRID 2010), Poznan, Poland, May
2010
- Anne-Cécile Orgerie, Marcos Dias de Assuncao, and Laurent Lefèvre.
"Energy Aware Clouds", Chapter on "Grids, Clouds and
Virtualization", M. Cafaro and G. Aloisio (Eds.), pages 145-170. Springer
Book, October 2010
- 37 18/12/2012 ANF2012 Info. Verte
Recommended