Mesurer la consommation électrique des serveurs dans les data-centers: besoins & challenges

Laurent Lefèvre

Inria – Laboratoire LIP – Ecole Normale Supérieure de Lyon laurent.lefevre @ inria.fr

M. Diouri, J.-P. Gelas, O. Gluck, A.-C. Orgerie, J.-C. Mignot, F. Rossigneux

18 Décembre 2012

ANF 2012 Eco info, Satillieu

Rapide présentation

Equipe INRIA AVALON / ENS Lyon : Thème de recherche : efficacité énergétique

dans les grands systèmes distribués (DC/HPC, Cloud, Réseaux)

Projets de recherche :

– PrimeEnergyIT (petits et moyens DC) : formations, aides achats publics, métriques,

services http://www.efficient-datacenter.eu/

– Action Européenne COST IC804 : Energy efficiency in large scale distributed systems

: http://www.cost804.org/

– CompatibleOne : Energy Efficient Open Source Cloud Broker

http://www.compatibleone.fr/

– XLCLOUD : Energy Efficient HPC as a Service (Openstack) http://xlcloud.org/

– GreenTouch : Réduire la consommation des réseaux d’un facteur 1000 à l’horizon

2015 http://greentouch.org/

– Eco-info : http://ecoinfo.cnrs.fr/

2 18/12/2012 ANF2012 Info. Verte

Point de vue / chercheur EE

On mesure quoi ?

On mesure comment ?

Que fait on des mesures ?

On applique quels leviers (logiciels/matériels) ?

Comment on conçoit des logiciels sensibles et optimisés en

consommation électrique ?

Dans les datacenters difficile> sujet de recherche/exploration !

et dans la « vraie vie » ?

3 18/12/2012 ANF2012 Info. Verte

Comment faire le bon choix /

les bonnes mesures ?

Exemple : Catherine Mohr - TED Talk

http://www.ted.com/talks/catherine_mohr_builds_green.html

Comment (bien) essuyer une tache de yaourt ?

4 18/12/2012 ANF2012 Info. Verte

Comment faire le bon choix ?

5 18/12/2012 ANF2012 Info. Verte

Indicateurs : Wh Gris/eau : essuie tout, chiffon/éponge recyclable, essuie tout recyclé …

Et sur les serveurs ?

C’est quoi une tonne de co2 ? ©Dave Ames, Cohasset High School

Mesurer ce que l’on comprend : des watts !

6 18/12/2012 ANF2012 Info. Verte

Bien mesurer l’énergie consommée dans les

serveurs ?

Besoin de précision, besoin de mesures fréquentes

De l’externe à l’interne

PDU : EATON, Schleifenbauer, Raritan

Wattmetres : Omegawatt / Watt’sup

Internes : IPMI, Powermon

Ressources internes

7 18/12/2012 ANF2012 Info. Verte

Capteurs utilisés (pdu)

EATON Intelligent PDUs

Schleifenbauer

Raritan

Avantages : Dialogue en SNMP

Inconvénients:

• Fréquence :1 mesure toutes les 3 à 5 secondes

• Précision : paliers de 3 à 5 W

Parfait pour des alertes et mesures globalisées

18/12/2012 ANF2012 Info. Verte - 8

Capteurs utilisés (pdu)

Ex : Mesures

avec Raritan

(site de Reims

de Grid5000)

18/12/2012 ANF2012 Info. Verte - 9

Consommation électrique/ Usage

18/12/2012 ANF2012 Info. Verte

- 10

Trouver un capteur plus rapide !

• Monitoring externe

• Facile à installer

18/12/2012 ANF2012 Info. Verte - 11

Exemple : Grid5000 Lyon

• 4 baies de calcul

• Déploiement à grande échelle : 150 serveurs et équipements

réseaux monitorés

• Wattemetre : grosse boite (25 kg) , 48 cables (1 par serveur)

18/12/2012 ANF2012 Info. Verte - 12

13

Collecte et affichage

(Green) Grid'5000

French experimental testbed

7400 cores

10 sites

External energy sensors

Full site monitoring

18/12/2012 ANF2012 Info. Verte - 13

Profiler des serveurs (remontée dans

ganglia - Omegawatt)

18/12/2012 - 14 ANF2012 Info. Verte

Profiler la consommation des applications sur un serveur

15

Profiler des applications

18/12/2012 ANF2012 Info. Verte - 15

16

Profiler des applications virtualisées

6% increase of energy with 1 VM running

HP Proliant 85

G2 Servers (2.2

GHz, 2 dual core

CPUs per node)

XenServer 5.0

18/12/2012 ANF2012 Info. Verte - 16

17

Détecter des anomalies

~14% of the electricity

consumed by the

platform (5 months

period)

18/12/2012 ANF2012 Info. Verte - 17

Evaluer des leviers verts : shutdown,

slowdown…

Capping • Tuning

18/12/2012 ANF2012 Info. Verte - 18

19

Evaluer des services : ex migration

18/12/2012 ANF2012 Info. Verte - 19

Donner des infos (utiles) à l’utilisateur

18/12/2012 ANF2012 Info. Verte - 20

18/12/2012 ANF2012 Info. Verte - 21

Mini déploiement

18/12/2012 ANF2012 Info. Verte

Equipement mono-prise :

Watt’s UP Pro

Remontée d’info en USB

1 mesure par seconde

Mini : 0.5 W - précision

1.5%

200 euros

- 22

Limites : problèmes

18/12/2012 ANF2012 Info. Verte - 23

Wattmètre : c’est cher ! (100 / 200… euros par prise)

Pas de vision interne de la machine : 1 prise pour n coeurs

Les constructeurs nous disent : « wattmètre pas utile => tout est monitoré en

interne » : utiliser les mesures des capteurs internes

Regardons IPMI : Intelligent Platform Management Interface : des interfaces

communes qui permettent de surveiller certains composants

IPMI vs Wattmetre

18/12/2012 ANF2012 Info. Verte - 24

DELL R610 Dual CPU Quad cœur (Intel® Xeon® Processor E5506) Lancement de cpuburn toutes les 10 minutes Pidle : 98 W Plus grande conso entre 2-3, 4-5 et 6-7. Cores 2 par 2 Pmax : 203 W Temps de convergence

P1 P2

P3

P4

P5

P6

P7

Pidle = 98 W

Pmax = 203 W

Mesures avec IPMI

18/12/2012 ANF2012 Info. Verte - 25

00 MOIS 2011 - 26

Précisions des mesures

Georges Da Costa (IRIT) –

Aurélien Ortiz

Site de Pau : plate-forme

PireGrid

Hardware : 16 physical hosts,

128 (real and virtual) cores

– Intel Xeon E5520 (2.27 Ghz)

– 8 cores / 24 GB of RAM

– 4 Xen virtual machines (4GB

RAM, 2 Cores) per host

racadm (Dell) + IPMI

18/12/2012 ANF2012 Info. Verte - 26

Mesures internes hautes fréquences

18/12/2012 ANF2012 Info. Verte - 27

Mesurer en interne : prometteur : mais avec du matériel dédié et des

fréquences plus hautes

Idéal : plusieurs mesures par seconde par ressource (cpu/mémoire/ carte

réseaux…),

Impact des ventilateurs / qualité de l’alimentation ?

Powermon 2

18/12/2012 ANF2012 Info. Verte - 28

Equipement RENCI ilab US: ilab.renci.org/powermon

Daniel Bedard, Min Yeol Lim, Robert Fowler, and Allan Porterfield “PowerMon: Fine-grained and

Integrated Power Monitoring for Commodity Computer Systems”

• 15.2cm x 10.2cm x 2.5cm

• 10A / channel

• 8 canaux de mesures

• 1024Hz / canal, configurable(jusqu’à 3072 Hz aggrégé)

• ADM1191 power sensor IC

• ATmega168 microcontroller

• FTDI FT232R IC + hardware UART for USB/I2C

• étiquetage temporel par matériel

From Renci iLab

Powermon 2

18/12/2012 ANF2012 Info. Verte - 29

Mesures DC

Précision par canal

Connecté directement à ATX

API simple

Pas cher (~$150)

From Wikipedia

From Renci iLab

Utilisation intensive de CPU

18/12/2012 ANF2012 Info. Verte - 30

18/12/2012 ANF2012 Info. Verte - 31

Consommation mémoire intensive

18/12/2012 ANF2012 Info. Verte - 32

Accès disque

18/12/2012 ANF2012 Info. Verte - 33

Communications réseaux

Limites

18/12/2012 ANF2012 Info. Verte - 34

Difficile à déployer dans les nouveaux serveurs

Mesures de serveurs pour efficacité

énergétique !

Mesures par capteurs externes :

- non intrusif

- Moins en moins intéressant (trop de ressources (cœurs) par prise)

Mesures par capteurs internes :

- Moins précis (intégré)

- Contraignant (dédié)

- Difficile à grande échelle

Mesures par analyse de l'utilisation des ressources

- Registres/ accès mémoires / IO

- Nécessite encore un peu de calibrage

- Intrusif

Comparatif de 10 capteurs hétérogène en cours (avec Université Jaume1) – à

venir sur ecoinfo.cnrs.fr

18/12/2012 ANF2012 Info. Verte - 35

La suite…

• Mesures externes à hautes vitesse : LMG Zimmer LMG 450

• 2 K mesures par seconde / 4 prises monitorées

• Mais 11 Keuros..pour 4 prises….

- 36 18/12/2012 ANF2012 Info. Verte

Questions ? laurent.lefevre@inria.fr

• Quelques citations :

- Marcos Dias de Assuncao, Anne-Cécile Orgerie, and Laurent Lefèvre. "An

Analysis of Power Consumption Logs from a Monitored Grid Site",

IEEE/ACM International Conference on Green Computing and

Communications (GreenCom-2010), Hangzhou, China, December 2010

- Marcos Dias de Assuncao, Jean-Patrick Gelas, Laurent Lefèvre, and Anne-

Cécile Orgerie. "The Green Grid5000: Instrumenting a Grid with Energy

Sensors", 5th International Workshop on Distributed Cooperative

Laboratories: Instrumenting the Grid (INGRID 2010), Poznan, Poland, May

2010

- Anne-Cécile Orgerie, Marcos Dias de Assuncao, and Laurent Lefèvre.

"Energy Aware Clouds", Chapter on "Grids, Clouds and

Virtualization", M. Cafaro and G. Aloisio (Eds.), pages 145-170. Springer

Book, October 2010

- 37 18/12/2012 ANF2012 Info. Verte