View
4.052
Download
4
Category
Preview:
DESCRIPTION
Raphael Ferreira, CEO d’eNovance, présente l’histoire du premier cloud OpenStack européen. * Qu’est-ce qu’est OpenStack ? * Comment OpenStack se positionne par rapport à l’hégémonique cloud Amazon et en quoi c’est important. * Comment une société française a monté le premier cloud OpenStack européen et a pris de vitesse des géants comme http://hpcloud.com pour commercialiser une offre "production ready" sur OpenStack. La vidéo de la présentation est disponible ici : http://blog.xebia.fr/2012/07/16/cloud-day-les-coulisses-du-premier-cloud-open-stack-europeen-enocloud/ Le Xebia Cloud Day 2012 est une conférence gratuite dédiée au Cloud Computing focalisée sur l'écosystème Java. http://blog.xebia.fr/22-mai-2012-cloud-day-chez-xebia/
Citation preview
OpenStack Cloud : du projet à la réalité
1
Raphaël Ferreira - CoFounder
@ enovance
+ =
mardi 12 juin 12
2
QUI SOMMES NOUS ?
mardi 12 juin 12
3
Nouvelle génération de services d’Hébergement & d’Infogérance
Infrastructures Cloud Open SourceOpenStack, Puppet, Stockage Distribué Ceph,
Multi-Cloud Management 24x7x365eNoCloud, AWS Partner, RackspaceCloud Partner, Peer1 Partner
Amélioration de l’expérience utilisateursHaute Performance, Haute Disponibilité, Agrégation de Cloud & CDN, Monitoring Performance
Web, Mobile & Big DataElasticité, Réactivité, Distribution internationale, Performance, Résilience
mardi 12 juin 12
4
Expertise
mardi 12 juin 12
5
Paris & Montreal
• Equipes bilingues Anglais - Français• Maintiens en conditions opérationnelles : 24x7x365• Exploitation & Intégration : 09h00 - 01h00• Effectifs : 25 personnes (2/3 techniques)
mardi 12 juin 12
6
Certifications
Organisation, Process & Méthodologie ITIL V3, ISO 9001-2008, ISO 20000-1
Innovation, Recherche & Développement OSEO Innovation, Jeune Entreprise Innovante,Labellisé Systematic
Environnement ISO 14000
Santé et Sécurité au travail OHSAS 18001
Datacenters ISO 27001, ISO 9001, ISO 14001, OHSAS 18001, PCI-DSS
mardi 12 juin 12
7
Weekendesk : hébergement et infogérance de la plateforme eCommerce et agrégation de CDN
Kreactive : hébergement d’applications mobiles et facebook à plus de 4000 requêtes simultanées
Streamlike : diffusion des vidéos Louis Vuitton, PSA, Alston... dans le monde entier
Motricity : Datacenter européen du groupe pour la gestion des régies publicitaires et applications mobiles de Nokia, TF1, Canal Plus, Bouygues Telecom....
LeGuide.com : Accélération des performances du premier comparateur de prix en Europe
Total Immersion : Plateforme de réalité augmentée sur AWS à destination de Ray Ban, Repsol, Afflelou...
Références
mardi 12 juin 12
8
INTRODUCTION
mardi 12 juin 12
9
Où se situe votre entreprise sur le chemin du cloud ?
1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation
Les entreprises déploient des clouds pour ...
Répondre aux besoins de ressources et de réactivité des métiers
Contrôler et superviser l’environnement dans son intégralité
Rationaliser les infrastructures et optimiser les coûts
mardi 12 juin 12
10
1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation
Les Datacenters sont virtualisés, les Serveurs d’abord !
Hyperviseur : transformer 1 serveur en plusieurs machines virtuelles (VMs)(Vmware ESX, Citrix Xen, KVM,...)
Abstraction matérielle pour chaque serveur
Les hyperviseurs fournissent une abstraction entre les applications et le matériel (serveurs)
HOST 1 HOST 2 HOST 3 HOST 4
VM
Meilleure utilisation des ressources par serveur
Automatisation et efficacité
mardi 12 juin 12
11
1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation
Etape suivante : Stockage, réseau...
Flexibilité et efficacité à la clé
Serveurs Virtualisés
Les pools de ressources pour les applications commencent à se former....
Automatisation et efficacité
Réseau Virtualisé Stockage Virtualisé
mardi 12 juin 12
12
1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation
Mais les questions arrivent quand l’environnement grossit ...
Automatisation et efficacité
+
APPS USERS ADMINS
La multiplication des VM peut devenir rapidement ingérable
Comment rendre les applications cloud aware ? Comment offrir du Libre Service aux employées ?
Où devez vous déployer une nouvelle VM ? Comment tracer toutes les interactions ?
mardi 12 juin 12
13
1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation
Mais les questions arrivent quand l’environnement grossit ...
Automatisation et efficacité
+
APPS USERS ADMINS
La multiplication des VM peut devenir rapidement ingérable
Une couche de Management Cloud est manquante (automatisation, consolidation, abstraction, multi-hyperviseurs, API...)
mardi 12 juin 12
14
1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation
Solution : OpenStack, Cloud Operating System
Automatisation et efficacité
APPS USERS ADMINS
Un niveau de management supplémentaire offrant automatisation et contrôle
CLOUD OPERATING SYSTEM
Créez des pools de ressources Automatiser la gestion du réseau
Connectez les applicationsvia les APIs
Portail Libre Servicepour les utilisateurs
mardi 12 juin 12
15
1- Virtualisation 2 - Cloud Datacenter 3 - Cloud Federation
Automatisation et efficacité
Disposer d’ une Plateforme Commune inter-cloud.
Transporter simplement vos services
La suite ...
mardi 12 juin 12
16
Le Projet
mardi 12 juin 12
17
La Mission
• Plateforme OpenSource de Cloud Computing (niveau IaaS)• Dédiée aux opérateurs de clouds publics ou privés • Indépendamment de leur taille, • Simple à installer et massivement évolutive,• en utilisant du matériel standard à coût attractif.
mardi 12 juin 12
18
Historique
Mars Mai Juin Juillet2005 2010
Rackspace & NasaDéveloppent
des projets clouds
Rackspace Opensource
Swift
Nasa Opensource
Nova
Naissance du projet
Openstack
Premier Design Summit
à Austin
mardi 12 juin 12
19
Historique
Oct Fév2010
Première releaseAustin
25 partenaires
Seconde releaseBexar
35 partenaires
Avril
Troisième releaseCactus
70 partenaires
Sept
Quatrième releaseDiablo
120 partenaires
2011 2012
Avril
Cinquième releaseEssex
>150 partenaires
mardi 12 juin 12
20
Principes Fondateurs
• Licence Apache 2.0 (OSI), processus de développements ouvert• Définition ouverte de la Roadmap : 2 Design Summit par an• Référentiel de Code public et ouvert• Documentation et organisation communautaire ouverte et
transparente• Engagement à s’appuyer et à développer des standards ouverts• Conception modulaire pour un maximum de flexibilité via les APIs
mardi 12 juin 12
21
175 IMPLIQUEES3000entreprises
personnes
mardi 12 juin 12
22
• 8eme principal contributeur code
• Packaging Debian OpenStack
• Integration Puppet / OpenStack
• Leader Projet Metering/Accounting/Billing
175 IMPLIQUEES3000entreprises
personnes
mardi 12 juin 12
23
partenaire intégration de Clouds Privés de :
175 IMPLIQUEES3000entreprises
personnes
mardi 12 juin 12
24
Seul Projet Cloud impliquant une majorité d’industriels
• Dell : Lancement d’un cloud public OpenStack, Gamme produits/services Openstack, Développement Crowbar
• HP : Lancement d’un cloud public OpenStack, Gamme produits/services Openstack, Développement logiciel
• Cisco : Développement du projet Quantum, et intégration du provisionning Cisco dans OpenStack
• Citrix : Développement dans Nova et dans les projets de managements (portail...)• NTT : Opère un cloud public OpenStack• Intel : Contribu au code de Nova• KT : Opère un cloud public OpenStack• Arista, Extreme Networks, Netapp, Brocade, RiverBed... : Interfacages en cours entre
les matériels et OpenStack• Différents opérateurs télécoms Francais contibuent également au code
mardi 12 juin 12
25
Un peu de technique
mardi 12 juin 12
26
• Logiciel OpenSource permettant de construire et d’administrer des cloud publics ou privés
• Intervient sur la couche : Infrastructure As A Service• Projet composé de 3 logiciels coeurs et de projets
additionnels complémentaires
mardi 12 juin 12
27
• OpenStack Compute : provisionner et contrôler un large réseau de ressources virtuelles (machines, réseau, stockage)
• OpenStack Object Storage : créer une plateforme de stockage de plusieurs Petabytes hautement disponible à l’aide de serveurs standards
• OpenStack Image Service : gérer et organiser un large catalogue d’images de machines
mardi 12 juin 12
28
Nova (OpenStack Compute)
• Provisioning et gestion de machines virtuelles• Contrôle direct par API• Framework modulaire• Multi-hyperviseurs• Utilisé en production : NASA, Internap, eNovance, Rackspace,
HP , Mercado Libre, Sony....
6RIWZDUH�WR�SURYLVLRQ�YLUWXDO�PDFKLQHV�RQ�VWDQGDUG�KDUGZDUH�DW�PDVVLYH�VFDOH
6RIWZDUH�WR�UHOLDEO\�VWRUH�ELOOLRQV�RI�REMHFWV�GLVWULEXWHG�DFURVV�VWDQGDUG�KDUGZDUH
2SHQ6WDFN�&RPSXWH�
2SHQ6WDFN�2EMHFW�6WRUDJH�
FUHDWLQJ�RSHQ�VRXUFH�VRIWZDUH�WR�EXLOG�SXEOLF�DQG�SULYDWH�FORXGV
mardi 12 juin 12
29
$V\QFKURQRXV�HYHQWXDOO\�FRQVLVWHQW�
FRPPXQLFDWLRQ�
5H67�EDVHG�$3,
+RUL]RQWDOO\�DQG�PDVVLYHO\�VFDODEOH
+\SHUYLVRU�DJQRVWLF��VXSSRUW�IRU�;HQ��;HQ6HUYHU��+\SHU�9��
.90��80/�DQG�(6;�LV�FRPLQJ +DUGZDUH�DJQRVWLF��VWDQGDUG�KDUGZDUH��5$,'�QRW�UHTXLUHG
2SHQ6WDFN�&RPSXWH�.H\�)HDWXUHV
mardi 12 juin 12
30
Zone BNew York
Cloud Public
Zone AParis
Cloud Privé
Zone ZeNovance
Zone XEquinix
Zone YTelecity
Zone W
Internet
Bursting
mardi 12 juin 12
31
Swift (OpenStack Object Storage)• Solution de stockage évolutive• Stockage d’objets• Interface REST• Pas de Single Point of Failure• Pas de taille limite d’objet• Coeficient minimum de réplication de 3, dans des «zones»
séparées• Stable et déployé en production• Utilise des serveurs standards
Swift n’est pas :• RAID, Filesystem distribué, CDN, SAN / NAS / DAS
6RIWZDUH�WR�SURYLVLRQ�YLUWXDO�PDFKLQHV�RQ�VWDQGDUG�KDUGZDUH�DW�PDVVLYH�VFDOH
6RIWZDUH�WR�UHOLDEO\�VWRUH�ELOOLRQV�RI�REMHFWV�GLVWULEXWHG�DFURVV�VWDQGDUG�KDUGZDUH
2SHQ6WDFN�&RPSXWH�
2SHQ6WDFN�2EMHFW�6WRUDJH�
FUHDWLQJ�RSHQ�VRXUFH�VRIWZDUH�WR�EXLOG�SXEOLF�DQG�SULYDWH�FORXGV
mardi 12 juin 12
32
5H67�EDVHG�$3, 'DWD�GLVWULEXWHG�HYHQO\�WKURXJKRXW�V\VWHP
+DUGZDUH�DJQRVWLF��VWDQGDUG�KDUGZDUH��5$,'�QRW�UHTXLUHG
2EMHFW�6WRUDJH�.H\�)HDWXUHV
1R�FHQWUDOGDWDEDVH
6FDODEOH�WR�PXOWLSOH�SHWDE\WHV��ELOOLRQV�RI�REMHFWV
$FFRXQW�&RQWDLQHU�2EMHFW�VWUXFWXUH��QRW�ILOH�V\VWHP��QR�QHVWLQJ��SOXV�5HSOLFDWLRQ��1�FRSLHV�RI�DFFRXQWV��FRQWDLQHUV��REMHFWV��
mardi 12 juin 12
33
Cas d’utilisation :
• Sauvegarde• Contenus web (petits fichiers, beaucoup d’écritures,
énormément de lecture)• Régies publicitaires• Gestion de documents• DRP• Cache• Imagerie médicale
mardi 12 juin 12
34
PROJETS COMPLEMENTAIRES
mardi 12 juin 12
35
Quantum (OpenStack Virtual Network)Gestion d’un réseau virtuel au sein d’OpenStack
• Fournit un bloc complet pour la gestion de réseaux complexes dans les infrastructures clouds
• Service autonome pour OpenStack• Fournit une connectivité réseau entre une sélection d’interfaces
réseaux (interface virtuelle d’un service Compute, interface sur un service de loadbalancing...)
• Expose des API décrivant la connectivité réseau et la configuration entre les interfaces
mardi 12 juin 12
36
Quantum (OpenStack Virtual Network)Exemple d’architecture : Deux services
Quantum Service Quantum Plugin
Tenant API
VM VM VM VM
vswitch vswitch physical switch
FW FW FW
Internal Plugin Communication
Network Edge: Point at which a
service “plugs” into the network.
Firewall Service
Tenant API
Compute Service
Tenant API
mardi 12 juin 12
37
KeyStone (OpenStack Identity)Uni"cation et gestion centralisée des comptes pour l’ensemble des services
mardi 12 juin 12
38
Dashboard (OpenStack Web UI)Module Django pour construire vos interfaces Web
mardi 12 juin 12
39
Use CaseDans les coulisses d’un cloud Open Source
mardi 12 juin 12
40
Objectifs
2
1
3
Utiliser une technologie 100% Open Source
5
4
7
6
Maîtriser le hardware et les infrastructures
Etre compatible avec les autres cloud publics
Localisé en France
Orientation haute performance (I/O...)
Plateformes hybrides sur le même LAN
1 Cloud = 2 niveaux de services
mardi 12 juin 12
41
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Du projet à la réalité
Production ready !
June
Start BuildeNocloud
mardi 12 juin 12
41
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Du projet à la réalité
Production ready !
June
Start BuildeNocloud
mardi 12 juin 12
Du projet à la réalité
42
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
mardi 12 juin 12
Du projet à la réalité
42
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
eNoCloud Beta 1Diablo Release
mardi 12 juin 12
43
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
Du projet à la réalité
mardi 12 juin 12
43
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
60 companies
involved
Du projet à la réalité
mardi 12 juin 12
Du projet à la réalité
44
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
mardi 12 juin 12
Du projet à la réalité
44
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
eNoCloud Beta 2Essex Release
mardi 12 juin 12
45
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
Du projet à la réalité
mardi 12 juin 12
45
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
120 companies
involved
Du projet à la réalité
mardi 12 juin 12
Du projet à la réalité
46
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
mardi 12 juin 12
Du projet à la réalité
46
Sept Déc
Opening Beta 1Diablo Release
60 companies involved
Fév
Opening Beta 2Essex Release
Mars
120 companies involved
2011 2012
Mai
Production ready !
June
Start BuildeNocloud
mardi 12 juin 12
47
eNoCloud : Essex Release
Compute : Provisionner et contrôler un large réseau de machines virtuelles
Object Storage : Stockage redondant et élastique pour vos fichiers statiques
Image Service : Catalogue d'OS et d'applications prêtes à être instanciées
mardi 12 juin 12
48
On-Demand Instances
Elastic Scalability
No lock-in
Open Standards
High performance Cloud
Accessible anywhere
Secure
Hybrid Ready
Déployer des services élastiques à la demande
mardi 12 juin 12
48
On-Demand Instances
Elastic Scalability
No lock-in
Open Standards
High performance Cloud
Accessible anywhere
Secure
Hybrid Ready
Déployer des services élastiques à la demande
Performance & Disponibilité Stockage local sur disques SAS Stockage persistant associé à chaque instance
Elasticité horizontale et verticale Personnalisez et lancez vos instances en quelques minutesElasticité horizontale et verticale
Catalogue d'OS et d'applications prêtes à l'emploi
Large choix d'Operating System Catalogue de plus de 50 applications
Payez à la consommation Pas d'engagement, Pas de facturation minimumVos instances sont facturées à l'heure d'utilisation Vous ne payez que la puissance réellement consommée
Portail & APIs Portail de gestion API REST compatibles EC2, S3 & OpenStack CloudCompatible avec les principales librairies du marché : Ruby Fog, NovaClient, jClouds, ...
Hybride & Interconnexion Configurations hybrides possiblesCompatible avec une intégration de liens privés
Expertise Cloud & Infogérance Conseil , Design, Intégration & AutomatisationInfogérance applicative 24x7x365
mardi 12 juin 12
49
Stockage évolutif et sécurisé à la demandeMassive storage capacity
Scalability on-demand
Fast and simple
Open Standards
No lock-in
Accessible anywhere
Reliable and Secure
mardi 12 juin 12
49
Stockage évolutif et sécurisé à la demandeMassive storage capacity
Scalability on-demand
Fast and simple
Open Standards
No lock-in
Accessible anywhere
Reliable and Secure
• APIs REST OpenStack et AWS S3
• Utilisez les nombreux outils déjà disponibles
• Créer des containers Publics ou Privés
• Haute Disponibilité
• Stockage illimité
• Compte / Container / Objets structure
• Built-in Replication (N copies des comptes, container, objets)
• Pas de DB Centrale, Pas de Single Point of Failure
• 100% Ouvert
• Localisation des données en France
mardi 12 juin 12
50
Contrôler vos ressources via le portail ou les APIs
mardi 12 juin 12
51
Services Levels
100% Independant 100% Managed
Support through tickets only
Provision of Management tools
SLA on infrastructures
Managed services 24x7x365(maintenance on apps & hardware,backups,
monitoring...)
SLA on end-user experience
Infrastructure design, integration
mardi 12 juin 12
52
eNoCloud
Hybride Type 1
Plateformes Privées
LAN
mardi 12 juin 12
53
Hybride Type 2
We Design, Build and Run...
OpenStack Starter Pack
OpenStack Private Cloud
On-premise Hébergé eNoCloud
AWS Cloud EC2
Rackspace Cloud
Private Clouds Public Clouds
Automatisation - Monitoring - Sauvegardes - Haute Performance & Haute Disponibilité - Sécurité+
mardi 12 juin 12
54
Roadmap
• Ouverture d’une troisième Zone à Montréal (Été 2012)• eNoCloud Block Storage• Live Metering• Auto-Scalling• Services PaaS
mardi 12 juin 12
55
Pricing On Demand: Ceilometer
Instance type RAM(GB)Virtual cores
Local Disk (GB)
Price €/hrLinux
Tiny
Small
Medium
Large
XLarge
XXLarge
1
2
4
8
16
32
1
1
2
4
4
8
20
40
80
160
320
320
0,07
0,12
0,22
0,40
0,75
1,40
0,10
0,15
0,28
0,52
0,87
1,66
Price €/hrWindows
mardi 12 juin 12
56
First multi-cloud Market Place for OpenStack & AWS
eNocloud Market Place
mardi 12 juin 12
56
mardi 12 juin 12
56
Exclusive Beta Program
http://marketplace.enovance.com
mardi 12 juin 12
57
Try It !
www. .com
mardi 12 juin 12
58
Témoignages
mardi 12 juin 12
59
Cloud testing for: •Major international event•Simulation of 1 M virtual users
1 million users
+
The eNocloud platform was the perfect complement to our Global Cloud...the flexibility in configurations, the fast access to the servers and eNovance’s expertise made this project a real success»Fred BeringerVP Business Development Europe, SOASTA
mardi 12 juin 12
60
Map Reduce for :•Big Data•Satellite images analysis
+
The Centre National d’Etudes Spatiales (CNES) is the government agency responsible for shaping and implementing France’s space policy in Europe.
mardi 12 juin 12
61
+Stéphane Rios
CEO of FasterizeEx-CTO of Rue du Commerce
Real time optimization of Web site loading time
mardi 12 juin 12
61
+Stéphane Rios
CEO of FasterizeEx-CTO of Rue du Commerce
Real time optimization of Web site loading time
Before
mardi 12 juin 12
61
+Stéphane Rios
CEO of FasterizeEx-CTO of Rue du Commerce
Real time optimization of Web site loading time
After
mardi 12 juin 12
62
+Stéphane Rios
CEO of FasterizeEx-CTO of Rue du Commerce
• Requirements
• Automated deployement of code *AND* infrastructure
• cloud agnostic
• multiple environments (dev, integration, staging, etc ...)
• scalability (in & out)
• highly fault-tolerant and distributed platform
• First build on Rackspace public cloud (integration, staging, production)
• support Openstack
• London based (latency)
• Second build on bare-metal servers (production)
Implementation
mardi 12 juin 12
63
+Stéphane Rios
CEO of FasterizeEx-CTO of Rue du Commerce
• Our target : our own private cloud
• The only Openstack-based IAAS provider available on the french market
• Highly skilled people
• Openstack contributor
• 24/7 support & managed hosts
• Ability to use beta releases of Openstack (Essex) for tests
Why eNovance ?
mardi 12 juin 12
64
+Stéphane Rios
CEO of FasterizeEx-CTO of Rue du Commerce
Tests
• Built on 2 private servers
• ~ 15 VMs , 48 cores, 192 GB RAM, some TB of disks
• easy deploy with Chef, Fog (ruby) and EC2 compliant API of openstack
• stack : NodeJS, 0mq, HAProxy, Nginx, Memcached, MongoDB, Splunk, ...
• Perf tests results
• no noticeable difference between bare-metal and Openstack from the engine point of view
• Next step : open a second production datacenter with eNovance
mardi 12 juin 12
65
+ Graphs
mardi 12 juin 12
65
+ Graphs
mardi 12 juin 12
Raphaël FerreiraT./ +33 1 49 70 99 72M./ r.ferreira@enovance.com
http://www.enovance.comhttp://www.enocloud.comhttp://twitter.com/enovance
66
Q & R
mardi 12 juin 12
Recommended