View
71
Download
0
Category
Preview:
DESCRIPTION
Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France François Simoës – V- Traffic Sébastien Etcheverry – V- Traffic. Merci à nos sponsors. Plan. Introduction (3’) Nouveautés HDInsight (22’) PowerShell, wasb , Templeton , Python, .NET, … Démo - PowerPoint PPT Presentation
Citation preview
#JSS2013
Les journéesSQL Server 2013
Un événement organisé par GUSS
#JSS2013
Les journéesSQL Server 2013
Un événement organisé par GUSS
Windows Azure HDInsightBenjamin Guinebertière (@benjguin) – Microsoft FranceFrançois Simoës – V-TrafficSébastien Etcheverry – V-Traffic
#JSS2013
Merci à nos sponsors
#JSS2013
• Introduction (3’)• Nouveautés HDInsight (22’)
– PowerShell, wasb, Templeton, Python, .NET, …– Démo
• V-Traffic (25’)• Autres utilisations d’HDInsight (3’)• Combien ça coûte ? (3’)• Conclusion
Plan
#JSS2013
100% Apache Hadoop solution in the cloud Insights through Excel Deployment agility Hadoop with Enterprise security and
manageability Develop in .NET and Java Built on Hortonworks Data Platform (HDP)
Where Big Data Meets the CloudWindows Azure HDInsight
Get Started with HDInsight: http://tinyurl.com/hdinsight
#JSS2013
Promoting open Hadoop with strategic Hortonworks partnership
7
+Hortonworks Data Platformfor Windows
HDInsight
#JSS2013
ArchitectureHD
Insigh
t BI and analyticsSelf-service Collaboration Corporate
appsData search
Azure Blobs HDFS
Hive Pig HCatalog AmbariMap Reduce
SqoopOozie
Azure UX Azure SDK Templeton RDP
#JSS2013
Architecture
Secure node
Head node
Compute nodes with local HDFS
Azure storage -------------GEODR capable durable storage
#JSS2013
demoCRÉATION D’UN CLUSTER
#JSS2013
demoPOWERSHELL
#JSS2013
demoEXPLORATION DU CLUSTERPortail Windows Azure, connexion en RDP
#JSS2013
demoEXÉCUTION EN PIG ET EN HIVEIIS LOGS
#JSS2013
demoEXÉCUTION HIVE + PYTHON
#JSS2013
V-TRAFFIC
#JSS2013
Chaine de production d’information trafic
Static
FCD
Profils
FMD
Static
Fermetures
ALL
FUSION
Réseaux sources Réseau de référence (MM) Réseaux de service
ALL Web
ALL TPEG
ALL TMC
#JSS2013
Généralités• Utilisations des véhicules traceurs (FCD) - Suivi de véhicule
1. Les automobilistes envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile
2. Nos fournisseurs récoltent les données de géo-localisation
3. Mediamobile collecte ces données
Lat2,Long2,D2
4. Suivi du véhicule : localisation sur le réseau routier
Lat1,Long1,D1
5. Détermination de la vitesse du véhicule sur le réseau
X km/h
#JSS2013
Méthode SqlServerDonnées
• Archives FCD
SqlServer• Table avec données spatiales
SqlServer• Exécution de la procédure stockée
12
3
#JSS2013
WorkFlow HDInsightDonnées
• Archives FCD• Référentiel géo spatial
Hive
• Création des tables • Importation des données
Hive
• Exécution d’un mapper personnalisé en Python• Requête d’agrégation
Interopérabilité
• Intégrer aux outils BI (SSRS, PowerPivot, …)
123
4
#JSS2013
demoV-TRAFFIC
ANALYSE SPATIALE
#JSS2013
• Utilisation de R-TreeVoies d’optimisation du code Python
#JSS2013
• Jeux sur Facebook: analyse de logs– Lancement en PHP – ~1 heure par jour
• Banque: analyse de tweets
Autres utilisations d’HDInsight
#JSS2013
Master Chief meets Big Data
In-game analysis detects cheaters and improves experience for everyone
Enables targeted campaigns that improve customer retention
Near real-time visibility into terabytes of data
Able to double processing capacity in minutes
Two billion minutes a day…and counting
#JSS2013
• http://www.windowsazure.com/pricingCombien ça coûte ?
#JSS2013
Source: http://bit.ly/azure4175
Exemple pour 115 € / mois
#JSS2013
• HDinsight– Hadoop en tant que service sur Windows Azure– Automatisable– Exécution distribuée de transformation de
données (souvent des fichiers texte)– Langages de script de plus haut niveau que
Map/Reduce
Conclusion
#JSS2013#JSS2013
#JSS2013
#JSS2013
#JSS2013
Recommended