Upload
romain-casteres
View
399
Download
0
Embed Size (px)
DESCRIPTION
Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos :-)
Citation preview
#JSS2013
Les journées
SQL Server 2013
Un événement organisé par GUSS
#JSS2013
Les journées
SQL Server 2013
Un événement organisé par GUSS
Big Data & BI
Romain Casteres
MVP SQL Server
Consultant BI
@PulsWeb
Yazid Moussaoui
Consultant Senior BI
MCSA 2008/2012
Etienne Pommier
Ingénieur Etude &
Développement .Net
Retour d’expérience
#JSS2013
Merci à nos sponsors
#JSS2013
Agenda
o Besoin Clients : APVX
o Pourquoi la Big Data ?
o Présentation de Hadoop
o Offre Microsoft : HDInsight
o Complémentarité BI & Big Data
o Architecture mise en place
o Démos
Planning
#JSS2013
Aide à la prévision des ventes
Besoin d’analyse des réseaux sociaux
Poids des campagnes réalisées sur les réseaux
Trouver une relation entre les ventes et ce qui se dit
sur les réseaux
Besoin Client : APVX
#JSS2013
Pourquoi la Big Data ?Volume,
Variété & Vitesse
#JSS2013
La tendance
#JSS2013
HDFS
Ecriture
Framework Apache Hadoop
Lecture
#JSS2013
Map & Reduce
Framework Apache Hadoop
#JSS2013
Apache Hadoop, Hortonworks, Hdinsight
Apache Hadoop HDInsight
• Hive : Gestionnaire des données distribuées (SQL Like)• Pig : Scripting ETL• Sqoop : Transfer des données entre Hadoop et des SGBDR• Hbase : Base de données non relationnelle• Hcatalog : services de méta données• Mahout : Langage de programmation pour le Machine Learning• Flume : Intégrateur de logs• Oozie : Ordonnanceur
…
• HDP 1.3 pour Windows On Azure On Premise
• Scale Out for Pay As You Go• Windows Azure PowerShell• CodePlex .Net SDK
• Microsoft Hive ODBC Driver
#JSS2013
Plate-forme Big Data Microsoft
MA
RK
ETP
LA
CE
SER
VIC
ES E
T D
ON
NEES
EX
TER
NES
Polybase
Volume x Variety x Velocity x Visualization = Value
Polybase
Native Query
#JSS2013
Architecture
WASB
#JSS2013
Architecture
WASB
#JSS2013
• Un Azure Web Site (ASP.Net MVC 4)
• Un Cloud Service
• Un Compte de stockage (Tables et Blobs)
• Une SQL Database
La solution sur Windows Azure
#JSS2013
• Interface de gestion
• Azure Active Directory Authentification
Le site
#JSS2013
Le Cloud Service
#JSS2013
RÉCUPÉRATION DE DONNÉES TWITTER
#JSS2013
Architecture
WASB
#JSS2013
Nombre de Nœud
Hive Meta Données
Stockage
Activation de l’accès distant
Installation du Driver Hive ODBC
Linked Server
Création du cluster HDInsight
#JSS2013
Table Externe
Table Interne
UDF : User Defined Functions
Hive
#JSS2013
Flux des données
Windows Azure Storage Blob
Azure Network
Hadoop On Azure
Compute Node
#JSS2013
Automatisation via SSIS
Création d’un package SSIS
Création d’une source de données ODBC
http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight
SSIS HDInsight Tasks
#JSS2013
Architecture
WASB
#JSS2013
Exploitation des données
SSAS
Tabular
Integration
Services
Power View
SharePointSQL Server
Power View
Excel
Power
Query
Excel
Power Pivot
Excel
2 scénarios : « BI d’entreprise » ou « BI en Self-Service »
BI
d’entreprise
POWER BI
#JSS2013
Integration des données avec SSIS
Connexion ODBC
Source : Table Hive
Destination : Table SQL Server
SELECTTheater,ScreenAuthorizationNumber,Screen,Title,TitleIdFROM lecture
SQL Server Integration
ServicesImportation des table Hive vers une
base de donnée locale
BI
d’entreprise
#JSS2013
Analyse et restitution des données
Analysis Services• Mode Serveur
• Cube tabulaire
• Langage DAX
Power View for SharePoint• Intégration à SharePoint
• Publication et partage
• Création de rapports en self-service
• Drag & Drop
• Analyse des données issues de
PowerPivot ou d’Analysis Services
• PowerPoint
SharePoint
Server
DWH
SQL Server
2012
Instance Analysis
Services
Instance SQL Server
BI
d’entreprise
#JSS2013
BI en self-service avec Excel 2013
Excel 2013
POWER QUERY
POWER PIVOT
POWER VIEW
POWER BI
#JSS2013
Power Query
• ETL destiné à l’utilisateur
• Import Data
From Hadoop File (HDFS)
From Windows Azure HDInsight
POWER BI
#JSS2013
• Création du modèle de données à partir de sources
distinctes :
– Tables SQL Server
– Table hive intégrés au modèle via Power Query
Power Pivot POWER BI
#JSS2013
• Création de rapport Ad-hoc interactif
• Source de donnée :
– Classeur de Modèle Power Pivot
– Modèle Tabulaire SSAS (Power View mode SharePoint)
Power View POWER BI
#JSS2013#JSS2013
Merci !
Questions ?