Upload
jean-michel-franco
View
1.096
Download
1
Embed Size (px)
Citation preview
1©2015 Talend Inc
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et Talend
Jean-Michel Franco – Directeur marketing produit - @jmichelfranco
Cyril Sonnefraud – Consultant Avant Vente - @csonnefraud
2
2006 2007 2008 2009 2010 2011 2012 2013 2014 2015(Chiffre d’affaires)
Talend en bref
(estimation)
Hadoop 2.0
CloudFaits et chiffres
• Créé en 2006
• 500+ employés dans 7 pays
• 1700+ clients
• 2M+ téléchargement open source
• 108% CAGR
Big Data
ApplicationIntegration
Master DataManagement
DataQualityData
Integration
3
avec Spark et Talend
5 moyens simples et rapides pour exploiter vos Big Data
Spark Streaming
ArchitectureLambda
In Memory
MachineLearning
Pas de codeMigration en 1 click
Analyser avant d’agir, au bon moment
Transformer les données en décisions,
prescriptions et actions
Rester à la pointe de la technologie sans efforts
Supprimer les temps de latence quels que soient
les traitements à appliquer
Exploiter la donnée dès qu’elle vient
4
Disposer de l’information en juste à temps
Supprimer les temps de latence grâce à l’in-memory
Case d’usage : Vers une approche plus dynamique du pricing
Pourquoi Spark et Talend :
· Développer rapidement des traitements massifs de données et augmenter leur fréquence d’exécution
Augmentation de la performance des traitements batch Utilisation du caching et du partitionnementTirer partie de la mémoire pour accélérer drastiquement les temps de traitement
Résultats : · Des ventes augmentées de 9%, · Des rotations de stocks améliorées de 6% · Une profitabilité améliorée de 5%.
http://www.blue-yonder.com/blog-e/2014/05/07/dynamic-pricing-critical-todays-multichannel-retailer/
5
Avantage : Transformer les données de l’Internet des Objets en décisions puis actions prises en temps réel grâce à une seule solution
z NoSQLMessaging rapide, Ingestion à haut débit, Traitement
de données
Les usages de Spark Streaming pour l’Internet des objets
Exploiter la donnée dès qu’elle vient
AMQP
6
Les apports de l’architecture Lambda
Analyser avant d’agir, au bon moment
Mobile
Sensors
Web
Mobile App
Analytic App
Web App
Streaming
Batch
Query
Transform
Cleanse
Govern
Transform
Cleanse
Govern
Spark Streaming/Kafka
Spark
Spark SQL
7
Passer de l’analyse prédictive vers l’analyse prescriptive avec MLlib
• Cas d’usage typique: personnalisation et recommandation temps réel
• Bénéfices (source Venture Beat Survey):
• Cas 1: contenu personnalisé sur site web pour un nombre de page vues augmenté de 300 %
• Cas 2: taux de conversion augmenté de 219 percent.
Transformer les données en Décisions, Actions & Prescriptions
Don-nées
IntégrerAppren
dre
Agir avec
clairvo-yance
Valeur
Alimenter l’apprentissage
Appliquer le modèle
Talend Big Data Integration& Quality
Machine learning et
analyse prédictive
Talend Real Time Big
Data integration
Puissance de traitement des
données dans SparkMLlib et Spark R
Spark streaminget modèle de machine
learning opérationnalisé
Solution
8
Ne partez pas du principe que vous pourrez porter facilement vos
applications existantes sur Spark depuis un autre modèle de
programmation, comme MapReduce. Evoluer
vers Spark nécessite une ré-implémentation
complète , et les coûts peuvent
outrepasser les bénéfices.
Rester à la pointe de technologie sans efforts
Nick Heudecker
What Apache Spark Means for Big Data
Gartner Research G00271327
February 25, 2015
9
Passer de MapReduce vers Spark en un clic grâce à Talend !
PerformanceMapReduce
(fonctionnent surdisque)
UnClic
PerformanceSpark
(fonctionnement en mémoireet sur disc)
5Xplus
rapide
10
Tenez vous prêts pour le « Next Big Thing »
UnClick
SparkNext Big Thing
Next Big Thing la prochaineinnovation
11
Découvrez Spark et le machine learning avec la nouvelle sandbox Talend
Créer un flux de données en streaming
Avec Kafka
Créer un modèle de recommendation avec
Spark ML LIB
Créer une application Spark pour la
recommendationen temps reel
12©2015 Talend Inc
Des questions ?