Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Local Optimization European Minded
© Tous droits réservés. Reproduction interdite sans l’autorisation d’Optimind Winter.
Analytics & Big Data
Focus techniques & nouvelles
perspectives pour les actuaires
Université d’Eté de l’Institut des Actuaires
Mardi 8 juillet 2014
Intervenants :
Alexandre Keiflin, consultant senior, practice leader PCOW Big Data et Digital
Emmanuel Berthelé, actuaire consultant senior, responsable Practice
Sommaire
Université d'Eté IA – Analytics & Big Data - 08/07/2014 2
1 Introduction
2 Focus techniques
Données / Datamasse
Evolutions BI
Apports des algorithmes et évolution de paradigme
3 Nouvelles perspectives pour les actuaires
De nouvelles fonctions pour de nouvelles approches
Impacts potentiels sur le rôle de l’actuaire
4 Conclusion
Université d'Eté IA – Analytics & Big Data - 08/07/2014 3
Introduction1
• Emergence des nouvelles technologies et des nouveaux supports sources du digital
Années 1980
1ères expériences d’un monde à
distance
Années 1990
Internet se généralise
Années 2000
Socialement connectés
Années 2010
Equipements de haute technologie
Physiquement connectés
1978 : Premiers
téléphones mobiles
1982 : Protocole
Internet Standardisé
1983 : Première
Banque en ligne
1991 : Création du
World Wide Web
Sources Kurt Salmon research
1992 : Premier site
Internet commercial
1995
1998
1997 Premiers
paiements mobiles
2004 2006
2007 2011
201x
2015
201x
DIGITAL
Université d'Eté IA – Analytics & Big Data - 08/07/2014 4
Introduction1
Socle
Nouvelles
technologies
Nouveaux
usages
Constat
Ere Numérique
Acteurs économiques
en pleine mutation
Opportunités
Evolution des
business models
Repenser la relation
client
Nécessité
Penser digital
Gouvernance et
organisation adaptée
Grands volumes de données
Des
out
ils
adap
tés
Big Data Analytics
Vision encore plus orientée
données
Repenser le traitement de
ces données
Sommaire
Université d'Eté IA – Analytics & Big Data - 08/07/2014 5
1 Introduction
2 Focus techniques
Données / Datamasse
Evolutions BI
Apports des algorithmes et évolution de paradigme
3 Nouvelles perspectives pour les actuaires
De nouvelles fonctions pour de nouvelles approches
Impacts potentiels sur le rôle de l’actuaire
4 Conclusion
Données / Datamasse
Focus techniques2
• L’approche classique consiste à caractériser les Big Data comme :
• Des données massives
• Et Variées
• Le concept « Big Data » encapsule cependant naturellement les nouvelles technologie et les nouveaux outils
capables de traiter ce volume considérable de données structurées ou non en quasi temps réel
• Concrètement, l’intérêt du Big Data réside principalement dans sa capacité à générer de la Valeur en valorisant
ses données internes en les appariant à des donnés externes
• Nouvelles capacités offertes par le Big Data en approche « Data Driven »
• Révéler des schéma non intuités
• Obtenir des capacités prédictives à partir d’un grand volume d’informations
6Université d'Eté IA – Analytics & Big Data - 08/07/2014
Données / Datamasse
Focus techniques2
7Université d'Eté IA – Analytics & Big Data - 08/07/2014
• Archives
• Documents
• Medias
• Stockage des données
• Applications métiers
• Internet
• Réseaux sociaux
• Logs techniques
• Objets connectés
source :http://kapowsoftware.com/resources/infographics/intelligence-
by-variety-where-to-find-and-access-big-data.php
• 1 sec 22 To de données générées sur le web
• 1 jour 2,5 Eo Générées (10^6 To)
Données / Datamasse
Focus techniques2
8Université d'Eté IA – Analytics & Big Data - 08/07/2014
• 90% des données créées ces 2 dernières années
• Prévision d’une hausse de 800% d’ici 5 ans
Source http://pennystocks.la/internet-in-real-time/
Jobtracker
Evolutions BI
Focus techniques2
9Université d'Eté IA – Analytics & Big Data - 08/07/2014
Logiciels et algorithmes nécessaires aux traitements des Big Data:
Hadoop facilite la création d’application distribuée pour le calcul (Mapreduce) et le stockage (HDFS et Hbase)
Données BIG DATA
1 2 3Découpage en blocs (64 MO par défaut)
Réplication (2 fois par défaut)
Name NodeName Node
(secondary)
1 2 3
1 2 3
321
DataNode
132
DataNode
213
DataNode
Job tracker
Tasktracker Tasktracker Tasktracker
Système HDFS -Grille de stockage Framework Map reduce - Grille de calcul
Evolutions BI
Focus techniques2
10Université d'Eté IA – Analytics & Big Data - 08/07/2014
Hadoop 1.0 (Décembre 2011)
• Limitation à 4000 nœuds par cluster
• Goulot d’étranglement au niveau du service Job Tracker (Gestion des ressources, planification et suivi)
• Un seul namenode
• MAP Reduce utilise des slots de ressources statiques
• Seul Map reduce peut tourner
Hadoop 2.0 (octobre 2013)
• Plus de 10000 nœuds par cluster
• Utilisation cluster plus efficient grâce à YARN meilleure gestion des ressources
• Plusieurs namenodes par cluster
• Ressources dynamiques
• Toutes les applications peuvent être intégrées sous Hadoop
• Compatibilité ascendante
Zoom sur Spark (30/05/2014)
1. Rapide jusqu’à 100x (in memory)
2. Facile utilisation (Java, Scala, Python)
3. Générale (SQL, Streaming, analytics)
4. Intégration sur Hadoop 2 - Yarn
• Storm : système de calcul distribué en temps réel permettant de traiter de façon fiable des flux de données
illimitées, faisant pour le traitement en temps réel ce que Hadoop a fait pour le traitement batch
Evolutions BI
Focus techniques2
Université d'Eté IA – Analytics & Big Data - 08/07/2014
Détection de fraude bancaire, 2 solutions techniques:
1. Lancer un traitement Hadoop avec l'ensemble des transactions de la journée et tenter d'isoler des
comportements étranges pour un compte. Non temps réel
2. Analyse de chaque transaction dès qu'elle est effectuée en temps réel grâce à Storm
Architecture et principe de Storm
Nimbus
Zookeeper
Zookeeper
Zookeeper
Superviser
Superviser
Superviser
Superviser
Superviser
Spout
Bolt A Bolt B
Bolt C
11
Evolutions BI
Focus techniques2
12Université d'Eté IA – Analytics & Big Data - 08/07/2014
Combiner Hadoop et Storm permet de répondre à des besoins complémentaires:
1. Analyse des flux en temps réèl permettant d’augmenter la réactivité
2. Analyse de l’ensemble de données en batch permet d’augmenter la profondeur d’analyse
• Une architecture combinée Storm/Hadoop pour apporter du temps réel aux traitements des Big Data
Evolutions BI
Focus techniques2
Université d'Eté IA – Analytics & Big Data - 08/07/2014
Mahout est un projet open source d'algorithmes d'apprentissage automatique distribuée sur la plate-forme Hadoop utilisant jusqu’à aujourd’hui le framework Map Reduce (en cours de migration vers SPARK)
Mahout peut tourner en dehors d’Hadoop. Mahout est encore en cours de développement ; le nombred'algorithmes implémentés a rapidement augmenté, mais certains manquent encore.
Hama est un framework de calculdistribué basé sur un autre modèlede calcul (BSP-Bulk SynchronousParallel Model) qui se révèle bienplus performant que map reducesur des algorithmes ciblés
Filtrage Collaboratif
• Utilisateurs
• Objets
• Factorisation de matrices:
• Moindres carrésalternés (avec Implicit Feedback ounon)
• Valeur singulière(SVD)
Classification
(Supervisé)
• Régression logistique
• Classification naive Bayesienne
• Forêts aléatoires
• Perceptron multicouche
• Modèle de markovcaché
Apprentissage non supervisé (Clustering)
• Canopy Clustering
• Algorithme des k-moyennes
• Algorithme des fuzzy k-moyennes
• Algorithme des Streaming k-moyenne
• Apprentissage spectral
Réduction de dimension
• Algorithme de Lanczo
• Décomposition en valeurs singulières
• Standard (SVD)
• Stochastiques
• Analyse en composante principale
Modèle de sujet
• Allocation de Dirichlet latente
Divers
• Frequent Pattern Mining
• Nombred’occurrences
• Matrices:• Comparaison par paires
• Concatenation
Reconnaissance
de formeSuggestion
Traitement automatique
du langage :
Correction ou traduction
13
Evolutions BI
Focus techniques2
14Université d'Eté IA – Analytics & Big Data - 08/07/2014
• Une abondance de technologies et d’outils répondant souvent à des besoins spécifiques, il est donc
nécessaire de
• Cibler ses besoins métiers
• S’appuyer sur les DSI pour choisir les bons outils (pérennité, adapté aux besoins,…)
• Réaliser une veille technologique sur l’ensemble du paysage « Big Data »
Des acteurs ont
disparus du paysage< 4 %
Des acteurs se
positionnent post-
infrastructure Big Data
>70 %
Des acteurs proposent
une offre globale3 %Nombre entreprises= 377
Nombre de sorties: 15
• La révolution Big Data réhabilite d’anciennes approches de statistiques, d’analyse et de modélisation des
données
• Les mesures de corrélations statistiques datent du XIXe siècle
• Les premiers travaux sur les réseaux neuronaux remontent aux années 50
• Les modèles auto-apprenants ne sont pas nouveaux mais bénéficient d’un regain d’intérêt notable du fait des
nouvelles capacités calculatoires et tendent à être largement améliorés
Sont considérées comme relevant de l’Analytics toutes méthodes et outils statistiques
permettant de comprendre, anticiper et expliquer un phénomène à partir de données massives
L’Analytics est un levier essentiel de la création de valeur grâce à l’extraction d’informations
des données issues du « Big Data »
15
Apports des algorithmes et évolution de paradigme
Focus techniques2
Université d'Eté IA – Analytics & Big Data - 08/07/2014
Big DataExtraction
d’informations
Aide à la
décision
Processus de création de valeur
16
Apports des algorithmes et évolution de paradigme
Focus techniques2
Université d'Eté IA – Analytics & Big Data - 08/07/2014
Analytics (Data mining)
Méthodes descriptives (recherche de patterns)
Non supervisé
Modèles géométriques
Analyse factorielle
Analyse typologique
Réduction de dimension
Modèles combina
toires
Classification relationnelles
Modèles à base
de règle logique
Détection de liens et
d’associations
Méthodes prédictives (modélisation)
Supervisé
Modèle à base
de règle logique
Arbre de décision
Modèle à base de fonctions
mathématiques
Réseaux de neurones
Modèle paramétriques
ou semi-paramétriques
Prédiction sans modèle
Source : Stéphane TUFFERY
• Classification des méthodes applicables au Big Data
Apports des algorithmes et évolution de paradigme
Focus techniques2
Short-list liée aux cas d’usage
Sélection de l’algorithme à utiliser via différents critères
Test sur échantillon et usage grandeur réelle
• Caractéristiques des données (Nombre de
points, nombre de variables…)
• La puissance de calculs nécessaire
• La complexité de mise en œuvre et (calibrage,
compréhension, robustesse…)
• L’exploitation des résultats
Validation grandeur réelle
Test performances
Test volumes
Calibrage
Système
• Classification de données
• Analyse comportementale
• Projections / simulations
• Tests de performances
• Tests de volumes
• Calibrage Système
• Validation en grandeur réelle
Université d'Eté IA – Analytics & Big Data - 08/07/2014 17
Evolution culturelle et stratégique pour les structures d’assurance
Focus techniques2
18Université d'Eté IA – Analytics & Big Data - 08/07/2014
Création de nouveaux produits adaptés aux besoins de marché
Amélioration du pilotage de son portefeuille
Optimisation des processus internes de l’entreprise
• La donnée étant la matière première des structures d’assurance, le métier est donc amené à
évoluer en profondeur dès lors que la transition vers le Big Data est amorcée
L’utilisation de modèles analytiques n’est pas nouvelle pour les actuaires et le monde de l’assurance dans des approches intuitées:
HYPOTHESIS DRIVENLa variété de données et la volumétrie
importante exploitable grâce au Big Data doivent permettre la création de valeur dans
des approches données
DATA DRIVEN
Lois Données Calibration Validation
DonnéesCollecte et
analyseLois et
calibrationValidation
Sommaire
Université d'Eté IA – Analytics & Big Data - 08/07/2014 19
1 Introduction
2 Focus techniques
Données / Datamasse
Evolutions BI
Apports des algorithmes et évolution de paradigme
3 Nouvelles perspectives pour les actuaires
Quels apports en Assurance
De nouvelles fonctions pour de nouvelles approches
Impacts potentiels sur le rôle de l’actuaire
4 Conclusion
Quels apports en Assurance?
Nouvelles perspectives pour les actuaires3
2
• L’impact attendu du « Big Data » selon Mc Kinsey dans les principaux secteurs d’activités
20
20Université d'Eté IA – Analytics & Big Data - 08/07/2014
Valeur maximale attendue
en « Assurance »
Facilité de mise en œuvre
d’après 4 critères:
Talent
Présence IT
Etat d’esprit « Data
Driven »
Disponibilité des données
Quels apports en Assurance?
Nouvelles perspectives pour les actuaires3
21Université d'Eté IA – Analytics & Big Data - 08/07/2014
Assurance auto : passage du « Pay as you drive » au « Pay how you drive » via boitiers embarqués
Santé / prévoyance : informations sur entreprise/secteur/e-réputation pour appréhender le risque
d’arrêt de travail de ses salariés
Lutte anti fraude : croiser les déclarations récentes de sinistres avec une activité spécifique sur les
réseaux sociaux et/ou des consultations sur des forums
DOMAINE
Marketing
Produit
Gestion du risque
Lutte anti fraude
USAGE POTENTIEL
Améliorer les processus de souscription
Personnaliser les garanties et les tarifs
Faciliter la veille concurrentielle et cibler
ses opérations marketing
Anticiper et mesurer les risques (lois
comportementales)
EXPLOITATION DES DONNÉES AVEC LE BIG DATA
Expliquer la sinistralité
Comprendre le comportement
d’achat
Identifier les tendances de
marché
Surveiller l’e-réputation de la
société
Identifier les comportements
anormaux en temps réel
Obtenir des informations en quasi temps réel
Vision 360° du client
Ajuster les modèles aux assurés en portefeuille
Identifier les données volontairement biaisées
Pilotage de la rentabilité du produit et de son
activité
22
De nouvelles fonctions pour de nouvelles approches
Nouvelles perspectives pour les actuaires3
• 4 axes d’adaptation nécessaires pour les structures d’assurances
• 2 nouvelles fonctions apparaissent explicitement autour des pratiques du Big Data et de l’Analytics
• Chief Data Officer
• Data Scientist
• Ces fonctions ne devraient pas remplacer des fonctions actuellement existantes (data miner ou actuaires) mais
devraient les compléter et les enrichir
• Les impacts majeurs porteront donc
• Sur la définition des nouvelles compétences et rôles attendus
• Sur leur intégration dans les organisations existantes : chaque assureur devra à ce titre mener une réflexion sur son
organisation cible
• Sur la redéfinition des relations entre ces nouvelle fonctions et les métiers « traditionnels »
Université d'Eté IA – Analytics & Big Data - 08/07/2014
Connaissance des sources de données
Maîtrise des technologies et outils
Evolution culturelle et stratégique
Maîtrise de la création de valeur
De nouvelles fonctions pour de nouvelles approches
Nouvelles perspectives pour les actuaires3
Sources de données externes
Collecte et intégration des données
Retraitements des données et mise en œuvre de systèmes de calculs
Mise à disposition des résultats pour exploitation par les métiers
• Le data scientist, principal acteur de la chaîne de valeur du Big Data en amont des utilisations expertes des
métiers
• Des compétences spécifiques nécessaires
• Connaissance des sources de données, tant internes qu’externes
• Compétences BI et IT
• Compétences algorithmiques et statistiques
• Communication et échanges avec les métiers afin
D’identifier les use cases potentiels
De maximiser la data valorisation
Université d'Eté IA – Analytics & Big Data - 08/07/2014 23
• Le Chief Data Officier, une fonctions clé d’organisation et de gouvernance des données
• Un acteur majeur de la gestion des risques liés aux nouveaux usages des données
• Des compétences spécifiques nécessaires
• Connaissances SI et des chaînes de valeur liées à la valorisation des données
• Connaissances des enjeux métiers, juridiques, stratégiques et opérationnels
• Organisation et pilotage opérationnel
• Communication inter-directions (DSI et Marketing, mais pas seulement)
De nouvelles fonctions pour de nouvelles approches
Nouvelles perspectives pour les actuaires3
Centralise la connaissance de la production des données
Organise les contrôles et le suivi qualité
Coordonne la gouvernance stratégique du capital « Données » de l’entreprise
Université d'Eté IA – Analytics & Big Data - 08/07/2014 24
Contraintes réglementaires liées à l’utilisation des données
Hyper segmentation
Fraude
Traçabilité
25
Impacts potentiel sur le rôle de l’actuaire
Nouvelles perspectives pour les actuaires3
• Distinctions à opérer suivant la taille des acteurs
• Un positionnement a priori moins rapide des acteurs de taille restreinte
Des ressources limitées et concentrées sur d’autres sujets (réglementaires et produits notamment)
Des investissements nécessaires susceptibles d’être un frein (bien que la volonté d’acteurs BI de se positionner sur le secteur de
l’Assurance ouvre des opportunités en termes d’études préalables)
• Une moindre segmentation des rôles et responsabilités
Des profils cumulant compétences en actuariat et data science auraient un intérêt mais sont à l’heure actuelle inexistants
• Conservation par les actuaires de prérogatives spécifiques, notamment en termes de gestion des risques
• Du moins tant que les business models n’évoluent pas radicalement
• Une question en attente : combien de temps mettront les acteurs spécialistes du Big Data à adopter un
positionnement plus agressif sur le secteur de l’assurance?
• Le plan Big Data de François Bourdoncle et Paul Hamelin, dans le cadre des 34 plans pour la France industrielle,
propose 14 pistes pour contrer les acteurs dominants, notamment en Assurance
Université d'Eté IA – Analytics & Big Data - 08/07/2014
26
Impacts potentiel sur le rôle de l’actuaire
Nouvelles perspectives pour les actuaires3
• Une profession qui s’adapte
• GT IA Big Data sous la responsabilité de Florence Picard
Organisé en sous-groupes thématiques
– Norme et éthique
– Nouveaux modèles de mutualisation
– Impact sur le métier d’actuaire
– Algorithmes prédictifs de comportements
– Risques opérationnels et pistes d’audit
– Big Data à l’étranger
– Assurance connectée
Des cycles de conférence permettant une ouverture sur les nouveaux usages
Un nombre important d’actuaires participants
Un site dédié : http://actuaires-bigdata.fr/
• Formation « Data science pour actuaires » lancée en 2015
Délivrant le diplôme data scientist de l’Institut du Risk Management
• Adaptation du code de déontologie
Prise en compte des nouveaux usages et risques liés aux données
• Des efforts de communication restent cependant à réaliser afin de sensibiliser l’ensemble des actuaires aux
enjeux liés à l’évolution induite par l’arrivée du Big Data en Assurance
• Des efforts individuels nécessaires pour s’adapter à une évolution rapide de l’activité d’Assurance
Université d'Eté IA – Analytics & Big Data - 08/07/2014
Sommaire
Université d'Eté IA – Analytics & Big Data - 08/07/2014 27
1 Introduction
2 Focus techniques
Données / Datamasse
Evolutions BI
Apports des algorithmes et évolution de paradigme
3 Nouvelles perspectives pour les actuaires
Quels apports en Assurance
De nouvelles fonctions pour de nouvelles approches
Impacts potentiels sur le rôle de l’actuaire
4 Conclusion
Université d'Eté IA – Analytics & Big Data - 08/07/2014 28
Conclusion4
• Enfin, quelques repères sur le positionnement et l’état d’esprit à adopter
Démarrer au plus tôt pour générer un avantage concurrentiel
Implication primordiale du top-management (positionnement stratégique)
Nécessité de sortir des usages courants et de s’engager dans la voie de la transformation
Développement d’une culture du Test and learn et de l'apprentissage (sans redouter l’échec)
Envisager différents use cases et poursuivre les pistes les plus prometteuses
Nécessité d’adopter un esprit d'entreprenariat et de conquête
Société & Offres
• Interlocuteur de référence pour les assureurs, mutuelles,
administrations, banques et grandes entreprises qui
souhaitent un partenaire métier les accompagnant dans
leurs projets
• 180 collaborateurs dont 70 actuaires diplômés membres
de l’Institut des Actuaires
• Une offre organisée autour des métiers suivants
Actuariat Conseil
Protection Sociale
Risk Management
Finance & Performance
Projets & Maîtrise d’ouvrage
Digital
Notre Practice
• Composée de 12 Pôles de Compétences (PCOW) métiers
ou transverses, animés par nos Practice Leaders, pour
une couverture matricielle de nos besoins en expertises
• Travaux de fond, recherche applicative, connaissances
marchés et produits, veille, formations et communication
interne et externe
• Nos objectifs :
l’amélioration et le partage des connaissances et
expertises
Le développement et la diffusion des meilleures
pratiques professionnelles au sein de nos équipes
Une société de conseil experte et indépendante
Optimind Winter
Partenariats et engagements
• Relai français du réseau EURACS, European Actuarial &
Consultancy Services
Références client
• Plus de 95 % du marché de l’assurance en volume de CA
Université d'Eté IA – Analytics & Big Data - 08/07/2014 29