Transcript
Page 1: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

INTELLIGENCE ARTIFICIELLE (IA)

DANS LE SECTEUR FINANCIER

RISQUES ET ATTENTES DES RÉGULATEURS

Septembre 2020

Publication en partenariat avec GRACES Community

Copyright SIGMA Partners – Tous droits réservés www.sigmap.fr

Page 2: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 2 -

SOMMAIRE

q RAPPEL DES CONCEPTS THÉORIQUES DE L’IA

q USAGES DE L’IA DANS LE SECTEUR FINANCIER

q RISQUES LIES A L’IA

q GOUVERNANCE DES PROGRAMMES D’IA

q ATTENTES DES RÉGULATEURS

q CONCLUSION

q NOUS CONTACTER

Page 3: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 3 -

RAPPEL DES CONCEPTS THEORIQUES DE L’IA

Copyright SIGMA Partners – Tous droits réservés

Page 4: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 4 -

RAPPEL DES CONCEPTS THÉORIQUES DE L’IA

PRINCIPAUX DOMAINES DE L’IA

Expert Systems (rule based) : Il s’agit de systèmes capables de stocker etmanipuler des connaissances sous forme de règles et en déduire de nouvellesconnaissances en appliquant un moteur d’inférence qui choisit, en fonction de lasituation, les connaissances à utiliser (dans une base de connaissances) et leurenchaînement

Robotics : Il s’agit de la branche de l’IA qui connecte la perception à l’action,qui permet de disposer de robots équipés de capteurs afin d’interagir avec lemonde physique. Cette branche de l’IA est fortement connectée aux autresdomaines de l’IA dans le but de construire le « cerveau intelligent » pour que lerobot puisse bouger

Machine Learning (ML) : permet de construire des modèles prédictifs sur labase des données existantes ou, en d’autres termes, d’établir des prospectionscomportementales à la suite de la construction de modèles de comportementsétablis après analyse des tendances de données à disposition.

Parmi les applications duML, on distingue :

§ Computer Vision (Vision par ordinateur) : qui permet d’acquérir,d’analyser et de comprendre les images et vidéos en format numérique(Ex: reconnaissance faciale...)

§ Natural Langage Processing (Traitement naturel de langage) : quipermet aux ordinateurs de comprendre le langage humain

§ Planning : La planification a pour but d’élaborer des systèmes capablesd’atteindre un objectif spécifié en toute autonomie via la réalisation deséries d’actions prédéfinies

L’intelligence artificielle peut

être définie comme la théorie etle développement de systèmes

d’information capables de

réaliser des tâches requéranttraditionnellement l’intervention

de l’intelligence humaine.

Les technologies d’intelligenceartificielle ont pour objectif deréaliser une ou un ensemble de

tâches qui jusqu’alors ne

pouvaient être réalisées que parun cerveau humain tel que des

raisonnements, la résolution de

problèmes ….

QU’EST-CE QUE L’IA?

Copyright SIGMA Partners – Tous droits réservés

Page 5: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 5 -

DE LA BIG DATA A L’INTELLIGENCE ARTIFICIELLE

BIG DATA

Masse de données en croissanceexponentielle issue d’activités etprocessus de plus en plus digitaux

DATA LAKE DATALAB

IntégrationAnalyse,

expérimentation et qualification des

données d’un point de vue fonctionnel

CONSTRUCTION DE MODÈLES

D’INTELLIGENCE ARTIFICIELLE (IA)

en réponse à différents cas d’usage

Stockage de données brutes issues de multiples systèmes d’informations

pouvant être internes ou externes à l’entreprise

La réalisation de traitements

et d’analyses approfondies sur

les volumes grandissants de

données collectées ou

produites par les

organisations du secteur

financier et bancaire constitue

un axe de majeur de recherche

d’optimisation de la

performance des processus

opérationnels mais aussi des

processus de gestion des

risques.

Pour cela, les entreprises du

secteur travaillent à la mise en

place de systèmes avancés

facilitateurs de traitements

des données tels que des Data

Lake et Datalab.

Copyright SIGMA Partners – Tous droits réservés

Page 6: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 6 -

USAGES DE L’IA

DANS LE SECTEUR FINANCIER

Copyright SIGMA Partners – Tous droits réservés

Page 7: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 7 -

USAGES DE L’IA DANS LE SECTEUR FINANCIER

AUTOMATISATION DES PROCESSUS

GESTION DE LA RELATION CLIENT

LCB-FT &

DÉTECTION DE FRAUDE

MODÈLES

INTERNES

§ La RPA « Robotic ProcessAutomation » est un systèmequi permet d’automatiser destaches répétitives sans valeurajoutée notamment les tachesde Back Office ( Ex : envoid’emails, formatage dedonnées, génération degraphes…)

§ L’IPA « Intelligent ProcessAutomation » qui combine l’IAet le Machine Learning à l’instarde la NPL (21 et Text Mining. Detels systèmes permettentd’automatiser entièrement desparties de processus de Middleet Back Office ( Ex : scanner etclasser des documents,ouverture de comptes,garanties crédits…)

§ Les Chatbots, assistantsvirtuels sont implémentés parcertaines institutions pourrépondre aux questions etdemandes simples des clientsou fournir un premier niveau dehelp desk (centre d’assistanceaux clients/utilisateurs) pourrediriger la demande versl’interlocuteur approprié ( Ex:donner au client la possibilitéde connaitre son soldebancaire...)

§ Les Robo-Advisors, sont desassistants intelligents capablesde fournir des conseils auxclients ( Ex: Conseils eninvestissements financiers(allocation portefeuille deproduits financiers) établis surla base de données issues dequestionnaires adressés auxclients/prospects…)

§ LCB & LCF : les données detransactions historiques et defraudes avérées sont utiliséespour alimenter des algorithmesde Supervised Machine Learningqui permettent d’identifier lesalertes devant être traitéesmanuellement. Ces alertesprésentent l’avantage depertinence, gain de temps… (Ex:détection de fraudes, opérationsde blanchiment…)

§ LFT : en cas de manque dedonnées concernant lefinancement du terrorisme, desalgorithmes types UnsupervisedMachine Learning sont utiliséspour identifier les individus/transactions ayant descaractéristiques comportementsanormaux

§ Recours au ML(2) dans

l’automatisation des décisions

de crédit (entièrement oupartiellement) aussi bien pour lesclients corporates queparticuliers.

§ Les modèles de ML se basentsur l’analyse des données

(transactionnelles, l’historiquedes crédits…) pour établir desprofils types de clients (sur la basede l’analyse de leurs flux detrésorerie passés) et donner ainsiune estimation du risque créditplus précise. Plus le fluxd’informations exploitées estimportant, plus les résultats sont

fiables. Ces modèles permettentde réduire les coûtsopérationnels, de fournir uneréponse plus rapide aux clients,d’améliorer la transparence…

(1) Natural Langage Processing(2) Machine Learning

Copyright SIGMA Partners – Tous droits réservés

Page 8: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 8 -

L’USAGE DE L’IA PAR LES REGULATEURS

Contrôler dans le cadre des

missions de supervision

Recours à l’IA dans le cadre desmissions de contrôle par les

régulateurs (analyse de datareçue, qualité de données…)

Ne pas faire obstacle à

l’innovation

Co-construction de l’usage del’IA de demain dans le secteur

financier ainsi que de laRégulation qui l’encadrera àl’avenir

Utiliser dans le cadre des

autres missions

Agrégation de données

statistiques, usage de chatbotspour assister les entités

supervisées, chatbots pourrépondre aux réclamations desconsommateurs…

L’usage de technologies innovantes par les organes de Régulation SupTech (Supervisory technology) peut

transformer le monitoring de la conformité et des risques des entités supervisées en un processus proactif.

Par ailleurs, la Suptech peut avoir un impact organisationnel significatif et faire émerger des problématiques

juridiques et d’éthique jusque là inconnues.

Copyright SIGMA Partners – Tous droits réservés

Page 9: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 9 -

RISQUES LIES A L’IA

Copyright SIGMA Partners – Tous droits réservés

Page 10: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 10 -

RISQUES LIÉS À L’IA

RISQUES LIES AUX DONNEES

RISQUES LIES A LA GOUVERNANCE

RISQUES LIES A L’ETHIQUE

RISQUES LIES A LA TECHNOLOGIE

RISQUES LIES A L’EXTERNALISATION

§ Risques liés à la qualité

et à la gouvernance desdonnées (difficulté àtrouver des donnéespertinentes et de qualité,difficulté à connecter lesdonnées sources avec lessystèmes existants….)

§ Risques liés auxsources de donnéesexternes (données nonadaptées au contextelocal, qualité de donnéesinsuffisantes, nonfiables….)

§ Biais issus de lacalibration des donnéesengendrés lors des essaiset validation del’ensemble des données

§ Absence d’implicationdes hommes dans lesprocessus intégrant de l’IA« No Human in the loop »

§ Manque de

responsabilité dans lesactions engendrées par l’IA

§ Risque d’effet « boîtenoire» autour desprocessus IA qui ne sontpas documentés et pourlesquels la technologie est

complexe et évolutive

§ Manque et/ou absencede compétences internesspécifiques (ex : datascientists) pour développerou superviser la solution IAet forte dépendance dans

le personnel compétent(peu nombreux)

§ Non-conformité avecla règlementation deprotection des donnéespersonnelles (Droit àl’explication)

§ Biais liés auxalgorithmes (modèleerroné, sélection de

mauvaisesfonctionnalités…)

§ Biais humains : jeux dedonnées influencées pardes décisions humainesprises dans le passé(subjectivité des décisions)

§ Résultatsdiscriminants : lespopulations qui ne sontpas bien représentés dans

la phase test de donnéespeut être discriminant)

§ Risque lié au pouvoirprédictif du modèle quiest limité à l’apprentissageacquis par le passé : lemodèle ne peut pasprédire quelque chose qu’il

n’a jamais connu

§ Limitations techniques

pour la mise en placed’interfaces avec lessystèmes existants…

§ Vulnérabilités à lasécurité des systèmes(Data poisoning, attaquesde concurrents, vols demodèles…) amplifiée parl’ouverture des systèmes

d’information

§ Manque d’implication

des métiers qui peutconduire à de faiblesrésultats

§ Risque de dépendance

dans le peu de prestataires

qui offrent des solutions IA

§ Risques liés à

l’externalisation(continuité d’activité,

sécurité des données…)

§ Risque d’effetssystémiques en casd’erreurs du à l’utilisationdu modèle par plusieursinstitutions

Copyright SIGMA Partners – Tous droits réservés

Page 11: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 11 -

GOUVERNANCE DES PROGRAMMES D’IA

Copyright SIGMA Partners – Tous droits réservés

Page 12: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 12 -

PRINCIPES DE DÉVELOPPEMENT DES PROGRAMMES DE L’IA (3)

(3) Tels que définis dans le document de réflexion de l’ACPR « Gouvernance des algorithmes d’intelligence artificielle dans le secteur financier » publié en juin 2020

TRAITEMENT ADÉQUAT DES DONNÉES PERFORMANCE

STABILITÉ EXPLICABILITÉ

• Constitution d’une gouvernance des donnéespour garantir la qualité même des donnéestraitées par les algorithmes d’IA

• Mise en place d’un système d’évaluation et desurveillance de l’impact des traitements desdonnées par l’algorithme de sa conception et en« run » afin de détecter des éventuelsdérives/biais d’algorithme

• Traitements conformes aux règlementations envigueur (globale – RGPD – et spécifique –règlementation sectorielle), éthiques d’un pointde vue algorithmique et documentés

• Définition de métriques de performance (KeyPerformance Indicators – KPI- ou Key RisksIndicators – KRI ) visant à évaluer laperformance de l’algorithme d’IA encohérence avec les contraintes règlementaires

de l’organisation.• La confrontation de la performance mesurée

grâce aux métriques au regard de la complexitéet de la maintenabilité des algorithmes d’IA estindispensable pour mitigé la plus-value dusystème d’IA vs l’investissement actuel etfutur

• Garantir la continuité et la persistance deséléments constitutifs de l’algorithme dans letemps.

• Anticiper les sources d’instabilités desalgorithmes pour diminuer les risques qu’ellespourraient introduire: (i) dérive temporelle desdonnées qui évoluent dans le temps , (ii)difficultés de généralisation des décisionsalgorithmiques en cas de divergences entre lesdonnées de tests et de production ou (iii) dereproduction des décisions pour des donnéesidentiques dû au phénomène deréapprentissage (impact des décisions del’algorithme lui-même sur les données)

• Être en capacité de manière continue decomprendre les modalités de fonctionnementde l’algorithme d’IA et les décisions prises dansle cadre du fonctionnement de celui-ci encohérence avec les critères d’explication suivants:précise , complète , compréhensible, succincte,actionnable, robuste et réutilisable.

• Ces modalités de fonctionnement doivent êtrecompréhensibles par tous les acteurs del’organisation (équipes conformité et risques,interlocuteurs métiers ou informatiques)

Copyright SIGMA Partners – Tous droits réservés

Page 13: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 13 -

GOUVERNANCE DES PROGRAMMES DE L’IA

ORGANISATION & GESTION

DE PROJET

IDENTIFICATION &

ÉVALUATION DES RISQUES

PROCEDURES ET

CONTRÔLES

MAÎTRISE DE LA SÉCURITÉ

ET DE L’EXTERNALISATIONAUDITS

§ Constituer deséquipes multidisciplinaires dans lecadre des projets de l’IAdisposant descompétencesnécessaires et deseffectifs suffisants (datascientists, équipesmétiers, Conformité…)

§ Bien préparer la phasede design desprogrammes IA pourassurer l’intégrationavec les systèmesexistants et préparer lamise en qualité desdonnées

§ Gérer la conduite duchangement desméthodes de travailinduits par la peur enimpliquant les métiersen amont des projets IA.

§ Mettre en place unecartographie desrisques inhérents audéploiement dessolutions IA en amont deleur mise en place quidoit être régulièrementactualisée

§ Définir des dispositifsde maitrises des risques(procédures, systèmes,contrôles… ) adaptés ettransverses

§ Promouvoir uneculture du risque au seindes équipes impliquéesdans les programmes IA

§ Veiller à laformalisation et la miseà jour régulière desprocéduresopérationnelles desprocessus IA

§ Outre les procéduresopérationnelles, mettreen place les procéduresde sécurité, plan

d’urgence et decontinuité d’activité…

§ Mettre en place descontroles de 1er niveauet de 2ème niveauadéquats. Les équipesen charge des contrôlesde 2ème niveau doiventdisposer descompétencestechniques nécessaires

§ Evaluer les risques liésà l’externalisationnotamment le risque dedépendance vis-à-visdes prestataires

§ Customiser le produitIA/ML selon les besoinsspécifiques de chaqueétablissement

§ S’assurer d’avoir lesbonnes ressources eninternes ou bien via unSLA avec un prestataireexterne)

§ Appliquer le principe« Security by design » etinstaurer une veilletechnologique sur destechniques d’attaques etde défense également

§ Garantir l’auditabilitédes programmes de l’IApar l’implémentationdes logs détaillés pourtracer toutes les phasesdepuis les donnéesbrutes jusqu’à lacréation desfonctionnalités et desconclusions IA/ML

§ Assurer unesauvegarde des logsd’audit en phase avec lesexigences métiers etrèglementaires

§ Réaliser des auditsdes programmes IA pardes équipes quidisposent descompétencesnécessaires (à impliquerdès le début du projet oubien faire appel à desauditeurs externes :Experts IA)

Copyright SIGMA Partners – Tous droits réservés

Page 14: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 14 -

ATTENTES DES REGULATEURS

Copyright SIGMA Partners – Tous droits réservés

Page 15: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 15 -

ETHIQUE & CONFORMITÉ

ATTENTES DES RÉGULATEURS

GOUVERNANCE DES DONNÉES

CONTRÔLE INTERNE TECHNOLOGIE & EXTERNALISATION

§ Mettre en place un cadre solide de gouvernance desdonnées qui permet de définir les rôles etresponsabilités des propriétaires de données,

dictionnaire des données…

§ Dans les projets d’IA, impliquer les propriétaires des

données dans la recherches des bonnes données.

§ Identifier les problèmes de qualité des données etles remonter aux métiers concernés (Business owners)

pour réaliser des corrections à la source

§ En cas de recours à des données externes, faire des

Due Diligence sur les prest taires et

s’assurer de l’adéquation des données par rapport auxbesoins

§ Mettre en place un code de conduite des projets d’IAqui devrait couvrir les risques de biais de données et lesrésultats discriminants des algorithmes

§ Identifier et rectifier les biais de données lors de laphase de préparation des données (asymétrie d’analyse

des données…) et monitorer en continu de laperformance des modèles

§ Impliquer les équipes Conformité pour mettre en

œuvre les obligations induites par le RGPD

(consentement, droit à la rectification….)

§ Définir de manière claire les rôles et responsabilitésdurant toute la durée de vie du projet. La responsabiliténe peut pas être déléguée à une machine : l’ultime

responsabilité des solutions IA/ML doit être assumée

par le management

§ Garantir l'explicabilité à travers la documentation duchoix des schémas directeur des modèles et le work

flow des données ainsi que la documentation du choixde l’algorithme…

§ Assurer l’auditabilité des solutions IA par des pistes

d’audit pour contrôler le circuit de données dans lesystème IA et les décisions automatiques générées

§ Suivre de manière continu la performance des

modèles ML et les mettre à jour (Re training) quand

de nouveaux évènements surviennent

§ Appliquer le principe « Security by design » et

réaliser des revues indépendantes de la sécurité en

fonction de la criticité et le degré l’exposition

§ Appliquer les best practice et les recommandations

des régulateurs en termes d’externalisation IT

§ Surveiller les éventuels effets systémiques en cas

d’utilisation du modèle par plusieurs institutions, les

erreurs peuvent être amplifiées

Copyright SIGMA Partners – Tous droits réservés

Page 16: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 16 -

CONCLUSION

EFFICACITE DES PROCESSUS

GESTION DES RISQUES

TRAITEMENTDE MASSE

DEMARCHE DES REGULATEURS

La mise en place de technologiesde l’IA dans le cadre de différentscas d’usages présente desavantages certains notamment enterme d’efficacité des processus.Toutefois, ces dernièresengendrent de nouveaux types derisques (sécurité, risque de biais…)qui doivent être appréhendés parles établissements mais égalementles Régulateurs qui devrontadapter leurs dispositifs degestion des Risques et de

supervision en conséquence

La gouvernance desprogrammes innovants de l’IAdans le secteur financier passepar l’instauration des principesclassiques de contrôle interne etde gestion des risques tels quel’identification et l’évaluation desrisques, la formalisation et miseà jour des procédures, ladéfinition des contrôlesadéquats sur 3 niveaux, maisaussi par l’anticipation dupassage des processus intégrantde l’IA du mode « projet » aumode « run » à l’issu desprogrammes

Le traitement en masse dedonnées accéléré par lestechnologies d’IA nécessite uncadre de traitement stricte etpleinement conforme à larèglementation en la matièrece qui peut être complexe etlourd à maintenir et à faireévoluer compte-tenu desnombreux traitements dedonnées via l’IA

Le développement de l’IA dansun cadre maitrisé est le

principal enjeu du régulateur,via une gouvernance appropriéeà mettre en place pour garantirl’auditabilité, l’explicabilité etl’interaction homme/

algorithme. Les superviseurssont dans une démarche de co-

construire un développementmaitrisé de l’IA avec lesdifférents acteurs (grands

groupes, FINTECH, REGTECH....)

Copyright SIGMA Partners – Tous droits réservés Copyright SIGMA Partners – Tous droits réservés

Page 17: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 17 -

NOUS CONTACTER

Copyright SIGMA Partners – Tous droits réservés

Page 18: RISQUES ET ATTENTES DES RÉGULATEURS - GRACES

- 18 -

VOS CONTACTS CHEZ SIGMA PARTNERS

Sandrine STAUB

Partner

[email protected]

Laura LE TUTOUR

Consultante

[email protected]

Hind RIOUCH

Consultante Senior

[email protected]


Recommended