M©thodes Connexionnistes Apprentissage Fusion dinformations Lionel PREVOST Laboratoire des Instruments et Syst¨mes dIle de France Groupe Perception, Automatique

  • View
    106

  • Download
    3

Embed Size (px)

Text of M©thodes Connexionnistes Apprentissage Fusion dinformations Lionel PREVOST Laboratoire des...

  • Page 1
  • Mthodes Connexionnistes Apprentissage Fusion dinformations Lionel PREVOST Laboratoire des Instruments et Systmes dIle de France Groupe Perception, Automatique et Rseaux Connexionnistes lionel.prevost@lis.jussieu.fr 01.44.27.23.48
  • Page 2
  • MOTIVATIONS DES INGENIEURS : Sinspirer de la neurobiologie pour construire des machines capables dapprentissage et aptes remplir des taches spcifiques : classification, prdiction, contrle MOTIVATIONS DES BIOLOGISTES : Utiliser des outils issus des mathmatiques et de la physique en vue de construire des modles plausibles du fonctionnement du systme nerveux Pourquoi les rseaux de neurones ?
  • Page 3
  • La modlisation du neurone (McCullogh & Pitts 1943) Le processus dapprentissage (Hebb 1949) Le perceptron (Rosenblatt 1952) Convergence dun algorithme itratif dadaptation des poids dun neurone L Adaline (1960) Neurones en rseau mono-couche Limites du perceptron (Minsky & Papert 1969) Historique (2) les pionniers
  • Page 4
  • Historique (3) le no-connexionnisme Cartes auto-organisantes (Kohonen 1980) Machine de Boltzmann (Hopfield 1982) Rtro propagation (Rumelhart, Parker, Le Cun1985) Convergence dun algorithme itratif dadaptation des poids dun rseau de neurones multi-couche Support Vector Machine (Vapnik 1992) Thorie de lapprentissage
  • Page 5
  • lments de neurobiologie Visualisation par coloration (Golgi 1873) Concept de neurone (Ramon y Cajal 1988)
  • Page 6
  • AuditifCutanOlfactif Neurones rcepteursMoto-neurone Inter-neurones Diffrents types de neurone Bipolaire de rtine
  • Page 7
  • Neurone naturel dendrites Corps cellulaire Cne axonal Axone primaire Influx nerveux Axone secondaire synapse
  • Page 8
  • P(t) saturation hyper-polarisation -60 mV 0 0,5 ms dpolarisation frquence seuilstimulus Potentiel daction : spike potentiel de repos
  • Page 9
  • Dure dun spike : 0,5 1 ms Vitesse : 0,5 100 m/s Nombre de neurones : 10 100 milliards Nombre de connexions : 1000 100 000 par neurone 10 14 10 17 connexions Plasticit synaptique (Hebb) : dw/dt = SiSj SiSj w Caractristiques du neurone naturel
  • Page 10
  • Du neurone naturel au neurone formel (artificiel) (1) Propagation de linflux nerveux des axones vers les dendrites via des synapses excitatrices ou inhibitrices (2) sommation des influx ( entres ) au niveau du corps cellulaire (3) Transmission ( sortie ) si la somme dpasse un seuil
  • Page 11
  • Neurone artificiel ij f i1 xjxj i yiyi i entressortie PondrationSommationTransfert y i = f( i ) = f( ij x j + 0 )
  • Page 12
  • Application : discrimination camions/autres vhicules Vhicules : 2 descripteurs - x 1 : longueur - x 2 : bruit x1x1 x2x2 y 20 8 1520 16 5 2 10 15 6 20 1 1 Camion1 Camion2 Car Voiture1 Voiture2 (+remorque) Moto Vhicule
  • Page 13
  • x1x1 x2x2 y 20 8 1520 16 5 2 10 15 6 20 48-47=1 50-47=3 42-47=-5 25-47=-18 38-47=-9 24-47=-23 1 1 Camion1 Camion2 Car Voiture1 Voiture2 (+remorque) Moto Vhicule 2 x 1 +x 2 -47 0 =-47 1 =2 2 =1 1 x1x1 x2x2 y = seuil( 1 x 1 + 2 x 2 + 0 )
  • Page 14
  • Rseau de neurones ensemble de neurones interconnects paramtres: architecture, type de neurones et de connexions (compltes, feed-forward, locales, poids partags) Modes dutilisation: (1) apprentissage des paramtres partir des donnes (en gnral en minimisant une fonction derreur) (2) utilisation sur des donnes nouvelles
  • Page 15
  • Diffrents types de neurone Neurone produit scalaire = x Fonctions dactivation : - seuil - linaire - linaire sature - sigmode Neurone distance = ||x || Fonction dactivation : - gaussienne
  • Page 16
  • Entres Cellules du rseau Sorties Rseau mono-couche
  • Page 17
  • Entres Sorties Cellules de sortie Cellules caches Rseau multi-couche Classification Approximation de fonctions non linaires Modlisation de processus statiques
  • Page 18
  • EntresSorties Connexions rcurrentes Rseau boucl (rcurrent) Modlisation et commande de processus dynamiques
  • Page 19
  • Apprentissage modification des paramtres du rseau (1)Le rseau est stimul par lenvironnement (2)Le rseau subit des changements en rponse cette stimulation (3)Le rseau ragit diffremment suite aux modification de sa structure interne Prsentation dun exemple Modification des poids
  • Page 20
  • Discrimination En dimension 2 : la frontire est une droite dquation 1 x 1 + 2 x 2 + 0 =0 En dimension 3 : plan 1 2 x2x2 x1x1 En dimension n : hyperplan sparateur i x i + 0 = W.X= 0 W : vecteur des poids (connexions) X : vecteur dentre
  • Page 21
  • Formulation du problme On dispose dune base de donnes tiquetes base dapprentissage : ensemble (X, y d ) Problme deux classes C 1, C 2 Vecteurs dentre de dimension n+1 : X = (1 x 1 x 2 x n ) un neurone (n+1) entres et une sortie y valeurs dsires y d = +1 si X C 1 y d = -1 si X C 2 Trouver les poids W tel que W.X > 0 si X C 1 et W.X < 0 si X C 2 x1x1 x2x2 x n-1 y n 0 1...... xnxn 1
  • Page 22
  • Algorithme du Perceptron Initialiser W alatoirement Apprentissage : (1) Tirer au hasard un exemple X de la base dapprentissage (2) si y d *W(t).X 0 pour tout X, tous les exemples sont bien appris terminer Sinon : retour en (1)
  • Page 23
  • Exemple : fonction boolenne OR x1x1 x2x2 ydyd 11 1 1 1 1 1 X1 X2 Exemples X3 X4 x2x2 x1x1
  • Page 24
  • Fonctions AND et XOR Lalgorithme du perceptron ne converge que si les classes sont linairement sparables x2x2 x1x1 x2x2 x1x1
  • Page 25
  • Extension N classes N neurones le neurone i spare la classe i des autres classes vecteur des valeurs dsires y d = (y d1, y d2, , y dN ) 1 2 3 y1y1 y2y2 yNyN x1x1 x2x2...... xnxn
  • Page 26
  • Apprentissage : rgle delta Reformulation du perceptron : = X(y d - y) Neurones fonction dactivation linaire : y = W.X = X(y d - y)(1) Erreur : E = (y d y) 2 Trouver les poids optimaux revient minimiser lerreur par rapport aux poids : On retrouve lquation (1) qui modifie les poids dans la direction oppose du gradient de lerreur
  • Page 27
  • Sparabilit linaire Les rgions 1, 2 et 3 sont linairement sparables (LS) Perceptron mono-couche La rgion est LS de la rgion 2 Les rgions 2 et 3 ne le sont pas lalgorithme ne converge pas perceptron multi-couche 1 2 3 1 2 3
  • Page 28
  • Perceptron multi-couches (MLP) Ajout dune couche de C neurones cachs Projection des donnes dans un espace de dimension C o elles sont linairement sparables x1x1 x2x2 x3x3 xdxd y1y1 y2y2 yNyN exemple =
  • Page 29
  • Fonction de transfert f : sigmode x k (i)= f [ ij x k-1 (j)] Critre : Erreur Quadratique Moyenne < EQM = [y d (i) - x(i)] 2 Minimisation de lEQM pour trouver les meilleurs poids ij Apprentissage par rtro-propagation
  • Page 30
  • Tant que EQM > : Propager chaque exemple dans le rseau Rtro-propagation : principe y d1 y d2 y dN +- +- +- = valeurs dsires exemple X = x1x1 x2x2 x3x3 xnxn y1y1 y2y2 yNyN Calculer lerreur en sortie puis le gradient Modifier les poids dans la direction oppose au gradient
  • Page 31
  • Rtro-propagation : algorithme 1. Initialiser les ij alatoirement 2. Propager un exemple X : 3. Rtro-propager : Couche de sortie : Couches caches : 4. Modifier les poids : ij ij ij avec ij = i x j 5. Si EQM assez petite alors FIN sinon aller en 2
  • Page 32
  • Dmonstration On souhaite minimiser lerreur : Neurones de sortie : Neurones cachs : ordonc k : couche suivante