52
Réseaux de neurones temporels : dynamique et apprentissage Hélène Paugam-Moisy Professeur à l’Université Lyon 2 Institut des Sciences Cognitives [email protected]

R é seaux de neurones temporels : dynamique et apprentissage

  • Upload
    chana

  • View
    49

  • Download
    1

Embed Size (px)

DESCRIPTION

R é seaux de neurones temporels : dynamique et apprentissage. H élène Paugam-Moisy Professeur à l’Université Lyon 2 Institut des Sciences Cognitives. [email protected]. Les r é seaux de neurones naturels. Cerveau, neurones et intelligence. Chez les animaux, la place occup é e par le - PowerPoint PPT Presentation

Citation preview

Page 1: R é seaux de neurones temporels : dynamique et apprentissage

Réseaux de neurones temporels :

dynamique et apprentissage

Hélène Paugam-MoisyProfesseur à l’Université Lyon 2Institut des Sciences Cognitives

[email protected]

Page 2: R é seaux de neurones temporels : dynamique et apprentissage

Les réseaux de neurones naturels

Page 3: R é seaux de neurones temporels : dynamique et apprentissage

Cerveau, neurones et intelligence

Le cerveau humain est constitué d’environ1011 neurones ;

en moyenne, chaque neurone a de l’ordre de104 connexions.

Chez les animaux, laplace occupée par lecortex semble êtreproportionnelle au

développement desfacultés intelligentes.

Page 4: R é seaux de neurones temporels : dynamique et apprentissage

Neurones biologiques / naturelsLes neurones forment des réseaux de communication complexes, chaqueneurone établissant de très nombreuses connexions avec d'autres.

vibrisses du rat : neurones sensitifs => thalamus(White et Peters ) neurones thalamiques => cortex

Page 5: R é seaux de neurones temporels : dynamique et apprentissage

Neurones biologiques / naturels

gallerie de photos...

Page 6: R é seaux de neurones temporels : dynamique et apprentissage

Neurones biologiques / naturels

Première schématisationdu neurone (Dieters, 1865)

Enregistrement d’un neuronevivant : micro-électrode de verre

Neuropuce (Infineon) : 16 384 capteurs au mm2

pour enregistrer tout signal électrique émis parun neurone vivant, ici celui d’une “limace de boue”[Lymnaea stagnalis]

Page 7: R é seaux de neurones temporels : dynamique et apprentissage

Neurones biologiques / naturels

Schématiquement, un neurone biologique est constituéd’un arbre dendritique, d’un soma et d’un axone.

somaaxone

dend

rites

Un neurone peut émettre des impulsions sur son axone.Elles se propagent vers les dendrites des neurones auxquels

il est connecté, qui les transmettent au corps cellulaire(ou soma), via des connexions pondérées par des synapses.

connexionsynaptique

autredendrite

Page 8: R é seaux de neurones temporels : dynamique et apprentissage

Connexions synaptiques

Page 9: R é seaux de neurones temporels : dynamique et apprentissage

Connexions synaptiques

Page 10: R é seaux de neurones temporels : dynamique et apprentissage

Plasticité synaptique

Loi de renforcement de Hebb (1949) :

=> c’est le principal fondement des règlesd’apprentissage, dans les réseaux de neurones artificiels.

En résumé : si deux neurones sont souventexcités simultanément, alors ils augmententla force (le poids) de leur interconnexion .

Postulat physiologique :

“quand un axone de la cellule A est assez proche pour exciter une cellule Bet quand, de façon repétée et persistante, il participe à son activation, uncertan processus de croissance ou un changement métabolique s’installe,dans une cellule ou dans les deux, tel que l’efficacité de A, en sa qualitéde cellule qui active B, est augmentée”.

Page 11: R é seaux de neurones temporels : dynamique et apprentissage

Les réseaux de neurones artificiels

Page 12: R é seaux de neurones temporels : dynamique et apprentissage

Neurones artificiels

Le premier modèle mathématique de neurone est le neurone formel de McCulloch et Pitts (1943).

y = 1 si Σwixi>θ= 0 sinon

Loi du “ tout ou rien ” : le neurone émet ou non uneimpulsion sur son axone, selon que la somme pondéréede ses entrées dendritiques dépasse ou non son seuil θ.

x1

xi

xn

...

...

Σ

w1

wi

wn

sommation, seuillage

θ

Page 13: R é seaux de neurones temporels : dynamique et apprentissage

Réseaux de neurones artificiels

Un réseau de neurones artificiels est un ensemble deneurones formels, connectés entre eux selon une

certaine architecture / topologie.

Les activités se propagent de neurone en neurone selonune certaine dynamique.

Les poids des connexions sont modifiés / adaptés parune règle d’apprentissage, à partir d’exemples.

Page 14: R é seaux de neurones temporels : dynamique et apprentissage

Réseaux de neurones artificiels

φ

RNA

X Y

vecteur d’entrée vecteur de sortie

On peut aussi voir un réseau de neurones artificielscomme un outil de modélisation de type “ boîte noire ” :

Le RNA réalise une association d’un espace d’entrée X versun espace de sortie Y. La “ fonction ” φ est définie par les

poids du réseau. Ceux-ci sont ajustés au problème par unerègle d’apprentissage, à partir d’une base d’exemples (xk,tk )

[ apprentissage supervisé, si tk est connu ]

Page 15: R é seaux de neurones temporels : dynamique et apprentissage

Connexions synaptiques

Les poids synaptiques (artificiels) sont des nombres réels.

On associe habituellement les poids positifs à des connexionsexcitatrices et les poids négatifs à des connexions inhibitrices

mais...

les règles d’apprentissage des modèles connexionnistesclassiques peuvent modifier le signe d’un poids synaptiquedonné, ce qui n’est guère réaliste, sur le plan biologique.

Page 16: R é seaux de neurones temporels : dynamique et apprentissage

Motivation initiale

La motivation initiale n’était pas non plus très biologique :

l’idée sous-jacente à la définition du neurone formel étaitde chercher à montrer que la pensée intelligente résultait

du fonctionnement des neurones du cerveau...

mais, à l’époque, on pensait que :

intelligence raisonnement

raisonnement logique

logique neurones

Page 17: R é seaux de neurones temporels : dynamique et apprentissage

Synthèse des fonctions booléennes

Ainsi, les premiers travaux de McCulloch et Pitts ont été deréaliser la synthèse des fonctions booléennes élémentaires

à partir de réseaux de neurones formels.

Parallèlement, les mathématiciens tentaient de démontrerque tout raisonnement pouvait se formaliser par des

combinaisons complexes de règles logiques.

donc, dans l’esprit des travaux de Turing :

grand reséaude neurones

raisonnement complexe,intelligent

émergence

Page 18: R é seaux de neurones temporels : dynamique et apprentissage

Modèles connexionnistes “classiques”1940

1950

1960

1970

1980

1990

2000

20...

Neurone formel de McCulloch & Pitts

Adaline de WidrowPerceptron de Rosenblatt

Réseau de Hopfield

Réseaux RBF Moody & Darken

Cartes auto-organisatrices de KohonenRéseaux MLP Rumelhart et al.

Support Vector Machines Vapnik

Loi de renforcement de Hebb } notions fondatrices

Page 19: R é seaux de neurones temporels : dynamique et apprentissage

Exemple : un réseau MLP

X Y

entrées sortiesdésirées

sortiescalculées

tmk

t1k

ym

y1

xn

x1

Généralisation, calcul du réseau :• présenter les xi aux neurones d’entrée• calculer les activités, de couche en couche, jusqu’aux sorties yj

Apprentissage, par rétro-propagation [ backprop ] :

xnk

x1k

y1k

ymk

erreur

neurone sigmoïde Nj :yj = σ ( Σwijxi - θj )

• initialiser les poids wij aléatoirement, sur chaque couche• présenter les xi

k aux neurones d’entrée• calculer les activités, de couche en couche, jusqu’aux sorties yj

k • mesurer l’erreur entre sorties calculées yj

k et sorties désirées tjk

• en sens inverse, calculer les gradients et modifier les poids wij

A

k

Page 20: R é seaux de neurones temporels : dynamique et apprentissage

Modèles connexionnistes “classiques”Les réseaux de neurones artificiels sont devenus des outils

de modélisation et de calcul destinés aux ingénieurs :

• Reconnaissance des formes, classification, clustering• Prédiction, prévision de séries temporelles• Contrôle, identification de systèmes• Compression de données• Bioinformatique• Robotique

Des exemples :

repérer l’approche d’une tempêteidentifier de multiples espèces de fleurs

reconnaître une voix dans un téléphone mobiledistinguer les raisins utilisés pour faire un bon vin

diagnostiquer les conditions d’une conduite dangereusereconnaître le visage de quelqu’un qu’on n’a pas vu

récemment

Page 21: R é seaux de neurones temporels : dynamique et apprentissage

Modèles connexionnistes “classiques”

Ces RNA sont, d’ailleurs, des outils très performants :

• Calculabilité : plus puissants qu’une machine de Turing

• Complexité : NP-complétude du “ loading problem ”

• Capacité : MLP et RBF sont approximateurs universels

• Théorie statistique de l’apprentissage, PAC-learning

mais...les méthodes mises en oeuvre pour les améliorer sontde plus en plus souvent des méthodes déjà connues...

et surtout...

on s’est beaucoup éloigné de l’inspiration biologique !

Page 22: R é seaux de neurones temporels : dynamique et apprentissage

Les neurones impulsionnelsou

“ spiking neurons ”

Page 23: R é seaux de neurones temporels : dynamique et apprentissage

Les neurones “classiques”

neurone à seuil(fx de Heaviside)

neurone linéaire(fx identité)

neurone sigmoïde(exp ; argth)

y = f ( Σ wixi - θ )i=1

n calculs basés surle produit scalaire

calculs basés sur la distancey = g (|| x - w ||2)Dans certains modèles (cartes de Kohonen, réseaux RBF) :

f = H f = σf = I

Page 24: R é seaux de neurones temporels : dynamique et apprentissage

Que représente “ xi ” ?

Les algorithmes des réseaux de neurones classiques sontitératifs. A chaque pas de temps, chaque neurone reçoit nvaleurs d’entrée xi et les traîte selon sa propre formule decalcul et en fonction des valeurs de ses poids synaptiques.

xi représente le taux moyen de décharge

provenant du neurone présynaptique Ni

Cette moyenne (fréquence) résulte de plusieurs émissionsd’impulsions pendant un intervalle de temps donné, maison ne connaît pas ces impulsions de manière précise.

cependant...

Page 25: R é seaux de neurones temporels : dynamique et apprentissage

Neurone impulsionnelLes neurobiologistes ont montré que les neurones encodentl’information dans les instants d’émission des impulsions.

impulsion = potentiel d’action = spike

spiking neuron

Pour une modélisation plus réaliste, il faut prendre encompte les aspects temporels et utiliser de nouveaux

modèles de neurones : des “ neurones impulsionnels ”.

Page 26: R é seaux de neurones temporels : dynamique et apprentissage

Dynamique neuronale

neuronespré-synaptiques

neuronepost-synaptique

Nj

N2

N1

uj (t)t1(1) t1

(2)

t2(1) t2

(2)

tj (f)

t [ms]t1(1) t2

(1) t1(2) t2

(2)

u [

mV

]

V

tj (f)

chaque spike pré-synaptiqueengendre un EPSP (en rouge) ;ceux-ci s’ajoutent (en bleu) ;quand uj (t) atteint le seuil Vle neurone post-synaptique Nj

émet à son tour un spike.

EPSP = potentiel post-synaptique excitateur

urepos

Page 27: R é seaux de neurones temporels : dynamique et apprentissage

Le modèle de Hodgkin-Huxley

Le modèle de neurone de Hodgkin-Huxley (1952) tientcompte avec précision des canaux ioniques et du processusélectro-chimique, au niveau des connexions synaptiques :

I (t)

C NaKR

courant d’entrée

u potentiel de membrane

Σ Ik = gNam3h(u-ENa) + gKn4(u-EK) + (u-EL)1R_

k

dudt__C = - Σ Ik (t) + I (t)

k

... où les variables m, n et h sont elles-mêmes régies pardes équations différentielles, en fonction du temps.

sodiumpotassium

Page 28: R é seaux de neurones temporels : dynamique et apprentissage

Le modèle de Hodgkin-Huxley

le modèle de Hodgkin-Huxley est beaucoup trop complexepour modéliser des réseaux de neurones temporels !

mais...

Ce modèle est capable de rendre compte de la dynamiqued’émission d’un spike et de se comporter en neurone à seuil

réponse du neuroneà une impulsion, i.e.un courant d’entrée

de courte duréeI(t) envoyé à t < 0t [ms]

Δu(t

) [m

V]

0 5 10 2015

Page 29: R é seaux de neurones temporels : dynamique et apprentissage

Le modèle LIF : “Leaky Integrate and Fire”

Le modèle “Leaky Integrate and Fire” est unesimplification du modèle de Hodgkin-Huxley :

CR

I (t) courant d’entrée

u potentiel de membrane

1R_du

dt__C = - u (t) + I (t)

V

Un spike est émis à chaque fois que le potentiel demembrane croît jusqu’à dépasser le seuil V du neurone.instant d’émission du spike :

t(f) tel que u(t(f)) = V avec u’(t(f)) > 0

Page 30: R é seaux de neurones temporels : dynamique et apprentissage

Le modèle SRM : “Spike Response Model”

Le “Spike Response Model” SRM de Gerstner (1995) est unegénéralisation du LIF, qui intègre le passé du neurone Nj

instant d’émission du prochain spike :

somme des PSPseuil, émission

EPSP = PSP excitateur poids wij positif

IPSP = PSP inhibiteur poids wij négatif

courant extérieur

t(f) tel que u(t(f)) = seuil avec u’(t(f)) > 0

uj (t) = Σ ηj (t-tj(f)) + Σ Σ wijεij (t-ti

(f)) + ∫κ(t-tj,s)I(t-s)dsspikesde Ni

Ni pré-synaptiques

^∞

0spikesde Nj

Page 31: R é seaux de neurones temporels : dynamique et apprentissage

Le modèle SRM : “Spike Response Model”

Exemple de formule mathématique pour le seuil :

ηj (s) = - V exp (- ) H (s-δabs) – K H (s) H (s-δabs)s-δabs

τ_____

Exemple de formule pour les réponses aux PSP :

εij (s) = [exp(- ) – exp(- )] H (s-Δij)s-Δij

τs

____s-Δij

τm

____

variations autour du seuil V et modélisation d’unepériode réfractaire δabs

où Δij est le délai de propagation le long de l’axonequi va du neurone Ni vers le neurone Nj

Page 32: R é seaux de neurones temporels : dynamique et apprentissage

Le modèle SRM0

On peut simplifier le modèle SRM,tout en conservant l’essentiel de ses propriétés

=> on obtient le modèle phénoménologique SRM0

uj (t) = Σ wijε(t-ti-Δij)Ni pré-synaptiques

^

cette formule dérive d’une intégration de la précédente,sur un court intervalle de temps (1ms), en ne mémorisant

que l’instant du dernier spike émis par Nj et en faisantl’hypothèse que chaque neurone présynaptique Ni émetau plus une fois à l’instant ti dans l’intervalle de temps.

^

Page 33: R é seaux de neurones temporels : dynamique et apprentissage

Le modèle SRM0

Exemple de formule pour les réponses aux PSP :

ε(s) = exp ( ) 1 - s τ____s

τ__

où τ est une constante de temps caractéristique dupotentiel de membrane (augmentation puis décroissance)

instant d’émission d’un spike, par le neurone Nj :

tj(f) t tel que uj(t) = θ(t-ti) avec u’j(t) > 0^

ce qui donne une fonction non-linéaire de la variable d’état (potentiel de membrane) uj(t) du neurone Nj

EPSP

IPSP

Page 34: R é seaux de neurones temporels : dynamique et apprentissage

Les réseaux de neurones temporels

dynamique, puissance de calcul

Page 35: R é seaux de neurones temporels : dynamique et apprentissage

Les réseaux de neurones temporels

Comme pour les neurones classiques, on peut connecterentre eux des neurones temporels selon diverses topologies,simuler leur fonctionnement en réponse à des entrées venant

d’un environnement extérieur et récupérer des sorties.

SNN = Spiking Neuron Networks

cependant :vecteur numérique spikes

traduction

Une solution, le codage temporel :dans un intervalle de temps fixé, plus le spike est

précoce, plus il correspond à une valeur numérique élevée

Page 36: R é seaux de neurones temporels : dynamique et apprentissage

Dynamique des RNA “classiques”

topologie en couches => dynamique feedforward

ym

y1

xn

x1

topologie bouclée => dynamique récurrente

yny1

x1 xn

La dynamique dépend directement de la topologie...

Page 37: R é seaux de neurones temporels : dynamique et apprentissage

Dynamique des RN temporels

La topologie est sous-jacente à la dynamique,mais...

toutes les connexions ne sont pas actives à chaque instant

des patterns d’activité émergent ;ils se modifient au cours du temps

=> un moyen plus riche de coder l’information

Assemblée de neurones :

ensemble de neurones qui se synchronisent,en réponse à un stimulus extérieur

Page 38: R é seaux de neurones temporels : dynamique et apprentissage

Assemblées de neurones

Certains neurones accroissent leur activité,d’autres cessent momentanément d’émettre.

un stimulusest appliquéen entrée,entre 1000et 2000 ms [ Meunier ]

Page 39: R é seaux de neurones temporels : dynamique et apprentissage

Implémentation des RN temporels

Toutes les connexions ne sont pas actives à chaque instant

il devient maladroit de programmer uneboucle de calcul systématique des étatsde tous les neurones et de toutes lessynapses à chaque itération.

L’échelle de temps est très différente (~ temps-réel )

il convient d’implémenter ces réseauxpar programmation événementielle

EDS = Event-Driven Simulation

Page 40: R é seaux de neurones temporels : dynamique et apprentissage

Nouvelle motivation

On a beaucoup progressé sur la compréhension dufonctionnement du cerveau, et l’idée que l’on se fait del’intelligence a beaucoup évolué en quelques décennies.

maintenant, on pense plutôt que :

intelligence mémorisation

mémorisation associations

associations neurones

La synchronisation des assemblées de neuronesest une piste extrémement prometteuse...

Page 41: R é seaux de neurones temporels : dynamique et apprentissage

Puissance de calcul

Des résultats théoriques* (Maass, 1997) ont montré que les spiking neurons sont plus puissants que les

neurones classiques, même avec des modèles simples

fonctions de réponse aux PSP

modélisation du seuil

t

εij(t-s)

s+Δijs

u

t

εij(t-s)

s+Δijs

u

type A

type B

tt ’

θj(t-t’)

1 spiking neuron de type BO(n) neurones sigmoïdesO(n log n) neurones à seuil

*

Page 42: R é seaux de neurones temporels : dynamique et apprentissage

Puissance de calcul

Réseaux de neurones de 3ème génération :

Réseaux de neurones de 2ème génération :

Réseaux de neurones de 1ère génération :

spiking neurons

intégration d’informations en continu

neurones sigmoïdes, neurones distance

entrées et sorties réelles

neurones à seuil, à saturation

entrées et sorties booléennes

1995

1985

1945

Page 43: R é seaux de neurones temporels : dynamique et apprentissage

Apprentissage et plasticité

Page 44: R é seaux de neurones temporels : dynamique et apprentissage

Apprentissage dans les SNN

Les réseaux de neurones temporels, ou SNN (réseaux despiking neurons) modélisent beaucoup mieux que leursancêtres la dynamique des interactions entre neurones.

mais :

comment réalise-t-on l’apprentissage des poidsdans les réseaux de neurones temporels ?

devrait-on aussi apprendre les délais ?

de nombreux problèmes ouverts

Page 45: R é seaux de neurones temporels : dynamique et apprentissage

Apprentissage dans les SNN

Plusieurs chercheurs ont démontré [ Maass, 1997 ; Bohte, 2002 ; Ruf & Schmitt, 2000 ]

que l’on pouvait émuler les principaux modèles classiques(réseau de Hopfield, réseau MLP, cartes de Kohonen)

avec des réseaux de neurones impulsionnels

mais :

la simple reproduction des modèles de 2nde générationne permet pas d’exploiter la pleine puissance de ces

modèles de 3ème génération que sont les SNN.

on pourrait aussi chercher une inspiration biologique ?

Page 46: R é seaux de neurones temporels : dynamique et apprentissage

Plasticité synaptique

pré

post

wij

pré

post

wij

Les neurobiologistes ont observé des

potentiations synaptiques quand un neurone pré-synaptiqueémet juste avant un neurone post-synaptique

et des

dépressions synaptiques quand un neurone pré-synaptiqueémet juste après un neurone post-synaptique

Ce phénomène de plasticité synaptique est connu sous le nom de STDP = Spike-Time-Dependent Plasticity

Page 47: R é seaux de neurones temporels : dynamique et apprentissage

Mécanismes STDP

poids excitateurs, w > 0

poidsinhibiteurs,w < 0

modification des poidsen fonction deΔt = tpost - tpré

Page 48: R é seaux de neurones temporels : dynamique et apprentissage

Difficultés, avec la STDP

Les poids synaptiques sont constamment modifiés=> inconvénients de l’apprentissage “on-line” :

manque de stabilité

oubli du passé lointain

On retrouve le classique dilemme plasticité / stabilitémis en évidence par Grossberg [ fin des années 80 ]

il faudrait combiner la STDP avecune autre méthode d’apprentissage

Page 49: R é seaux de neurones temporels : dynamique et apprentissage

Algorithmes évolutionnistesUne autre piste consiste à utiliser des

algorithmes génétiques pour optimiser les valeurs despoids synaptiques en adaptant le réseau à son milieu.

génération 1

génération N

génération 2

et ainsi de suite ...sélectioncroisementmutation

Les individus sont desréseaux de neurones temporels

Page 50: R é seaux de neurones temporels : dynamique et apprentissage

Algorithmes évolutionnistes et STDP

SNN plongé dans un zoo virtuel

les poidsne cessent

d’evoluer

Page 51: R é seaux de neurones temporels : dynamique et apprentissage

Conclusion

Page 52: R é seaux de neurones temporels : dynamique et apprentissage

Les réseaux de neurones temporels sont :

• des modèles proches du biologique• des outils de calcul très puissants

mais...

on maîtrise encore mal leur fonctionnement,en particulier au niveau de l’apprentissage