Introduction Aux Rn&Ags

  • View
    9

  • Download
    2

Embed Size (px)

DESCRIPTION

Introduction aux rseaux de neurones artificielles et aux algorithmes gntiques

Transcript

  • Facult des Sciences de Rabat

    Master IT Anne scolaire

    2007/2008

    INTRODUCTION AUX RESEAUX DE NEURONES

    ET AUX ALGORITHMES GENETIQUES

    Ahmed Hammouch

  • HAMMOUCH Ahmed 2

    SOMMAIRE Premire partie : Introduction aux rseaux de neurones artificiels I. INTRODUCTION II. HISTORIQUE III. LE NEURONE BIOLOGIQUE

    III.1. Le neurone III.2. Structure dun neurone

    III.2.1. Le corps cellulaire III.2.2. Les dendrites III.2.3. L'axone

    III.3. Fonctionnement des neurones IV. MDELISATIONS

    IV.1. Les dbuts : Le modle de Mac Culloch et Pitts (1943) IV.2. Modle gnral IV.3. Le neurone sommateur IV.4. Le neurone distance IV.5. La structure des connexions IV.6. La dynamique des connexions

    V. RESEAU MONOCOUCHE

    V.1. Structure du rseau V.2. Principe dapprentissage

    V.2.1. La loi de Hebb V.2.2. La rgle d'apprentissage du Perceptron et dAdaline

    V.3. Limites des rseaux monocouche : la sparation linaire V.4. Variation du seuil V.5. Illustration de la rgle du Perceptron V.6. Illustration de la rgle dapprentissage dAdaline V.7. Vers des rseaux multicouches

    VI. Mmoires associatives linaires VI.1. Structure du rseau VI.2. Fonctionnement VI.3. Apprentissage VI.4. Illustration

  • HAMMOUCH Ahmed 3

    VI.5. Limitations VII. RESEAU MULTICOUCHES

    VII.1. Structure dun rseau multicouches VII.2. Apprentissage dans un rseau multicouches VII.3. Aspects pratiques de lalgorithme

    VII.3.1. Lissage de la rgle dadaptation VII.3.2. Valeurs initiales des poids VII.3.3. Choix du pas dadaptation VII.3.4. Test darrt VII.3.5. Dimensionnement du rseau VII.3.6. Base dapprentissage et de gnralisation VII.3.7. Le temps de calcul

    VII.4. Exemples dutilisation du rseau multicouches VII.4.1. Approximation dune fonction VII.4.2. Classification dimages

    VIII. RESEAU DE KOHONEN

    VIII.1. Rseau apprentissage comptitif VIII.1.1. Structure du rseau VIII.1.2. Lapprentissage comptitif standard VIII.1.3. Apprentissage comptitif sensible la frquence et apprentissage comptitif pnalisant le rival

    VIII.1.3.1. Apprentissage comptitif sensible la frquence VIII.1.3.2. Apprentissage comptitif pnalisant le rival

    VIII.2. Cartes auto - organisatrices de Kohonen VIII.2.1. Structure du rseau VIII.2.2. Fonctionnement du rseau VIII.2.3. Apprentissage et voisinage dans une couche de Kohonen VIII.2.4. Paramtres dapprentissage VIII.2.5. Quelques remarques pratiques VIII.2.6. Convergence de I'algorithme VIII.2.7. Illustration

    IX. LE MODELE DE HOPFIELD

    IX.1. Structure du rseau IX.2. Dynamique du rseau

    IX.2.1. Mise jour eu mode synchrone IX.2.2. Mise jour en mode asynchrone

    IX.3. Apprentissage du rseau

  • HAMMOUCH Ahmed 4

    IX.4. Limites des rseaux de Hopfield IX.5. Rseau de Hopfield et optimisation combinatoire

    IX.5.1. Structure gnrale du rseau IX.5.2. Fonction dnergie du rseau IX.5.3. Formulation duale IX.5.4. Applications

    IX.6. Rseaux de Hopfield recuit simul IX.6.1. Le recuit simul IX.6.2. Utilisation dans les rseaux de Hopfield

    IX.7. Illustration

    Deuxime partie : Introduction aux Algorithmes Gntiques I. INTRODUCTION II. HISTORIQUE III. LES ALGORITHMES GENETIQUES (AGS)

    III.1. Principe de base dun algorithme gntique III.2. Etapes fondamentales dun AG

    III.2.1. Codage des solutions III.2.2. Initialisation III.2.3. Evaluation III.2.4. Oprateurs dvolution

    III.2.4.1. La slection III.2.4.2. Le croisement III.2.4.3. La mutation

    III.2.5. Stratgies de remplacement III.2.6. Critre darrt

    III.3. Illustration III.4. Problmes associs aux AGs

    III.4.1. Convergence prmature III.4.2. Convergence lente

    Exercices Quelques rfrences bibliographiques

  • HAMMOUCH Ahmed 5

    cx|x t|x M \wv| t xt wx

    xx t|y|v|x

  • HAMMOUCH Ahmed 6

    I. Introduction Sous le terme de rseaux de neurones artificiels (ou formels), on regroupe aujourdhui un certain nombre de modles dont lintention est dimiter certaines des fonctions du cerveau humain en reproduisant certaines de ses structures de base. Les rseaux de neurones artificiels sont composs dlments simples (ou neurones) connects entre eux. Ces lments ont t fortement inspirs par le systme nerveux biologique. Comme dans la nature, le fonctionnement dun rseau de neurones est fortement influenc par les connexions des lments entre eux. Les valeurs de ces connexions (ou poids) sont ajustes durant une phase dentranement. Cette phase dite dapprentissage permet aux rseaux de neurones de raliser des taches complexes dans diffrents types dapplication (classification, identification, reconnaissance de caractres, de la voix, vision, systme de contrle). Les rseaux de neurones peuvent souvent apporter une solution simple des problmes encore trop complexes ne pouvant tre rsolus rapidement par les ordinateurs actuels (puissance de calcul insuffisante) ou par notre manque de connaissances. La mthode dapprentissage dite supervis est souvent utilise mais des techniques dapprentissage non supervis existent. Les rseaux de neurones ont une histoire relativement jeune (environ 50 ans) et les applications intressantes des rseaux de neurones nont vu le jour quil une vingtaine danne (dveloppement de linformatique). Lobjectif de ce cours est de prsenter (sommairement) les grands types de rseaux de neurones, leurs rgles et algorithmes dapprentissage et leurs applications.

  • HAMMOUCH Ahmed 7

    II. Historique Historiquement, les origines de cette discipline les rseaux de neurones sont trs diversifies. En 1943, McCulloch et Pitts tudirent un ensemble de neurones formels interconnects, et montrrent leurs capacits calculer certaines fonctions logiques. En 1949, Hebb, dans une perspective psycho- physiologique, souligne limportance du couplage synaptique dans les processus dapprentissage et prsente une rgle dapprentissage. De nombreux modles de rseaux de neurones sinspirent, aujourdhui encore, de cette rgle de Hebb. En 1958, Rosenblatt dcrit le premier modle oprationnel de rseaux de neurones mettant en uvre les ides de Hebb, McCulloch et Pitts : le Perceptron. Cest un rseau de neurones inspir du systme visuel. Il possde deux couches de neurones : une couche de perception et une couche lie la prise de dcision. Cest le premier systme artificiel capable dapprendre par exprience. Ce modle suscita beaucoup de recherches, et sans doute trop despoirs. Dans la mme priode, Le modle de Adaline (ADAptive LInear NEuron) a t prsent par Widrow et Hoff. Ce modle sera par la suite le modle de base des rseaux de neurones multicouches. En 1969, deux mathmaticiens, Minsky et Papert publient une tude montrant les limites du Perceptron. Cela va avoir une grande incidence sur la recherche dans ce domaine. Elle va fortement diminuer jusquen 1972, o Kohonen prsente ses travaux sur les mmoires associatives et propose des applications la reconnaissance de formes. Le renouveau actuel des rseaux de neurones est d des contributions originales, comme celles de Hopfield en 1982, qui en montrant lanalogie des rseaux de neurones avec certains systmes physiques, a permis de leur appliquer un formalisme riche et bien matris. Plus tard, en 1985, des nouveaux modles mathmatiques ont permis de dpasser les limites du Perceptron. Aujourdhui les applications pratiques des rseaux de neurones sont nombreuses et concernes plusieurs domaines :

  • HAMMOUCH Ahmed 8

    Arospatial : Pilotage automatique, simulation du vol, Automobile : Systme de guidage automatique, Dfense : Guidage de missile, suivi de cible, reconnaissance du visage, radar,

    sonar, traitement du signal, compression de donnes, suppression du bruit, Electronique : Prdiction de la squence dun code, vision machine,

    synthtiseur vocal, modle non linaire, compression de donnes (JVC). Ils sont aussi utiliss en reconnaissance de caractres (EasyReader), de visage (Mimetics), de la parole, de l'criture (ordinateur sans clavier), de signature acoustique (Thomson), d'objets (Silac: profils d'aluminium), ...

    Finance : Prvision du cot de la vie, Secteur mdical : Analyse EEC et ECG, Tlcommunications : Compression de donnes, Diagnostic : Allumage voiture (Renault) ; photocopieur (Canon); circuits VLSI,

    (IBM), Prvision : De la consommation d'eau (Lyonnaise des eaux), de la

    consommation d'lectricit (EDF), de trafic routier, de cours boursiers, ... Identification de procd industriel : Air liquide, Elf, ciments Lafarge, ... Les rseaux de neurones ont aujourdhui un impact considrable et, il y a fort parier, que leur importance ira en grandissant.

  • HAMMOUCH Ahmed 9

    III. LE NEURONE BIOLOGIQUE

    III.1. Le neurone Le neurone est une cellule nerveuse qui est l'lment de base du systme nerveux central. Celui-ci en possderait environ cent milliards. Les neurones possdent de nombreux points communs dans leur organisation gnrale et leur systme biochimique avec les autres cellules. Ils prsentent cependant des caractristiques qui leur sont propres et se trouvent au niveau des cinq fonctions spcialises qu'ils assurent :

    Recevoir des signaux en provenance de neurones voisins, Intgrer ces signaux, Engendrer un influx nerveux, Le conduire, Le transmettre un autre neurone capable de le recevoir.

    III.2. Structure dun neurone Un neurone est constitu de trois parties (figure III.1) :

    Le corps cellulaire, Les dendrites, L'axone.

    Le noyau

    Le corps cellulaireLes dendrites

    Laxone

    Figure III.1 : Schma du neurone

  • HAMMOUCH Ahmed 10

    III.2.1. Le corps cellulaire Il contient le noyau du neurone et effectue les transformations biochimiques ncessaires