View
2.247
Download
4
Category
Preview:
DESCRIPTION
Citation preview
10/04/2023 1Esprit-Intelligence Artificielle
Exposé Intelligence Artifi cielle
Réseaux des Neurones
Réalisé parZaïbi MohamedJebara Med Taïeb
10/04/2023Esprit-Intelligence Artificielle 2
PlanIntroduction
Quelques Eléments de la neurobiologie
Les Modules mathématiques
Architecture du réseau
Apprentissage
Mise en place
Conclusion
10/04/2023Esprit-Intelligence Artificielle 3
Introduction
10/04/2023Esprit-Intelligence Artificielle 4
La constructi
on de logiciels
Approche algorithmiq
ue
Approche basée sur la connaissanc
eInspiration
de traitement
de l’informatio
n par le cerveau
Les RNA sont des réseaux fortement
connectés de processeurs élémentaires
fonctionnant en parallèle. Chaque
processeur calcule une sortie unique sur la
base des informations qu'il reçoit
10/04/2023Esprit-Intelligence Artificielle 5
• C’est une approche qui a été privilégiée par l'Intelligence Artificielle.
• Les réseaux de neurones sont fortement inspirés par le système nerveux biologique
• On peut entraîner un réseau de neurone pour une tâche spécifique (reconnaissance de caractères par exemple) en ajustant les valeurs des connections (ou poids) entre les éléments neurone).
Définition RNA
10/04/2023Esprit-Intelligence Artificielle 6
Quelques repères• 1943: J. McCulloch & W. Pitts
proposent un modèle simple de neurone capable de produire une machine de Turing.
• 1948: D. Hebbpropose une règle d'apprentissage pour des réseaux de neurones .
• 1958: F. Rosenblattpropose le modèle du Perceptron et démontre son théorème de convergence.
• 1969: M. Minsky & S. Papertdémontrent les limitations du modèle du Perceptron.
• 1985: apprentissage par rétro-propagation pour les réseaux multi-couches.
10/04/2023Esprit-Intelligence Artificielle 7
Intérêt
Les RNA sont efficaces pour effectuer à grande vitesse des calculs et, d’une manière générale des tâches mécaniques
La limitation
des ordinateur
s existants .
La structure des réseaux de neurones étant elle-même parallèle, leur fonctionnement présente de nombreux avantages :une vitesse de calcul accrue, la résistance aux pannes locales, et enfin la régularité de la structure
Ils s’inscrivent dans les mutations
tech.
10/04/2023Esprit-Intelligence Artificielle 8
Quelques Eléments de la
neurobiologie
10/04/2023Esprit-Intelligence Artificielle 9
Cellules nerveuses
10/04/2023Esprit-Intelligence Artificielle 10
Description schématique des éléments
d’une synapse
10/04/2023Esprit-Intelligence Artificielle 11
Apprentissage• Il est caractérisé par : Un système initial aux
mécanismes de fonctionnement et au potentiel
d’évolution fixés.
l’évolution des connexions du réseau .
l’interaction entre le monde extérieur et le réseau
.
un mécanisme sélectif .L’apprentissage peut être définit comme l’acquisition de propriétés associatives stables, et la mémorisation comme l’engrangement et le rappel de ces propriétés ou modifications.
10/04/2023Esprit-Intelligence Artificielle 12
Les Modules mathématiques
10/04/2023Esprit-Intelligence Artificielle 13
Structure d’un neurone artificiel
Mise en correspondance neurone biologique / neurone artificiel
10/04/2023Esprit-Intelligence Artificielle 14
Fonctionnement interne d’un neurone
• Un neurone reçoit les signaux d'entrée x1, ..., xn .• Ces signaux sont pondérés par des poids w1, ...,
wn .• L'activation du neurone a=∑ wi.xi est transmise à une fonction de transition f (non linéaire) paramétrée par un seuil w0• Le signal de sortie y = f (a-w0) est propagé aux cellules suivantes
10/04/2023Esprit-Intelligence Artificielle 15
Les fonctions de transfert
10/04/2023Esprit-Intelligence Artificielle 16
Réseaux de neurones naturels vs. artificiels
réseau naturel réseau artificiel
fonctionnement du neurone
réactions chimiques fonctionsmathématiques
temps de réaction relativement lent très rapide
nombre de neurones environ 10¹º entre 10⁴ et 10⁵
nombre de connexions
environ 10¹³ jusqu'à 10⁷
10/04/2023Esprit-Intelligence Artificielle 17
ARCHITECTURE DE RESEAU
10/04/2023Esprit-Intelligence Artificielle 18
Les réseaux "Feed-forward"
• Ce sont des réseaux dans les quels l'information se propage de couche en couche sans retour en arrière possible.
• On distingue alors :o Perceptron monocoucheo Perceptron multicouche(PMC)
Le perceptron est un modèle de réseau de neurones avec algorithme d'apprentissage
10/04/2023Esprit-Intelligence Artificielle 19
Perceptron monocouche
La sortie S est calculée par la formule : S = 1si ∑ wi xi > s 0 si non
10/04/2023Esprit-Intelligence Artificielle 20
Perceptron multicouche(PMC)
Les neurones sont arrangés par couche. Il n'y a pas de connexion entre neurones d'une même couche et les connexions ne se font qu'avec les neurones des couches avales
10/04/2023Esprit-Intelligence Artificielle 21
• On trouve aussi d’autre réseaux qui possèdent la
même architecture que le PMC mais avec
quelques particularités :par exemple : PMC a connexion locale
10/04/2023Esprit-Intelligence Artificielle 22
Les réseaux à fonction radiale
Appelé aussi RBF(en anglais : "Radial Basic Functions"). Particularité :les fonctions de base utilisées ici sont des fonctions Gaussiennes. Utilité :Les RBF seront donc employés dans les mêmes types de problèmes que les PMC à savoir, en classification et en approximation de fonctions, particulièrement.
10/04/2023Esprit-Intelligence Artificielle 23
Les réseaux ‘Feed back’
• Ce sont des réseaux dans les quels l'information
se propage de couche en couche avec retour en
arrière possible.
Réseau à connexions complètes Réseau à connexions récurrentes
10/04/2023Esprit-Intelligence Artificielle 24
• Les cartes auto organisatrices de kohonenCe modèle de carte auto-organisatrice appartient à la classe des réseaux à compétition.
• Les réseaux de Hopfield Un réseau de Hopfield réalise une mémoire adressable par son contenu.
• Les ART ART (Adaptive Resonance Theory) est un modèle de réseau de neurones à architecture évolutive développé en 1987 par Carpenter et Grossberg.
10/04/2023Esprit-Intelligence Artificielle 25
APPRENTISSAGE
10/04/2023Esprit-Intelligence Artificielle 26
Types d’apprentissage
Il existe plusieurs types d’apprentissage, les plus utilisées sont :• Mode supervisé : les exemples sont des couples
(entrée, sortie associée).• Mode non supervisé: on dispose que des valeurs
(entrée).• Apprentissage par renforcement.
Pour ces trois types d'apprentissage, il y a également un choix traditionnel entre :o L’apprentissage << off-line >> o L’apprentissage << on-line >>
10/04/2023Esprit-Intelligence Artificielle 27
• Il existe d’autre types d’apprentissage comme :• Sur-apprentissage ("apprentissage par-coeur") .• Le mode hybride .• Apprentissage "local" . • Apprentissage "global" .• Validation croisée ("Cross Validation") .
10/04/2023Esprit-Intelligence Artificielle 28
Règles d’apprentissage
4 règles principal
es
Par compétition
Règle de Hebb
Par correction d’erreur
Apprentissage de
Boltzmann
10/04/2023Esprit-Intelligence Artificielle 29
Autres règles• Apprentissage par descente de gradient :
il s'agit de calculer une erreur et d'essayer de minimiser cette erreur.
• Apprentissage par la règle de Widrow-Hoff (ou Adaline) :au lieu de calculer les variations des poids en sommant sur tous les exemples de S, l'idée est de modifier les poids à chaque présentation d'exemple.
10/04/2023Esprit-Intelligence Artificielle 30
Algorithme d’apprentissage du
perceptron• Initialisation des poids et du seuil à de petites
valeurs aléatoires• Présenter un vecteur d’entrées x(μ) et calculer sa
sortie• Mettre à jour les poids en utilisant :
wj(t+1) = wj(t) + η (d- y) xj avec d la sortie désirée, w vecteur des poids η est une constante positive ,qui spécifie le pas de modification des poids
10/04/2023Esprit-Intelligence Artificielle 31
Apprentissage par correction d'erreur
• Initialiser la matrice des poids au hasard • Choisir un exemple en entrée• Propager le calcul de cette entrée à travers le réseau • Calculer la sortie de cette entrée • Mesurer l'erreur de prédiction par différence entre sortie réelle
et sortie prévue• Calculer la contribution d'un neurone à l'erreur à partir de la
sortie• Déterminer le signe de modification du poids • Corriger les poids des neurones pour diminuer l'erreur
Le processus recommence ainsi, à partir du choix de l'exemple en entrée, jusqu'à ce qu'un taux d'erreur minimal soit atteint.
10/04/2023Esprit-Intelligence Artificielle 32
MISE EN PLACE
10/04/2023Esprit-Intelligence Artificielle 33
Préparation des données
Détermination des entrées
et des sorties
Constitution de la base
d'exemples
Codage des entrées
Optimisation du jeu de données
Détermination des
paramètres
Phase d'apprentiss
age
10/04/2023Esprit-Intelligence Artificielle 34
Les points forts
Souplesse
Bonne résolution
Traitement des
variables continues
Outils disponible
s
Les points faibles
Codage des
entrées
Lisibilité
Non optimalité
Performance
10/04/2023Esprit-Intelligence Artificielle 35
Domaines d’application
• Aérospatial : pilotage automatique, simulation du vol… • Automobile : système de guidage automatique,… • Défense : guidage de missile, suivi de cible, reconnaissance du visage, radar, sonar, lidar, traitement du signal, compression de données, suppression du bruit… • Electronique : prédiction de la séquence d’un code, vision machine, synthétiseur vocal, modèle non linéaire,… • Finance : Prévision du coût de la vie • Secteur médical : Analyse EEC et ECG • Télécommunications : Compression de données …
10/04/2023Esprit-Intelligence Artificielle 36
Exemple d’application Reconnaissance des
formes IL y a plusieurs techniques pour la reconnaissance de forme ou bien d’ordre Général la classification, on cite trois méthodes avec un exemple pour bien comprendre ces techniques : La méthode classique :
La première, la plus classique, consiste simplement à mesurer la distance euclidienne entre l’image de test et toutes les images présentes dans la base d’apprentissage afin d’en déterminer la plus faible.
10/04/2023Esprit-Intelligence Artificielle 37
Programmation extrêmement rapide et un temps d’accès aux informations utiles immédiat
Temps de calcul très lent
10/04/2023Esprit-Intelligence Artificielle 38
Méthodes modernes ou par réseau de
neurones• La seconde repose sur un réseau de neurone
discriminant. La méthode du réseau discriminant repose sur l’utilisation d’un unique réseau de neurones donnant en sortie la classe d’appartenance d’une image inconnue en entrée.
• Il est composé d’une couche d’entrée, d’une couche cachée et de plusieurs sorties pour autant de personnes à discriminer.
10/04/2023Esprit-Intelligence Artificielle 39
10/04/2023Esprit-Intelligence Artificielle 40
Le temps de calcul nécessaire à l’identification est rapide par rapport a l’autre méthode
Cette méthode nécessite un très long apprentissage qui dépend du nombre de neurones sur la couche cachée
10/04/2023Esprit-Intelligence Artificielle 41
Applications Exemple: Restitution de paramètres nuageux à partir d’image satellite
10/04/2023Esprit-Intelligence Artificielle 42
Conclusion
10/04/2023Esprit-Intelligence Artificielle 43
Conclusion• les réseaux de neurones reposent à Présent sur
des bases mathématiques solides qui permettent d’envisager des applications dans presque tout les domaines y compris industriel et à grande échelle, notamment dans le domaine de la classification.
10/04/2023Esprit-Intelligence Artificielle 44
PerspectivesLes réseaux de neurones ont une histoire relativement jeune (environ 50 ans) et les applications intéressantes des réseaux de neurones n’ont vu le jour que depuis une vingtaine d’année (développement de l’informatique), et ils ont un futur très prometteur, on entend parler (par exemple) du WEB sémantique, RFID, … etc.
10/04/2023Esprit-Intelligence Artificielle 45
Merci pour votre
attention
Recommended