Réseaux des neurones

10/04/2023 1Esprit-Intelligence Artificielle

Exposé Intelligence Artifi cielle

Réseaux des Neurones

Réalisé parZaïbi MohamedJebara Med Taïeb

10/04/2023Esprit-Intelligence Artificielle 2

PlanIntroduction

Quelques Eléments de la neurobiologie

Les Modules mathématiques

Architecture du réseau

Apprentissage

Mise en place

Conclusion


Introduction


La constructi

on de logiciels

Approche algorithmiq

ue

Approche basée sur la connaissanc

eInspiration

de traitement

de l’informatio

n par le cerveau

Les RNA sont des réseaux fortement

connectés de processeurs élémentaires

fonctionnant en parallèle. Chaque

processeur calcule une sortie unique sur la

base des informations qu'il reçoit


• C’est une approche qui a été privilégiée par l'Intelligence Artificielle.

• Les réseaux de neurones sont fortement inspirés par le système nerveux biologique

• On peut entraîner un réseau de neurone pour une tâche spécifique (reconnaissance de caractères par exemple) en ajustant les valeurs des connections (ou poids) entre les éléments neurone).

Définition RNA


Quelques repères• 1943: J. McCulloch & W. Pitts

proposent un modèle simple de neurone capable de produire une machine de Turing.

• 1948: D. Hebbpropose une règle d'apprentissage pour des réseaux de neurones .

• 1958: F. Rosenblattpropose le modèle du Perceptron et démontre son théorème de convergence.

• 1969: M. Minsky & S. Papertdémontrent les limitations du modèle du Perceptron.

• 1985: apprentissage par rétro-propagation pour les réseaux multi-couches.


Intérêt

Les RNA sont efficaces pour effectuer à grande vitesse des calculs et, d’une manière générale des tâches mécaniques

La limitation

des ordinateur

s existants .

La structure des réseaux de neurones étant elle-même parallèle, leur fonctionnement présente de nombreux avantages :une vitesse de calcul accrue, la résistance aux pannes locales, et enfin la régularité de la structure

Ils s’inscrivent dans les mutations

tech.


Quelques Eléments de la

neurobiologie


Cellules nerveuses


Description schématique des éléments

d’une synapse


Apprentissage• Il est caractérisé par : Un système initial aux

mécanismes de fonctionnement et au potentiel

d’évolution fixés.

l’évolution des connexions du réseau .

l’interaction entre le monde extérieur et le réseau

.

un mécanisme sélectif .L’apprentissage peut être définit comme l’acquisition de propriétés associatives stables, et la mémorisation comme l’engrangement et le rappel de ces propriétés ou modifications.


Les Modules mathématiques


Structure d’un neurone artificiel

Mise en correspondance neurone biologique / neurone artificiel


Fonctionnement interne d’un neurone

• Un neurone reçoit les signaux d'entrée x1, ..., xn .• Ces signaux sont pondérés par des poids w1, ...,

wn .• L'activation du neurone a=∑ wi.xi est transmise à une fonction de transition f (non linéaire) paramétrée par un seuil w0• Le signal de sortie y = f (a-w0) est propagé aux cellules suivantes


Les fonctions de transfert


Réseaux de neurones naturels vs. artificiels

réseau naturel réseau artificiel

fonctionnement du neurone

réactions chimiques fonctionsmathématiques

temps de réaction relativement lent très rapide

nombre de neurones environ 10¹º entre 10⁴ et 10⁵

nombre de connexions

environ 10¹³ jusqu'à 10⁷


ARCHITECTURE DE RESEAU


Les réseaux "Feed-forward"

• Ce sont des réseaux dans les quels l'information se propage de couche en couche sans retour en arrière possible.

• On distingue alors :o Perceptron monocoucheo Perceptron multicouche(PMC)

Le perceptron est un modèle de réseau de neurones avec algorithme d'apprentissage


Perceptron monocouche

La sortie S est calculée par la formule : S = 1si ∑ wi xi > s 0 si non


Perceptron multicouche(PMC)

Les neurones sont arrangés par couche. Il n'y a pas de connexion entre neurones d'une même couche et les connexions ne se font qu'avec les neurones des couches avales


• On trouve aussi d’autre réseaux qui possèdent la

même architecture que le PMC mais avec

quelques particularités :par exemple : PMC a connexion locale


Les réseaux à fonction radiale

Appelé aussi RBF(en anglais : "Radial Basic Functions"). Particularité :les fonctions de base utilisées ici sont des fonctions Gaussiennes. Utilité :Les RBF seront donc employés dans les mêmes types de problèmes que les PMC à savoir, en classification et en approximation de fonctions, particulièrement.


Les réseaux ‘Feed back’

• Ce sont des réseaux dans les quels l'information

se propage de couche en couche avec retour en

arrière possible.

Réseau à connexions complètes Réseau à connexions récurrentes


• Les cartes auto organisatrices de kohonenCe modèle de carte auto-organisatrice appartient à la classe des réseaux à compétition.

• Les réseaux de Hopfield Un réseau de Hopfield réalise une mémoire adressable par son contenu.

• Les ART ART (Adaptive Resonance Theory) est un modèle de réseau de neurones à architecture évolutive développé en 1987 par Carpenter et Grossberg.


APPRENTISSAGE


Types d’apprentissage

Il existe plusieurs types d’apprentissage, les plus utilisées sont :• Mode supervisé : les exemples sont des couples

(entrée, sortie associée).• Mode non supervisé: on dispose que des valeurs

(entrée).• Apprentissage par renforcement.

Pour ces trois types d'apprentissage, il y a également un choix traditionnel entre :o L’apprentissage << off-line >> o L’apprentissage << on-line >>


• Il existe d’autre types d’apprentissage comme :• Sur-apprentissage ("apprentissage par-coeur") .• Le mode hybride .• Apprentissage "local" . • Apprentissage "global" .• Validation croisée ("Cross Validation") .


Règles d’apprentissage

4 règles principal

es

Par compétition

Règle de Hebb

Par correction d’erreur

Apprentissage de

Boltzmann


Autres règles• Apprentissage par descente de gradient :

il s'agit de calculer une erreur et d'essayer de minimiser cette erreur.

• Apprentissage par la règle de Widrow-Hoff (ou Adaline) :au lieu de calculer les variations des poids en sommant sur tous les exemples de S, l'idée est de modifier les poids à chaque présentation d'exemple.


Algorithme d’apprentissage du

perceptron• Initialisation des poids et du seuil à de petites

valeurs aléatoires• Présenter un vecteur d’entrées x(μ) et calculer sa

sortie• Mettre à jour les poids en utilisant :

wj(t+1) = wj(t) + η (d- y) xj avec d la sortie désirée, w vecteur des poids η est une constante positive ,qui spécifie le pas de modification des poids


Apprentissage par correction d'erreur

• Initialiser la matrice des poids au hasard • Choisir un exemple en entrée• Propager le calcul de cette entrée à travers le réseau • Calculer la sortie de cette entrée • Mesurer l'erreur de prédiction par différence entre sortie réelle

et sortie prévue• Calculer la contribution d'un neurone à l'erreur à partir de la

sortie• Déterminer le signe de modification du poids • Corriger les poids des neurones pour diminuer l'erreur

Le processus recommence ainsi, à partir du choix de l'exemple en entrée, jusqu'à ce qu'un taux d'erreur minimal soit atteint.


MISE EN PLACE


Préparation des données

Détermination des entrées

et des sorties

Constitution de la base

d'exemples

Codage des entrées

Optimisation du jeu de données

Détermination des

paramètres

Phase d'apprentiss

age


Les points forts

Souplesse

Bonne résolution

Traitement des

variables continues

Outils disponible

s

Les points faibles

Codage des

entrées

Lisibilité

Non optimalité

Performance


Domaines d’application

• Aérospatial : pilotage automatique, simulation du vol… • Automobile : système de guidage automatique,… • Défense : guidage de missile, suivi de cible, reconnaissance du visage, radar, sonar, lidar, traitement du signal, compression de données, suppression du bruit… • Electronique : prédiction de la séquence d’un code, vision machine, synthétiseur vocal, modèle non linéaire,… • Finance : Prévision du coût de la vie • Secteur médical : Analyse EEC et ECG • Télécommunications : Compression de données …


Exemple d’application Reconnaissance des

formes IL y a plusieurs techniques pour la reconnaissance de forme ou bien d’ordre Général la classification, on cite trois méthodes avec un exemple pour bien comprendre ces techniques : La méthode classique :

La première, la plus classique, consiste simplement à mesurer la distance euclidienne entre l’image de test et toutes les images présentes dans la base d’apprentissage afin d’en déterminer la plus faible.


Programmation extrêmement rapide et un temps d’accès aux informations utiles immédiat

Temps de calcul très lent


Méthodes modernes ou par réseau de

neurones• La seconde repose sur un réseau de neurone

discriminant. La méthode du réseau discriminant repose sur l’utilisation d’un unique réseau de neurones donnant en sortie la classe d’appartenance d’une image inconnue en entrée.

• Il est composé d’une couche d’entrée, d’une couche cachée et de plusieurs sorties pour autant de personnes à discriminer.



Le temps de calcul nécessaire à l’identification est rapide par rapport a l’autre méthode

Cette méthode nécessite un très long apprentissage qui dépend du nombre de neurones sur la couche cachée


Applications Exemple: Restitution de paramètres nuageux à partir d’image satellite


Conclusion


Conclusion• les réseaux de neurones reposent à Présent sur

des bases mathématiques solides qui permettent d’envisager des applications dans presque tout les domaines y compris industriel et à grande échelle, notamment dans le domaine de la classification.


PerspectivesLes réseaux de neurones ont une histoire relativement jeune (environ 50 ans) et les applications intéressantes des réseaux de neurones n’ont vu le jour que depuis une vingtaine d’année (développement de l’informatique), et ils ont un futur très prometteur, on entend parler (par exemple) du WEB sémantique, RFID, … etc.


Merci pour votre

attention

Documents

Réseaux des neurones