Upload
felice-calvet
View
130
Download
5
Embed Size (px)
Citation preview
RésuméDomaine des réseaux de neurones
Chapitre 7
Réseau ART
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 3
F1(a)=Entrée=I(n)
Structure du ART 1
F2 Catégoriesj
F1(b)=Interface
F1 Caractéristiques
i
Wf =bijWb=tji RAZRAZ
<ρ?
G1
G2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 4
Exemple - ART1
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 5
ART1: convergence et robustesse
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 6
Améliorations
ART1: Entrées binairesART2: Entrées analogiques
Normalisation + ContrasteARTMAP: ART1s ou ART2s couplés
avec apprentissage supervisé
( augmenté pour certains exemples)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 7
ART2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 8
ARTMAP
Chapitre 8
Les réseaux de neurones compétitifs
Problématique de Reconnaissance de Formes
Espace d'entrée
XExtraction
desprimitives
Espace des primitives
YSystème
dedécision
Espace des décisions
D
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 11
Composantes principales
Système de
décision
Espace d’objet
s
Espace des primitives
Espace des
décisions
3.4.2 Les réseaux de neurones extracteurs de primitives
.... .
...... ..... ... ...v
x
z
uV1
V2
yy1...
. ... .... ..... .... ...z
x1i
j
i
j
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 12
Réseaux Compétitifs Linéaires
Implémentation mathématiques
{Xk, k = 1, 2, …, K} une base d’apprentissage Initialisation aléatoire des poids synaptiques1
Apprentissage2
Présentation de la forme Xk à la couche d’entrée
Calcul de l’activation des neurones de la couche de sortieyj(k), j = 1, 2, ..
a
b
Détermination du neurone gagnant j* cAjustement des poids synaptiques du neurone gagnant : d
pour n = 1, …, N(k) (k) (j*)kn n*j xy η=ω Δ
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 13
Réseaux Compétitifs Linéaires
Explication graphique
ωk(j1)
ωk(j2)ωk(jm)
ωk(j*)Xk
Neurone gagnant
vecteur des poids synaptiques du neurone
gagnant
ωk(j1)
ωk(j2)ωk(jm)
Δωk(j*)Xk
Nouveau vecteur des poids synaptiques
Compétition Adaptation
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 14
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 15
A2 A3
A1 A4
1 1
1 1
Le réseau Maxnet
Fonction d’activation :
Étape 0 : Initialiser les activations et les poids
Étape 1 (tant que 4 vrai faire 2-4) :
Étape 2 : Mise à jour des activations
Étape 3 : Sauvegarder activations
Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt
( ) ( )⎥⎦
⎤⎢⎣
⎡−−−= ∑
≠jkkjj )1ta)1t(afta ε
( ) m,,1j,)1t(ata jj L=−=
-
-
-
--
- ⎩⎨⎧
≠−=
=jisi
jisi1w ij ε
( ) jj Anoeudduentrée0a
( )⎩⎨⎧ >
=autremento
0xsixxf
m
10avec <<
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 16
A2 A3
A1 A4
1 1
1 1
Le réseau Maxnet : Exemple 4.1 (Fausett p. 160)
Étape 0 : Initialiser les activations et les poids
Étape 1 (tant que 4 vrai faire 2-4) :
Étape 2 : Mise à jour des activations
Étape 3 : Sauvegarder activations
Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt
( ) ( )⎥⎦
⎤⎢⎣
⎡−−−= ∑
≠jkkjj )1ta)1t(afta ε
( ) m,,1j,)1t(ata jj L=−=
-
-
-
--
- ⎩⎨⎧
≠−=
=jisi2.0
jisi1w ij
( ) jj Anoeudduentrée0a
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 17
Cartes topologiques de Kohonen
1ère constatation
L’organisation linéaire n’a pour intérêt que l’aspect pédagogique.
2ème constatation
Les réseaux compétitifs linéairess’éloignent de la réalité Neurobiologique« les zones d’activité ».
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 18
Cartes topologiques de Kohonen
Architecture proposée : une couche linéaire mono ou multi dimensionnel.
m
Voisins ordonnésdu neurone m
i
j
1 2 3 1
2
3
Un neurone est caractérisé par ses poids synaptiques
et par sa position ( notion de voisinage topologique)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 19
Cartes topologiques de Kohonen
Formes de voisinage (2D)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 20
U2U1
C4C2 C3C1 C5
0.3 0.7 0.6 0.9 0.1 0.5 0.4 0.3 0.8 0.2
Pour l’entrée (0.5, 0.2) et un taux d’apprentissage de 0.2
a) Soit Dm la distance entre l’entrée et le poids du vecteur Cm on a :
D1 = (0.3 - 0.5)2 + (0.7 – 0.2)2 = 0.29D2 = (0.6 – 0.5)2 + (0.9 – 0.2)2 = 0.50D3 = (0.1 –0.5)2 + (0.5 – 0.2)2 = 0.25D4 = (0.4 – 0.5)2 + (0.3 – 0.2)2 = 0.02D5 = (0.8 – 0.5)2 + (0.2 – 0.2)2 = 0.09
Le neurone le plus proche de l’entrée est donc C4, il gagne ainsi la compétition.
Ex. 4.2 : Carte de Kohonen
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 21
b) Mise à jour des poids pour le neurone gagnant J
w14(nouveau) = w14(vieux) + 0.2 (x1 – w14(vieux))
= 0.4 + 0.2(0.5 – 0.4) = 0.4 + 0.02 = 0.42
w24(nouveau) = w24(vieux) + 0.2 (x2 – w24(vieux))
= 0.3 + 0.2(0.2 – 0.3) = 0.3 - 0.02 = 0.28
U2U1
C4C2 C3C1 C5
0.3 0.7 0.6 0.9 0.1 0.5 0.42 0.28 0.8 0.2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 22
U2U1
C4C2 C3C1 C5
0.3 0.7 0.6 0.9 0.18 0.44 0.4 0.3 0.74 0.2
c) Si on permet à J-1 et à J+1 d’apprendre alors
w13(nouveau) = w13(vieux) + 0.2 (x1 – w13(vieux))
= 0.1 + 0.2(0.5 – 0.1) = 0.1 + 0.08 = 0.18
w23(nouveau) = 0.5 + 0.2(0.2 – 0.5) = 0.5 - 0.06 = 0.44
w15(nouveau) = 0.8 + 0.2(0.2 – 0.8) = 0.8 - 0.06 = 0.74
w25(nouveau) = 0.2 + 0.2(0.2 – 0.2) = 0.2 + 0.0 = 0.2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 23
Réseaux de quantification vectorielle
Quantification vectorielle non supervisée
.
. ..
..
.
.
.
.
.
... ..
. . ..
. .. .. ... .. .. . .
. . .. .. .
.
. ..
..
.
.
.
.
.
... ..
. . ..
. .. .. ... .. .. . .
. . .. .. .
.
. ..
..
.
.
.
.
.
...
..
. . ..
. .. .. ... .. .. . .
.. .. .. .
Quantification vectorielle supervisée
.
. ..
..
.
.
.
.
.
...
..
. . ..
. .. .. ... .. .. . .
.. .. .. .
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 24
Réseaux de quantification vectorielle
Explication graphique
ωk(j1)
ωk(j2)ωk(jm)
ωk(j*)Xk
Neurone gagnant
vecteur des poids synaptiques du neurone
gagnant
ωk(j1)
ωk(j2)ωk(jm)
Δωk(j*)Xk
Nouveau vecteur des poids synaptiques
Compétition Adaptation
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 25
Réseaux de quantification vectorielle
Il s’agit d ’un apprentissage non supervisé
Adaptation des poids plus sévère que celle de Hebb
Règle de Hebb Algorithme LVQ
Convergence non garantie
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 26
Réseaux de quantification vectorielle
L’algorithme d’apprentissage LVQ1Retour au principe de Récompense/Punition
ω(1)
ω(2)ω(j) ω(j*)
Xk
Δ ω(j*)
RécompenseClasse(Xk) = Classe(ω(j*))
Punition
Classe(Xk) Classe(ω(j*))
ω(1)
ω(2)ω(j) ω(j*)
Xk
Δ ω(j*)
Δω(j*) = + η(t) [Xk - ω (j*)] Si Classe(Xk) = Classe(ω(j*))
Δω(j*) = - η(t) [Xk - ω (j*)] Si Classe(Xk) Classe(ω(j*))
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 27
Réseaux de quantification vectorielle
L’algorithme d’apprentissage LVQ2La course aux performances ……...
L'adaptation des vecteurs de référence correspondant ω(j0) et ω(i0) est réalisée si et seulement si les trois conditions suivantes sont vérifiées :
La compétition fournie deux neurones gagnants :le premier j0 et le second i0 gagnants.
L’esprit de l ’algorithme de Rosenblatt :
Maintenir le principe de Récompense/Punition
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 28
Ex. 4.5 : Réseau LVQ
C4C2 C3C1
C2C4 C1C3
C4C2 C3C1
C2C4 C1C30.8
0.6
0.4
0.2
0.2 0.4 0.6 0.8
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 29
a) Si on présente une entrée de valeur (0.25, 0.25) étiqueté classe 1, le neurone C1 (0.2, 0.2) est le plus proche, il est bien étiqueté et ses poids sont ajustés par
(0.2, 0.2) + 0.5(0.25 – 0.2, 0.25 – 0.2) = (0.225, 0.225)
C4C2 C3
C2C4 C1C3
C4C2 C3C1
C2C4 C1C3
0.225
(0.25, 0.25)
C1
0.4 0.6 0.80.2 0.225
0.8
0.6
0.4
0.2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 30
C4C2 C3
C2C1C3
C4C2 C3C1
C2C4 C1C3
0.425
C1
b) Si on présente une entrée de valeur (0.4, 0.35) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est mal étiqueté et ses poids sont ajustés par
(0.4, 0.4) - 0.5(0.4 – 0.4, 0.35 – 0.4) = (0.4, 0.425)
C4
(0.4, 0.35)
0.8
0.6
0.4
0.4 0.6 0.80.2
0.2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 31
C4C2 C3
C2C1
C4C2 C3C1
C2C4 C1C3
c) Si on présente une entrée de valeur (0.4, 0.45) étiqueté classe 1, le neurone C4 (0.4, 0.4) est le plus proche mais il est encore mal étiqueté et ses poids sont ajustés par
(0.4, 0.4) - 0.5(0.4 – 0.4, 0.45 – 0.4) = (0.4, 0.375)
C40.375
(0.4, 0.45)
C1
0.8
0.6
0.4
0.4 0.6 0.80.2
0.2
C3
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 32
C4C2 C3
C2C1
C4C2 C3C1
C2C4 C1C3
d) Présenter (0.4, 0.35) tend à éloigner C4 de la zone où les entrées d’apprentissage représentent la classe 1, alors que (0.4, 0.45) tend à rapprocher C4 de la zone où les entrées d’apprentissage représentent la classe 1. La première alternative est la plus efficace.
C40.375
(0.4, 0.45)
C1
0.8
0.6
0.4
0.4 0.6 0.80.2
0.2
C3
Classe 1
Classe 4
Chapitre 9
Systèmes experts
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 34
9- Systèmes experts
PlanVue d ’ensembleArchitecture Représentation des connaissancesMoteur de déduction
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 35
9.1 Vue d ’ensemble Un système expert est un logiciel qui a pour but de simuler le comportement d’un spécialiste humain dans un domaine bien précis lorsqu’il accomplit une tâche de résolution de problèmes pour lesquels il n’existe pas de solution évidente ou algorithmique.
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 36
Programmation de l ’expertise : Insuffisamment structurée pour être transcrite sous forme d ’algorithmes
Sujette à de nombreuses révisions Incomplète parce qu’en continuelle évolution
Sinon : Problème mieux résolu par algos classiques
Problème hors de portée (expertise difficilement formalisable)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 37
Domaines d ’utilisation des SEsConfigurationDiagnosticEnseignementinterprétationSurveillancePlanificationPrédictionDiagnostic médicalCommande de processus
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 38
Quelques SEs célèbres DENDRAL (le premier, 1965) chimie
interprétation de la structure moléculaire
CADHELP électronique instructions pour la CAO
MYCIN (beaucoup d ’influence) médecinediagnostic pour infections
bactériennes PROSPECTOR géologieinterprétation données géol. Minerais
XCON (beaucoup de succès)informatique configuration mini ordi. VAX de DEC
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 39
Composantes de base d’un SE Connaissances Mécanisme de raisonnement
Expertise = Savoir - Faire Connaissances correspondent à ce que nous savons du domaine considéré
Mécanismes de raisonnement correspondent à ce que nous faisons pour obtenir une solution
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 40
9.2 Architecture
Connais- Faitssances
Connais- Faitssances
Module Moduled’inférence d’explica-
tion
Interface
Moteur de déduction
Base de connaissance
Expert Utilisateur
acquisition consultation
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 41
Systèmes de productionArchitecture de SE la plus répandue
Connaissances : règles de production
Mécanisme d ’inférence
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 42
Moteurs d’inférence– Cycle de base
Sélection des règles Filtrage Résolution des conflits Exécution
– Stratégies de recherche Largeur d’abord Profondeur d’abord
Stratégie irrévocable Stratégie par tentatives
Profondeur limité Recherche heuristique
– Mode d’invocation des règles Chaînage avant Chaînage arrière
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 43
9.3 Représentation des connaissances
Règles de productionSi (proposition logique) Alors (actions)
prémisse conclusions
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 44
Moteur d’inférence
Cycles de base1- Phase de restriction
Choix du sous-ensemble de connaissances
2- Phase de filtrageChoix des règles applicables
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 45
3- Phase de sélection–Stratégies de recherche
Largeur d’abord Profondeur d’abord
Stratégie irrévocable Stratégie par tentatives
Profondeur limité Recherche heuristique
–Résout conflits lorsque plusieurs règles s’appliquent
Sélection simple (1ère de la liste, la + utilisée, etc.)
Sélection selon contexte (chaînage avant, arrière, la plus prometteuse, la plus fiable, etc.)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 46
4- Phase d’exécution–Appliquer la règle sélectionnée
Modification de l’ensemble de faits (générer des états intermédiaires)
Questionner l’usager Exécuter les actions externe
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 47
Stratégies de recherche1. La recherche en largeur d’abord2. La recherche en profondeur
d’abord3. La recherche en profondeur
limitée4. La recherche heuristique
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #14 - 48
Illustration: labyrinthe