Embed Size (px)
Citation preview
Une théorie générale des réseaux connexionnistes
Denis CousineauUniversité de Montré[email protected]
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
Sommaire
Survol des produits matriciels Inner vs. Outer Lien avec les réseaux connexionnistes? Conjecture Vecteurs d’entrées N. B.
Survol des produits matriciels
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
94
Survol des produits matriciels
Il y a deux produits impliquant les vecteurs
Le produit matriciel
Le produit scalaire
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
95
Survol des produits matriciels
Il y a deux produits impliquant les vecteurs
Le produit matriciel
Le produit scalaire
Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
96
Survol des produits matriciels
Le produit de matrice est possible si et seulement si: Les deux termes sont des
matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus)
La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e.
Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
97
Survol des produits matriciels
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité:
Le premier augmente la dimensionnalité outer product
Le second réduit la dimensionnalité inner product .
Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
98
Survol des produits matriciels
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité:
Le premier augmente la dimensionnalité outer product
Le second réduit de un la dimensionnalité inner product .
par exemple
Inner vs. Outer
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
0
Que fait un inner?
Calcule la somme pondérée:
La dimension j est «collapsée», est «aggregated»; les entrées sont superposées.
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
1
Que fait un inner?
Calcule la somme pondérée:
La dimension j est «collapsée», est «aggregated»; les entrées sont superposées.
Dans ce inner, l’opérateur de sommation
permet de superposer les entrées
l’opérateur de multiplication permet de joindre les pairs d’entrées.
De façon explicite:
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
2
Que fait un inner?
Dans Mathematica: Dans ce inner, l’opérateur de sommation
permet de superposer les entrées
l’opérateur de multiplication permet de joindre les pairs d’entrées.
De façon explicite:
In[15]:= X 1, 6, 0, 3;Y 8, 2, 9, 1;InnerTimes, X, Y, Plus
Out[17]= 23
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
3
Que fait un outer?
Calcule toutes les combinaisons possibles des paires d’entrées:
???
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
4
Que fait un outer?
Calcule toutes les combinaisons possibles des paires d’entrées:
???
Dans ce outer, l’opérateur de
multiplication permet de joindre les pairs d’entrées.
De façon explicite:
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
5
Que fait un outer?
Dans Mathematica: Dans ce outer, l’opérateur de
multiplication permet de joindre les pairs d’entrées.
De façon explicite:
Lien avec les réseaux connexionnistes?
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
7
Imaginons un perceptron...
Ce perceptron a comme architecture: taille des inputs p taille des outputs q
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
8
Imaginons un perceptron...
Ce perceptron a comme architecture: taille des inputs p taille des outputs q
La règle de transmission: La réponse d’une unité d’output j est proportionnelle à
la force des inputs pondérée par les poids de connections
Avec un autre formalisme:
ou encore dans Mathematica:
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
91
9
Imaginons un perceptron...
La règle d’apprentissage: Le changement de poids de la connexion i, j est
proportionnel à la force de l’input et à la force de l’erreur Avec un autre formalisme:
ou encore dans Mathematica:
La règle de transmission: La réponse d’une unité d’output j est proportionnelle à la
force des inputs pondérée par les poids de connections Avec un autre formalisme:
ou encore dans Mathematica:
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
0
Imaginons un perceptron...
Pris ensemble: La règle de transmission:
La règle d’apprentissage:
définissent un réseau appelé dans le jargon un réseau Sigma-pi
Conjecture
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
2
Toute règle de transmission est réalisée par un Inner
Toute règle d’apprentissage est réalisée par un Outer
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
3
Des exemples?
Un perceptron (McClelland et al., 1986)
Un réseau de course (Cousineau, 2004a et b, 2005)
Un réseau FEBAM-SOM (Chartier et Giguère, 2009)
Un réseau de Kohonen (SOM; 1982)
Vecteurs d’entrées
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
5
Pourquoi s’en tenir à un vecteur d’entrée et à un vecteur de sortie? La sortie peut être une
surface (i.e. une matrice)
L’entrée peut aussi être une matrice (e.g. une image rétinienne)
L’entrée peut être – pourquoi pas – un cube (i.e. un tenseur)
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
6
Supposant un input I de dimensions p q
r un output O de dimensions s
t On utilise
ou dans Mathematica:
Pour y arriver, supposant un input I de dimensions p
q un output O de dimensions s
t On utilise
ou dans Mathematica:
N. B.
Un
iversité
de O
ttaw
a, N
ove
mb
re 2
00
92
8
Pour la règle de transmission:
← signifie aussi selon le cas appliquer une fonction de
seuil effectuer un élagage
(kWTA) effectuer un lissage
(chapeau allemand ou chapeau mexicain)
Pour la règle d’apprentissage:
← signifie aussi introduire une constante
d’apprentissage
Tout au long, j’ai utilisé un raccourci, le signe ← Ce signe a plusieurs significations
Merci
Cette présentation sera disponible un jour àmapageweb.umontreal.ca/cousined
