Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield

Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield

Universidad de Santiago de Chile Programa

Magíster en Ingeniería Informática

Enero 2005

Dr. Gonzalo Acuña L.

Universidad de Santiago de Chile Departamento de Ingeniería Informática

Ingeniería Neuronal Magíster en Ingeniería Informática 2

Temario

•  Introducción •  Descripción de las Redes de Hopfield •  Características de las Redes de Hopfield •  Función de Energía •  Estados Espurios •  Memorias Fundamentales

Introducción


Ingeniería Neuronal Magíster en Ingeniería Informática

Redes de Hopfield

•  Fueron desarrolladas por una serie de investigadores y presentadas en forma clara y sistemática a la comunidad por Hopfield en 1982.

•  Memoria asociativa o memoria accesible por contenido (Content addressable Memory)



Redes de Hopfield

•  Sistema dinámico cuyo espacio de estado contiene un conjunto de puntos fijos (estables) representando las memorias fundamentales del sistema.



Redes de Hopfield

•  Se usa Representación de McCulloch & Pitts.

•  Estado de la red neuronal esta compuesto por N neuronas:

[ ]1 2 3, , , ; 1tN iS s s s s s= = ±K

1

N

j ji i ii

V w s θ=

= ⋅ −∑

1 01 0

jj

j

si vS

si v+ >⎧

= ⎨− >⎩si 0j jv s= ⇒ se conserva

j jS Sgn v⎡ ⎤⇒ = ⎣ ⎦



Redes de Hopfield



Redes de Hopfield

1.  Fase de Almacenamiento •  Memorias Fundamentales = P Vectores

N-dimensional

•  : Elemento i de •  Regla de aprendizaje de Hebb:

{ }/ 1,2, ,Pµξ µ = Kiµξ µξ

, ,1 P

ji j iWN µ µ

µ

ξ ξ= ⋅ ⋅∑ 0iiW i= ∀



Redes de Hopfield

•  En forma matricial:

•  La salida de cada neurona en la red es alimentada hacia todas las otras neuronas

•  No hay auto-retroalimentación •  La Matriz de Pesos es simétrica

1 Pt PW I

N Nµ µµ

ξ ξ= ⋅ ⋅ − ⋅∑

ij jiw w=



Redes de Hopfield

2.  Fase de Búsqueda (Recuperación) –  Un vector N-dimensional se impone a la red.

Como su estado, con elementos +-1. Versión ruidosa o incompleta de memoria fundamental.

–  En forma aleatoria: Cada neurona j, a intervalos fijos examina su activación . jv

0 10 1

0 se mantiene

j j

j j

j j

v sv sSív s

> ⇒ = +⎡ ⎤⎢ ⎥< ⇒ = −⎢ ⎥⎢ ⎥= ⇒⎣ ⎦



Redes de Hopfield

– Partiendo de un vector X, se llega a un vector Y, cuyos elementos satisfacen la siguiente Condición de Estabilidad:

– o en forma matricial: 11,2, ,

N

j ji i ji

y Sgn w y j Nθ=

⎛ ⎞= ⋅ − =⎜ ⎟

⎝ ⎠∑ K

( )Y Sgn W Y θ= ⋅ −



Redes de Hopfield

•  Paso1: Almacenamiento

•  Paso2: Inicialización

1 2, , , Pξ ξ ξK , ,1

1

0

P

j iij

j iNw

j i

µ µµ

ξ ξ=

⎧⋅ ⋅ ≠⎪

= ⎨⎪ =⎩

∑

( )0 , 1,2, ,j js X j N= = K



Redes de Hopfield

•  Paso3: Iteración hasta convergencia – Actualizar elementos de en forma

aleatoria y asíncrona.

•  Paso4: Salida

( )S n

( ) ( )1

1N

j ji ii

S n Sgn w S n=

⎛ ⎞+ = ⋅⎜ ⎟

⎝ ⎠∑

3fijo fijoY S dondeS es la salida del paso=



Redes de Hopfield

•  Ejemplo:

0 2 21 2 0 23

2 2 0W

−⎡ ⎤⎢ ⎥= ⋅ − −⎢ ⎥⎢ ⎥−⎣ ⎦



Redes de Hopfield

•  Condición de Alineamiento

[ ] [ ]1 1 1 0 0

1 1 21 1 1 1 1 1 1 1 0 1 03 3 3

1 1 0 0 1

0 2 21 2 1 23

2 2 0

W

W

−⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − ⋅ − + ⋅ ⋅ − − − ⋅⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦

−⎡ ⎤⎢ ⎥= ⋅ − −⎢ ⎥⎢ ⎥−⎣ ⎦



Redes de Hopfield

•  è8 estados posibles •  èSólo 2 de ellos son estables

•  ¿Por qué son estables?

( ) ( )1, 1,0 1,1, 1y− − −

0 2 2 1 41 12 0 2 1 43 3

2 2 0 1 4yW

−⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − − ⋅ − = ⋅ −⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥−⎣ ⎦ ⎣ ⎦ ⎣ ⎦



Redes de Hopfield

111

ySgn W y⎡ ⎤⎢ ⎥⎡ ⎤ = − =⎣ ⎦ ⎢ ⎥⎢ ⎥⎣ ⎦

0 2 2 1 41 12 0 2 1 43 3

2 2 0 1 4yW

− − −⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= ⋅ − − ⋅ = ⋅⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥− − −⎣ ⎦ ⎣ ⎦ ⎣ ⎦

111

ySgn W y−⎡ ⎤⎢ ⎥⎡ ⎤ = =⎣ ⎦ ⎢ ⎥⎢ ⎥−⎣ ⎦



Redes de Hopfield









Función de Energía (Cambio de energía debido a un cambio de estado de neurona j)

1 1

12

N N

ji i ji j

j i

E ω δ δ= =

≠

= − ∑∑

0ij ji

j jω ω

θ

=

= ∀



à Propiedad central de una función de energía es que siempre decae o se mantiene constante durante la evolución del sistema {

( )ij i j

ijiiE C ω δ δ= −∑

{0

0

' ( )

'' '

'

2

2 2

i ij j ij

i i

i i

ij i j ij i jj i j i

i ij jj i

i ij j iij

Sea S Sgm nuevo valor para

Si S S E no cambiaSi S S E E

ω δ δ

ω δ δ ω δ δ

δ ω δ

δ ω δ ω

≠ ≠

≠

>

<

=

= ⇒

= − ⇒ −

= − +

=

= −

∑

∑ ∑

∑

∑1 4 2 43



En el ejemplo anterior: 1 2 2 3 1 32 ( )3

E δ δ δ δ δ δ= − +

E

-1 -1 -1 2/3

1 -1 -1 2/3 0 -1 1 -1 -2 -8/3 1 1 -1 2/3 8/3 -1 -1 1 2/3 0 1 -1 1 -2 -8/3 -1 1 1 2/3 8/3 1 1 1 2/3 0

1δ 2δ 3δ EV



Estados Espurios à Representan estados estables diferentes de las

memorias fundamentales almacenadas à E no cambia si se invierten todos los estados de

las neuronas è Un estado estable corresponde naturalmente al

inverso de otro

à Pueden aparecer estados estables para cada mezcla de estados almacenados èCombinación lineal de un número impar de patrones



à Mientras mayor el número de estados

fundamentales almacenados è Mayor cantidad de mínimos locales que no

están correlacionados con los anteriores è Spin-Glass Status

(Ausencia de auto retroalimentación beneficia la no-aparición de estos)

1, 2, 3,: ( )i i i iEj Sgmδ ξ ξ ξ= + +



Capacidad de Almacenamiento de memorias fundamentales

à No siempre todas las memorias fundamentales son estables

à La capacidad de almacenar patrones que resulten atractores es limitada

à Estabilidad de un patrón particular

(entrada neta a unidad i del patrón v)

viξ

( )1

v vi i

v v vi ij j i j j

j j

sgm h i

con hN

µ µ

µ

ξ

ω ξ ξ ξ ξ

= ∀

= =∑ ∑∑



à Si se separa la suma en en el término

è Esto ocurre cuando el número de parámetros almacenados, p, es pequeño.

µv restoµ = +

1v v vi i i j j

j v

estabilidad ssi este término=0o suficientemente pequeño

hN

µ µ

µ

ξ ξ ξ ξ≠

= + ∑∑1 4 4 2 4 4 3



à  depende de los patrones que se

intenten almacenar à Consideremos patrones aleatorios de

igual probabilidad:

1:

1

v v vi i i j j

j v

vi

Sea CN

Si C problemas

µ µ

µ

ξ ξ ξ ξ≠

= −

> ⇒

∑∑

viC j

µξ

1

1j

j

oµ

µ

ξ

ξ

= +

= −



à Probabilidad, Perror, de que algún bits sea inestable:

à Perror depende del número de neuronas N y el número de patrones p.

à Si asumimos N y p >> 1 è  (números aleatorios independientes +1 ó -1)

à Distribución binomial (por sacar al azar +1 ó -1) è Distribución normal

( 1)verror iP Prob C= >

1iC Np

Nµ = ∑



è Perror < 0.01 è Pmax = 0.15N Pmax: máxima capacidad

-1 1

Perror Pmax/N 0.001 0.105 0.0036 0.138 0.01 0.185 0.05 0.37 0.1 0.61

( )viP C

PN

σ =

errorP

viC

Documents

Curso de Ingeniería Neuronal Clase 5: Redes de Hopfield