REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María

REDES NEURONALES ARTIFICIALES

TEORÍA Y APLICACIONES

Dr. Héctor AllendeDepartamento de Informática

Universidad Técnica Federico Santa María

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2

SOM/KOHONEN NetworkMapas Autoorganizativos

Capítulo 3


Estructura de la RedSOM (Self-Organization Map o Kohonen Network)

Teuvo Kohonen Rev. Information Science(1984)– Red de aprendizaje no supervisado.– Posee una única capa, la capa de salida.

• Posee un feedback lateral. En general es de forma indirecta

( tipo “Sombrero Mejicano”).

• Consiste en K neuronas.

• Puede ser unidimensional (K) o multidimensional ( KxK).

– La capa adicional de entrada solo distribuye la entrada en la capa de salida.

• Consiste en N neuronas (dimensión de la entrada).

• No hay procesamiento


Estructura de la red de Kohonen


Sombrero mejicano

Las Neuronas cercanas reciben un feedback (+)

Las Neuronas a mediana distancia reciben feedback (-).

Las Neuronas lejanas no son afectadas.


Estructura de la Red.

• Obervaciones:– La distancia entre neuronas es discreta. 0 para la

neurona misma, 1 para las neuronas más cercanas etc.– La función de feedback determina la velocidad de

aprendizaje.– Vecindad Neuronal: Area afectada por el feedback

lateral.– Para grandes vecindades, la distancia puede

considerarse función continua.


El Proceso de aprendizaje

• Matriz de pesos:

• Vector de entrada: – Entrada es una función paramétrizada x = x(t)

• Entrada total: a = W x

• La neurona k que tiene un peso asociado

tal que:

se declara ganadora.

NiKjijwW

,..,1,..,1}{

NiixX ,..,1}{

||:),(||||:),(|| min,..,1

xjWxkW T

Kj

T

NkW :),(


Proceso de aprendizaje

• Todas las neuronas incluidas en la vecindad neuronal incluida ella misma participan en el proceso de aprendizaje. Las otras neuronas no son afectadas.

• El proceso de aprendizaje consiste en cambiar el vector de pesos en la dirección del vector de entrada (feedback positivo).

• Existe también un proceso de olvido proceso que retarda el progreso (feedback negativo)


Proceso de aprendizaje

• Aprendizaje lineal: cambios ocurren en direccion de la combinación lineal de X y W(j,:) para cada neurona:

donde y son funciones escalares (no lineales). : feedback positivo : feedback negativo

• A continuación se considera que la vecindad neuronal es toda la red.

),(),( WxWxdt

dW


Tipos de aprendizaje• La ecuacion diferencial Trivial:

tt

tT

T

T

eWdtetxtW

Wxdt

dW

jWxdt

jdW

0

0

'

0

')'(1̂)(

:Solución

.W W(0):inicialCondición

1̂

:matricial forma

00, :),(:),(

Para t, W(j,:) es un promedio exponencialmente ponderado de X.


Tipos de Aprendizaje

• La ecuación simple:

.W W(0):inicialCondición

])()()[()1(

])()()[()1(

)()1(

:discreto en tiempo Aprox.

)()(1

:matricial, forma

00, :),()(:),(

0

IItxtxtWtW

ItxtxtWtt

tWtW

t

W

dt

dW

IxxWWxtadt

dW

Wxa

jWxtadt

jdW

T

T

TT

Tj


Tipos de Aprendizaje• La Solución de la ecuación simple:

– La solución puede ser divergente o convergente a cero, casos ambos casos son inaceptables.

– Para tiempos cortos la solución se aproxima a procesos asintóticamente estables.

• Para t ; relativamente pequeños y 0:

1

0'0 ])()([)(t

t

T IItxtxWtW

1

0'0 )'()'()(

t

t

T txtxIWtW


Tipos de Aprendizaje

• La Ecuación diferencial de Riccati:

WWxxdt

dW

jWjWIxdt

jdW

jWxxjWa

jWaxdt

jdW

TT

TT

TTj

jT

)1̂(1̂

:matricialnotación En

:)],(:),([:),(

:),(:),( como

0,0 :),(:),(


Tipos de Aprendizaje• Ecuación de Riccati:

– Proposición: Considerando un acercamiento estadístico a la ecuación de Riccati, si una existe solución, la solución de W es de la forma:

– Todo W(j,:) llega a estar paralelo a <x> y tendrá la norma

cteWxEx

xx

xW

T

t

}/{ donde

0̂ si ||||

1̂lim

/||:),(|| jW


Tipos de Aprendizaje• Ecuaciones más generales:Teorema: Sea > 0, a =Wx y (a) una función arbitraria tal

que E{(a)|W} existe. Sea x = x(t) un vector con propiedades estadísticas estacionarias (e independiente de W). Entonces, si el proceso de aprendizaje es del tipo:

tiene soluciones W acotada para t, entonces debe tener la forma:donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser

paralelo a <x>

Waxdt

dW

jWaxdt

jdW

TT

jT

]1̂)([1̂

:matricialnotación en

K1,..,j :),()(:),(

Tt xW 1̂lim


Tipos de AprendizajeTeorema: Sea > 0, a = Wx y (a) una función arbitraria tal

que E{(a)|W} existe. Sea <xxT>=E{xxT|W}. Sea max=máxl

l el valor propio máximo de < xxT > y umax el vector propio asociado. Entonces, si el proceso de aprendizaje es del tipo:

tiene soluciones no triviales W acotada para t, entonces debe tener la forma:

donde Wumax Ô, W(0) = W0 ; ie, W(j,:) llega a ser paralelo a umax

Waaxdt

dW

jWaxadt

jdW

TT

Tj

]1̂)([

:matricialnotación en

:),()(:),(

Tt xW 1̂lim


Dinámica de la Red

• Función de ejecución de la red:Para cada vector de entrada X ,

la neurona k para la cual

se declara ganadora. El ganador es usado para decidir que pesos serán cambiados. Todas las neuronas pertenecientes a la vecindad neuronal participan en el aprendizaje.

||:),(||||:),(|| min,..,1

XjWXkW T

Kj

T

nTjW :),(


Dinámica de la Red

• Función de aprendizaje de la red:– El proceso de aprendizaje es no-supervisado.

– El aprendizaje se desarrolla en tiempo discreto.

– W=W(t)

– En t = 0 los pesos son inicializados con valores aleatorios pequeños W(0) = W0 .

– Los pesos se actualizan de la siguiente forma:

• Para x(t) encontrar la neurona ganadora k.

• Actualizar los pesos según modelo elegido:

)/()1()( dtdWtWtWW


Dinámica de la Red

• Inicialización y condición de parada:– Los pesos son inicializados con valores

aleatorios pequeños.– La condición de parada del proceso de

aprendizaje puede ser:• Elegir un número fijo de pasos.

• El proceso de aprendizaje continúa hasta que la cantidad de ajuste: wji= wji(t+1)-wji (t)


El Algoritmo• Para toda las neuronas en la capa de salida: inicializar los pesos con

valores aleatorios

• Si se trabaja con vectores normalizados, Normalizar vectores

• Elegir el modelo de aprendizaje ( Ecuación diferencial)

• Elegir un modelo de vecino neuronal ( fu. de feedback lateral).

• Elegir condición de parada.

• Construir a partir de la ED, la fórmula de adaptación de los pesos.

• Considerando tiempo discreto, repetir los pasos anteriores hasta que la condición de parada se cumpla:– Tomar la entrada x(t)

– Para todas las neuronas j en la capa de salida, encontrar la ganadora.

– Conociendo la ganadora, actualizar los pesos.

)1,0(2U


Fórmula de adaptación de pesos• La ecuacion diferencial Trivial:

])(exp[h j)h(k,

,.0;,, j)h(k,

j)h(k, lateralfeedback defu la Dada

1̂

2jk

etocNjparao

Wxdt

dW

c

T

Para t, W(j,:) es un promedio exponencialmente ponderado de X.


Fórmula de adaptación de pesos

La ecuación Trivial:

.W W(0):inicial Condición

])(1̂[]1̂)()[()()1(

))(exp()(

exp),(

0

0

WtxnormxhttWtW

tft

jkh

TT

Documents

REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María