redes neuronales Som Slides

RNA. Facultat d’Informatica. UPV. Tema IV.1: Mapas autorganizativos

Mapas autorganizativos

� Aprendizaje no supervisado

� “Learning Vector Quantization”

� Aplicaciones

2000-2001 1


Mapas autorganizativos

x 1 x 2 x 3 x 4 x 5 x 6 x 7

w 1j

w 2j w

3j w 4j w

5jw

6jw

7j

UNIDAD j

ξ(t ,j) 0 ξ(t ,j) 1 ξ(t ,j) 2

� ESPACIO DE ENTRADA: ��

� RED DE � UNIDADES: �

� CONJUNTO DE PESOS: � � ��

� FUNCION DISTANCIA: ��

� FUNCION DE ENTORNO: � � � �� , �� si � �

2000-2001 2


Algoritmo de Kohonen

algoritmo SOM(�� )

Datos: �: dimension del espacio de entrada; �: una red de � unidades;

: ��

Resultado: � � �� : pesos de conexiones.

para todo �� hacer ��:= valor aleatorio /* Inicializacion */ fin parat:=0repetir

t:=t+1para todo �� hacer

�� argmin�� /* Eleccion de la unidad mas proxima* /para todo � � �� /*�� si � � */ hacer

�� /* �� si � � */fin para

fin parahasta �� o ��

2000-2001 3



x

w(t)

w’(t)

w"(t)

w(t+1)

w’(t+1)

w"(t+1)

w’’’(t)

w’’’’(t)ξ(t,j)

-

2000-2001 4



� Propiedad: La regla �� con � ��

verifica: � ��

� Recomendacion:

– �� – ��

�� o ��

�� y �� son las coordenadas de � y � �.

� Convergencia: (Yang y Dillon, 1991)

� Propiedad: Datos proximos en �� tenderan a estar representados porunidades “proximas” en el mapa autoorganizativo.

� Aplicacion: visualizacion en 2D: �� o en 1D ��

��

� Propiedad: A partir de una gran cantidad de datos de entrenamiento, la redes capaz de aproximar las distribuciones de probabilidad subyacentes delconjunto de datos con un numero reducido de unidades (Kohonen,1987)

2000-2001 5


Dinamica de un mapa autoorganizativo

Dado un �� , �� es �� si

�� argmin

��

� ��

� ��

��

��

��

��

��

��

si �� y ��

��

��

argmin

��

� �� argmax

��

��

Una funcion discriminante lineal

2000-2001 6


Clasificador basado en un SOM

CAPA DE SALIDA

CAPA DEL MAPA

CAPA DE ENTRADA

2000-2001 7


Etiquetado

algoritmo CALIBRADO-SOM(�� )


�: �� ; � � ��

Resultado: ETIQ� � � � � ��

para �� hasta � hacerpara todo � � � hacer VOTOS� � �� fin para

fin parapara todo �� hacer

�� argmin

�� ;

VOTOS� � �� VOTOS� � �� ;fin parapara �� hasta � hacer

ETIQ� � �� argmax�� VOTOS� � ��

fin parapara �� hasta � hacer

si VOTOS� � ETIQ� �� entonces ETIQ� � �� fin sifin para

2000-2001 8


Esquema general LVQ

algoritmo ESQUEMA-LVQ(�� )


: ��

Resultado: � � ��

� �� SOM��

ETIQ �� CALIBRADO��

��

repetirpara todo �� hacer

��

� �� LVQ*�� ETIQ�

fin parahasta � � �� o convergencia

2000-2001 9


“Learning Vector Quantization” 1

algoritmo LVQ1(�� ETIQ)

Datos: Una muestra �� , � � �

� � �� ETIQ� � � � ��

Resultado: � � �� corregidos

�� argmin��

si (ETIQ�� ) entonces

��

��

sino

��

��

fin si

2000-2001 10


“Learning Vector Quantization” 2algoritmo LVQ2(�� ETIQ)


� � �� ETIQ� � � � ��


�� argmin��

�� argmin��

si �ETIQ�� ETIQ�� entonces

� ��

si �� entonces

��

��

��

��

fin sifin si

2000-2001 11


“Learning Vector Quantization” 3

algoritmo LVQ3(�� ETIQ)

Datos: Una muestra �� , �� ; � � �� ; ETIQ� � � � � ��


�� argmin

�� ; �� argmin

��

si �ETIQ� � � �� ETIQ� � � �� entonces

si �ETIQ� � � �� entonces � � � �� fin si

si �ETIQ� � � ETIQ� �� entonces

��

��

; ��

��

sino

� ��

si �� entonces

��

��

; ��

��

fin sifin si

fin si

2000-2001 12


“Decision Surface Mapping”

algoritmo DSM(�� ETIQ)


� � �� ETIQ� � � � ��


�� argmin��

si (ETIQ�� ) entonces

�� argmin

��ETIQ��

��

��

��

��

fin si

2000-2001 13


Aplicaciones

� Reconocimiento del habla: mapas fonotonicos.

� Procesamiento del lenguaje natural: mapas semanticos.

� Control de robots.

� Compresion de imagenes.

� Clasificacion de icebergs por radar.

� Clasificacion de las canciones de cortejo en insectos.

2000-2001 14


Mapas foneticos

a a a ah h e e e

o a a h r l y y j i

o o a h r r r η η y j i

o o m a r m n m n j i i

l o u h v n n h j i

l u v v p d d t r h j

. . u v k p p p r k s

. . v k pt t p t p h s s

oe oe φφ

oe φ

tk

hj

hi

vm

2000-2001 15


Mapas semanticos

water meat dog horse

beer bread

fast seldom Bob

slowly often

Mary

well works

poorly speaks phones

little

much Jim

eats

buys visits

sells

runs

drinks walks hates likes

2000-2001 16

Education

redes neuronales Som Slides