Aplicaciones de las Redes Neuronales Artificilaes Dr. Héctor Allende

Aplicaciones de las Redes Neuronales Artificilaes

Dr. Héctor Allende

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2

Areas de Aplicación

• Areas donde se aplican ANN:– Ingeniería ( Control, Robótica, Visión )– Ciencias de la computación.– Neurofisiología.– Física.– Matemáticas– Ciencia del Conocimiento.– Economía y finanzas– Estadísticas.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3

Aplicaciones.• Algunas aplicaciones:

– Reconocimiento de patrones.– Predicción.– Regresión.– Compresión.– Procesamiento de Señales – Data Mining.– Series de Tiempo.– Finanzas.– Reconocimiento de voz, caras, caracteres .– Restauración de imagenes.etc.

EjemploModelos de Regresión

Redes FeedForward

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5

Modelos de Regresión

• Tipo de Redes:– Feedforward , Feedforward Recurrentes

• Característica:– Las redes Feedforward son aproximadores universales.

– Pueden modelar funciones altamente no-lineales, donde modelos lineales tradicionales, no se comportan bien.

– No necesitan conocomiento del fenómeno, sólo un conjunto de datos.

– Aprendizaje es supervizado.

– Corrección del Error

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6

Formulación del problema

• Se desea modelar la siguiente función

donde con

))5.0exp(1(10)(

20,...,1)(1

iis

iisi

xxf

iexfx

),0(~ 102INei 3/12

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7

Tipo de ANN utilizada

• La entrada a la red fue normalizada entre

[-1,1].

• Tiene 1 neurona de entrada y 1 de salida.

• La red tiene 1 capa escondida y 3 neuronas escondidas.

• La red es del tipo FeedForward con algoritmo de aprendizaje Back-Propagation.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8

Proceso de Aprendizaje.Desempeño del BackPropagation

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9

Datos experimentales y salida de la ANN

EjemploSeries de Tiempo y Predicción

Redes FeedForward

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11

Formulación del problema

• Tipo de Redes:– FeedForward.

• Modelar los datos de la “Línea Aerea Internacional”modelo (ARIMA), de orden (0,1,1)x(0,1,1)12

( )( ) ( )( )1 1 1 1120

12 B B x B B at t

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12

ANN de los datos de la Aerolínea

1 1

xt-1

xt-13

xtxt-12

INPUT LAYER HIDDEN LAYER OUTPUT LAYER

-1.1339

-1.5058

1.2433

-3.1022

-0.0883 1.5182

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13

Datos de la Aerolínea

EjemploClasificación de Patrones

LVQ (Learning vector quantizacion)

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15

Clasificación de Patrones

• Tipo de Redes:– LVQ (Learning vector quantizacion).

• Característica:– Consiste en clasificar un conjunto de elementos

en un conjunto de clases.– Se debe utilizar redes con aprendizaje

supervisado.– Las ANN son ampliamente usada en problemas

de clasificación.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16

Formulación del Problema

• Patrones:

– P son los patrones de entrada (p1 , p2)

– C es la clase a la cual pertenece cada patrón.

]1 1 1 2 2 2 2 1 1 1 [

0 1- 1 2- 1- 1 2 1- 1 0

3 2 2 0 0 0 0 2- 2- 3-

C

P

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17

Gráfico de la ubicación de los Patrones.

Rojo : Clase 1

Celeste : Clase 2

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18

Parámetros de la ANN

• Neuronas escondidas: 4

• Razón de aprendizaje: 0.1

• Por ciento de cada clase: Clase 1: 60%, Clase 2: 40%

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19

Resultado de la Red neuronal.

+ Vectores de entrada.

O Pesos de las neuronas

Rojo: patrones clasificados como clase 1

Celeste: patrones clasificados como clase 2.

Clasificación de caracteres

Counterpropagation Network

Redes CPN

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21

Clasificación de Caracteres

• Tipo de Redes:– CPN.

• Característica:– Consiste en un problema de clasificación de patrones.

– Se debe utilizar redes con aprendizaje supervisado.

– Las ANN son ampliamente usada en estos problemas de clasificación.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22

Formulación del Problema

• Se tiene un conjunto de letras como una imagen binaria de 5x6 pixeles, “1”cuando el pixel esta encendido y “0” cuando el pixel esta apagado

• La red tiene que asociar correctamente el código ASCII a la imagen.

1) 0 0 0 1 1 0 0 0 1 1 1 1

1 1 1 0 0 0 1 0 1 0 1 0 0 0 1 0 0()( AxTrep

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 23

Ejemplo de Imágenes de Letras

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 24

Representación de las letras

binario Código 1) 0 0 0 0 0 1 (0)(

65A de ASCII Código

1 0 0 0 1

1 0 0 0 1

1 1 1 1 1

1 0 0 0 1

0 1 0 1 0

0 0 1 0 0

)(

Ay

Ax

T

Trep

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 25

Letras de Testeo

EjemploProblemas de Heurística:

Traveling Salesperson Problem(TSP)

Redes de Hopfield

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 27

Problemas de Heurística: “Problema del Vendedor Viajero”

• Tipo de Redes:– Hopfield bidimensional con memoria continua.

• Característica:– Problema del tipo NP (no-polinomial).

– Consiste en un problema de Optimización.

– Se debe utilizar redes con aprendizaje no supervisado.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 28

Formulación del Problema

• Condiciones:• Un vendedor viajero debe visitar un número de

ciudades, visitándolas todas, solo una vez. • Moverse de una ciudad a otra tiene un costo

asociado ( dependiendo de la distancia) . • El vendedor viajero debe volver al punto de partida.• Se debe encontrar la secuencia correcta que

minimiza el costo.• (n!): 2n = número de recorridos distintos

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 29

Análisis del Problema

• Sea C1, C2, .., CK las ciudades involucradas.

• A cada ciudad se le asocia un número que representa el orden en el que fue visitada.– La representación es binaria.– Ej: 1era ciudad = (1 0 0... 0)– Ej: 2da ciudad = (0 1 0 ... 0)– Etc...

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 30

Matriz que define el Problema

K

k2

k1

1

21

C 1 ..... 0 ..... 0 .... 0

..........................

C 0 ..... 1 ..... 0 .... 0

..........................

C 0 ..... 0 ..... 1 .... 0

.........................

C 0 ..... 0 ..... 0 .... 1

K .... j .... j .... 1

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 31

Análisis del Problema

• La idea es construir una memoria de Hopfied Bidimensional, tal que la salida es la matriz Y que tiene la forma anterior, y será la solución.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 32

Restricciones para Y

1. Cada ciudad no puede ser visitada más de 1 vez. Cada fila tiene no más de un 1.

2. 2 ciudades no pueden ser visitadas al mismo tiempo Cada columna no puede contener más que un 1.

3. Todas las ciudades deben ser visitadas Cada fila o columna debe tener al menos un 1.

4. El costo o distancia total debe ser minimizado. Sea dk1 k2 el costo entre las ciudades Ck1 y Ck2.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 33

Pesos asociados a las Neuronas.

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 34

Construcción de los pesos.

1. Cada ciudad debe aparecer 1 vez en el tour:

• Una neurona en una fila debe inhibir todas las otras de la misma fila.

RA ),1(21211122

)1(jjkkjkjk Aw

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 35

Construcción de los pesos.

2. No debe haber con el mismo número de orden en un tour.

• Una neurona en una columna debe inhibir todas las otras de la misma columna.

RB ),1(21211122

)2(kkjjjkjk Bw

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 36

Construcción de los pesos.

3. La mayoría de las neuronas deben tener valor cero entonces se debe usar inhibición global

RC )3(

1122Cw jkjk

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 37

Construcción de los pesos.4. Distancia total debe ser minimizada,

entonces las neuronas reciben entrada inhibitoria proporcinal a la distancia.

e.t.o.c.

1jy j si 1''

e.t.o.c.

jy 1j si 0'

RD ),(

2

212

2

212

1´´1')4(

2121211122

j

KKj

j

Kj

donde

Ddw jjjjkkjkjk

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 38

Función de Energía

• Función de energía de la memoria discreta de Hopfield:

• Formula de actualización:

)(2

1txyWyyE TT

)](1̂[)(1̂)()()1( tytyCtWytyty

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 39

Inicio del Algoritmo. TSP 50 ciudades

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 40

Solución Encontrada.TSP 50 ciudades