INTRODUCCION A LAS REDES NEURONALES

GRUPO DE TRATAMIENTO AVANZADO DE SEÑAL (GTAS)

UNIVERSIDAD DE CANTABRIA

¿QUE ES UNA RED NEURONAL?

• El cerebro humano es mucho más lento que un microprocesador y, sin embargo, es capaz de realizar ciertas tareas de forma más eficiente que cualquier ordenador

-Visión,

-Reconocimiento,

-Toma de decisiones

-Control,....

• Esta potencia de cáculo tiene relación con las siguientes características- Complejidad,

- No linealidad

- Paralelismo

- Aprendizaje

• Una Red Neuronal es una estructura de computación masiva y paralela compuesta por unidades no lineales individuales (neuronas) en la cual el conocimiento

- Se establece mediante un proceso de aprendizaje

- Se almacena en las interconexiones (pesos o sinapsis) entre neuronas

PROCESADO CLASICO/PROCESADO CON NNs

• Procesado Clásico

Datos

DatosConstrucción

Modelo

Validación

Modelo

- Clasificación

- Predicción

- Reconocimiento,...

Datos

DatosAprendizaje

NN

- Clasificación

- Predicción

- Reconocimiento,...Entrenamiento

Test

• Procesado con Redes Neuronales

¡ LA RED NEURONAL EXTRAE DIRECTAMENTE DE LOS DATOS LA INFORMACION PARA RESOLVER EL PROBLEMA!

MODELO DE UNA NEURONA

• Las excitaciones (inhibiciones) de otras neuronas que llegan a través de las sinapsis son integradas y, si superan un umbral, la neurona “dispara” una señal de excitación

)(1

ii

j

N

jjjii

i

yu

vuwydt

dy

lineal) (no activación de función

i neurona la y j neurona la entre

)inhibición o n(excitació sinapsis

neurona la de (salida) activación

neurona la de interno estado

()

ji

i

i

w

u

y

MODELO DE UNA NEURONA

• Modelo simplificado (McCulloch & Pitts, 1943)

• Conocido como PERCEPTRON (Rosenblatt, 1957) o ADALINE (Widrow,1960)

p

jkθjxkjwkθkuky

1

• Es la función de activación

• Es el umbral o término de bias()k

FUNCIONES DE ACTIVACION

• Empleando estas funciones de activación, una neurona (PERCEPTRÓN) permite la separación del espacio de entrada en dos clases mediante un hiperplano

-2 0 2

-1

0

1

-2 0 2

0

0.5

1

UMBRAL DURO )()( usigu SIGMOIDE)exp(1

1)(

auu

-2 0 2

-1

0

1

TANGENTE HIPERBÓLICA autanhu )(

EL PERCEPTRON MULTICAPA (MLP)

• Es la Red Neuronal más empleada y conocida

• Conocido un conjunto de patrones entrada/salida la red es capaz de “aprender” mediante un algoritmo de entrenamiento

• El “conocimiento” está almacenado y distribuido en los pesos de la red

• Es una estructura de computación robusta ante fallos

Ent

rad

as

1ª capa oculta

2ª capa oculta

Sal

idas

UN EJEMPLO DE APLICACIÓN

• PROBLEMA: Predicción de consumo eléctrico a corto plazo en un área geográfica determinada

- Si infraestimamos la carga necesaria tendremos que comprar MW a otras compañías a un precio elevado

- Si sobreestimamos la carga es posible que no podamos venderla (si el resto de compañías predicen adecuadamente sus necesidades

• Es un problema no lineal en el que intervienen factores climatológicos (temperatura, humedad,...), estacionales y geográficos (horarios de trabajo y ocio, uso de aire acondicionado y calefacción, etc.)

• Es un problema difícil de formular y solucionar mediante técnicas convencionales, pero del que es sencillo disponer de un gran número de datos entrada/salida

Red Neuronal

SOLUCION PROPUESTA BASADA EN NNs7

en

tra

da

s Carga ayer a la misma hora

Temperatura prevista para esa hora

Humedad prevista para esa hora

24 cargas del día anterior

24 temperaturas del día anterior

24 temp. previstas para el día actual

24 cargas mismo día sem. anterior

24 temp. mismo día sem. anterior

24 temp. previstas para el día actual

72

e

ntr

ad

as

72

e

ntr

ad

as

Módulo Horario

24 MLPs

Módulo Diario

7 MLPs

Módulo Semanal

7 MLPs

Carga H 1

Carga H2

Carga H24

Carga H1

Carga H 2

Carga H24

Carga H 1

Carga H2

Carga H24

Combinador

Carga H1

Carga H2

Carga H24

“Artificial Neural Network Short-Term Load Forecaster (ANNSTLF)”, propuesta por A. Khontanzad, R. C. Hwang,A. Abaye, D. Martukalam, IEEE Trans on Power Systems, Aug. 1995; IEEE Trans on Neural Networks, July 1997.

APRENDIZAJE/GENERALIZACIÓN

• En el problema anterior la red no se limita a memorizar los datos sobre los que ha sido entrenada

¡¡ LA RED NEURONAL ES CAPAZ DE GENERALIZAR!!

• GENERALIZACION: La salida proporcionada por la red es correcta (o al menos razonable) en puntos en los que no ha sido entrenada.

• La generalización está relacionada con la suavidad de la función a aproximar o modelar

REDES ESTATICAS/DINÁMICAS

• El MLP es una red estática: las ecuaciones de los nodos (neuronas) no cambian con el tiempo (una vez entrenado)

• Redes Recurrentes

• Red de Hopfield

NNs

Estáticas Dinámicas

• Perceptron Multicapa (MLP)

• Red de Funciones de Base Radial (RBF)

• Mapas de Kohonen o Autoorganizados (SOFM)

Wxu)(ux

Red de Hopfield

1x

2x

3x

4x

APRENDIZAJE

• El MLP es una red entrenada con un algoritmo de aprendizaje supervisado : se necesita un conjunto de patrones entrada/salida deseada

Ap. No Supervisado

NNs

Ap. Supervisado

• MLP

• Redes Recurrentes

• Red de Hopfield

• Mapas de Kohonen (SOFM)

Híbrido

• RBF

APLICACIONES A TRATAMIENTO DE SEÑAL

• Aplicaciones en Comunicaciones:

- Igualación, cancelación, conmutación, enrutamiento, demodulación multiusuario,...

• Aplicaciones en Tratamiento de Voz:

-Reconocimiento, autentificación de locutores, codificación, cuantificación vectorial,...

• Aplicaciones en Tratamiento de Imagen:

-Reconocimiento de formas y patrones (huellas dactilares, números, caras,...)

• Aplicaciones en Modelado/Predicción:

-Predicción no lineal de series temporales (financieras, consumo eléctrico,...)

• Aplicaciones en Control

-Control de procesos, robots, vehículos,...

AREAS Y CONOCIMIENTOS RELACIONADAS

• Un Filtro No lineal

- Algoritmos Adaptativos (LMS, RLS, Newton), Modelos no lineales (Volterra, Wiener),

Clasificadores Bayesianos,...

• Un sistema dinámico no lineal

- Estabilidad, Funciones de Liapunov, Atractores, Ecs diferenciales no lineales, ...

• Un aproximador funcional

- Análisis funcional, Teoría de la aproximación,....

• Un modelo neurofisiológico

- Percepción, Visión, Reconocimiento,...

• UNA RED NEURONAL PUEDE SER VISTA COMO:

CONCLUSIONES

• Las Redes Neuronales son estructuras paralelas y no lineales capaces de resolver un gran número de problemas

• Ofrecen soluciones en problemas en los que intervienen muchas variables y que son difíciles de formalizar

• Son capaces de aprender y generalizar

• Existen un gran número de topologías y algoritmos de entrenamiento

• Inconveniente: Funcionan como una “caja negra”, resuelven un problem pero es difícil saber cómo lo han hecho

• Son una herramienta valiosa, pero no resuelven TODOS los problemas, ni siempre los resuelven de la MEJOR manera.

• Como ejemplo: en 1995, cada día se publicaRON:

6 Artículos en Evolutionary Computation

11 Artículos en Fuzzy Logic,

20 Artículos en A.I.,

25 Artículos en Neural Networks &

34 Artículos en Computational Intelligence

• Pese a este enorme esfuerzo investigador e interés, hay quien (todavía)

piensa:

“The image which is portrayed is of the ability to perform magically well by

the incorporation of “new age” technologies of fuzzy logic, neural networks,

approximate reasoning and self-organization in the face of dismal failure of

traditional methods. This is pure, unsupported claptrap which is pretentious

and idolatrous in the extreme, and has no place in the scientific literature”

Prof. R. Bitmead 1993, IEEE Control Magazine

ULTIMA REFLEXION