Embed Size (px)
Citation preview
C261-69 TÓPICOS AVANZADOS:REDES NEURONALES ARTIFICIALES
PREDICCIÓN USANDO LAS REDES
RECURRENTES: HCNN Y HWNN
Dra. María del Pilar Gómez Gil
Coordinación de Computación
Instituto Nacional de Astrofísica, Óptica y Electrónica
Tonantzintla, Puebla.
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
1
SISTEMAS DINÁMICOS NO LINEALES
� Pueden ser representados como:
� El campo vectorial F es no lineal; d es la dimensión del sistema
� Esta ecuación describe el movimiento de un punto en un espacio de estado d-dimensional, conocido como espacio de fase
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
.
))(()(
0yy
yyFy
(0)
)],( ... ),(),([=)( , 21
=
= tytytyttdt
tdd
2
SISTEMAS NO DINÁMICOS (CONT.)
�Una trayectoria de un sistema es un curva “dibujada” en el espacio de fase, mostrando la solución de esta ecuación a una condición inicial específica.
�El comportamiento de un sistema dinámico se puede visualizar a través de una gráfica conocida como mapa de retorno
� Un mapa de retorno muestra la relación entre un punto dado de una serie de tiempo con otros puntos adelante en el tiempo
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
3
CAOS
Según Kaplan y Cohen (1990), algunas características distintivas de caos son:Las trayectorias caóticas son aperiódicas y determinísticas,Los sistemas caóticos son extremadamente dependientes de las condiciones iniciales. Por lo tanto, pequeñas variaciones en las condiciones iniciales del sistema, harán que cambie de forma exponencial después de un determinado avance en la trayectoria,El comportamiento caótico está acotado por atractores extraños. Un atractor es el conjunto de puntos hacia los que se dirige una trayectoria cuando el estado transitorio del sistema termina.
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
4
EJEMPLO DE UN SISTEMA CAÓTICO
� Hay sistemas caóticos cuyo comportamiento es conocido y está claramente definido a través de ecuaciones. Por ejemplo, la ecuación Mackey-Glass (Glass 1987) que se usa para modelar el comportamiento de algunos sistemas biológicos
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
)()(1
)()(10
tbxtx
tax
dt
tdx−
−+
−=
τ
τ
5
SERIEMACKEY-GLASS
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
0 100 200 300 400 500 600 0.4
0.6
0.8
1
1.2
1.4 Mackey-Glass data for A=0.2, B=0.1, tao=17 h=0.9. 550 points of good2.dat
6
MAPA DE RETORNO DE LA SERIE
MACKEY-GLASS
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
0 0.5
1 1.5
0 0.5
1 1.5 0.4
0.6
0.8
1
1.2
1.4
Return map of good2.dat
x(i) x(i+ 5)
x(i+
10)
Injection
regions
7
(c) P. Gómez.-Gil, INAOE 2011 pgomez@in
EJEMPLO DE UN ELECTROCARDIOGRAMA
0 100 200 300 400 500 600 -1
-0.5
0
0.5
1
1.5
2
2.5 Original signal ecg2.dat
0 20 40 60 80 100 120 140 160 1800
5
10
15
20
25
30
Hertz
Magnitude
Power Spectrum of unfiltered ECG (ecg2.dat)
8
MAPA DE RETORNO DE UN ECG
-1
0
1
2
-1
0
1
2
-1
-0.5
0
0.5
1
1.5
2
x(i)
Embedding of the ECG Amplitude with lag = 10
x(i+10)
x(i
+20
)
Injection
Region
Injection
Region
σ= 10
9
EXPONENTES DE LYAPUNOV
� Son una medida de la razón promedio de cambio de las contracciones o expansiones que suceden cerca del “límite” en un sistema dinámico no lineal. Básicamente miden lo “caótico” de un sistema.
� Son medidas invariantes que se mantienen constantes aún y cuando las condiciones iniciales de un sistema cambian, o cuando ocurren perturbaciones en un sistema
�Hay varios métodos numéricos propuestos para aproximar los exponentes de Lyapunov de un sistema dinámico, a través de la serie de tiempo que éste produce. Se usan cuando se desconocen los valores reales de estos exponentes.
10
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
SERIES DE TIEMPO CAÓTICAS
�Muchos sistemas físicos, biológicos y sociales presentan un comportamiento caótico, pero desconocemos las ecuaciones que los describen. Algunos ejemplos son: la presión sanguínea, los latidos del corazón, el clima o el comportamiento de la bolsa de valores.
�Sería de gran utilidad en varios campos del conocimiento el poder predecir el comportamiento de señales caóticas a largo plazo.
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
11
LA RED NEURONAL HIBRIDA COMPLEJA[GOMEZ 1999]
� Conocida como HCNN (Hybrid-Connected Complex Neural Network) y propuesta originalmente en (Gómez 1999) (entonces presentada como Hybrid-complex neural network
� Está basada en pequeñas redes de 3 nodos, totalmente conectadas y recurrentes, llamadas generadores armónicos, capaces de aprender y generar funciones seno indefinidamente y de manera autónoma.
� Los generadores armónicos se conectan a otros neurones, a través de conexiones hacia adelante y recurrentes (de allí el nombre de híbrida)
� El modelo incluye un mecanismo para obtener cierta información relacionada con la dinámica caótica de la señal de entrenamiento
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
12
DINÁMICA DE CADA NEURÓN
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
dy
dty x I
ii i i= − + +σ ( )
x w yi ji j
j
= ∑
)())(()()1()( ttItxttyttty iiii ∆+∆+∆−=∆+ σ
Aproximada como:
∑=
=
m
j
jiji wtytx1
)()(
13
TOPOLOGÍA DE UNA HCNN
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
s(t-5) s(t-4) s(t-2) s(t-1)
v(t)
Sine function
3-node fully
connected NN
1 10 19 2 8 37 46 5 5 6 4 7 3 82 91 10 0 1 09 118 12 7 13 6 1 45 1 54 163 1 72 1 81 190 199 20 8 2 17 226 23 5 24 4
Initial
condition
Los generadores armónicos son
autónomos, esto es, una vez entrenados
no requieren ninguna entrada externa
Los generadores armónicos son
autónomos, esto es, una vez entrenados
no requieren ninguna entrada externa
14
ENTRENAMIENTO DE LA HCNN
1. Entrenar cada generador armónico de manera separada, para producir los primeros 7 armónicos de la señal de entrenamiento
2. Adaptar los pesos correspondientes a la parte de la red alimentada hacia adelante, utilizando entradas externas, y manteniendo constantes los pesos de los generadores armónicos. Esto se hace para incluir información que genere un sistema con maximo coeficiente de Lyapunov similar al del sistema original (Gencay and Detcher 92)
3. Adaptar los pesos de la parte recurrente (generadores armónicos) y parte alimentada hacia adelante
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
15
UNA HCNN PARA PREDECIR ECG
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
s(t-5) s(t-4) s(t-3) s(t-2) s(t-1)
CARACTERÍSTICAS:• 5 entradas• 7 generadores
armónicos• 1 nivel escondido
alimentado haciaadelante
16
SEÑAL ORIGINAL Y PREDICHA
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
Case K.2
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
1 90 179 268 357 446 535 624 713 802 891 980 1069 1158 1247 1336 1425 1514 1603 1692 1781 1870 1959 2048
n
expected
prediction
17
CLOSE-UP DE LA SEÑAL PREDICHA
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
- 0 . 2
- 0 . 1
0
0 . 1
0 . 2
0 . 3
0 . 4
1 1 2 1 2 4 1 3 6 1 4 8 1 6 0 1 7 2 1 8 4 1 9 6 1 1 0 8 1 1 2 0 1 1 3 2 1 1 4 4 1 1 5 6 1 1 6 8 1 1 8 0 1 1 9 2 1 2 0 4 1
n
18
COMPARACIÓN DE MAPAS DE
RETORNO
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
-0.2
0
0.2
0.4
-0.2
0
0.2
0.4-0.2
0
0.2
0.4
Return map of 2,048 points predicted in case K.2.A
x(i)x(i+ 10)
x(i+
20
)
Señal predicha
-1
0
1
2
-1
0
1
2
-1
-0.5
0
0.5
1
1.5
2
x(i)
Embedding of the ECG Amplitude with lag = 10
x(i+10)
x(i+
20)
Injection
Region
Señal Original
19
(c) P. Gómez.-Gil, INAOE 2011 pgomez@in
MEDIDAS DE DESEMPEÑO
MSE
(original vs. valor predicho)
3.1E-3
Valor Lyapunov de los primeros
512 puntos de la señal predicha
4.47±0.33
Valor Lyapunov del punto 513 to
2048 de la señal predicha
3.92±21.4
20
FORTALEZAS Y DEBILIDADES DE ESTE
MODELO (GÓMEZ & RAMÍREZ 2006)
� Las redes HCNN con capaces de oscilar de manera estable, y de generar señales caóticas (con exponentes de Lyapunov positivos) que semejan a un ECG “sin picos”
� Las redes entrenadas no pudieron aprender completamente la magnitud de la señal ni la fase de manera exacta.
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
21
LA RED HWRN
� Propuesta originalmente en (García-Pedrero 2009)
� Es una red de conexiones híbridas basada en señales reconstruídas a través de funciones wavelets, de ahí su nombre HWRN (Hybrid and based-on-Wavelet-Reconstructions Network)
� Contiene 3 fases de entrenamiento;1. Pre-procesamiento de la señal de entrenamiento y generación de señales reconstruídas
2. Entrenamiento de subredes totalmente recurrentes3. Entrenamiento del modelo completo
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
22
EJEMPLODEUNASERIE
FINANCIERA:
NN5-001 (CRONE
2006)
(c) P. Gómez.-Gil, INAOE 2011 [email protected]
24
DESCRIPCIÓN GENERAL DEL
MODELO
1. La señal de entrenamiento se descomponeutilizando el método de multi-escala de latransformada discreta Wavelet (DWT) basado enfiltros
2. Los coeficientes wavelet resultantes se utilizanpara generar cuatro señales, una de aproximacióny 3 de detalle , de éstas se seleccionan las 3 masrepresentativas
3. Estas señales se utilizan para que seanautónomamente reproducidas por pequeñas redesrecurrentes totalmente conectadas (SRNN)
4. Una vez entrenadas, las SRNN son insertadas enla arquitectura completa, y todo el sistema seentrena usando la señal original
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
25
EJEMPLO DE SEÑALES RECONSTRUIDAS
USANDO WAVELETS (SERIE NN5-001)
(c) P. Gómez.-Gil, INAOE 2011 [email protected]
Señal de Aproximación mas general
Señal de detalle a nivel 2 Señal de detalle a nivel 3
Señal de detalle mas general
27
MÉTRICAS DE EFICIENCIA DE PREDICCIÓN
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
%)100(2/)ˆ(
ˆ1
1
∑=
+
−=
n
t tt
tt
xx
xx
nSMAPE
∑∑=
=−
−−
−=
n
tn
iii
tt
xxn
xx
nMASE
12
11
1
ˆ1
∑=
−=
n
t
tt xxn
MSE1
2)ˆ(1
28
PROMEDIO DE DESEMPEÑO DE HWRN YOTRAS ARQUITECTURAS
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
Series Métrica Arquitectura Neuronal
Feed-forward Recurrente HWRN
Once Series
del conjunto
NN5
MSE 250.12 ± 226.05 198.69 ± 131.12 34.05 ± 20.12
SMAPE 49.28% ± 12.36 60.75% ± 13.05 27.22% ± 8.27
MASE 517.50 ±
1,079.68
546.31 ±
1,218.95
194.99 ±
387.22
29
MEJO
RCASODEPREDICCIÓNDELA
HWRN SOBREBENCHMARKSERIESNN5
(c) P. Gómez.-Gil, INAOE 2011 [email protected]
(NN5-109)
30
REFERENCIAS (1/3)
� Crone S.F.: NN5 forecasting competition for artificial neural networks & computational Intelligence.” Available at: http://www.neural-corecasting-competition.com/. Last consulted at March 2009 (2008)
� García-Pedrero, A. Arquitectura Neuronal Apoyada en Señales Reconstruidas con Wavelets para predicción de Series de Tiempo Caóticas (A neural architecture supported by wavelet’s reconstructed signals for chaotic time series prediction). Master Thesis (in Spanish), Computational Department, National Institute of Astrophysics, Optics and Electronics (2009)
� García-Pedrero, A and P. Gómez-Gil. “Time Series Forecasting using Recurrent Neural Networks and Wavelet Reconstructed Signals”. Proceedings of the 20th. IEEE International Conference on Electronics, Communications and Computers. CONIELECOMP 2010. Puebla
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
31
REFERENCIAS (2/3)� Gómez-Gil P, Ramírez-Cortés JM, Pomares Hernández SE, Alarcón-Aquino V. “A Neural Network Scheme for Long-term Forecasting of Chaotic Time Series” Neural Proceesing Letters. Published online: March 8, 2011. DOI: 10.1007/s11063-011-9174-0
� Gomez-Gil. P, Ramírez-Cortés M. “Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of Electrocardiograms.” IEEE Proc. of the 2006 International Word Congress of Computational Intellligence, IJCNN 2006.
� Gómez-Gil, P. “Long Term Prediction, Chaos and Artificial Neural Networks. Where is the meeting point?” Engineering Letters. Vo. 15, Number 1. August 2007. ISSN: 1816-0948 (online version), 1816-093X (printed version).
� Glass, Leon. “Complex Cardiac Rhythms,” Nature, Vol. 330, No. 24/31, pp. 695-696, December 1987.
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
32
REFERENCIAS (2/3)
� Haykin, Simon. Neural Networks and Learning Machines. Pearson, Upper Saddle River, 2009.
� Kaplan, Daniel T. and Richard J. Cohen. “Is Fibrillation Chaos?” Circulation Research, Vol. 67, No. 4, October 1990.
� Smith, L.A. “Limits to Predictability in 2000 and 2100.” Adaptive Systems for Signal Processing, Communications and Control Symposium 2000. AS-SPCC. The IEEE. 2000. pp. 129-134.
(c) P. G
ómez.-G
il, INAOE 2011
pgomez@
inaoep.m
x
33
