Redes Neurais Artiﬁciais Pulsadas Alexandre Romariz, Ph.D.socrates.if.usp.br/~actrdos/projeto/pdfs/rnp.pdf · Modelo Integração-e-Disparo10 † Integrate-and-ﬁre † Integrar

Redes Neurais Artificiais Pulsadas

Alexandre Romariz, Ph.D.

Departamento de Engenharia Elétrica

Universidade de Brasília

http://www.ene.unb.br/ romariz/palestras/rnp.pdf

Resumo

• Motivação

• Modelos dinâmicos

• Primitivas Computacionais

• Aprendizado

• Implementação e Aplicações

Conselho Nacional

de Desenvolvimento Científico

e Tecnológico

Universidade de Brasília

University of Colorado

at Boulder

c© 2003 Alexandre Romariz, Universidade de Brasília 1

Motivação - Redes Neurais Artificiais

Neurônio Artificial

• Soma adaptativa das entradas1

• Função de ativação não-linear

Propriedades

• Aprendizado e Generalização2

• Aproximação Universal3

• Memória Associativa4

Aplicações5

• Reconhecimento de Padrões

• Controle não-linear

• Modelamento

Σ wnxn

��

��

��

��

��

xw

1

n

wn

x

1

y=f( )Σ

Layer 1

Layer 2

Inputs

Outputs


1W. McCulloch and W. Pitts, “A logical calculus of the ideas immanent in nervous activity”,Bulletin of Mathematical Biophysics,5,115–133, 1943.2D. Rumelhtartet al. , “Learning internal representations by error propagation”, inParallel Distributed Processing,MIT Press, 1986.3K. Hornik et al. , “Multilayer feedforward networks are universal approximators”,Neural Networks, 2(5),359–366, 1989.4J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities”,Proc. Natl. Acad. Sci USA,79, 2554–2558, 1982.5Dillon et al. , “Everyday applications of neural networks”,IEEE Transactions on Neural Networks,8,199–207,1997.

Motivação - Redes Neurais Pulsadas

Níveis de abstração

• Representação estática

→ Relação tensão× freqüência

→ Código de freqüência (Rate Code)

• Resposta dinâmica

→ Série de pulsos curtos (spikes)

→ Código temporal

-4 -2 0 2 4Input

0.0

0.2

0.4

0.6

0.8

1.0

Out

put

Vantagens do código temporal

• Maior número de códigos possíveis6

• Resposta rápida a estímulos7

• Computação híbrida (D/A)8


6S. Thorpeet al., “Spike-based strategies for rapid processing”,Neural Networks, 14(6), 20017F. Riekeet al., Spikes, MIT Press 19978R. Sarpeshlar and M. O’Halloran, “Scalable hybrid computation with spikes”,Neural Computation, 14(9), 2003–2038, 2002

Motivação - Redes Neurais Pulsadas (cont.)Perspectiva Biológica

x1

xn

w1

wn

Axonhillock

��

��

��

��

��

v

t

Nodes of Ranvier

MyelinAxon

Σ

DendritesCell Body

• A maioria dos neurônios produzem pulsos

→ Pulsos são periodicamente regenerados

→ Comunicação mediada por pulsos


Motivação: Redes Neurais Pulsadas(cont.)

Número de Mensagens

• Contagem: N+1

• Binário: 2N

• Temporal:(T/τ)N

• Ordem: N!

τ

T

1

2

N

Decoder

Evidência neurodinâmica

• Respostas individuais mais reprodutíveis do que se pensava

• Não há tempo para computação de freqüência média

→ Mudança de trajetória de vôo na mosca doméstica: 30 ms após estímulo visual.

→ Reconhecimento de padrões em humanos: 150ms


Modelos Neurais: Condutâncias DinâmicasModelo de Hodgkin-Huxley9

• Condutâncias controladas por tensão (canais iônicos)

→ Na Rápido, excitatório

→ K Lento, inibitório

vm

gL gNa

VL VNam

u

tK

gK

VV+

−+

− −

−+

+

τv(t) = 1gL

[

gNa︷︸︸︷gNa0 m3(t) h(t) (v−VNa)+

gK︷︸︸︷gK0 n4(t) (v−VK)+u(t)]+(v−VL)

m = αm(v) (1−m)−βm(v) mh = αh(v) (1−h)−βh(v) hn = αn(v) (1−n)−βn(v) n

• Sistema dinâmico tetradimensional, não-linearmente acoplado.


9A.L. Hodgkin and A.F. Huxley,Journal of Physiology117, 1952.

Abstrações Computacionais

Modelo Integração-e-Disparo10

• Integrate-and-fire

• Integrar enquantov < θ

• Sev≥ θ, indicar um pulso e reinicializar

• Baseado em cláusulas condicionais

→ Inadequado para implementação física

Outro Exemplo

• Modelo de Resposta pulsada (Spike Response Model) 11

v(t) = η(t− t)+Z t

0ε(t ′− t)I(t ′) dt′

→ t marca momento do último pulso


10B.W. Knight,Journal of Physiology59, 197211W. Gerstner, in W.Maass and C.M. Bishop,Pulsed Neural Networks, MIT Press 1999

Equações de FitzHugh-Nagumo

Abstração em nível de SistemasDinâmicos12

• Redução de Dimensionalidade

→ v→ Variável de Excitação

→ w→ Variável de Recuperação

• Não-linearidade única

Pulsing under constant input

0 1 2 3 4Time(t.c.)

-0.50.0

0.5

1.0

1.5

v

1

3

0 1 2 3 40.00.10.20.3

w

24

τvv(t) = f [v]−w(t)+u(t)τww(t) = Av(t)−w(t)• u→ Entrada externa

• f [v] = v(1−v)(v−a), 0 < a < 1

State plane Trajectory

-0.2000 0.1500 0.5000 0.8500 1.2000v

0.1000

0.1500

0.2000

0.2500

0.3000

w

1

2

3

4

8

12R. FitzHugh, “Impulses and physiological states in models of nerve membrane”,Biophysical Journal, 1, 445–466, 1961

Modelos Neurais - Classes DinâmicasIntegradores

• Retorno ao equilíbrio é exponencial

• Entradas Pulsadas:menor intervalo é preferido.

• Pulsos negativos são inibitórios

• Na fronteira da instabilidade,autovalores são zero13.

Ressoadores

• Retorno ao equilíbrio é oscilatório

• Entradas Pulsadas:intervalo ressonante é preferido.

• Pulso negativo pode excitar

• Na fronteira da instabilidade,autovalores são imaginários.

Return to equilibrium

0 1 2 3 4 5Time(ms)

-1.0

-0.5

0.0

0.5

1.0

V

Integrator, τ=10msIntegrator, τ=1ms

Resonator, τ=1ms, ω=2π rad/s


13E. Izhikevich, “Neural excitability, spiking and bursting”,International Journal of Bifurcation and Chaos,2000.

Primitivas Computacionais

Detetor de Coincidência

• Atrasos adaptativos sintonizados com padrões temporais específicos

• Neurônio com pequena constante de tempo (pouca integração)

• Reconhecimento de Assinaturas Temporais

• Invariância de escala

• Possibilidade de um código de sincronismo na atividade neural

τ1

τ2

�


Primitivas Computacionais (cont.)

Ressonância e Acoplamento Temporal

• Acoplamento não é multiplicativo

→ Neurônios tipo II

→ Sinapses são dinâmicas

• Abre nova dimensão para acoplamento

• Exemplo: Multiplexação


Primitivas Computacionais (cont.)

Latência

• Decisão baseada no tempo do primeiro pulso

→ Estimativa muito rápida do perfil de intensidade

�

�

�

�

Tempo

��

�� "!$#�%'& (*),+.-'/$0�1'2(*),+.3'/5476�2

Códigos Populacionais

• Soma das atividades neurais em um grande conjunto

• Variável de dinâmica mais rápida do que o neurônio individual


Adaptação e aprendizado

Regra de Hebb

• Reforçar as conexões correlatas

• Base das regras de aprendizado em RNAs

• No caso temporal, a regra é mais estável

��

� ��

� ��

��! #"%$'&(*)

Weight updatecontributions

t

Problemas abertos

• Definição de ‘erro’ em um trem de pulsos

• Técnicas computacionalmente eficientes


Combinação de Microcircuitos NeuraisArquitetura da Rede

Fixed, uniformconnections

A B

Fixed, randomconnections

Inputs

Modified FNModel Neurons

Adaptive connetions

Outputs

• Neurônios pulsantes têm interconexões fixas

→ Aleatória,esparsa

→ Estado representa histórico recente das entradas

• Camada de saída combina adaptativamente os pulsos

→ Objetivo é claro na saída

→ Regras simples de aprendizado

• Trabalhos Prévios

→ ‘Liquid-state machine’14

→ Echo-state network15


14W. Maasset al. , “A model for real-time computation in generic neural microcircuits, inAdvances in Neural Information Processing Systems,15,2003.15H. Jaeger, “Adaptive nonlinear system identification with echo state networks”, inAdvances in Neural Information Processing Systems,15,2003.

Exemplo: Aprendendo trajetórias

Descrição

• Aprender a descrever uma trajetória 2D autonomamente

• Não há sinais externos após treinamento

• Testa generalização, robustez

XN-1 YN-1

XN

YN

Teacher

Current Position

Predicted Position

Adaptation

Treinamento em malha aberta

XN-1 YN-1

XN

YN

Teacher

Previous Position

Next Position

Adaptation

Z-1 Z-1

Treinamento em malha fechada


Trajetória “8”

Condição Inicial

Target and predicted trajectories

-0.4 -0.3 -0.2 -0.1 0.0 0.1x

-0.15

-0.10

-0.05

0.00

0.05

0.10

0.15

y

3 IteraçõesTarget and predicted trajectories

0.00 0.02 0.04 0.06 0.08 0.10 0.12x

0.00

0.02

0.04

0.06

0.08

0.10

0.12

y

4882 IteraçõesTarget and predicted trajectories

-0.05 0.00 0.05 0.10 0.15x

-0.05

0.00

0.05

0.10

0.15

y

291 Iterações

Malha FechadaTarget and actual trajectories

-0.05 0.00 0.05 0.10 0.15x

-0.05

0.00

0.05

0.10

0.15

y

• Trajetória se cruza

• Requer memória de curto prazo


Implementação Optoeletrônica

Vantagens

• Interconexão maciça

• Paralelismo

• Operações casadas com a física dosdispositivos

→ Produtos vetoriais

LED Input Array

Interconnection MatrixDetector Array

�

� � ��

Matrix - Vector Multiplier

Implementações prévias

• Redes de Hopfield16

• Retropropagação

• Aprendizado Competitivo17

• Memória Associativa

• Redes com atraso18


16N. Farhatet al. , “Optical implementation of the Hopfield model”,Applied Optics,24,1469–1475, 1985.17K. Wagner and T. Slagle, “Optical competitive learning with VLSI liquid-crystal winner-take-all modulators”,Applied Optics,32,1408–1435,1993.18G. Zhou and D. Anderson, “Acoustic signal recognition with a photorefractive time-delay neural network”,Optics Letters,19,655-657,1994.

Sistema Experimental

LiNbO3

��

��

��

��

MirrorPBS

ne

no

PD

Collimation

OSC

VCSEL

+f[v]

Optical Input

Electronic Feedback

vu

τvv(t) = −v+ f (v)+u(t)−w(t)τww(t) = Av(t)−w(t)

• f [v] implementada optica-mente

• Termos restantes são linea-res

+

-

u+f(v)

R1

C

+

-

v

R2

L

VB

w

+Circuito de Retroalimentação

• v→ Tensão no capacitor

• w→ Corrente no indutor

• Parâmetros

τv = R1C

τw =LR2

A =R1

R2


Experimentos: Pulsos de baixa freqüência

Verificando características dinâmicasSimulação

Input (V)

0 20 40 60 80 100Time(τv)

0.00.10.2

Driver Voltage (V)

0 20 40 60 80 100-0.20.00.2

Recovery (V)

0 20 40 60 80 1000.00

0.05

0.10

Detected Optical Signal (V)

0 20 40 60 80 1000.00

0.05

0.10

Experimento

• Limiar

• Produção dePulsos

• Períodorefratário

Oscilações sustentadasDriver Voltage(V)

10 20 30 40 50Time(τv)

0.0800.1050.1300.1550.180

Recovery

10 20 30 40 500.000.030.060.090.12

Detectd signal

10 20 30 40 500.0000.025

0.050

0.075

0.100


Experimentos: Bursting

Resultado Experimental• Polarização apenas

• Taxa de Repetição∼ 80KHz

• Burstsa 1.5MHz

• Não previsto no sistema 2D

Explicação• Efeito passa-altas dodriver

• DC necessário para manter oscilação(polarização pequena)

•

τvv = −v+g(y) f (θ)−w+xτww = −w+avτθθ = −θ+RThh(y)τyy = −y+ τyv

Simulação

• Dinâmica mais complexa pode ser obtida simplesmente


Arranjo para acoplamento óptico

Electronics

Electronics

��

��

3LiNbO

��

��

L3

L4

PBS

VCSELs

L2

f=3.3mm

L1

f=250mm

f=50mm

D1

D2

M2

BS

• Divisor de Feixe e Espelho transferem energia óptica

• Efeito do acoplamento verificado para diferentes níveis de polarização


Resultados do acoplamento ópticoDesacoplado Acoplado

• Pol. Baixa

• Energia óptica é recebida

• Pulsação esporádica

• Pol. Média

• Atividade desacopladainduzida por ruído

• Pulsação freqüente (masirregular) quando acoplado

• Pol. Elevada

• Oscilações irregulares comvários picos

• Regularidade e correlaçãoaumentam com acoplamento


Aplicações

Reconhecimento de Imagens

• Buonomano e Merzenich 199919

→ Explora as invariâncias naturais do código temporal

→ 93.4% de acerto em reconhecimento de dígitos manuscritos.

• van Rullen e Thorpe 200120

→ Reconhecimento rápido baseado no código de ordem.

→ Qualidade da reconstrução estabiliza após o disparo de 5% dos neurônios.

→ Aplicado ao reconhecimento de faces21

Reconhecimento de sons

• Operação direta sobre a forma de onda

• Invariância a várias formas de distorção


19D. Buonomano, M. Merzenich, “A neural network model of temporal code generation and position-invariant pattern recognition”,Neural Computation, 11, 103–116, 1999.20R. van Rullen, S. Thorpe, “Rate coding versus temporal order coding: what can the retinal ganglion cells tell the visual cortex”,Neural Computation,13,1255–1283,2001.21S. Thorpe, A. Delorme and R. van Rullen,“Spike-based strategies for rapid processing”,Neural Networks,14,715-725,2001.

Outras características neurais relevantes

Dinâmica sináptica

• Permite seleção de padrões temporais complexos

Integração Espacial

• Neurônio não é uma estrutura pontual.

• Sinais são integrados ao longo da árvore dendrítica.

Futuros Desafios

• Encontrar o ponto de equilíbrio

→ Plausibilidade biológica

→ Modelamento matemático

→ Eficiência computacional

• Implementar grandes redes

→ Combinação de óptica e micro-(nano-)eletrônica


Documents

Redes Neurais Artiﬁciais Pulsadas Alexandre Romariz, Ph.D.socrates.if.usp.br/~actrdos/projeto/pdfs/rnp.pdf · Modelo Integração-e-Disparo10 † Integrate-and-ﬁre † Integrar