Redes Neurais: Redes Neurais: Classificação e RegressãoClassificação e Regressão

Renato VicenteRenato Vicentervicente@if.usp.rvicente@if.usp.brbr

10/01, 10/01, mpmmfmpmmf, IME/FEA , IME/FEA –– USPUSP

RN s para Regressão e RN s para Regressão e Classificação Classificação

Breve históricoBreve históricoClassificação e RegressãoClassificação e RegressãoAplicaçõesAplicaçõesPerceptronsPerceptronsRedes MulticamadaRedes MulticamadaBackpropagationBackpropagation

Uma Breve História das Uma Breve História das RNsRNs19431943 McCulochMcCuloch e e Pitts Pitts ComputationalComputational NeuronNeuron ModelModel1948 1948 Turing Turing BB--typetype UnorganisedUnorganised MachineMachine19491949 Hebb Hebb Aprendizado no CérebroAprendizado no Cérebro19621962 Rosenblatt Rosenblatt PerceptronPerceptron1969 1969 MinskyMinsky e e PapertPapert ““PerceptronsPerceptrons””1974 1974 WerbosWerbos BackpropagationBackpropagation19821982 Hopfield Hopfield Relação com a Física EstatísticaRelação com a Física Estatística19831983 HintonHinton e e Sejnowski Sejnowski Boltzmann Boltzmann MachinesMachines19881988 BroomheadBroomhead e e LoweLowe Redes Radial Redes Radial Basis Basis 1992 1992 MacKay MacKay e e NealNeal Métodos Métodos BayesianosBayesianos19961996 Williams, Williams, RasmussenRasmussen e e BarberBarber Processos Gaussianos Processos Gaussianos

Classificação e RegressãoClassificação e Regressão

Dado um conjunto Dado um conjunto com N exemplos com N exemplos

encontrar a funçãoencontrar a função

que minimize uma que minimize uma função erro função erro

estabelecida estabelecida

1{ , }Nn n nL t == x

*( , )t y= x w

* argmin ( )E=w w

Treinamento de uma RN = determinação de *w

AplicaçõesAplicaçõesClassificação:Classificação:

RatingRating automático para créditoautomático para créditoDetecção de fraudes Detecção de fraudes Sistemas de Sistemas de earlyearly warningwarning para riscospara riscosValidação automática de informações financeirasValidação automática de informações financeiras

Regressão:Regressão:Determinação de Determinação de SmileSmile de opçõesde opçõesInterpolação de curvas de jurosInterpolação de curvas de jurosMissingMissing datadata para ativos não líquidospara ativos não líquidosDetecção automática de tendências de mercadoDetecção automática de tendências de mercado

PerceptronPerceptron ContínuoContínuo

j jj

y g w x μ⎛ ⎞

= +⎜ ⎟⎝ ⎠∑

1( )1 ag a

e −=+

-4 -2 2 4

0.2

0.4

0.6

0.8

1

Função de transferência

GradientGradient DescentDescent

A função erro é A função erro é

Correção na direção deCorreção na direção demaior decréscimo maior decréscimo do errodo erro

2

1

1( ) [ ( ) ]2

N

n nn

E y t=

= −∑w w

1t t Eη+ = − ∇ tWw w

1( ) ( )

Nn n

n nn

E g y t=

′∇ = ⋅ −∑ x w x

Minimização do Erro de Minimização do Erro de TreinamentoTreinamento

(2)Δw

(3)Δw

E

w

( )Δ 1w

Método de NewtonMétodo de Newton

ˆ

1ˆ ˆ ˆ ˆ( ) ( ) ( ) ( ) ( )2

E E E≅ + − ⋅∇ + − ⋅ −w

w w w w w w H w w

ˆ

jkj k w

EHw w∂

=∂ ∂ ˆ

ˆ( )E E∇ ≅∇ + −w

H w w

*( )E∇ ≅ −H w w

* 1 E−≅ − ∇w w H

Se w* for o mínimo de E

Assim

Minimizando Erro com o Método de Minimizando Erro com o Método de NewtonNewton

w

*w1 E−− ∇H

E−∇

Redes MulticamadaRedes Multicamada

( , )j k jkg x w

jkw

kx

(2) (1)0 ( )j j j j j

jg w g μ⎛ ⎞

⋅ +⎜ ⎟⎝ ⎠∑ w x

Exemplo1 : Exemplo1 : Classificação com rede Classificação com rede SoftmaxSoftmax

1x 3x

exp

exp

kj jj

l

lj jl j

w xy

w x

⎛ ⎞⎜ ⎟⎝ ⎠=⎛ ⎞⎜ ⎟⎝ ⎠

∑

∑ ∑2x

1 2 3max{ , , }j index y y y=

Treinando a RedeTreinando a RedeO conjunto de treinamentoO conjunto de treinamentoconsiste de N pares comconsiste de N pares comvetores em 3d.vetores em 3d.

A função erro éA função erro é

O treinamento é efetuadoO treinamento é efetuadoem paralelo nas unidadesem paralelo nas unidadesda camada internada camada internautilizando o método deutilizando o método deNewtonNewton

lnn nj j

n jE t y= −∑∑

1{ , }

{(0,0,1), (0,1,0), (1,0,0)}

n n Nn

n

L ==

∈

x t

t

1 1t tj j j jE+ −= − ∇w w H

RegressãoRegressão

Uma RN Multicamada com saída linear e um número suficientemente Uma RN Multicamada com saída linear e um número suficientemente grande de unidades na camada interna pode aproximar qualquer grande de unidades na camada interna pode aproximar qualquer função com precisão arbitrária.função com precisão arbitrária.

0 10

( ) ( ) { } ( )N

i i ii

g z g z g g z z+=

+ − Θ −∑

( )xΘ

0x =0

1

Exemplo 2: Exemplo 2: Regressão nãoRegressão não--linear em 1 dimensãolinear em 1 dimensão

(2) (1)tanh( )j jj

y w w x=∑y

2

1

1( ) [ ( ) ]2

N

n nn

E y t=

= −∑w wx

Função Erro dada por:

Exemplos gerados por :

(2 )n nt sen x ruidoπ= +

BackpropagationBackpropagation:Treinando redes genéricas:Treinando redes genéricas

( )mkg

Rede com M camadas, cada unidade k de

camada específica m possui função de

transferência

A saída da unidade k da camada m é

( )mky

(m,k)

X

y

BackpropagationBackpropagation

( ) ( ) ( ) ( 1)

( ) ( ) ( 1) ( 1)

( ) ( ) ( 1)

( )

,

m m m mk k ik i

i

m m m mk ik i i

i

m m mi ik i

i

y g w y

g w g h

onde h w y

−

− −

−

⎛ ⎞= ⎜ ⎟

⎝ ⎠⎛ ⎞= ⎜ ⎟⎝ ⎠≡

∑

∑

∑

( )mky

( )mkg

( 1)miy −

( )mikw

Backpropagation Backpropagation

O conjunto de O conjunto de treinamento consiste de treinamento consiste de pares pares

O treinamento é efetuado O treinamento é efetuado através da minimização através da minimização da função erro da função erro

1{( , )}n n Nn=x t

( )2

,

1 ( )2

n nk k

k nE t y= −∑ x

BackpropagationBackpropagationApresentaApresenta--se um exemplo se um exemplo

CalculamCalculam--se as saídas se as saídas

CalculamCalculam--se os “erros” da se os “erros” da camada de saída dados por camada de saída dados por

PropagamPropagam--se estes erros para se estes erros para camadas interiores usando:camadas interiores usando:

( )mky

( ) ( )( )[ ]M Mk k kt y gδ ′= −

( , )x t

( 1) ( ) ( ) ( 1)( )[ ]M M M Mk lk l k

lw gδ δ− − ′= ∑

BackpropagationBackpropagation

AtualizamAtualizam--se os parâmetros utilizando:se os parâmetros utilizando:

Repete o procedimento o mesmo Repete o procedimento o mesmo procedimento para o próximo exemploprocedimento para o próximo exemplo

( ) ( ) ( 1)m m mkj k jw yηδ −Δ = −

BibliografiaBibliografia

Neural Neural NetworksNetworks for for PatternPatternRecognitionRecognitionbyby Christopher M. Christopher M. BishopBishop

www.www.ncrgncrg..astonaston.ac..ac.ukuk