1
Redes neurais artificiais em Redes neurais artificiais em reconhecimento de padrões e reconhecimento de padrões e
mineração de dadosmineração de dados
Leandro Augusto da [email protected]
Departamento de Eng. de Sistemas EletrônicosEscola Politécnica da Universidade de São Paulo
http://http://www.lsi.usp.br/iconewww.lsi.usp.br/icone
V CONGED – Congresso de Tecnologias para Gestão de Dados e Metadados do Cone Sul
30-31 de Agosto de 2007.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
2Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Sumário da Apresentação► Introdução
► Conceitos básicos
► O neurônio biológico e o neurônio artificial
► Tipos de arquiteturas de redes neurais artificiais
► Aprendizado em redes neurais (supervisionado e não-supervisionado)
► Principais aplicações das redes neurais
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
3Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
4Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução► Próximo ao final do século XIX, Santiago Ramon y
Cajal conclui dos seus experimento que o cérebro era formado por células discretas, conectadas entre si por ligações especiais (sinapses).
► Porém, a anatomia do cérebro é estudada há séculos.
► Os antigos gregos já praticavam dissecação, tendo realizado as primeiras observações e experimentos básicos no estudo do sistema nervoso, dando início a vários dos ramos da ciência que estudam o cérebro (neuroanatomia, neurofisiologia, psicofísica, psicologia, etc.).
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
5Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução
Descartes defendia a crença de que o cérebro abrigava um pequeno ser, acreditava ser “o sítio da alma”.
Tal ser era chamado de homúnculo e era responsável pelo controle e ações de todo o corpo.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
6Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução
Hipócrates a observação: “… o cérebro parece uma glândula, é branco e separado em pequenas massas, como as glândulas são…”.
Galeno associa esta estrutura à transmissão da informação sensorial e motora.
Herófilo descreve os troncos nervosos como tubos que unem as extremidades do corpo à medula espinhal e ao encéfalo.
Na antiga Grécia há registro da prática da dissecação e das primeiras observações registradas sobre o cérebro.
2
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
7Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução
Em 1650, o holandês Swammerdam remove um músculo da perna de uma rã, verificou que este se contraia sempre que era perturbado ou irritado.
No início do século XIX, Müller, considerado por muitos o “pai da fisiologia”, escreveu um prognóstico negativista dizendo: “…provavelmente nunca conseguiremos medir a velocidade da ação nervosa, uma vez que não podemos comparar sua propagação em um espaço interno como fazemos com a luz.”.
Acreditava-se, até então, que os impulsos nervosos propagavam-se com a velocidade da luz.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
8Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
9Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Indrodução
Em 1850, Hermman Ludwig Ferdinand vonHelmholtz, pupilo de Müller, mede a velocidade de propagação dos estímulos nervosos, com um aparato inteiramente mecânico, obtendo o valor de 61m/s para os nervos sensoriais do homem.
Mais tarde, Dubois-Reimond descobre a natureza elétrica da ação nervosa e realiza medidas precisas da propagação dos estímulos utilizando galvanômetros.
Ainda no século XIX, o inglês Bell e o francês Megendierealizaram experimentos em diversas partes do mecanismo sensorial, sintetizando-os em uma lei que, pela primeira vez, estabelece uma taxonomia das funções realizadas no sistema nervoso.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
10Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução
A neuroanatomia celular teve seu grande avanço com trabalhos realizados pelo cientista espanhol Ramon y Cajal.
Ele descreve com grande detalhe a taxonomia de vários neurônios do sistema nervoso e suas respectivas árvores dendritais, assim como aglomerados dessas células, formando as redes de processamento de informação no sistema nervoso
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
11Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução
► Em 1906, o cientista inglês Sherrington publica “The Integrative Action of the NervousSystem”, que descreve experimentos feitos em animais, associando diversas deficiências causadas por remoção de partes do córtex e medula espinhal, criando os termos “neurônio” e “sinapse” para descrever a célula nervosa e seus botões de contato.
► Em 1909, Brodman mapeia o córtex humano em 50 áreas por critérios cito-estruturais.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
12Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução
► O avanço mais significativo em eletroneurofisiologia se deu graças a Hudgkin e Huxley, que modelaram em 1960 os processos biofísicos envolvidos na geração do potencial de ação do neurônio, trabalho que lhes valeu o prêmio Nobel de Fisiologia em 1963.
► Desenvolveu-se, ainda, a neurofisiologia funcional, onde certas funções primitivas do sistema nervoso são associadas às áreas corticais específicas, mediante estudo sistemático de pacientes lobotomizados, que tiveram de alguma maneira parte do córtex avariado ou removido.
► Neste aspecto, ressalta-se o trabalho do neurofisiologistaRoger Sperry, que recebeu em 1981 o prêmio Nobel de Fisiologia pelo seu trabalho.
3
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
13Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Introdução► Atualmente, tecnologias como a microscopia
eletrônica e técnicas modernas de mapeamento de funções cerebrais, como tomografia computadorizada (CAT-Scan, PET-Scan) e ressonância magnética (NMR), permitem a visualização do sistema nervoso em pleno funcionamento, levando a um avanço rápido e eficiente das ciências que estudam o sistema nervoso, deixando pouco espaço para o “homúnculo”.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
14Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
15Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Neurônio Biológico
dentritos
soma
axônio
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
16Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Neurônio Biológico ► As conexões entre os neurônios se dão por meios de
sinapses, que podem ser excitatórias ou inibitórias, dependendo do mecanismo e neurotransmissoresenvolvidos nessa sinapse.
► Os dendritos se conectam aos axônios de outras células, servindo como receptores de sinal, enquanto o axônio tem a função de transmitir um pulso, dada a condição de disparo, conhecida como “potencial de ação”. Na transmissão do impulso elétrico, a sinapse efetua a troca de íons entre o citoplasma do axônio do neurônio transmissor e o dendrito do neurônio receptor.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
17Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Neurônio Biológico
Axônio
Dendritos
Sinapse
A conexão entre um axônio de um neurônio e um dendrito de outro é denominada Sinapse R
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
ação
de
dado
são
de
dado
s
18Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Entrada - Conexões SinápticasInformação - Impulsos Nervosos
• Impulso Nervoso: depolarização da membrana celular
Tempo
Potenciais de Ação
O Neurônio Biológico
4
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
19Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Neurônio Biológico
► A condição de disparo se dá quando o potencial da célula em relação ao meio salino que a cerca atinge um determinado patamar (limiar de disparo).
► Quando uma célula encontra-se com potencial positivo ela é dita “polarizada”; é então acionado um mecanismo somático conhecido como “bombas de íons” visando a diminuição da diferença de potencial na membrana até o nível normal.
► Uma vez atingido o limiar de disparo, a célula é dita hiperpolarizada, é disparado um único pulso no axônio, levando o potencial da célula ao valor de despolarização absoluta, onde permanece por um período de refração absoluta (Ta).
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
20Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Neurônio Biológico
► Em Ta a célula é incapaz de produzir outro potencial de ação, não importando a intensidade da despolarização.
► Isto limita a freqüência de operação do cérebro a 1/Ta. Posteriormente, há um período de refração relativa (Tr), onde o potencial retorna assintoticamente ao valor normal.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
21Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Neurônio Biológico
Tn Ta Tr
Tn: duração do impulsoTa: refração absolutaTr: período de refração
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
22Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Neurônio biológico.....Neurônio artificial
►Uma vez estabelecida a fisionomia e funcionamento do neurônio, podemos simplificar sua representação considerando um sistema de n entradas com pesos distintos aplicados, que, sendo x a soma ponderada, dada uma função de ativação g(x), gera uma única saída como função da entrada.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
23Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Neurônio biológico.....Neurônio artificial
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
24Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Neurônio biológico.....Neurônio artificial
• Durante Tr, a ocorrência de impulsos nervosos apenas épossível com o aumento da despolarização.
• Dessa forma pode-se dizer que o neurônio opera como um dispositivo que codifica em freqüências de pulsos o resultado da integração espacial/temporal dos estímulos
5
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
25Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Freq. De Pulsos(potenciais de ação)
Estímulo Sublimiar
(Freq. Sat.)
Depolarização daMembrana
Saturação
Tempo
Potenciais de Ação
Vendo com mais detalhe a relação entre estímulo e atividade na saída não é linear:
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
26Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Resumo … um nó (neural) realiza a seguintecomputação analógica
y = fy = fTT ( ( ΣΣ wwii xxii -- θθ ))
Estímulo Sublimiar
(Freq. Sat.)
Depolarização daMembrana
Saturação
x0
xN -1
ENTRADASAÍDA
yw
0
wN -1
x0
xN -1
ENTRADASAÍDA
yx0
xN -1
ENTRADASAÍDA
yw
0
wN -1
θ
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
27Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
28Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Função de transferência não linear do tiposigmóide ou tangente hiperbólica
•• Para efeitos de simplificação de modelos, a função resposta pode ser aproximada por várias funções analíticas:
SIGMÓIDESIGMÓIDE TANGENTE HIPERBÓLICATANGENTE HIPERBÓLICA
-1,5
-1
-0,5
0
0,5
1
1,5
-6 -4 -2 0 2 4 6
00,2
0,40,60,8
11,2
-6 -4 -2 0 2 4 6
•• Preserva Preserva -- se o fenômeno da saturaçãose o fenômeno da saturação•• Preserva Preserva -- se a se a monotonicidademonotonicidade na faixa dinâmicana faixa dinâmica•• Temos funções matematicamente amigáveisTemos funções matematicamente amigáveis
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
29Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O NeurônioBooleano
de McCcullockand Pitts(1943)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
30Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O neurônio Booleano
► Baseado nestas aproximações e nos trabalhos realizados por Alan Turing e John von Newman (que afirmavam que a álgebra booleana era a natureza essencial da inteligência), Warren McCulloch , médico, filósofo, matemático e poeta, juntamente com o estatístico Walter Pitts, publicaram um artigo no Bulletin of Mathematical Biophysics com o título: “A Logical Calculus of the Ideas Immanent in NervousActivity”, que se tornou referência absoluta para a teoria das redes neurais artificiais, sendo este também o primeiro paper escrito nessa área.
6
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
31Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O neurônio Booleano► O modelo de neurônio booleano era exageradamente
simples, considerando toda a informação já disponível naquela época sobre o comportamento elétrico da célula nervosa.
► Porém, baseado neste modelo, McCulloch implementou uma série de funções, onde, eram atribuídas as entradas um ganho arbitrário, gerando uma soma devidamente ponderada (ou subtração no caso de sinapses inibitórias), resultando em uma única saída: pulso, no caso da soma exceder um dado limiar, ou não-pulso, caso contrário.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
32Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O neurônio Booleano
Algumas funções booleanas implementadas por McCulloch
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
33Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O neurônio Booleano
• O neurônio booleano nada mais é que um caso particular de um discriminador linear, de entradas binárias que pode ser representado pela função:
⎟⎠
⎞⎜⎝
⎛Θ−= ∑
=
n
iii dtxwsignaly
1.
•A função signal retorna –1 para parâmetros negativos e +1 para positivos, e o teta representa o limiar de ativação.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
34Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O neurônio Booleano
⎟⎠
⎞⎜⎝
⎛Θ−= ∑
=
n
iii dtxwsignaly
1.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
35Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
AprendizadoHebbianoD.O. Hebb
(1949):
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
36Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aprendizado Hebbiano► Os estudo de Hebb estão concentrados nas leis de
adaptação envolvidas no sistema neural
► O Aprendizado Hebbiano baseia-se nos seguintes postulados:
1 - Se a ativação de um neurônio tiver grande influência na ativação de um outro neurônio, a ligação entre estes dois neurônios deve ser reforçada;
2 - Se a ativação de um neurônio não influencia a ativação de um segundo neurônio, a ligação entre estes dois neurônios deve ser enfraquecida ou até mesmo removida;
7
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
37Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
PerceptronsRosenblatt
(1960)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
38Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptrons► Em 1950, Rosenblatt, na Universidade de Cornell,
fez a primeira implementação genuína das idéias de McCulloch, utilizando múltiplos neurônios do tipo discriminadores lineares em rede de múltiplas camadas, experimento a qual deu o nome de “perceptron”.
► O perceptron possui uma camada de entrada, uma de saída, e uma ou mais camadas internas a entrada e saída, que são geralmente referias como camadas ocultas.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
39Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptrons
Camada de Entrada Camadas Ocultas Camada de Saída
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
40Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptrons
► A primeira vista, o discriminador linear de Rosemblatt não passa de uma função linear de n dimensões onde os pesos de cada conexão dados arbitrariamente, e de fato, neste estado é de pouco uso.
► Porem, dado um conjunto de exemplos com xi entradas e yi saídas desejadas, este mecanismo se torna um poderoso reconhecedor de padrões, que , como os similares biológicos, é capaz de aprender uma determinada função.
► Utilizando-se de um processo de treinamento com o uso dos exemplos, é possível alterar os pesos de cada conexão de forma aobter (na maioria dos casos) um determinado conjunto de saída, dado um conjunto de entrada.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
41Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Adaline,Madalinede Widrow
(1962)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
42Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Adaline: Adaptive Linear Element
► Adaline/Madaline propõe um principio de aprendizado conhecido como regra delta.
► A saída y é uma combinação linear de x
x1
x2
xm
w2
w1
wm
y
∑=
=m
0jjj )(n(n)wxy
8
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
43Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Adaline: Adaptive Linear Element
► Adaline: usa um neuronio e o algoritmo de aprendizadoLeast-Mean-Square (LMS) A idéia: tentar minimizar o erro quadrático, o qual é uma função dos pesos
► O mínimo da função erro E pode ser encontrado pelométodo do gradiente descentende
)n(e)w(n)( 221=E
∑=
−=m
0jjj )(n(n)wx)n(d)n(e
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
44Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Adaline: Passos Iniciais ... um Modelo Linear
∑
∑
Função de Soma
soma de todas as entradas * pesos
x2
x1
xn
wn
w2
w1
Pesos (ajustáveis)
.
.
.
soma =
n soma= xi * wi
i=1
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
45Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptrons: Olivro
Minsky and Pappert(1969)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
46Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: O livro► Se os conjuntos não forem linearmente separáveis, a
rede jamais converge, e fica oscilando entre valores
intermediários do cruzamento.
► O XOR é um caso de não separabilidade linear
► É impossível separar as classes C1 e C2 com apenas uma linha
0 10
1
-1-111
x2
x1
C1
C1
C2
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
47Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: O livro► Começa então o período negro das
pesquisas em redes neurais artificiais, interrompendo um período de 3 décadas de intensa pesquisa.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
48Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
MemóriaAssociativa
de Hopfield(1982)
9
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
49Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Memória associativa de Hopfield
► Em 1982, John Hopfield, apresentou um sistema neural artificial que permitia memorizar imagens nas interconexões entre os neurônios.
► Hopfield introduz o conceito de energia.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
50Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Sistemas auto-organizados
T.Kohonen(1982)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
51Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Sistemas auto-organizados► Cada neurônio da redes competitiva recebe único padrão,
idêntico para todos as entradas, e competem entre si.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
52Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Redes NeuraisMulticamadas
Rummelhart,Hintone Williams (1986)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
53Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Redes Neurais Multicamadas► O neurônio de Rummelhart, Hinton e Williams (RHW) foi o
primeiro a empregar o algoritmo de backpropagation, que resolvia algumas limitações fundamentais no treinamento de redes complexas.
► A retropropagação de erro (error backpropagation) é um modelo de treinamento mais robusto e com álgebra mais elaborada, atualmente o mais utilizado em redes neurais de múltiplas camadas, uma vez que se demonstrou muito eficiente na maioria das aplicações convencionais.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
54Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Redes Neurais Artificiais
► São sistemas computacionais, de implementação em hardware ou software, que imitam as habilidades computacionais do sistema nervoso biológico, usando um grande número de neurônios artificiais simples e interconectados entre si.
► Algumas aplicações típicas ...
Reconhecimento de caracteresReconhecimento e Síntese de VozClassificação de padrõesRiscos de inadimplência / deteção de padrões de riscoPrevisão de vendas / previsão de séries temporais
10
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
55Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Categorias de Arquiteturas das Redes Neurais
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
56Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aprendizado
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
57Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
“Aprendizagem” das Redes Neurais
• O aprendizado por exemplos do MLP permite que elerealize diversas funções sem a necessidade de um modelomatemático conhecido / confiável
•“Redes Neurais possuem capacidade de aprender por exemplos”
• “As informações são apresentadas a rede que extrai informações a partir dos padrões apresentados”
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
58Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
► A habilidade de aprender é uma característica fundamental da inteligência.
► Aprendizado no contexto de redes neurais pode ser entendido como o processo de ajustar os pesos da rede ou as interconexões dos neurônios para desempenhar uma tarefa específica .
► O aprendizado de uma rede é feito com base em um conjunto de treinamento.
► Existem três paradigmas de aprendizado
“Aprendizagem” das Redes Neurais
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
59Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aprendizado Supervisionado
• As informações são apresentadas à rede sob forma de padrões de entrada e os resultados desejados são conhecidos previamente.
• O “supervisor” verifica a saída da rede e a compara com a saída esperada
• Minimização da diferença
• Os algoritmos mais conhecidos são :
• Regra Delta• Backpropagation R
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
ação
de
dado
são
de
dado
s
60Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aprendizado Não Supervisionado
As informações são apresentadas à rede sob forma de padrões de entrada e os resultados desejados NÃO são conhecidos previamente.
Os padrões semelhantes são agrupados de acordo com as características intrínsecas dos dados.
O algoritmo mais conhecido é:
Competitivo
11
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
61Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aprendizado Híbrido
Supervisionado
Não Supervisionado
+
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
62Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Conhecendo detalhes de algumas arquiteturas de redes neurais
► A arquitetura, aprendizado e aplicação das principais arquiteturas de redes neurais será apresentado a seguir, a saber:
- Perceptron (SLP)- Perceptron Multicamadas (MLP)- Mapas Auto-Organizáveis (SOM)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
63Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquitetura Aprendizado Aplicações
SLP
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
64Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquitetura
► A arquiteura representa uma rede feed-forward com uma camada
► Para este estudo é suficiente apenas um neurônio para o percepetrom de camadaúnica (SLP – Single Layer Perceptron) :
M M
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
65Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: Modelando o Neurônio► Usa um modelo não linear (McCulloch-Pitts) :
x1
x2
xm
w2
w1
wm
b (bias)
v yϕ(v)
► ϕ é a função sinal:
ϕ(v) =+1 IF v >= 0
-1 IF v < 0Para a função sign(v)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
66Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Outras funções de transferência não lineares
► Com escalamento do argumento, pode-se abarcar osuniversos digital e analógico / linear e não linear simultaneamente
H a r d L im it e r R a m p in g F u n c t io n( l im it e r á p id o ) ( f u n ç ã o d e r a m p a )
S ig m o id e F u n c t io n S ig m o id e F u n c t io n( f u n ç ã o s ig m ó id e ) ( f u n ç ã o s ig m ó id e )
x x
xx
y y
yy
s < 0 , y = - 1s > 0 , y = 1
s < 0 , y = 00 < = s < = 1 , y = ss 1 , y = 1
11
- 1
1 1
1
y = 1 / ( 1 + e - s )
- 1
x > = 0 , y = 1 - 1 / ( 1 + s ) x < 0 , y = - 1 + 1 / ( 1 - s )
12
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
67Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: Aplicações
► O perceptron é usado para classificação: classifique corretamente um conjunto de exemplos entre uma de duas classes C1, C2:
Se a saída do perceptron é +1
então a entrada será classificada como C1
Se a saída é -1
então a entrada é classificada como C2 Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
68Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: Classificação► A equação abaixo descreve um hiperpalno no
espaço de entrada. Este hiperplano é usado paraseparar as duas classes em C1 e C2
0 bxwm
1iii =+∑
=
x2
C1
C2
x1
Fronteirade decisão
w1x1 + w2x2 + b = 0
Região de Decisãopara C1
w1x1 + w2x2 + b > 0
w1x1 + w2x2 + b <= 0
Região de decisãopara C2
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
69Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: Limitações
► O perceptron pode apenas modelar funçõesseparáveis linearmente.
► O perceptron pode ser usado para modelar as seguintes funções Booleanas:- AND- OR- COMPLEMENT
► Mas não pode modelar a função XOR.Por quê?
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
70Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: Limitações
► O XOR não é linearmente separável
► É impossível separar as classes C1 e C2 com apenas uma linha
0 1
0
1
-1
-11
1
x2
x1
C1
C1
C2
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
71Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
1.Inicialize os pesos com um número randômico pequeno (ou zero)
2. Apresenta um vetor padrão e avalie a saída do neurônio.
3. Atualize os pesos se as saídas forem diferentes com a regra de aprendizado do perceptron.
Perceptron: Algoritmo de Aprendizado
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
72Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Perceptron: Algoritmo de Aprendizado
►Variáveis e parâmetrosx(n) = vetor de entrada / vetor padrão
= [+1, x1(n), x2(n), …, xm(n)]T
w(n) = vetor de peso= [b(n), w1(n), w2(n), …, wm(n)]T
b(n) = bias / polarizaçãoy(n) = resposta atuald(n) = resposta desejada
η = taxa de aprendizado
13
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
73Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O algoritmo de aprendizado com incremento fixo
► Inicialização: set w(0) =0► Ativação: perceptron será ativado aplicando um exemplo
de entrada (vector x(n) e resposta desejada d(n))► Calcula a resposta atual do perceptron:
y(n) = sgn[wT(n)x(n)] ► Adaptação do vetor peso: se d(n) e y(n) são diferentes
w(n + 1) = w(n) + η[d(n)-y(n)] x(n)
onde d(n) =+1 se x(n) ∈ C1
-1 se x(n) ∈ C2
► Continuação: incrementa o passo n e volte ao passo de Ativação R
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
ação
de
dado
são
de
dado
s
74Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo
Considere o conjunto de aprendizado C1 ∪ C2, onde: C1 = {(1,1), (1, -1), (0, -1)} elementos da classe 1
C2 = {(-1,-1), (-1,1), (0,1)} elementos da classe -1
Use o algotitmo aprendizado do perceptron paraclassificar estes exemplos.
• w(0) = [1, 0, 0]T η = 1
1
1 0
0
b (bias)=1
v yϕ(v)
1 11 1
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
75Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
+ +
-
-
x1
x2
C2
C1
- +
1
1
-1
-1 1/2
Decision boundary:2x1 - x2 = 0
Exemplo
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
76Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aplicações
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
77Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Alguns exemplos de aplicação Perceptron
►Classificação de características de nódulos extraídos de mamografia. (L.A.Silva)
►► Filtros adaptativos / Filtros adaptativos / previsoresprevisores lineares lineares
x(n+1) = a.x(n) + b.x(n-1) + c.x(n-2) + ...
a, b, c ... São adaptados para otimizar a previsão face a um conjunto de treinamento
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
78Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquitetura Aprendizado Aplicações
MLP
14
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
79Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquitetura Perceptrons Multicamadas
Camadade
entrada
Camadade
saída
Camada escondida
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
80Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Multi Layer Perceptron (MLP)
► Múltiplas entradas / Múltiplas saídas
► Ambas podem ser analógicas ou digitais
► Não há mais a restrição de separabilidadelinear
► Aplicações das Redes Multicamadas ou MLP como são conhecidas usando o algoritmo de aprendizado error back-propagation
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
81Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Uma solução para problema do XOR
1
1
-1
-1
x1
x2
x1 x2 x1 xor x2
-1 -1 -1-1 1 11 -1 11 1 -1
+1
+1+1
+1-1
-1
x1
x2
1 if v > 0ϕ(v) =
-1 if v ≤ 0ϕ is the sign function.
-1
-1
0.1
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
82Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Modelando o neurônio► Função Sigmoidal
jave−+=
1
1j)(vϕ
-10 -8 -6 -4 -2 2 4 6 8 10 jv
)( jvϕ1
aumento a
i,...,0
jijv ywmi
∑=
=
• Vj campo induzido do neurônio j•Uma das funções de ativação mais comum•a →∞⇒ ϕ → função threshold•Diferenciavel
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
83Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algoritmo de Aprendizado
► Algoritmo Back-propagation
► Os pesos da rede são ajustados com o objetivo de minimizar o erro médio quadrático.
Sinal de FunçãoPasso Forward
Sinal de ErroPasso Backward
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
84Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algoritmo Backpropagation
► Duas fases de calculos:
- Forward: inicia na camada de entrada. O sinalde entrada é propagado e o erro para cadaneurônio da camada de saída é calculado.
- Backward: inicia da camada de saída e o erroé retropropagado camada por camada pelocalculo recursivo do gradiente local de cadaneurônio.
15
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
85Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Erro Médio Quadrático
► O sinal de erro da saída do neurônio j na apresentação dos n-th exemplos de treinamento:
► Erro na saída do neurônio:
► Energia total do erro:
► Energia média do erro quadrático:
► Objetivo: Ajustar os pesos da rede para diminuir EAV
(n)y-(n)d(n)e jjj =
(n)eE(n)Cj
2j2
1∑∈
=
∑=
=N
1nN
1AV (n)EE
C: conjunto de neurônios nacamada de saída
N: tamanho do conjunto de treinamento
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
86Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Notação
jejy
i,...,0
jijv ywmi
∑=
= Campo local induzido do neurônio j
Erro na saída do neurônio j
Saída do neurônio j
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
87Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Regra de atualização dos pesos
jiji w
-w∂∂
=ΔEη Passo na direção oposta ao gradiente
Regra de atualização é baseada no método do gradiente descendente que caminha na direçãoda minimização de E
Com peso associado entre o neurônio i e o neurônio j
jiw
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
88Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Definição do Gradiente Local do neurônio j
jj v
-∂∂
=Eδ Gradient Local
)v(e jjj ϕδ ′=Obtemos
porque
)v(')1(evy
ye
ev jj
j
j
j
jj
ϕ−−=∂∂
∂∂
∂∂
−=∂∂
− jEE
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
89Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Regra de atualização
►
ijyηδ=Δ jiw
ij y
v=
∂∂
jiw
ji
j
jji wv
vw ∂∂
∂∂
=∂∂ EE
Obtemos
porque
jj
E δ=∂∂
−v
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
90Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Cálculo do gradiente local do neurônio j
► O fator chave é o cálculo de ej
► Existem dois casos:
- Caso 1): j é um neurônio de saída- Caso 2): j é um neurônio escondido
16
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
91Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Erro ej do neurônio de saída
►Caso 1: j neurônio de saída
jjj y-de =
)(v')y-d( jjj jϕδ =Então
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
92Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Gradiente Local do Neurônio Escondido
► Caso 2: j neurônio escondido
o gradiente local para o neurônio j érecursivamente determinado em termos do gradiente local de todos os neurônios no qual o neurônio j está diretamente conectado
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
93Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Gradiente Local do Neurônio Escondido
j
j
jj v
yy
-∂∂
∂∂
=Eδ
j
k
Ck k
kk
Ck j
kk
j yv
vee
yee
y ∂∂
⎥⎦
⎤⎢⎣
⎡∂∂−
=∂∂
−=∂∂
− ∑∑∈∈
E
)v('vy
jj
j ϕ=∂∂
kjj
kk
k
k wyv )v('
ve
=∂∂
=∂∂
− ϕde
Obtemos ∑∈
=∂∂
−Ck
kjkj
wy
δE
(n)eE(n)Ck
2k2
1∑∈
=
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
94Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Gradiente Local do Neurônio Escondido
∑∈
′=Ck
kjkjj w)v( δϕδ
ϕ’(v1)
ϕ’(vk)
ϕ’(vm)
δ1
δk
δm
w1j
wkj
wm j
e1
ek
em
Grafoorientado do sinal do erroretropropagadopara o neurônio j
δj ϕ’(vj)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
95Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Regra Delta
► Regra Delta Δwji = ηδj yi
C: Conjunto de neurônios na camada que contém um j
=jδ))( jjj y(dv −′ϕ
∑∈
′Ck
kjkj w)v( δϕSE j nó de saída
SE j nó escondido
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
96Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo de ajuste sináptico
A etapa “calcular erro” é obtida através da Regra Delta:
wi (n + 1) = wi(n) + Δ
Regra Delta “traduzida”...
Erro = saída esperada - saída obtida
Peso novo = Peso antigo + (Erro * Entrada * Constante)
17
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
97Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
O Ajuste sináptico durante o aprendizado
• Quando ocorre erro no reconhecimento / tratamento de uma entrada, um ajuste sináptico é necessário.
• O ajuste sináptico representa o aprendizado em cada neurônio do fato apresentado
• O ajuste sináptico procura corrigir os pesos de modo que se produza a saída desejada diante da respectiva entrada.
• Esse cálculo visa somar ao peso atual, um valor que corresponda a quantidade de erro gerada pela rede, e desta forma corrigir o valor do peso.
• O conhecimento dos neurônios reside nos pesos sinápticos. R
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
ação
de
dado
são
de
dado
s
98Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo de ajuste sináptico
Entrada X Saída Y (yi)
resultado esperado (di)
Algoritmo:
• Aplicar entrada X• Comparar saída Y com a saída desejada• Se saída estiver errada então• Calcular ajuste em pesos• Aplicar nova entrada
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
99Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
► Modo sequencial (on-line ou modoestocástico):
- (x(1), d(1)) :é apresentado, - uma sequência de forward e backward é
calculada e - os pesos atualizados usando a regra delta.- Mesmo para (x(2), d(2)), … , (x(N), d(N)).
Treinamento
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
100Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Treinamento
► O processo de treinamento continua época por época até que um critério de parada seja satisfeito.
► De uma época para outro, a seleção das amostras de treinamento é feita aleatoriamente.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
101Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
1.Inicialize os pesos com um número randômico pequeno
2.Randomicamente escolha padrão de entrada x(m)
3.Propague o sinal para frente pela rede.
4.Calcule o erro na saída da rede
5.Calcule os erros para as camadas procedentes pela propagação dos erros
6. Atualize os pesos usando regra delta
7. Volte ao passo 2 e repita para o próximo padrão até o erro da camada de saída estiver abaixo do threshold pré-estabelecido ou até um número máximo de iteração alcançado.
Aprendizado MLP
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
102Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo Aprendizado
f
h
g
W1=+1
W4=+1,5
W6=-1
W5=+1W3=-1
W2=-1,5
x1μ = 1
x2μ = 2
yμ = 0.5
Na figura a seguir, temos uma arquitetura neural do tipo MLP. Os valores dos pesos iniciais e do padrão de treinamento está representado na figura. Calcule a adaptação Δw1 no peso superior do nó escondido superior, considerando apenas o primeiro passo de adaptação / aprendizado.Considere a taxa de aprendizado η = 0.01.
18
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
103Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo
1
2
1 vf
ϕ(vf)
-2-0,95
1
0,5
e
d
vh
-1,5 -1
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
104Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo
1
2
1
-1,0
vf
ϕ(vf)
-2-0,95
1
0,5
e
d
ϕ(vg)vg2
0,95-1
ϕ(vh)
-1,90vh
-1,51,5
-1
-0,95
-1,45
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
105Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo► Primeiro vamos calcular a saída do neurônio f (ϕ
(yf)) e a saída do neurônio g (ϕ (yg))
ϕ (yf)=tgh(x1.W1 + x2.W2) = tgh(1.1+2.-1,5)=-0,95
ϕ (yg)=tgh(x1.W3 + x2.W4) = tgh(1.-1+2.1,5)= 0,95
► Calculamos a saída apresentada pela rede
ϕ (yh)= tgh(-0,95.W5 + 0,95.W6) = tgh(-0,95.1+0,95.-1)= - 0,95
► Calculamos o erro na saída da rede
e= ϕ (yh) – d = -0,95-0,5=-1,45 Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
106Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Regra Delta► Regra Delta Δwji = ηδj yi
=jδ))( jjj y(dv −′ϕ
∑∈
′Ck
kjkj w)v( δϕSE j nó de saída
SE j nó escondido
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
107Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo
fδ1
-1,0 ϕ’(vf)1
-1ϕ’(vh)
vh
-1,5e
hδ
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
108Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo
► O calculo do erro interno do neurônio escondido
► O gradiente em h será a derivada parcial da saída em relação a saída interna do neurônio
5hf w).v( δϕδ ′=f
( )65 ).().( wywy gfh ϕϕϕδ +′=( ) 1,090,1 =−′=ϕδh
19
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
109Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo
( ) 08,0)2(.. '2211
'' =−′=+′=′ ϕϕϕ μμ wxwxf
)v( fϕ′
fδ
• O cálculo
• O resultado do
5hf w).v( δϕδ ′=f
008,01.1,0.08,0 ==fδ
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
110Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo► Regra Delta
μμ δη 11 .. xW f=Δ
00008,01.008,0.01,01 ==Δ μW
Logo
00008,100008,01111 =+=Δ+= μμ WWW novo
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
111Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
112Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aplicações
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
113Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Áreas de aplicações► Reconhecimento de padrões
- Reconhecimento de caracteres manuscritos- Reconhecimento de placas de veículos- Reconhecimento de voz- Reconhecimento de faces
► Classificação- Classificação de tumores- Classificação de odores - Classificação de vinhos- Classificação de café
► Previsão de séries temporais não lineares- Tendência de carteiras de bolsa de valores
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
114Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aproximação de funções com o MLP / superposição de sigmoides deslocadas
► Ex: aplicação em metrologia e linearização de sensores - trabalho de mestrado de (I.M. Barbosa)
20
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
115Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aplicação MLP na Confiabilidade Metrológica
► Aplicação das MLP’s nas curvas de calibração da Balança Externa do túnel de vento TA-2.
► Balança Externa => Instrumento de medição de forças e momentos aerodinâmicos.
Itamar Magno Barbosa(estudante de doutorado)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
116Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Reconhecimento de caracteres manuscritos
The MINIST database
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
117Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Categorização de textos WEB
Televisão Xtrom29’’ Preço $900
Eletrônico > TVEduardo Akira Kinto(estudante de doutorado)
• Categorizar produtos para comércio eletrônico
• Com base no texto descritivo do produto, se faz medidas usadas para treinar o classificador
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
118Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Classificação de câncer de mama
nódulo benigno com contorno circunscrito
nódulo maligno com contorno espiculado.
nódulo benigno com contorno espiculado.
nódulomaligno com
contorno circunscrito.
a)
b)
c)
d)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
119Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Classificação de câncer de mama
► Para cada imagem de mama, o médico define a região de interesse e traça o contorno sobre a região suspeita
► Técnicas de processamento de imagens são aplicadas para a extração de medidas (features) para caracterizar uma lesão.
► Estas features e sua etiqueta (maligno/benigno) são usadas para treinar o MLP.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
120Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Classificação de vinho/café► Fonte de medidas de
vinho é a língua eletrônica.
► Dispositivo com centenas de sensores (p.ex. 100)
► A cada amostra de vinho são coletadas 100 medidas.
► As medidas de uma coleção de vinho são usadas para treinar MLP.
A "língua eletrônica" / Foto: Embrapa
21
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
121Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aplicação MLP
Camadade
entrada
Camadade
saída
Camada escondida
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
122Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquitetura Aprendizado Aplicações
SOM
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
123Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquitetura do SOM
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
124Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquitetura da rede SOM
...
padrão de entrada(dimensão N)
neurônios de saída(cada neurônio tem N dimensão)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
125Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Rede SOM e o Aprendizado Não-Supervisionado
► O aprendizado não-supervisionado não requer saídas desejadas e por isso é conhecido pelo fato de não precisar de “professores” para o seu treinamento.
► Para o treinamento da rede, são usados apenas os valores de entrada. A rede trabalha essas entradas e se organiza de modo que acabe classificando-as, usando para isso, os seus próprios critérios.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
126Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Arquiteturas de Kohonen (SOM) para clustering
sexo idade
22
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
127Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Dados são agrupados em torno de protótiposorganizados em espaço bidimensional
sexo idade Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
128Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aprendizado SOM► Inicialização: defina o tamanho do mapa e seus respectivos
pesos, w, aleatoriamente. Defina a relação de vizinhança do mapa.
► Ativação: escolha um padrão de entrada, x, do conjunto de treinamento.
► Calcula a resposta do mapa:
► Adaptação:
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
129Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo de treinamento do SOM
A
D
G
EC
BF
I
H
Espaço de Atributos
xiE
B
D
F
H
Base de dados
A B C
D E F
G H I
Espaço do Reticulado
BMU
...
...
...
...
... ... ... ......
Atr1 (idade)
Atr2 (sexo)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
130Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Exemplo de treinamento do SOM
Espaço de Atributos
Espaço do Reticulado
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
131Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Vizinhança SOM
Vizinhança hexagonal Vizinhança retangular
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
132Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Aprendizado SOM
(sexo)
(idad
e)
23
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
133Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Rede SOM
Aplicações
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
134Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Áreas de aplicaçãoClassificação de dados
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
135Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
2-D 3-D
Áreas de aplicaçãoVisualização de dados
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
136Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Mineração de dados
Áreas de aplicação
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
137Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Base
deDados
SOM K-medias
k
IDBprotótipos /
vetores de pesos
Áreas de aplicaçãoMineração de dados
Esquema para segmentação do mapa SOM (VESANTO E ALHONIEMI, 2000) R
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
ação
de
dado
são
de
dado
s
138Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas aplicações do SOM
► Divisão de universos de dados multidimensionais emsub-grupos de elementos similares
► (Congresso ABAR 2003 – segmentação de empresasdo setor elétrico – trabalho de Virginia Parente et al.)
► Data mining (R.J.Sassi, L.A.Silva e C.Boscarioli)► Pré processamento de dados multidimensionais para
posterior classificação, de padrões dentro de sub universos mais específicos (C.Boscarioli e L.A.Silva)
► Recuperação de imagens baseda em conteúdo(L.A.Silva)
24
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
139Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Recuperação de imagens basedo em conteúdo
400 imagens
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
140Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Recuperação de imagens basedo em conteúdo
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
141Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Descoberta de conhecimento em base de dados
Rough Sets +
SOM
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
142Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandroLucroSimMédiaAltae6
PrejuízoSimMédiaMédiae5
PrejuízoNãoMédiaBaixae4
LucroNãoBoaMédiae3
PrejuízoNãoBoaMédiae2
LucroNãoBoaAltae1
Retorno
Boa
Localização
(BL)
Qualidade do
Produto
(QP)
Experiência do Vendedor
(EV)
Loja
Atributo de Decisão
Atributos Condicionais
Descoberta de conhecimento em base de dados
Sistema de Decisão (SD)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
143Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Redução (seleção) de atributos por Rough Sets
► Existem Dois Redutos:
► -{Experiência do Vendedor (EV), Qualidade do Produto (QP)}
► -{Experiência do Vendedor (EV); Boa Localização (BL)}
Descoberta de conhecimento em base de dados
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
144Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
► Base de Dados Consumidor [SAS05].
► Contém informações de 1.968 consumidores com 48 atributos, sendo 47 atributos condicionais e um atributo de decisão dividido em duas classes (M = masculino; F = feminino).
► Eliminou-se o atributo número da conta do consumidor. O atributo prefixo do nome é nominal e foi transformado em numérico para ser processado pela rede SOM.
Descoberta de conhecimento em base de dados
25
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
145Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Descoberta de conhecimento em base de dados
SOM sem redutos (47 atributos)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
146Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Descoberta de conhecimento em base de dados
SOM com redutos (3 atributos)9 clusters
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
147Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Descoberta de conhecimento em base de dados► Para os interessado em saber mais sobre está pesquisa:
(SASSI, 06) SASSI, R.J., Uma arquitetura híbrida para descoberta de conhecimento em bases de dados teoria dos rough sets e redes neurais artificiais mapas auto-organizáveis. Disponível para download em: http://www.teses.usp.br/teses/disponiveis/3/3142/tde-16032007-163930/
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
148Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
-Treinamento com Depósitos A e B;
- Projeção das cerâmicas no mapa.Projeção após treinamento
Classificação de cerâmicas (arqueologia)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
149Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
►Classificação do tipo de cerâmica.
►Determinar região da argila.
►Analisar quais “medidas” devem ser feitas para caracterizar cerâmica.
►Classificar cerâmicas falsas/adulteradas
►Verificar semelhanças entre argilas das regiões do país.
Classificação de cerâmicas (arqueologia)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
150Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Outras aplicações de SOM
►Classificação de dados categóricos (organização de biblioteca)
►Detecção de intrusos (avaliar se requisição em servidor é ou não maliciosa)
►Segmentação de imagens médicas
► ...
► etc
26
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
151Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Resumo
Tarefas que as redes neurais podem desempenhar(1) Reconhecimento de padrões(2) Agrupamento/categorização(3) Aproximação de função(4) Predição/ Previsão de séries temporais(5) Otimização (caixeiro viajante)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
152Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Resumo
Tarefas que as redes neurais podem desempenhar (cont)(6) Recuperação de padrões ruidosos(7) Controle (controle de velocidade)
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
153Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Resumo
Categorização de padrões, análise de
dados, visualização de dados, ‘agrupamento
de dados’
KohonenSOM
Reconhecimento de padrões, classificação
de padrões, aproximação de
funções, previsão de séries temporais não
lineares, etc
Back-propagationMLP
AplicaçãoAlgoritmo de
aprendizadoArquitetura
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
154Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Ferramentasdisponíveis
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
155Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas ferramentas disponíveis
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
156Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas ferramentas disponíveis
27
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
157Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas ferramentas disponíveis► Vantagens em usar help neural toolbox matlab
- Concilia conceitos teóricos e práticos em um único ambiente.
► Desvantagens em usar help neural toolbox matlab
- Preciso pagar licença MatLabR
- Não consegue exportar o código.- Fica preso ao uso do Matlab
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
158Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas ferramentas disponíveis
http://www-ra.informatik.uni-tuebingen.de/SNNS/
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
159Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas ferramentas disponíveis► Simulador de redes neurais
► Vantagens
- É livre- Várias arquiteturas implementadas- Interface gráfica- Código fonte disponível- Possibilidade de incorporar outras redes.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
160Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas ferramentas disponíveishttp://www.cis.hut.fi/projects/somtoolbox/
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
161Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Algumas ferramentas disponíveis► Toolbox de SOM implementado pelo grupo de pesquisa do
Kohonen
► Vantagens
- É livre- Código fonte disponível- Possibilidade de implementar contribuições.- Tem versão implementada em MatLab e em C
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
162Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Usar o não usar Toolbox► Vantagens
- Facilita bastante o entendimento- Rapidamente produz resultados experimentais- O uso do toolbox pela comunidade permite comparar
resultados► Desvantagens
- Pode prejudicar o entendimento mais aprofundado
28
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
163Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Sociedades eEventos
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
164Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Sociedades Científicas► Internacionais:
- International Neural Networks Society, INNS,IEEE Computational Intelligence Society
• Neural Networks, INNS IEEE Trans. on Neural networks, IEEE
► Brasileira- Sociedade Brasileira de Redes Neurais, SBRN,
www.sbrn.org.br
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
165Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Congressos► Internacional
- International Joint Conference on Neural Networks (IJCNN) anual, da INNS e IEEE-NNS. Próximo: Hong Kong, 2008.
► No Brasil- Congresso Brasileiro de Redes Neurais, bi-
anual, da SBRN. Próximo:.2009- Simpósio Brasileiro de Redes Neurais,bi-anual,
da SBC. Próximo: 2008.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
166Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Referências
► Endereços WEB- http://www.gc.ssr.upm.es/inves/neural/ann2/anntutor.htm- http://www.kcl.ac.uk/neuronet/intro/index.html.- http://documents.wolfram.com/applications/neuralnetworks/- http://www.basegroup.ru/neural/math.en.htm
► Introdutório- Artificial Neural Networks: A Tutorial, de autoria de Anil K Jain e
Jianchang Mao, publicado na IEEE Computer de março de 1996, pp. 31-44,
- Kovács, Zsolt L.: Redes Neurais Artificiais - Fundamentos e Aplicações, Collegium Cognito, 1996.
► Para se aprofundar- Haykin (1999) - Neural Networks- Bishop (1995) - Neural Networks for Pattern Recognition- Kovács, Zsolt L.: O cérebro e sua mente, 1997.- Bear M.F, Connors, B.W., Paradiso, M.A., Neurociências –
Desvendando o sistema nervoso, 2002.
Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
167Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Grupo ICONE(Grupo de Inteligência Computacional, Modelagem e Neurocomputação )
http://www.lsi.usp.br/icone Red
es n
eura
is a
rtifi
ciai
s em
reco
nhec
imen
to d
e pa
drõe
s e m
iner
açR
edes
neu
rais
art
ifici
ais e
m re
conh
ecim
ento
de
padr
ões e
min
eraç
ão d
e da
dos
ão d
e da
dos
168Leandro Augusto da Silva – [email protected] – www.lsi.usp.br/~leandro
Muito Obrigado….
Leandro Augusto da SilvaEscola Politécnica da Universidade de São Paulo
Departamento de Eng. De Sistemas Eletrônicos
www.lsi.usp.br/~leandro
Recommended