UMA INVESTIGAÇÃO DO MODELO DE REDE NEURAL RePART EM TAREFAS DE RECONHECIMENTOS DE PADRÕES Araken...

UMA INVESTIGAÇÃO DO MODELO UMA INVESTIGAÇÃO DO MODELO DE REDE NEURAL RePART EM DE REDE NEURAL RePART EM

TAREFAS DE RECONHECIMENTOS TAREFAS DE RECONHECIMENTOS DE PADRÕESDE PADRÕES

Araken de Medeiros Santos

Anne Magály de P. Canuto

Orientadora

ROTEIROROTEIRO

Trabalhos Anteriores

Motivação

Objetivos

Modelos Neurais

Análise Comparativa e Estatística

Considerações Finais

Trabalhos futuros

TRABALHOS ANTERIORESTRABALHOS ANTERIORES

Análise comparativa do desempenho

do RePART com o Fuzzy ARTMAP,

ARTMAP-IC e Fuzzy MLP

Caracteres numéricos

MOTIVAÇÃOMOTIVAÇÃO

Qual o comportamento do RePART

em outras tarefas de reconhecimento

de padrões?

OBJETIVOSOBJETIVOS Descobrir vantagens e desvantagens

de cada um dos modelos abordados

em aplicações de reconhecimento de

padrões

Dar um embasamento mais amplo à

utilização do RePART

ART ART (Adaptive Resonance Theory)(Adaptive Resonance Theory)

Grau de similaridade

Dilema estabilidade-plasticidade

RNA incremental

Aprendizagem não-supervisionada

ART x Fuzzy ARTART x Fuzzy ART

Mesma estrutura

ART => teoria dos conjuntos clássica

Fuzzy ART =>teoria dos conjuntos fuzzy

ART x Fuzzy ARTART x Fuzzy ART

j

j

jw

wIT

Cálculo dos neurônios FCálculo dos neurônios F22

ART => AND booleano (x*y)ART => AND booleano (x*y)

Fuzzy ART => AND fuzzy Fuzzy ART => AND fuzzy [min(x, y)][min(x, y)]

ARTMAP/Fuzzy ARTMAPARTMAP/Fuzzy ARTMAP

Dois módulos ART

ARTa => padrão de entrada

ARTb => saída desejada

Map Field

Aprendizagem supervisionada

ESTRUTURA DO ARTMAPESTRUTURA DO ARTMAP

J = (b, 1-b)I = (a, 1-a)

a b

Wj

PROBLEMAS DO ARTMAPPROBLEMAS DO ARTMAP

Proliferação de categoria

Má classificação (1 vencedor)

Sensibilidade a ruídos

ARTMAP-ICARTMAP-IC

Mesmo processo de aprendizagem

Melhorias na fase de reconhecimento

Suavizar o problema de má classifica-

ção

ARTMAP-ICARTMAP-IC

Codificação distribuída (grupo de

vencedores)

Parâmetro contador de instância

RePARTRePART

Suavizar os problemas de proliferação de categoria e má classificação

Codificação distribuída (grupo de vencedores + grupo de perdedores)

Parâmetro contador de instância

RePARTRePART

Mecanismos Adicionais:

Vigilância variável individual

(proliferação de categorias)

Recompensa/Punição

(má classificação)

Vigilância VariávelVigilância Variável

Dilema bias/variância

Individual

Freqüência relativa de ativação (RFA)

Inversa da média relativa de ativação

(RIAA)

VigilânciaVigilância VariávelVariável

RIAA RFA t vig t vigi i 1

k

k

k jj

ii

TN

N

c

ct RFA* 001 . 1 *

i

ii

c

t Tt RIAA

RECOMPENSA/PUNIÇÃORECOMPENSA/PUNIÇÃO

Vencedores => recompensa

Perdedores => punição

Má classificação

RECOMPENSA/PUNIÇÃORECOMPENSA/PUNIÇÃO2

*

wj

JJ knumWin

numWinTR

2

*

numLos

knumLoslwP

lj

jJ

APRENDIZAGEMAPRENDIZAGEM

Semelhante ao FA e AIC

Diferença básica => cálculo das

vigilâncias de todos os neurônios

RECONHECIMENTORECONHECIMENTO Neurônios F2 de ARTa

Ranking dos neurônios

Divisão em vencedores e perdedores

Neurônios Map Field => duas fases

NEURÔNIOS MAP FIELDNEURÔNIOS MAP FIELD

jjjk

jjj

jjjkk Rw

Tc

TcwU *

*

**

jjjk

jjj

jjjkk Pw

Tc

TcwU *

*

**

),()(1

N

kkUMaxIW

EXPERIMENTOSEXPERIMENTOS

Análise Intraclasse

5 bases de dados

Validação cruzada com 30 grupos

ANÁLISE COMPARATIVAANÁLISE COMPARATIVA

Taxa de reconhecimento

Complexidade da rede

Variação no número de vencedores

Modificação nas freqüências

IMAGE DATASETIMAGE DATASET Instâncias geradas randomicamente de

7 imagens de outdoor

7 classes

19 atributos

330 padrões por classe

IMAGE DATASETIMAGE DATASETRNA Erro Médio (%) Desvio Padrão

Fuzzy ARTMAP 19,86 4,54

ARTMAP-IC 1 75,10 3,87

ARTMAP-IC 2 68,46 5,48

ARTMAP-IC 3 60,23 6,47

ARTMAP-IC 4 75,10 3,87

ARTMAP-IC 5 68,46 5,48

ARTMAP-IC 6 60,23 6,47

ARTMAP-IC 7 75,23 4,36

ARTMAP-IC 8 66,40 6,78

ARTMAP-IC 9 54,18 5,39

RePART 1 13,20 4,85

RePART 2 13,45 4,77

RePART 3 14,71 5,93

RePART 4 13,25 4,86

RePART 5 13,45 4,77

RePART 6 13,45 4,77

RePART 7 12,90 4,77

RePART 8 13,27 4,85

RePART 9 15,29 5,35

15%

1,5%

Menor nº de vencedores

Maior nº de vencedores

IMAGE DATASETIMAGE DATASET

FA e AIC => 147 neurônios

RePART => 74 neurônios

49,6% menos

CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOS

Instâncias de 384 bits (16x24)

330 padrões por classe

CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOSRNA Erro Médio (%) Desvio Padrão

Fuzzy ARTMAP 11,74 2,89

ARTMAP-IC 1 36,99 4,04

ARTMAP-IC 2 31,62 4,31

ARTMAP-IC 3 25,01 3,54

ARTMAP-IC 4 36,99 4,04

ARTMAP-IC 5 31,60 4,32

ARTMAP-IC 6 24,98 3,55

ARTMAP-IC 7 19,21 2,68

ARTMAP-IC 8 19,38 3,58

ARTMAP-IC 9 16,67 2,85

RePART 1 16,41 2,79

RePART 2 11,83 2,64

RePART 3 15,51 3,23

RePART 4 16,42 2,79

RePART 5 11,57 2,84

RePART 6 13,59 2,94

RePART 7 16,52 2,80

RePART 8 11,09 2,75

RePART 9 12,90 2,86

12%

4,58%

Influência da modificação na freqüência

CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOS

FA e AIC => 490 neurônios

RePART => 340 neurônios

30,61% menos

CANCER DE MAMACANCER DE MAMA(Breast-cancer)(Breast-cancer)

2 classes

32 atributos

240 padrões por classe

CANCER DE MAMACANCER DE MAMA(Breast-cancer)(Breast-cancer)RNA Erro Médio (%) Desvio Padrão

Fuzzy ARTMAP 4,72 6,02

ARTMAP-IC 1 8,27 9,10

ARTMAP-IC 2 6,58 8,86

ARTMAP-IC 3 5,95 7,59

ARTMAP-IC 4 8,27 9,10

ARTMAP-IC 5 6,58 8,86

ARTMAP-IC 6 5,95 7,59

ARTMAP-IC 7 8,27 9,10

ARTMAP-IC 8 6,58 8,86

ARTMAP-IC 9 5,95 7,59

RePART 1 3,42 5,21

RePART 2 5,75 7,49

RePART 3 7,43 9,93

RePART 4 3,42 5,21

RePART 5 5,75 7,56

RePART 6 7,43 9,93

RePART 7 3,63 5,20

RePART 8 5,75 7,49

RePART 9 7,43 9,93

Modificação na freqüência não alterou resultados

FA e AIC => 234 neurônios

RePART => 145 neurônios

38% menos

CANCER DE MAMACANCER DE MAMA(Breast-cancer)(Breast-cancer)

CANCER DE MAMACANCER DE MAMA(WDBC)(WDBC)

2 classes

10 atributos

210 padrões por classe

CANCER DE MAMACANCER DE MAMA(WDBC)(WDBC)

Modificação na freqüência não alterou resultados

RNA Erro Médio (%) Desvio Padrão

Fuzzy ARTMAP 7,40 7,70

ARTMAP-IC 1 13,80 11,30

ARTMAP-IC 2 9,23 10,59

ARTMAP-IC 3 7,30 9,25

ARTMAP-IC 4 13,80 11,30

ARTMAP-IC 5 9,25 10,59

ARTMAP-IC 6 7,30 9,25

ARTMAP-IC 7 14,03 11,24

ARTMAP-IC 8 9,22 10,58

ARTMAP-IC 9 7,30 9,25

RePART 1 3,95 6,03

RePART 2 4,43 6,52

RePART 3 5,87 8,75

RePART 4 3,95 6,03

RePART 5 4,43 6,52

RePART 6 5,87 8,75

RePART 7 3,95 6,03

RePART 8 4,68 6,49

RePART 9 5,87 8,75

5,5%

1,87%

FA e AIC => 105 neurônios

RePART => 56 neurônios

46,67% menos

CANCER DE MAMACANCER DE MAMA(WDBC)(WDBC)

BIOLOGIA MOLECULARBIOLOGIA MOLECULAR

Seqüência de DNA

60 atributos

3 classes

750 padrões por classe

BIOLOGIA MOLECULARBIOLOGIA MOLECULARRNA Erro Médio (%) Desvio Padrão

Fuzzy ARTMAP 28,18 6,89

ARTMAP-IC 1 32,04 3,56

ARTMAP-IC 2 30,72 3,36

ARTMAP-IC 3 28,71 3,82

ARTMAP-IC 4 31,64 3,43

ARTMAP-IC 5 30,71 3,37

ARTMAP-IC 6 28,71 3,82

ARTMAP-IC 7 16,36 3,96

ARTMAP-IC 8 18,18 3,48

ARTMAP-IC 9 18,09 3,96

RePART 1 15,42 4,11

RePART 2 16,93 4,50

RePART 3 19,29 4,09

RePART 4 15,42 4,11

RePART 5 16,93 4,50

RePART 6 19,29 4,09

RePART 7 15,42 4,11

RePART 8 16,93 4,50

RePART 9 19,29 4,09

Modificação na freqüência não alterou resultados

Modificação na freqüência alterou resultados

BIOLOGIA MOLECULARBIOLOGIA MOLECULAR

FA e AIC => 1710 neurônios

RePART => 910 neurônios

46,78% menos

ANÁLISE GERALANÁLISE GERAL

RePART

Taxa de reconhecimento superior

Complexidade inferior

Número de vencedores

Efeitos inversos no ReP e AIC

ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA

T-Teste de variância combinada

Compara duas amostras (conjunto de

resultados) para verificar se as diferen-

ças são estatísticamente significantes.

ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA

Erro médio

Desvio padrão

Número de grupos

ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA

Validação cruzada com 30 grupos

Nível de confiança => 95% (=0,05)

Teste unicaudal inferior (X, Y)

Indica se a amostra X é significante-

mente menor que a amostra Y

ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA

Busca do RePART e AIC com me-

lhores resultados em cada uma

das aplicações utilizadas

RePART x Fuzzy ARTMAP

RePART x ARTMAP-IC

IMAGE DATASETIMAGE DATASET

RNAs Erro Médio (%) Desvio Padrão p

R-1 13,20 4,85

FA 19,86 4,54

RePART X Fuzzy ARTMAP

4,62583E-07

RNAs Erro Médio (%) Desvio Padrão p

R-1 13,20 4,85

AIC-9 54,18 5,39

R-1 13,20 4,85

AIC-3 60,23 6,479,607E-39

RePART X ARTMAP-IC

4,63191E-38

RePART apresentou erro médio estatisicamente inferior ao do Fuzzy ARTMAP e ARTMAP-IC

CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOS

RNAs Erro Médio (%) Desvio Padrão p

FA 11,74 2,89

R-2 11,83 2,64

FA 11,74 2,89

R-9 12,90 2,860,06178842

RePART X Fuzzy ARTMAP

0,450109088

O Fuzzy ARTMAP teve erro médio inferior, mas não estatisticamente significante

CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOSRNAs Erro Médio (%) Desvio Padrão p

R-2 11,83 2,64

AIC-2 25,01 3,54

R-2 11,83 2,64

AIC-9 16,67 2,85

R-9 12,90 2,86

AIC-2 25,01 3,54

R-9 12,90 2,86

AIC-9 16,67 2,851,85483E-06

1,10706E-23

2,89438E-09

2,38712E-21

RePART obteve erro médio estatisticamente inferior ao do Fuzzy ARTMAP e ARTMAP-IC

CÂNCER DE MAMA CÂNCER DE MAMA (Breast-cancer)(Breast-cancer)

RNAs Erro Médio (%) Desvio Padrão p

R-1 3,42 5,21

FA 4,72 6,02

RePART X Fuzzy ARTMAP

0,187412822

RNAs Erro Médio (%) Desvio Padrão p

R-1 3,42 5,21

AIC-3 5,95 7,59

RePART X ARTMAP-IC

0,068844643

RePART apresentou erro médio estatisticamente seme-lhante ao FA e AIC, contudo pode ser considerado mais eficiente (complexidade inferior e desempenho superior)

CÂNCER DE MAMA CÂNCER DE MAMA (WDBC)(WDBC)

RNAs Erro Médio (%) Desvio Padrão p

R-1 3,95 6,03

FA 7,40 7,70

RePART X Fuzzy ARTMAP

0,029116722

RNAs Erro Médio (%) Desvio Padrão p

R-1 3,95 6,03

AIC-3 9,25 7,30

RePART X ARTMAP-IC

0,00164638

Novamente, o RePART apresentou erro médio estatis-ticamente inferior ao FA e AIC

BIOLOGIA MOLECULARBIOLOGIA MOLECULAR

RNAs Erro Médio (%) Desvio Padrão p

R-1 15,42 4,11

FA 28,18 6,89

RePART X Fuzzy ARTMAP

1,99093E-12

RNAs Erro Médio (%) Desvio Padrão p

R-1 15,42 4,11

AIC-3 28,71 3,82

R-1 15,42 4,11

AIC-7 16,36 3,970,18565607

RePART X ARTMAP-IC

4,29471E-19

RePART apresentou erro médio inferior ao FA e AIC-3 e semelhante ao AIC-7, logo pode-se observar que a modifi- cação nas freqüências melhorou significantemente o desem-penho do ARTMAP-IC

ANÁLISE GERALANÁLISE GERAL

RePART < FA e AIC em 3 bases

< AIC e FA em 1 base

FA e AIC em 1 base

+ eficiente => complexidade inferior

desempenho semelhante

CONSIDERAÇÕES FINAISCONSIDERAÇÕES FINAIS

RePART

Taxa de reconhecimento superior

Complexidade inferior

Em média 42% menos neurônios

CONSIDERAÇÕES FINAISCONSIDERAÇÕES FINAIS

RePART

Erro médio em geral igual ou inferior

ao do FA e AIC do ponto de vista

estatístico, nunca superior

CONSIDERAÇÕES FINAISCONSIDERAÇÕES FINAIS

O RePART alcançou os objetivos que

motivaram sua definição: suavizar os

problemas presentes nos modelos da

família ARTMAP (proliferação de cate-

gorias e má classificação)

TRABALHOS FUTUROSTRABALHOS FUTUROS

Realizar uma análise interclasse para

que seja dado um embasamento ainda

mais amplo à utilização do RePART.

FIM