Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais Prof. Eduardo Simas ([email protected]) Programa de

Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais

Prof. Eduardo Simas

([email protected])

Programa de Pós-Graduação em Engenharia Elétrica / PPGEEUniversidade Federal da Bahia

ENGA83 - Semestre 2013.1

Introdução às RNA Prof. Eduardo Simas 2

Sumário

• O que são as Redes Neurais Artificiais ?

• Para que servem ?

• Processamento da Informação

• Tipos de Redes Neurais

• Modos de Treinamento

– Supervisionado X Não-supervisionado

Aplicações


INTRODUÇÃO


O que são as Redes Neurais Artificiais ?

• Rede neural artificial é um modelo matemático composto a partir da conexão de blocos básicos denominados “neurônios artificiais”.

• Principais Características:

– Foram desenvolvidas a partir de uma analogia com o funcionamento do cérebro humano;

– São capazes de:

• Aprender (a partir de amostras de treinamento);

• Generalizar (a partir do conhecimento adquirido);

• Se adaptar (ajustando-se a uma nova realidade).

– Produzem um mapeamento não-linear das entradas p/ as saídas;

– Realizam processamento paralelo da informação.


Modelos de Neurônios

• Modelo de um neurônio biológico:

Fluxo de informação



• Modelo de um neurônio biológico:

• O estímulo se propaga através do neurônio quando a soma dos estímulos de entrada supera um valor limiar (threshold).

Sinais em cada conexão sináptica

Somatório

Saída ativada



• Modelo matemático do neurônio:

Na forma matricial:

Sendo:

xi sinais de entradab desvio (bias)y sinal de saída


Funções de ativação típicas

• Degrau (ou limiar): • Sigmoidal:

• Tangente hiperbólica:• Linear:


Perspectiva Histórica

• 1943 – primeiro modelo matemático do neurônio (McCulloch & Pitts);

• 1949 – primeiras regras de aprendizado dos neurônios artificiais (Hebb);

• 1958 – proposto o modelo do “perceptron” (Rosenblatt);

• 1958 a 1969 – o sucesso inicial obtido com implementações do perceptron (em circuitos eletrônicos) motiva estudos sobre o tema;

• 1969 – é provado matematicamente que o perceptron de uma única camada é incapaz de solucionar problemas matemáticos simples (como o XOR);

• 1969 a 1980 – poucos trabalhos desenvolvidos na área;

• Década de 1980 – são propostos algoritmos de treinamento para redes de múltiplas camadas de neurônios (aproximadores universais);

• Atualmente – as redes neurais são utilizadas com sucesso em diversas aplicações.


Para que servem as RNA ?

• As redes neurais são modelos matemáticos capazes de realizar mapeamentos não lineares de RN → RK.

• É possível demonstrar que com uma quantidade suficiente de camadas de neurônios não-lineares as redes neurais são aproximadores universais.

• As redes neurais são úteis sempre que deseja-se estimar um mapeamento entrada-saída para o qual a expressão matemática exata não é conhecida.

• Ex: Classificação, identificação de sistemas, etc.

Rede neural treinada (de modo supervisionado) para aproximar um mapeamento não-linear desconhecido:


Processamento da Informação

• Entradas:

– as entradas da rede correspondem a atributos ou características;

– as redes neurais processam valores numéricos;

– quando existem atributos qualitativos, precisam ser convertidos em valores numéricos:

• Ex: alto=1 e baixo=-1

– para o treinamento é recomendado que os sinais sejam pré-processados de modo que os atributos de entrada tenham a mesma faixa de excursão:

• Remoção da média e normalização.


• Saídas

– Representam a solução encontrada pela rede neural para a entrada apresentada.

• Saídas alvo

– Valores utilizados durante o treinamento supervisionado como referências a serem alcançadas.

– Ex: uma rede treinada como classificador para identificar duas classes pode utilizar como saída alvo:

• o valor 1 para a classe 1;

• o valor -1 para a classe 2.



• Pesos Sinápticos:

– Guardam, de modo codificado e de difícil interpretação, as informações aprendidas durante o treinamento.

– São ajustados durante o processo de treinamento visando:

• minimizar o erro na saída → erro = saída alvo – saída (no caso de treinamento supervisionado).

• atender a um critério pré-estabelecido para as saídas (no caso do treinamento não-supervisionado).



Modos de Treinamento

• Supervisionado

– O treinamento é realizado utilizado pares entrada - saída alvo;

– Os pesos sinápticos são ajustados visando minimizar o erro entre a saída alvo e a saída real da rede

• Não-Supervisionado

– Não existe saída alvo para o problema;

– O treinamento busca obter uma nova representação dos padrões de entrada segundo algum critério pré-estabelecido.


Conjuntos de Treinamento

• Para o treinamento é indicado que o conjunto de dados disponível seja dividido em três grupos:

• Conjunto de Treino:

– Utilizado para o treinamento propriamente dito (aprendizado);

• Conjunto de Validação:

– Utilizado para verificar, durante o treinamento como evolui o erro da rede para sinais desconhecidos, evitando o “sobre-aprendizado” (quando a rede se especializa excessivamente no conjunto de treino e perde capacidade de generalizar);

• Conjunto de Teste:

– Utilizado para verificar o desempenho da rede para amostras desconhecidas.



• Curvas de erro de treinamento:

Treinamento com sobre-aprendizagem

Treinamento normal



• Quando há uma grande quantidade de amostras disponíveis para o treinamento:

– 33,33% Treino // 33,33% Validação // 33,33% Teste

• Quando o número de amostras é reduzido pode-se diminuir a proporção dos conjuntos de Validação e Teste:

– Exemplo: 50% Treino // 25% Validação // 25% Teste

• Em casos extremos pode-se fazer:

– Conjunto de Validação = Conjunto de Teste


TIPOS MAIS COMUNS DE RNA


Tipos de Redes Neurais

• Diferentes tipos (arquiteturas) de redes neurais são obtidas variando-se:

– o tipo de neurônio utilizado;

– a função de ativação dos neurônios;

– o modo de conexão entre os diversos neurônios;

– etc.

• Entre as principais arquiteturas existentes pode-se mencionar:

– Perceptron

– Perceptron de múltiplas camadas;

– Rede de função de base radial;

– Mapa auto-organizável (Rede de Kohonen).


Perceptron

• Apenas um neurônio.

• Funções de ativação:

– Degrau

– sigmoidal;

– tangente hiperbólica;

– linear.

• Capacidade limitada;

• Num problema de classificação é capaz de produzir uma única superfície de separação:


Perceptron

• Como resolver um problema deste tipo ?


Perceptron

• São necessárias duas curvas de separação → dois neurônios.

• Neste caso é necessário uma rede com duas camadas de neurônios.


Perceptron de Múltiplas Camadas

• MLP – Multi-layer Perceptrons

• Diversos neurônios são dispostos em camadas sequenciais.

• O fluxo de processamento da informação em apenas um sentido (da entrada para a saída).

• São redes alimentadas adiante (feed-forward); não existem conexões de realimentação.

Fluxo da informação


Redes de Função de Base Radial

• Estrutura semelhante a do MLP (uma camada oculta e uma de saída).

• A função de ativação dos neurônios da camada oculta é gaussiana:

• A camada de saída utiliza neurônios lineares.

• Comparando:

– Redes MLP: aproximação global

– Redes RBF: aproximação local

Função de Ativação

Radial Basis Function (RBF)


Mapas Auto-Organizáveis

• Treinamento não supervisionado.

• Aprendizagem competitiva.

• Cada entrada é conectada a todos os neurônios da grade

• O neurônio vencedor (ativo) é aquele que possui o conjunto de pesos mais “parecido” com o sinal de entrada.

• O ajuste dos pesos (treinamento) é feito visando reforçar a resposta do neurônio vencedor (e seus vizinhos) ao padrão de entrada.

• Após o treinamento, as relações topológicas são preservadas.

Propostos por Kohonen em 1982: mapas (ou redes) de Kohonen.


TREINAMENTO


Treinamento SupervisionadoSelecione o par entrada-

saída da n-ésima iteração

Calcule a saída de rede

Calcule o erro entre a saída alvo e a saída atual

Ajuste os pesos de modo a minimizar o erro

Erro está num nível aceitável?

Fim do treinamento !

Sim Não n=n+1


Treinamento Não-SupervisionadoSelecione a entrada da

n-ésima iteração

Calcule a saída de rede

Ajuste os pesos de modo a obter a um comportamento pré-estabelecido para as

saídas

O critério utilizado está num nível aceitável?

Fim do treinamento !

Sim Não n=n+1


Algoritmos de Treinamento

• Supervisionado:

– Algoritmo de treinamento do Perceptron

– Algoritmo de Retro-propagação do Erro (para perceptrons de múltiplas camadas – MLP)

• Não-supervisionado

– Algoritmo de treinamento do Mapa Auto-organizável (Rede de Kohonen ou SOM)


Treinamento do Perceptron

• A partir da minimização do erro chega-se à regra de aprendizagem do perceptron:

• O vetor de pesos sinápticos é ajustado na direção da correção do erro:

• Sendo:

→ saída da rede

→ taxa de aprendizagem (0> η >1)

→ saída alvo


Algoritmo de Retro-Propagação do Erro

• Considerando que:

– o erro é calculado para a camada de saída;

– uma rede MLP possui camadas ocultas;

• Como obter a regra de atualização dos pesos das camadas ocultas?



• O algoritmo de retro-propagação do erro (error back-propagation) solucionou este problema definido o conceito de gradiente local:

– Para a camada de saída →

– Para camadas intermediárias (ocultas) →

• O ajuste dos pesos é realizado através de:

• sendo η a taxa de aprendizagem.

Sendo:


Algoritmo de Retro-Propagação do Erro• Propagação do sinal para frente:



• Retro-propagação do erro:


Treinamento do Mapa Auto-Organizável

• No SOM o treinamento é não-supervisionado.

• Quando uma entrada x é apresentada para a rede, a saída de cada neurônio j é calculada por:

• O neurônio i com a maior saída é denominado “neurônio vencedor”.

• Os pesos são ajustados de modo a reforçar a saída do neurônio vencedor i (e seus vizinhos):

• Sendo a função de vizinhança que pode ser por exemplo:



• Curva de vizinhança gaussiana num mapa bi-dimensional:



• O SOM é capaz de produzir um agrupamento topológico.

• Assinaturas com características semelhantes são mapeadas em áreas adjacentes do mapa:

Exemplo de mapeamento produzido por um SOM 10 x 10 após o treinamento


Curva do Erro

Considerações sobre o treinamento

• O algoritmo de treinamento ajusta os pesos (W) na direção da minimização do erro.

• Quando a superfície do erro é mono-modal (apresenta apenas um mínimo), o erro mínimo é alcançado.

• A depender do ponto de início da busca, o tempo de convergência do treinamento pode variar


Considerações sobre o treinamento

• Superfície de erro multi-modal:

– Convergência para o mínimo global depende do ponto de início do treinamento.

Soluções:

– iniciar diversas vezes o treinamento;

– utilizar um algoritmo de busca global.


Limitações das Redes Neurais

• A arquitetura (número de camadas e neurônios ocultos) precisa ser escolhida experimentalmente;

• A eficiência obtida após o treinamento depende da estatística (quantidade e variedade) disponível nas amostras utilizadas;

• Em alguns casos o treinamento pode ser lento:

– Número de características de entrada;

– Quantidade de neurônios.

• Se houver um modelo matemático exato para o problema este deve ser utilizado ao invés de uma rede neural;


APLICAÇÕES


Aplicações - I

• Inspeção de Equipamentos por Ultrassom:

- O ensaio por ultrassom permite a detecção da ocorrência de descontinuidades;

- Porém, a classificação do tipo de defeito existente é uma tarefa mais difícil.


Aplicações - I

• Inspeção de Equipamentos por Ultrassom:

Exemplos de Aplicações de Redes Neurais:

– Classificação de descontinuidades em compostos Laminados Fibra-Metal.

– Dimensionamento de pites de corrosão em aço inoxidável.


Aplicações - I• Classificação de descontinuidades em compostos Laminados

Fibra-Metal (LFM):

Transf. de

Fourier

Sinal Medido

Classific.Neural

Indicação da Integridade

- Os LFM são compostos de camadas sobrepostas de diferentes materiais;

- Existem múltiplos meios de propagação e interfaces de reflexão para o sinal ultrassônico

- A identificação dos defeitos é mais difícil

Sistema proposto:Classes analisadas:

Sem defeito (SD)

Delaminação (D)

Fratura de fibra (F)


Aplicações - I• Classificação de descontinuidades em compostos Laminados

Fibra-Metal:

SD D F

SD 100 0 0

D 1,04 98,96 0

F 0 0 100

Matriz de confusão (%)

Os padrões dos sinais sem defeito e com delaminação são parecidos !

Características utilizadas

Determinação do número de neurônios ocultos


Aplicações - I• Dimensionamento de pites de corrosão em aço inoxidável:

Corpo de prova padrão

Profundidade dos furos: p1 = 0,5 mm, p2 = 1,0 mm, p3 = 2,0 mm;

Diâmetro dos furos: Ф1 = 0,6 mm; Ф2 = 0,8 mm

Distância entre furos: x = y = 16,0 mm

Mesa posicionadora xy de acrílico e nylon desenvolvida para o ensaio

Sensor ultrassônico

Corpo de prova


Aplicações - I• Dimensionamento de pites de corrosão em aço inoxidável:

Transf. de

Fourier

Sinal Medido

Classific.Neural

Detecçãodo Pite

Acerto

FURO 95,54%

SD 87,10%

Eficiência de classificação

DIÂMETRO (mm)

0,8 0,6 0,4

FURO 97,32% 96,00% 93,32%

Eficiência em função do tamanho do furo


Aplicações - II

• Filtragem inversa num sistema de medição

– Filmes finos de VO2 são utilizados em sensores de temperatura.

– É interessante sua operação na região de histerese (alta dR/dT).


Aplicações - II


- O processo de medição: alta taxa de variação da temperatura → curva distorcida.

- Medição da curva quase-estática: realizado com uma lenta variação da temperatura; não é viável a realização para um conjunto grande de filmes

A rede neural aproxima a função de transferência inversa do sistema de medição.


Aplicações - II


EQM - Erro Quadrático MédioMEQ - Máximo Erro Quadrático


Aplicações - III

• Agrupamento não-supervisionado de assinaturas acústicas de contatos elétricos:

Transformador OLTC


Aplicações - III


AssinaturasAcústicas

TransformadaWavelet

SOM Agrupamento


Aplicações - III


Agrupamentos 3 e 4:

Contatos usados com pouco desgaste

Agrupamentos 5 e 6:

Contatos usados com maior desgaste

Contatos novosCont. desgastados

Agrupamento

Probabilidad

e


Aplicações - IV• Reconhecimento do locutor:

Características utilizadas:– Frequência fundamental (pitch);– Coeficientes cepstrais.

Estimativa dos coeficientes cepstrais:


Aplicações - IV

PD (%) PF (%)

Experimento 1 90 9

Experimento 2 83 21

• Reconhecimento do locutor:

• Experimento 1:– Todos os indivíduos da base

de dados (17 mulheres e 18 homens)

• Experimento 2:– Indivíduos com padrões

vocais semelhantes (irmãos).


Aplicações - V• Classificação em Física de Altas Energias:

Calorímetros: medidores de energia.


Aplicações - V

• Classificação em Física de Altas Energias:Saídas alvo:

Elétron → 1

Jato → -1~ 1000 sensores 100 anéis

Classificador Neural Classificador Linear


Aplicações - V

• Classificação em Física de Altas Energias:

– Para identificação correta de ~97% dos elétrons:

– Erro na identificação de jatos:

• Rede neural ~7%

• Classificador linear ~20%

• Na operação do detector ~25.000 jatos serão produzidos por segundo.

• - 13% → - 3250 eventos não relevantes armazenados em mídia permanente


Aplicações - VI

• Identificação Automática do Gênero Musical:

Características estimadas:

- Frequência Fundamental;

- Coef. Cepstrais;

- Freq. Fundamental;

- Histograma rítmico;

- Concentração espectral da energia;

- Sonoridade.


Aplicações - VI


Rede Neural Utilizada:Gêneros musicais e saídas alvo:

- Blues → Y=[1, -1, -1, -1, -1]T

- MPB → Y=[-1, 1, -1, -1, -1]T

- Reggae → Y=[-1, -1, 1, -1, -1]T

- Rock → Y=[-1, -1, -1, 1, -1]T

- Samba → Y=[-1, -1, -1, -1, 1]T


Aplicações - VI


Matriz de Confusão

Variação da eficiência média com o número de neurônios ocultos

Percebe-se que os maiores erros ocorrem entre ritmos com características semelhantes:

MPB x SambaMPB x ReggaeBlues x Rock


Conclusões

• Ao longo de algumas décadas de utilização, as redes neurais artificiais mostraram-se ferramentas bastante úteis em diversas aplicações.

• Vantagens:

– Alto poder computacional

– Processamento paralelo

– Robusta a ruídos e dados incompletos

– Capaz de estimar mapeamentos não-lineares desconhecidos

• Desvantagens:

– Arquitetura ótima precisa ser determinada experimentalmente

– Difícil interpretação do modelo obtido

– Eficiência depende do processo de treinamento


Mais informações...

• IEEE-INNS International Joint Conference on Neural Networks, promovido em conjunto pela IEEE Computational Intelligence Society (www.ieee-cis.org) e pela International Neural Network Society (www.inns.org)

• Congresso Brasileiro de Inteligência Computacional – CBIC (antigo Cong. Bras. de Redes Neurais – CBRN - http://cbrn-cbic2011.org/ ), promovido pela Sociedade Brasileira de Redes Neurais (www.sbrn.org.br).

• Simpósio Brasileiro de Redes Neurais – SBRN, promovido pela Sociedade Brasileira de Computação (www.sbc.org.br).

• Revista Learning and Nonlinear Models (www.deti.ufc.br/~lnlm).

• ...

http://www.deti.ufc.br/~lnlm


Referências Bibliográficas• Livros Texto:

– Haykin, S., Redes Neurais, Princípios e Prática, Bookman, 2001.

– Wasserman, P. D., Neural Computing, Theory and Practice, VNR, 1989.

– Calôba, L. P., Notas de Aulas, COPPE / UFRJ, 2006.

• Aplicações:

– Simas Filho, E. F. “Analise Não-Linear de Componentes Independentes para uma Filtragem Online Baseada em Calorimetria de Alta Energia e com Fina Segmentação”, Doutorado em Engenharia Elétrica COPPE / UFRJ, 2010.

– Simas Filho, E. F.; Almeida, L. A. L., “Filtragem Inversa de Medições de Histerese Térmica Utilizando Redes Neurais”. Cong. Bras. de Automática, 2006, Salvador-BA.

– Simas Filho, E. F.; Almeida, L. A. L. . Self-Organized Classification of On-Load Tap Changers Acoustic Signatures. In: IEEE Intern.Instrumentation and Measurement Technology Conf., 2008

– Santos, L. T., Simas Filho, E. F., “Sistema de Reconhecimento Automático do Locutor Utilizando um Classificador Neural”. Seminário Nacional de Controle e Automação, 2009, Salvador.

– Borges Jr, E. A. T, et al., “Classificação do Gênero Musical Utilizando Redes Neurais Artificiais”. In: CONNEPI, 2010, Maceió - AL.

– Lopes, D. B. P., et al., “Utilização de Redes Neurais Artificiais como Ferramenta de Auxílio na Detecção de Dimensionamento de Pites em Corrosão de Aços Inoxidáveis” In: Congresso Nacional de Ensaios Não-Destrutivos e Inspeção, 2010, Santos-SP.

Documents

Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais Prof. Eduardo Simas ([email protected]) Programa de