Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
1º Semestre de 2017
REDES DE FUNÇÃO
DE BASE RADIAL - RBF
Prof. Dr. André A. P. Biscaro
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Funções de Base Global• Funções de Base Global são usadas pelas redes BP. Estas
funções são definidas como funções (sigmoidais) da distânciado vetor de padrões a um hiperplano;
• A função a ser aproximada se torna uma combinação desigmoidais, que sendo definidas em todo o espaço demedidas exigem muitas iterações até chegar a umacombinação adequada;
• As Funções de Base Local podem ser de dois tipos:
Baseadas em estimativa das funções de densidade de probabilidade;
Baseadas em aproximação de funções iterativas.
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Funções de Base Local Baseadas em estimativa das funções de densidade de probabilidade
• As funções deste tipo são empregadas nas Redes:
• Redes Neurais Probabilísticas (PNN) usadas emclassificação;
• Redes Neurais de Regressão Geral (GRNN) usadas paraestimativa de valores de variáveis contínuas.
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Rede Neural Probabilística
• Uma rede neural probabilística (PNN) fornece umatécnica geral para problemas de classificação;
• Um vetor de entrada, chamado de vetor decaracterísticas, é usado para determinar uma categoria;
• As redes PNN usam os dados de treinamento paradesenvolver funções de distribuição que, por sua vez,são usadas para estimar a chance de um vetor decaracterísticas pertencer a uma dada categoria.
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Rede Neural Probabilística
• Pode-se combinar este procedimento com umaprioridade conhecida (frequência relativa) de cadacategoria para determinar a categoria mais provávelpara a pertinência de um vetor de características;
• Caso as frequências relativas sejam desconhecidas ascategorias são consideradas equiprováveis e adeterminação de pertinência é feita apenas pelaproximidade entre o vetor de características e a funçãode distribuição da categoria.
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Rede Neural Probabilística
• Estas Redes representam uma implementação neural deClassificadores de Bayes sendo as funções de densidadede probabilidade aproximadas usando Estimadores deParzen;
• Os Classificadores de Bayes fornecem uma aproximaçãoótima para classificação de padrões em termos deminimização do risco esperado.
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Redes Neurais de Regressão Geral
• Regressão Geral significa que a superfície de regressãonão tem de ser necessariamente linear;
• Uma Rede Neural de Regressão Geral (GRNN) é umageneralização de uma rede neural probabilística (PNN);
• As redes PNN são especialmente ajustadas aosproblemas de classificação (classes discretas) enquantoas redes GRNN são para regressão (valores contínuos).
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Funções de Base Radial
• Funções de Base Radial (RBF) são funções que possuemum valor máximo próximo de um centro decaindorapidamente em função da distância desse centro;
• A função a ser aproximada é uma combinação linear dasfunções de Base Radial;
• Como as funções se tornam negligíveis longe do centrosua interação é baixa e o treinamento rápido.
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Redes de Função de Base Radial
• Uma Rede de Função de Base Radial, ou “Radial BasisFunction” (RBF) é qualquer rede que possua umarepresentação interna dos elementos de processamentoocultos (que são as unidades de padrões) com simetriaradial;
• Nas Redes de Retro Propagação usam-se funções globaise nas RBF usam-se funções locais o que evitainterferências cruzadas e reduz bastante o tempo detreinamento.
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Redes de Função de Base Radial
• Nas redes de Retro Propagação faz-se o produtoescalar da entrada com o vetor de pesos enquantonas Redes de Função de Base Radial calcula-se adistância entre a entrada e o vetor de pesospropagando apenas o estímulo correspondente aoelemento de processamento vencedor
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Redes de Função de Base Radial
O PMC é baseado em unidades que calculam uma função
não-linear do produto escalar do vetor de entrada e um vetor
de peso.
• A rede RBF pertence a uma classe de modelos de redes
neurais na qual a ativação de uma unidade oculta é
determinada pela distância entre o vetor de entrada e um
vetor protótipo.
• As redes RBF unificam diversas teorias importantes
envolvendo aproximação de funções, regularização,
interpolação ruidosa, estimação de densidade, classificação
ótima e funções de potencial.
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
PMC RBF
Redes de Função de Base Radial
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Redes de Função de Base Radial
• Como consequência, os procedimentos de treinamento
destas redes podem ser muito mais rápidos que os métodos
usados para treinar redes PMC.
• As unidades ocultas formam representações internasinterpretáveis o que leva a um treinamento em dois estágios:
• No primeiro, ocorre um treinamento não supervisionado paradeterminação dos agrupamentos das amostras de entrada, oque usualmente é feito pelo algoritmo de K-means;
• No segundo estágio se faz o ajustamento dos pesos dos nósda camada de saída;
Com Aprendizagem Supervisionada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Redes de Função de Base Radial
• Como a camada intermediária fornece uma saída de vetores
linearmente separáveis, os pesos da camada de saída podem ser
calculados por modelos lineares como a Decomposição em
Valores Singulares.
• O projeto de uma rede neural é visto como um problema de ajuste
de curva.
• Aprendizado é equivalente a encontrar uma superfície no espaço
multidimensional do mapeamento que resulta no melhor ajuste
aos dados de treinamento.
• Generalização corresponde a interpolar dados nesta superfície
multidimensional.
• A camada de entrada é constituída de nós sensoriais.
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Redes de Função de Base Radial• As unidades ocultas fornecem um conjunto de funções que
constituem uma base arbitrária para vetores de entrada, quando
eles são projetados no espaço das unidades ocultas.
• Estas funções são denominadas Funções de Base.
• A transformação do espaço de entrada para o espaço das unidades
ocultas é não-linear.
• A camada de saída fornece a resposta da rede para os padrões de
ativação apresentados na entrada.
• A transformação do espaço das unidades ocultas para o espaço de
saída é linear.
• O problema é resolvido transformando-o na tarefa de classificação
em um espaço multidimensional.
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Regressão não paramétrica
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Topologia da Rede RBF
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Funções Radiais
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Funções Radiais
Função de Ativação Gaussiana (unidimensional)
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Funções Radiais
Função de Ativação Gaussiana (bidimensional)
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Gaussiana Multivariada
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Algumas Funções Radiais de Base
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Funcionamento da Rede
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
O Problema de Interpolação Exata
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Solução do Problema de Interpolação Exata
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Interpolação Exata
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
RBF Incremental
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
A Rede GRNN – Generalized Regression Network
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Interpolação por GRNN
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Estratégias de Aprendizado
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Comparação com MLP
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Comparação com MLP
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Exemplo de rede RBF: O Problema do XOR
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Exemplo de rede RBF: O Problema do XOR
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Solução do Problema do XOR
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Mapeamento de Entrada-Saída da Rede RBF
REDES NEURAIS ARTIFICIAIS (RBF)
UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT
Faculdade de Ciências Exatas e Tecnológicas – FACET / Sinop
Curso de Bacharelado em Engenharia Elétrica
Superfícies de regressão para o problema do XOR obtidas com a rede BP