Redes Neurais Artificiais (RNA): Introdução

Prof. Frederico Brito [email protected]

Redes Neurais Artificiais (RNA): Introdução

CONTEÚDO

(1) Introdução(2) Histórico(3) Redes e Neurônios Biológicos(4) Neurônios Artificiais(5) Funções de Ativação(6) Principais Arquiteturas

Disciplina: Inteligência Artificial

Professor: Frederico Brito FernandesProfessor: Frederico Brito Fernandes 2/26Disciplina: Inteligência ArtificialDisciplina: Inteligência Artificial

(1) Introdução

• Ressurgiu no final da década de 80– Conexionismo: Computação não algorítmica

• Lembram a estrutura de um cérebro.– Sistemas paralelos distribuídos, compostos por

unidades de processamento (nodos), que calculam funções matemáticas!

– Unidades compostas em camadas e interligadas por conexões -> Inspirado no cérebro humano


(1) Introdução

• Solução bastante atrativa– Desempenho superior às soluções

convencionais.

• Fase de Aprendizagem– Exemplos são apresentados;– Extrai-se características necessárias;– Características utilizadas para gerar respostas

aos problemas.


(1) Introdução

• Capacidade de aprender– Através de exemplos, generalizando a

informação aprendida.• É o maior atrativo das RNAs


(2) Histórico

• Primeiro modelo artificial – Warren McCulloch e Walter Pitts em 1943– McCulloch - Psiquiatra e Pitts – Matemático

• Modelo de Nodos ou nodos MCP

• Discussão em cima dos métodos de aprendizagem.

• Modelo MCP – Descrição do modelo artificial.


(2) Histórico

• Primeiro trabalho ligado ao aprendizado – Donald Hebb – 1949– Variação dos pesos de entrada dos nodos– Utilizado hoje em vários algoritmos de

aprendizagem

• 1958 – Frank Rosenblatt demonstrou que o perceptron poderiam classificar certos tipos de padrões.


(2) Histórico

• Perceptron de 3 camadas:– 1 – Valores de Entrada (conexões fixas);– 2 – Recebe os valores de entrada, cuja

transmissão é ajustável;– 3 – Envia as saídas como resposta.

• Faz classificação dividindo o espaço de valores em regiões distintas.

• Valores devem ser linearmente separáveis


(2) Histórico

• Os conexionistas buscam até hoje:– Projetar RNAs que fossem capazes de fazer

descobertas interessantes sem a necessidade de regras!

• Em 1969 – Minsky e Papert descobriram que o perceptron não resolvia “problemas difíceis de aprender”(hard learning problems) – problemas não linearmente separáveis!


(2) Histórico

• Problema de tempo e espaço da IA simbólica, logo afetaria os conexionistas.

• Anos adormecidos (anos 70), apenas alguns trabalhos na área.

• 1982 – artigo de John Hopfield estimula a retomadas das pesquisas na área.– Redes neurais de múltiplas camadas poderiam

resolver os “problemas difíceis de aprender”.


(3) Motivação: Redes Biológicas

• Cérebro humano, comunicação de neurônios, processamento de informações e comportamento conjunto são a base para as RNAs.

• As RNAs tentam reproduzir as funções das redes biológicas.– Mas, pelo menos fisicamente, se diferem

bastante.


(3) Motivação: Redes Biológicas

• Ambos são baseados em unidades de computação paralela e distribuídas, que se comunicam via conexões sinápticas nervosas.

• As RNAs podem reproduzir com fidelidade funções só encontradas no seres humanos.


(3) Motivação: Neurônios Biológicos

• Neurônios são divididos em 3 seções:– Corpo, dendritos e o axônio.


(3) Motivação: Neurônios Biológicos

• O efeito das sinapses é variável, dando ao neurônio uma capacidade de adaptação.

• Sinais recebidos são passados para o corpo, onde são comparados com os outros sinais.

• Se o percentual é suficientemente alto, a célula dispara um impulso nervoso!!

• Entradas: inibidoras ou excitatórias!


(4) Neurônios Artificiais: modelo MCP

• Simplificação do que se sabia sobre os neurônios biológicos.

• Modelo de n terminais de entrada x1, x2,...,xn (dendritos) e apenas uma saída y (axônio).

• Os terminais de entrada possuem pesos associados: w1, w2,...,wn (que podem ser positivos ou negativos – excitatórias ou inibitórias)



• O efeito de uma entrada é dado por: xiwi

• Os pesos determinam “em que grau” o neurônio deve considerar sinais de disparo que ocorrem naquela conexão.

• Um neurônio biológico dispara quando a soma dos impulsos que ele recebe ultrapassa o seu limiar de excitação (threshold)



• É feito a soma de cada xiwi (soma ponderada) e decide-se se o neurônio deve ou não disparar (saída 1 ou 0).

• No MCP, a ativação é dada pela “função de ativação”, que ativa ou não a saída.

∑ xiwi ≥ θi = 1

n

Função de Limiar:



• É considerado que os nodos de cada camada disparam sincronamente, todos são avaliados ao mesmo tempo.

• Limitações do MCP:– Com apenas 1 camada só resolvem problemas

linearmente separáveis;– Pesos negativos são mais adequados para

representar disparos inibidores;– Proposto com pesos fixos, não ajustáveis.


(5) Funções de Ativação

• Função DEGRAU: Produz saídas + para os valores de x maiores que zero e saída - para valores de x menores que zero.

+ se x > +

- se x ≤ -

{y =



• Outros modelos propostos que produzem uma saída qualquer (≠ 1 ou ≠ 0)

• Função linear: y = αx

α – número realy – saídax - entrada



• Função linear restringida, produzindo valores constantes em uma faixa [-,+], sendo chamada de função RAMPA;

+ se x ≥ +

x se |x| < +

- se x ≤ -{y =



• Função SIGMOIDAL (S-shape): Utilizadas na construção de diversos modelos nas mais diversas áreas. Função Sigmoidal Logística:

y =1 + є-x/T

1

T - representa a suavidade da curva


(6) Principais Arquiteturas das RNAs

• Redes com uma única camada de NODOS MCP, só resolvem problemas linearmente separáveis.

• Com mais camadas, resolvem outros tipos de problemas.

• Parâmetros da arquitetura: – número de camadas da rede;– número de nodos nas camadas;– tipo de conexão entre os nodos;– topologia da rede.



• Número de camadas:– Camada única:

– Múltiplas camadas:

X1

x2

x3

x1

x2

x3

x4

x5

x6



• Tipos de conexões:– feedforward ou acíclica: saída de um nodo não pode

ser usada como entrada de outro em camada inferior ou na mesma camada.x1

x2

x3

x4

x5

x6

x1x2x3

x4

x5



• Tipos de conexões:– feedback ou cíclica: a saída de algum neurônio pode

ser usada como entrada de outro em camada inferior ou na mesma camada:

x1

x2

x3

x4

Se todas as ligações são cíclicas, a rede é denominada auto-associativa. Úteis para recuperação de padrões de entrada.



• Conectividade:– Rede fracamente (ou parcialmente) conectada:

– Rede completamente conectada:x1

x2

x3

x4

X1

x2

x3

x1x2x3

x4

x5

Documents

Redes Neurais Artificiais (RNA): Introdução