Http:// Redes Neurais Artificiais Christiano Lima Santos Redes Neurais Artificiais

http://www.computacao.gigamundo.com

Redes Neurais Artificiais

Christiano Lima Santos

Redes Neurais Artificiais


Classificação de Padrões

Aula 2

Classificação de Padrões


Sumário

• Arquitetura• Separabilidade Linear• O que são Redes Hebb?

– Características– Algoritmo– Função AND– Função NOT– Função OR

• Um caso específico• Vantagens e desvantagens das redes Hebb


Arquitetura

• Single-layer;

• Uso de bias para ajustar, mantendo o threshold fixo;

• Problemas separáveis linearmente;


Separabilidade Linear

• Capacidade de uma rede separar dois padrões a partir de pesos e bias bem ajustados para tal;

22

11

2

12 x

w

wx

w

wx


Separabilidade Linear


O que são Redes Hebb?

• Redes neurais single-layer;

• Utilizam-se das regras de aprendizado Hebb;

• Ajuste de todos os pesos a cada vetor de entrada– Independente do mesmo contribuir ou não para o

resultado;


Características

• Vetores de entrada na forma bipolar ou binária;

• Resultado na forma bipolar;

• Treinamento supervisionado;


Algoritmo

• Inicializa os pesos

• Para cada vetor de entrada, incremente cada wi com ∆wi = xi*t

para i = 0 até n

wi = 0;

para cada vetor de entrada

para i = 0 até n

wi += xi*t;


Função AND

• O treinamento foi efetuado com sucesso;

• Resultados alcançados em uma única época;

Entrada Saída

1 1 1 1

1 -1 1 -1

-1 1 1 -1

-1 -1 1 -1


Função NOT



Entrada Saída

-1 1 1

1 1 -1


Função OR



Entrada Saída

1 1 1 1

1 -1 1 1

-1 1 1 1

-1 -1 1 -1


Um Caso Específico...

• Treinamento fracassou;

• Uma possível combinação de pesos seria:

1, 1, 1, -2

Entrada Saída

1 1 1 1 1

1 1 -1 1 -1

1 -1 1 1 -1

-1 1 1 1 -1


Vantagens e Desvantagens das Redes Hebb

• Vantagem:– Fácil aprendizado e implementação;

• Desvantagem:– Nem todos os problemas linearmente

separáveis podem ser resolvidos por aprendizado Hebb;


Perceptron

Aula 3

Perceptron


Sumário

• Arquitetura

• Características

• Representação Gráfica

• Função de Ativação

• Algoritmo

• Função AND

• Reconhecimento de Caracteres


Arquitetura

• Single-layer;

• Threshold X bias;

• Problemas linearmente separáveis;


Características

• Duas retas dividem o plano cartesiano;

• Taxa de aprendizado α;

• Treinamento em épocas;


Representação gráfica

bxwxw

e

bxwxw

2211

2211


Função de Ativação

ii xtw ..

inyif

inyif

inyif

inyf

_,1

_,0

_,1

)_(


Algoritmo

• Inicializa os pesos

• Para cada vetor de entrada, compute y_in e y, se diferente de t, incremente cada wi com

∆wi = α *t*xi

• Caso varie algum wi, retorne para o passo anterior

(Código-fonte de aplicação em breve, no site)


Função AND

(Em breve, disponível em artigo no site)


Reconhecimento de Caracteres

(Em breve, disponível em artigo no site)


Adaline

Aula 4

Adaline


Sumário

• Arquitetura




• Algoritmo

• Reconhecimento de Caracteres


Arquitetura

• Uma única camada;

• Dispensa especificação de Threshold;

• Problemas linearmente separáveis;


Características

• Taxa de aprendizado α;

• Treinamento em épocas;

• Utiliza-se da regra de aprendizado delta;





ijij xinytw )._.(

0_,1

0_,1)_(

inyif

inyifinyf


Algoritmo

(Em breve, disponível no site)


Reconhecimento de Caracteres

(Em breve, disponível no site)


MadalineMadalineAula 5


Sumário

• Arquitetura



• Algoritmo

• Função XOR


Arquitetura• Várias Adalines organizadas em múltiplas

camadas;

• Não somente problemas linearmente separáveis;


Características

• Treinamento um pouco mais complexo;– Não envolve somente uma camada com neurônios!

• Algoritmos MRI (algoritmo original) e MRII;

• Agora, o espaço é dividido por duas retas;

• Muito cuidado com uso de pesos inicializados com zero!




Algoritmo

(Explicação e aplicação em breve, no site)


Função XOR

(Aplicação em breve, no site)


JavaNNS

Aula 6

JavaNNS


Sumário

• O Que é?

• Instalação

• Tela do JavaNNS

• Menus

• Algumas Janelas

• Rede AND


O Que é?

• Universidade de Tübingen– Departamento de Ciência da Computação

• Simulador para redes neurais;

• JavaNNS = SNNS in Java + GUI;

• Livre distribuição com algumas restrições;

http://www-ra.informatik.uni-tuebingen.de/software/JavaNNS/welcome_e.html


Instalação

• JRE instalado;

• Descompactação;

• Execução por meio da JVM– java –jar javanns.jar

• Diretórios:– Examples;– Manuals;


Tela do JavaNNS


Menus

• File– New

– Open

– Close

– Save / Save As / Save Data

– Print

– Exit

• Edit– Undo / Redo

– Names / Output values

– Unit properties

– Delete• Units

• Links


Menus

• View– Network

– Display Settings

– Error graph

– Weights

– Projection

– Kohonen

– Log

– Status Panel

– Properties

• Tools– Control Panel

– Cascade & TACOMA

– Analyser

– Create• Layers

• Connections


Menus

• Pattern– Add

– Modify

– Copy

– New Set

• Window– Cascade

– Close all

• Help– Contents

– About


Algumas Janelas

View Network

Error Graph


Algumas Janelas

Log Window

Control Panel


Rede AND

[ Execute o JavaNNS com os parâmetros para a rede AND ]


Associação de Padrões

Aulas 7 e 8

Associação de Padrões


Parte 1Parte 1

Aula 7


Sumário

• O que são Redes Associativas

• Regras de Treinamento

• Regra Hebb

• Regra Delta

• Redes Heteroassociativas

• Redes Autoassociativas


O que são Redes Associativas

• Associam determinados padrões a outros;

• Reconhecem um padrão mesmo com entradas “perdidas” ou “erradas”;

• sn:tm Wn x m;

• Testando a rede:

f(s.W) = t


O que são Redes Associativas

• Quanto maior for a correlação (não-ortogonalidade) entre os vetores de entrada do treinamento, menos eficaz poderá ser a matriz de pesos no reconhecimento;

Perfect Recall versus Cross Talk


Regras de Treinamento

• Regra Hebb– Mais simples;

• Regra Delta– Reproduz melhores resultados;


Regra Hebb

• A matriz peso é resultado do produto externo do padrão associado

W = sT.t

jiij yxw


Regra Delta

• Reproduz melhores resultados que a regra Hebb– Mesmo quando lidando com vetores não

ortogonais;

• Regra Delta original:

• Variação da Regra Delta:ijjij xytw )..(

)_('.)..( jijjij inyfxytw


Redes Heteroassociativas

• Redes em que os pesos são determinados de forma a armazenar P padrões;



• Funções de ativação– Step bipolar

0_,1

0_,0

0_,1

j

j

j

j

inyif

inyif

inyif

y



• Funções de ativação– Step binária

0,0

0,1

x

xy j



• Funções de ativação– Incluindo um threshold θi

• Usada em Memória Associativa Bidirecional (BAM)

jj

jjj

jj

j

inyif

inyify

inyif

y

_,1

_,

_,1



• Para um conjunto de associações-padrão (usando a regra Hebb)

W = W(1) + ... + W(i) + ... + W(P)


Redes Autoassociativas

• Vetor de treinamento = saída desejada;

• Armazenamento do vetor;

• “Zerar” a diagonal principal da matriz peso;

P

p

T pspsW1

)()(

(regra Hebb)


Redes Autoassociativas

• Capacidade de Armazenamento

– Até n-1 vetores ortogonais entre si de n componentes em uma matriz peso usando a soma dos produtos externos;


Parte 2Parte 2Aula 8


Sumário

• Redes Autoassociativas Iterativas

• Autoassociador Linear Recorrente

• Brain-State-in-a-Box (BSB)

• Rede Discreta de Hopfield

• Memória Associativa Bidirecional (BAM)

• Outros Conceitos


Redes Autoassociativas Iterativas

• Incapacidade de associar um vetor com muitas “incertezas” na primeira tentativa;– Entretanto conseguem determinar de

forma iterativa!


Redes Autoassociativas Iterativas

• Alguns tipos:– Autoassociador linear recorrente;

– Redes Brain-State-in-a-Box;

– Redes de Hopfield;

• Todos os n neurônios interconectados!


Autoassociador Linear Recorrente

• Todos os neurônios interconectados;

• Pesos podem ser determinados pela regra Hebb;

• Possibilidade de problemas com o crescimento da matriz-peso;– Solução: redes BSB;


Brain-State-in-a-Box (BSB)

• Limita o crescimento por meio da modificação da função de ativação;

• Pesos simétricos

• Nenhuma autoconexão

ij

ijj

ij

ijji

ij

ijj

i

wxse

wxsex

wxse

x

,1

,

,1

jiij ww 0iiw


Rede Discreta de Hopfield

• Totalmente interconectadas, pesos simétricos e nenhuma autoconexão;

• Atualização assíncrona:– Somente uma unidade por vez;



• Sinal externo + Sinal de cada um dos outros neurônios;

• Função de Energia ou Lyapunov;



• Inicialização de pesos pode ser por regra Hebb;

• Busca-se a convergência dos valores de ativação;

• Quando usar a entrada externa?



i

iii

iiji j

ijji yyxwyyE 5.0

Função Energia

nP 15,0n

nP

2log2

Capacidade de Armazenamento

Padrões Binários Padrões Bipolares


Memória Associativa Bidirecional (BAM)

• Soma de matrizes de correlação bipolares;

• Camadas de neurônios X e Y;



• BAM discreta– Binárias ou bipolares;

– Cálculo do peso por meio do produto externo das formas bipolares;

– Função de ativação step;

jj

jjj

jj

j

inyse

inysey

inyse

y

_,1

_,

_,1



• BAM contínua– Saída no intervalo [0, 1];

– Cálculo de y_inj utiliza bias;

– Função de ativação sigmóide logística;

)_exp(1

1)_(

jj iny

inyf


Outros Conceitos

• Distância Hamming

• Apagar uma associação armazenada– xc:tc não apaga x:t– xc:t ou x:tc apaga x:t

n

xxH ],[ 21


Backpropagation

Aula 9

Backpropagation


Standard Backpropagation

Standard Backpropagation


Sumário

• Introdução

• Estágios do Treinamento

• Arquitetura


• Fatores e Variações dos Pesos

• Algumas Decisões Importantes

• Aplicações


Introdução

• Regra Delta Generalizada;– Redução do erro quadrado total da saída;– Derivada da função de ativação;

• Propagação dos valores de correção– Sentido contrário ao fluxo de informações;

• Multi-camada feedforward;– Uma ou mais camadas ocultas;


Estágios do Treinamento

• Feedforward do padrão de treinamento de entrada;

• Cálculo e “backpropagation” do erro;

• Ajuste dos pesos;


Arquitetura



Sigmóide Binária Sigmóide Bipolar

)](1)[()('

)exp(1

1)(

xfxfxf

xxf

2/)](1)][(1[)('

1)exp(1

2)(

xfxfxf

xxf


Fatores e Variações dos Pesos

Da camada de saída Da camada oculta

jkjk

kkkk

zw

inyfyt

)_(')(

ijij

jjj

m

kjkkj

xv

inzfin

win

)_('_

_1


Algumas Decisões Importantes

• Escolha dos pesos iniciais– Valores aleatórios entre –0.5 e 0.5;

• Quanto tempo deve durar o treinamento– Memorização X Generalização;

• Quantos devem ser os pares de treinamento;


Algumas Decisões Importantes

• Representação dos dados– Binária X Bipolar;

• Número de camadas ocultas– Uma camada é suficiente para muitos

problemas;


Aplicações

• Compressão de Dados;– Quando usado em redes autoassociativas, por

exemplo;


VariaçõesVariações


Sumário

• Variações Quanto à Atualização dos Pesos

• Variações Quanto à Função de Ativação

• Backpropagation Estritamente Local

• Número de camadas ocultas


Quanto à Atualização dos Pesos

• Momento

• Atualização em “Batch” dos Pesos

• Taxas de Aprendizado Adaptativas


Momento

• O ritmo de cada mudança deve ser considerado;

)]1()([)()1( twtwztwtw jkjkjkjkjk

Onde 0 < μ < 1


Atualização em “Batch” dos Pesos

• Acumular as correções e efetuar todas ao mesmo tempo após vários padrões, ou mesmo ao fim de cada época;


Taxas de Aprendizado Adaptativas

• Taxa de aprendizado varia durante o treinamento;



• Delta-Barra-Delta– Enquanto o sinal da mudança de peso

permanecer o mesmo, aumente a taxa de aprendizado referente a esse peso;

– Quando o sinal da mudança de peso mudar, reduza a taxa de aprendizado referente a esse peso;



• Delta-Barra-Delta

ijij

ij

jkjk

jk

xv

E

zw

E

)1()()1()(

)1()()1()(

ttt

ttt

ijijij

jkjkjk

0 < β < 1



• Delta-Barra-Delta

contráriocasot

ttset

ttset

t

jk

jkjkjk

jkjkjk

jk

)(

0))()1(()()1(

0))()1(()(

)1(



Método Sucessos Épocas

Backpropagation 24 16859.8

Backpropagation com momento

25 2056.3

Delta-Barra-Delta 22 447.3


Quanto à Função de Ativação

• Função Sigmóide Customizada para Padrões de Treinamento

• Parâmetro Slope Adaptativo para Sigmóide

• Outra Função Sigmóide

• Função de Ativação Não-Saturante

• Função de Ativação Não-Sigmóide


Função Sigmóide Customizada para Padrões de Treinamento

a

ab

)exp(1)(

xxg

/)]()][([)(' xgxgxg


Parâmetro Slope Adaptativo para Sigmóide

jjj

kkk

inz

iny

_

_


Outra Função Sigmóide

)(2

)( xarctgxf

21

12)('

xxf


Função de Ativação Não-Saturante

)0(1

1

)0(1

1

)('

)0()1log(

)0()1log()(

xsex

xsex

xf

xsex

xsexxf


Função de Ativação Não-Sigmóide

)(2)exp(.2)('

)exp()(2

2

xxfxxxf

xxf


Backpropagation Estritamente Local

• Problemas de plausibilidade biológica;– Backpropagation requer compartilhamento de

informações entre unidades;

• Dividir em unidades corticais, sinápticas e talâmicas;


Número de Camadas Ocultas

• Uma camada é suficiente para qualquer problema de aproximação de função;

• Alguns problemas podem ser mais fáceis de resolver com duas camadas ocultas;

• Basta estender os passos a serem executados;


Número de Camadas Ocultas

ihih

hhh

p

jhjjh

xu

inzfin

vin

)_('_

_1


Resultados TeóricosResultados Teóricos


Sumário

• Derivação das Regras de Aprendizado


Derivação das Regras de Aprendizado

• No Standard Backpropagation

k

kk ytE 2][5.0

Jkkkk

kkJKJK

zinyfytytww

E)_('][...][5.0 2

)_('][ kkkK inyfyt




])[_('...][ IJk

Jkkk

kIJ

kkIJ

xinzfwyv

ytv

E

)_(' Jk

JkkJ inzfw




jkjkkkjk

jk zzinyfytw

Ew

)_('][

ijk

jkkijij

ij xwxinzfv

Ev

)_('


Kohonen

Aula 10

Kohonen


Sumário

• Introdução


• Arquitetura

• Vizinhança

• Algoritmo

• Observações

• Aplicação


Introdução

• Classificação até agora– Rede podia retornar mais de um sinal de saída;

• É necessário forçar a rede a tomar uma decisão– Competição;

• O vencedor leva tudo;


Introdução

• MAXNET;

• Chapéu Mexicano;

• Quantização do Vetor de Aprendizagem (LQV);

• Mapeamento auto-organizável de Kohonen.


Características

• Preserva topologias;

• Treinamento não-supervisionado– Busca similaridades nos vetores e agrupa-os;


Características

• Aprendizado Kohonen

– Combinação linear do antigo vetor-peso e do vetor de entrada atual;

– Somente para o vetor peso mais próximo e sua vizinhança!


Características

• Calculando o vetor-peso mais próximo...

– Distância euclidiana;

– Produto escalar comparação do y_in de cada unidade;


Arquitetura


Vizinhança


Algoritmo

Inicialize pesos

Estabeleça parâmetros de vizinhança topológica

Estabeleça parâmetros de taxa de aprendizado


Algoritmo

Enquanto condição de parada for falsa, faça

Para cada vetor de entrada x, faça

Para cada j

Dj = 0

Para cada i

Dj = Dj + (wij – xi)2


AlgoritmoEncontre índice J tal que DJ seja mínimo

Para todas as unidades j na vizinhança especificada de J

Para todos os i

wij = wij + α[xi - wij]

Atualize taxa de aprendizado

Reduza raio da vizinhança topológica em tempos determinados


Observações

• A taxa de aprendizado decresce lentamente em função do tempo;

• O raio de vizinhança também decresce enquanto o processo de clustering progride;

• Valores aleatórios podem ser estabelecidos para os pesos inicialmente.


Aplicação

[ Aplicação em breve disponível no site ]


Redes Neurais Artificiais em

JogosAula 11

Redes Neurais Artificiais em

Jogos


Sumário

• Técnicas de IA em Jogos• Por que IA em Jogos?• Por que RNA em Jogos?• Casos de RNA em Jogos

– Smart Sweepers 1

– Smart Sweepers 2

– Neat Sweepers

– Brainy Aliens

– Neat Invaders

– GNU Mages

– Docking Station – Creatures

• Considerações Finais• Referências Bibliográficas


Técnicas de IA em Jogos

• Máquinas de Estados Finitos e Scripts– Jogos de Estratégia, de RPG, FPS, Luta, etc.

(TATAI, s.d.)

Mortal Kombat

Total Annihilation

Unreal



• Estratégias de Busca Tradicionais– Algoritmos minimax e pathfinding;– Busca em profundidade / largura, backtracking;– Jogos de Tabuleiro, Estratégia, RPG, Ação, etc;

(TATAI, s.d.)

Jogo de Xadrez Pacman



• Algoritmos Genéticos– Jogos de Estratégia ou de Simulação;– Permite o aprendizado por meio da evolução!

(TATAI, s.d.)

q?Muitos jogos podem se utilizar de algoritmos genéticos com sucesso



• Redes Neurais Artificiais

(TATAI, s.d.)

Docking Station (série Creatures)



• Sistemas Nebulosos– ???

(TATAI, s.d.)

q?



• E NeuroEvolution?– Redes Neurais + Algoritmos Genéticos;

(TATAI, s.d.)


Por que IA em Jogos?

• O jogador quer um inimigo:– Reativo;– Proativo;– Com “comportamento humano”;– Que se aperfeiçoe durante o jogo;


Por que RNA em Jogos?

• Usada principalmente em simulações (VIEIRA, 2005)– Docking Station, da GameWare Development;


Casos de RNA em Jogos

• Smart Sweepers 1;

• Smart Sweepers 2;

• Neat Sweepers;

• Brainy Aliens;

• Neat Invaders;

• GNU Mages;

• Docking Stations – Creatures;


Smart Sweepers 1


Smart Sweepers 2


Neat Sweepers


Brainy Aliens


Neat Invaders

• Ferramentas– Delphi

– DelphiNEAT Library

– GR32 Library

– PNGDelphi

• Como pontuar cada inimigo?

• Para cada inimigo– Entrada

• Coordenadas do jogador

• Se pode disparar ou não

• Vetor velocidade

• Vetor distância do míssil mais próximo

– Saída• Vetor aceleração

• Se dispara ou não


Neat Invaders

• NeuroEvolution Augmenting Topologies


GNU Mages

• Capture the Flag;

• Em Java;

• Editor de mapas;


GNU Mages


Docking Station - Creatures

• GameWare Development;

• Simulador de vida de criaturas;– Evolução das mesmas;– Sociabilização com outras criaturas;


Docking Station - Creatures


Considerações Finais

• Ainda nos primeiros passos...

• Que outros gêneros de jogos poderão usar NeuroEvolution?

• Que benefícios o uso de Redes Neurais e Algoritmos Genéticos podem trazer aos jogos?


Referências Bibliográficas• BUCKLAND, Matt, AI Techniques for Game Programming, Premier Press,

2002

• FAUSETT, Laurene, Fundamentals of Neural Networks – Architectures, Algorithms and Applications

• TATAI, Victor K, Técnicas de Sistemas Inteligentes Aplicadas ao Desenvolvimento de Jogos de Computador, Universidade Estadual de Campinas, s.d.

• VIEIRA, Vicente, Revolution AI Engine – Desenvolvimento de um Motor de Inteligência Artificial para a Criação de Jogos Eletrônicos, UFPE, 2005

• http://www.inf.unisinos.br/~jrbitt/mages

• http://w-shadow.com/blog/2006/10/26/neat-invaders-game

• http://www.gamewaredevelopment.co.uk


FIM!!!FIM!!!

Documents

Http:// Redes Neurais Artificiais Christiano Lima Santos Redes Neurais Artificiais