1 SISTEMAS DE APRENDIZAGEM (OU APRENDIZAGEM DE MÁQUINAS) 31/03/2005 Trabalho realizado por: Filipe Pereira nº14677 Luís Aguilar nº14676 Vitor Rodrigues

1

SISTEMAS DE SISTEMAS DE APRENDIZAGEMAPRENDIZAGEM

(OU APRENDIZAGEM DE MÁQUINAS)(OU APRENDIZAGEM DE MÁQUINAS)

31/03/200531/03/2005

Trabalho realizado por: Trabalho realizado por:

Filipe Pereira nº14677Filipe Pereira nº14677

Luís Aguilar nº14676Luís Aguilar nº14676

Vitor Rodrigues nº11542Vitor Rodrigues nº11542

2

Questões ImportantesQuestões Importantes

►O que é a aprendizagem ?O que é a aprendizagem ?

► Porquê aprender ?Porquê aprender ?

► A aprendizagem é mesmo possível ?A aprendizagem é mesmo possível ? Pode um algoritmo prever o futuro?Pode um algoritmo prever o futuro?

► A aprendizagem é uma questão de A aprendizagem é uma questão de estatísticas?estatísticas?

3

O Que é a Aprendizagem ?O Que é a Aprendizagem ?

► A psicologia costuma definir a aprendizagem como A psicologia costuma definir a aprendizagem como

uma uma mudança relativamente permanente no mudança relativamente permanente no

conhecimento ou no comportamento produzido pela conhecimento ou no comportamento produzido pela

experiência. experiência. A aprendizagem considera então a A aprendizagem considera então a

aquisição de informação e conhecimentos, de aquisição de informação e conhecimentos, de

habilidades, de hábitos, de atitudes e de crenças (as habilidades, de hábitos, de atitudes e de crenças (as

mudanças físicas do amadurecimento não é mudanças físicas do amadurecimento não é

considerado aprendizagem)considerado aprendizagem)Gonzalez-Perez, J.; Criado M.J.Gonzalez-Perez, J.; Criado M.J.

Psicologia de la Educacion para una Enseñansa Prática (2003)Psicologia de la Educacion para una Enseñansa Prática (2003)

4

O Que é a Aprendizagem ?O Que é a Aprendizagem ?

►Memorizar qualquer coisaMemorizar qualquer coisa

► Aprender factos através da observação e Aprender factos através da observação e

exploraçãoexploração

►Melhorar capacidades cognitivas e/ou Melhorar capacidades cognitivas e/ou

motoras através da práticamotoras através da prática

►Organizar novo conhecimento em Organizar novo conhecimento em

representações gerais.representações gerais.

5

Uma definição mais Uma definição mais computacionalcomputacional

► Herb Simon, uma figura histórica importante na Herb Simon, uma figura histórica importante na

Inteligência Artificial e Economia, deu-nos a seguinte Inteligência Artificial e Economia, deu-nos a seguinte

definição de Aprendizagem:definição de Aprendizagem:

Aprendizagem denota mudanças no sistema que Aprendizagem denota mudanças no sistema que

são adaptativas no sentido em que permitem ao são adaptativas no sentido em que permitem ao

sistema fazer a tarefa ou as tarefas tiradas da sistema fazer a tarefa ou as tarefas tiradas da

mesma população mais eficientemente e mais mesma população mais eficientemente e mais

eficazmente da próxima vez.eficazmente da próxima vez.

X

6

Então como aprender?Então como aprender?

►A InduçãoA Indução

O bocado de pão 1 estava saboroso quando eu o comi.O bocado de pão 1 estava saboroso quando eu o comi.


……


EntãoEntão, todos os bocados de pão estarão saborosos quando , todos os bocados de pão estarão saborosos quando

eu os comer.eu os comer.

(David Hume resumiu assim o raciocínio por Indução)(David Hume resumiu assim o raciocínio por Indução)

7

InduçãoIndução

► Qualquer matemático abomina o raciocínio anterior.Qualquer matemático abomina o raciocínio anterior.

► Então porque é que a indução é aceitável ?Então porque é que a indução é aceitável ?

Um ExemploUm Exemplo

►Quando perguntado se o Sol vai nascer amanhã, a Quando perguntado se o Sol vai nascer amanhã, a

nossa resposta natural é: Sim, porque o Sol sempre nossa resposta natural é: Sim, porque o Sol sempre

nasceu todos os dias.nasceu todos os dias.

Para um cientista, a resposta não é satisfatória, mas para o Para um cientista, a resposta não é satisfatória, mas para o

comum dos mortais, é suficiente saber que o Sol sempre comum dos mortais, é suficiente saber que o Sol sempre

nasceu todos os dias para “aprender” que ele vai nascer nasceu todos os dias para “aprender” que ele vai nascer

amanhã.amanhã.

8

Tipos de AprendizagemTipos de Aprendizagem

► Existem imensos tipos de problemas relacionados Existem imensos tipos de problemas relacionados

com a aprendizagem de Máquinas.com a aprendizagem de Máquinas.

Aprendizagem SupervisionadaAprendizagem Supervisionada Clustering (agrupamento)Clustering (agrupamento) Reforço (Reforço (ReinforcementReinforcement))

9

Aprendizagem Aprendizagem SupervisionadaSupervisionada

► Dado um conjunto de pares de Dado um conjunto de pares de input/outputinput/output, encontrar , encontrar

uma regra que nos permita prever o uma regra que nos permita prever o outputoutput associado a associado a

cada novo cada novo inputinput..

► Por exemplo: Por exemplo: Imaginemos que nos é dado os pesos e Imaginemos que nos é dado os pesos e

comprimentos de um grupo de trutas, e os pesos e comprimentos de um grupo de trutas, e os pesos e

comprimentos de um grupo de carpas. O trabalho do comprimentos de um grupo de carpas. O trabalho do

sistema de aprendizagem supervisionada seria encontrar sistema de aprendizagem supervisionada seria encontrar

uma regra que permitisse uma regra que permitisse preverprever, dado o comprimento e , dado o comprimento e

o peso de um peixe, se este era uma truta ou uma carpao peso de um peixe, se este era uma truta ou uma carpa ..

10

ClusteringClustering

► Outro tipo de problema comum de aprendizagem é Outro tipo de problema comum de aprendizagem é

o agrupamento. o agrupamento.

► Dado um conjunto de exemplos, mas sem uma Dado um conjunto de exemplos, mas sem uma

classificação predefinida destes, o objectivo é classificação predefinida destes, o objectivo é

agrupar os exemplos dados em “conjuntos agrupar os exemplos dados em “conjuntos

naturais”.naturais”.

11

Um exemplo de ClusteringUm exemplo de Clustering

► Neste caso, é-nos dada as descrições de um grupo de Neste caso, é-nos dada as descrições de um grupo de

animais diferentes em termos das suas características animais diferentes em termos das suas características

(comprimento, peso, se tem cabelos ou não, etc.). A (comprimento, peso, se tem cabelos ou não, etc.). A

tarefa agora é dividi-los em grupos, possivelmente tarefa agora é dividi-los em grupos, possivelmente

numa hierarquia de grupos que “faça sentido”.numa hierarquia de grupos que “faça sentido”.

► O que torna o clustering diferente da aprendizagem O que torna o clustering diferente da aprendizagem

supervisionada é que não lhe é dito á partida, que supervisionada é que não lhe é dito á partida, que

grupos de animais devemos ter. Apenas que o sistema grupos de animais devemos ter. Apenas que o sistema

deve encontrar um deve encontrar um agrupamento naturalagrupamento natural..

12

Aprendizagem por ReforçoAprendizagem por Reforço

► Um agente interagindo com o mundo faz Um agente interagindo com o mundo faz

observações, age, e é recompensado ou castigado. observações, age, e é recompensado ou castigado.

Deverá ser capaz de escolher acções de maneira a Deverá ser capaz de escolher acções de maneira a

maximizar o número de recompensas.maximizar o número de recompensas.

► Este problema de aprendizagem é mais familiar à Este problema de aprendizagem é mais familiar à

maioria de nós porque envolve a aprendizagem de maioria de nós porque envolve a aprendizagem de

capacidades motoras, como aprender a andar ou a capacidades motoras, como aprender a andar ou a

andar de bicicleta.andar de bicicleta.

13

Aprendizagem por ReforçoAprendizagem por Reforço

► É diferente da aprendizagem supervisionada É diferente da aprendizagem supervisionada

porque ninguém nos diz explicitamente qual é a porque ninguém nos diz explicitamente qual é a

coisa certa a fazer. Temos apenas de ir tentando e coisa certa a fazer. Temos apenas de ir tentando e

verificar aquilo que nos faz cair ou aquilo que nos verificar aquilo que nos faz cair ou aquilo que nos

faz ficar direitos.faz ficar direitos.

14

AprendizagemAprendizagem

► Como já vimos, uma maneira de encarar a aprendizagem, Como já vimos, uma maneira de encarar a aprendizagem,

é encontrar uma função que a partir de um conjunto de é encontrar uma função que a partir de um conjunto de

dados de input e output, expresse da melhor maneira dados de input e output, expresse da melhor maneira

possível a relação.possível a relação.

► Aprender a pronunciar palavras pode ser visto como uma função Aprender a pronunciar palavras pode ser visto como uma função

de letras para sons.de letras para sons.

► Aprender a reconhecer a escrita pode ser vista como uma Aprender a reconhecer a escrita pode ser vista como uma

função de conjuntos de pixeis para letrasfunção de conjuntos de pixeis para letras

► Aprender a diagnosticar doenças pode ser visto como uma Aprender a diagnosticar doenças pode ser visto como uma

função de resultados de exames laboratoriais para categorias de função de resultados de exames laboratoriais para categorias de

doenças.doenças.

15

Alguns problemas…Alguns problemas…

► O problema de inferir uma função a partir de O problema de inferir uma função a partir de

exemplos é complicado. Podemos pensar em pelo exemplos é complicado. Podemos pensar em pelo

menos três problemas diferentes que podem surgir:menos três problemas diferentes que podem surgir:

► MemóriaMemória

► Calcular médiasCalcular médias

► Generalização Generalização

16

Problema Exemplo:Problema Exemplo:

► Imaginemos que estou a tentar prever se a minha Imaginemos que estou a tentar prever se a minha

vizinha vai de carro ou não para o trabalhovizinha vai de carro ou não para o trabalho

► ( o objectivo é saber se vale a pena pedir-lhe boleia. )( o objectivo é saber se vale a pena pedir-lhe boleia. )

► Se a minha vizinha vai de carro ou não para o trabalho Se a minha vizinha vai de carro ou não para o trabalho

parece depender das seguintes características do dia: parece depender das seguintes características do dia:

temperatura ambiente, temperatura ambiente, precipitação,precipitação, o dia da semana,o dia da semana, se vai ou não ás compras pelo caminho e se vai ou não ás compras pelo caminho e o tipo de vestuário que ela traz.o tipo de vestuário que ela traz.

17

exemplo…exemplo…

Digamos que observamos estas características durante 3

dias. A tabela seguinte mostra-nos os resultados destas

mesmas observações e se a vizinha vai de carro ou vai a

pé para o trabalho:

18

MemóriaMemória

Agora pretende-se prever qual irá ser a atitude

que a nossa vizinha ira tomar mediante as

seguintes condições (ultima linha):

Ela vai de carro ou a pé?

19

Memória Memória

A resposta parece ser óbvia, pois as A resposta parece ser óbvia, pois as condições são semelhantes a uma das anteriores.condições são semelhantes a uma das anteriores.

Este tipo de aprendizagem é bastante Este tipo de aprendizagem é bastante

rudimentar pois basta memorizar o que se viu rudimentar pois basta memorizar o que se viu

anteriormente para se poder dar a resposta.anteriormente para se poder dar a resposta.

20

Calculo da médiaCalculo da média

► E quando há ruído nos dados E quando há ruído nos dados (As coisas não (As coisas não sempre tão simples como no caso anterior.) sempre tão simples como no caso anterior.)

► A nossa vizinha não é totalmente coerente.A nossa vizinha não é totalmente coerente.

21


Para input semelhante temos outputs diferentes. Se

nos surgir novamente o mesmo input qual vai ser a

nossa previsão?

22


X

Podemos afirmar que ela irá a pé com uma probabilidade de 5/7

23

GeneralizaçãoGeneralização

► Imaginemos agora o caso em que temos de tratar com casos nunca Imaginemos agora o caso em que temos de tratar com casos nunca

vistos. Neste caso, pode não haver uma resposta óbvia. Podemos vistos. Neste caso, pode não haver uma resposta óbvia. Podemos

abdicar de fazer uma previsão, ou então assumir que existe uma abdicar de fazer uma previsão, ou então assumir que existe uma

certa propriedade de estabilidade: situações similares tendem a ter certa propriedade de estabilidade: situações similares tendem a ter

categorias similares. Podiamos argumentar que:categorias similares. Podiamos argumentar que:

• Ela vai a pé, porque a única vez que choveu ela foi a pé.

• Ela vai de carro, porque às segundas foi sempre de carro.

24

GeneralizaçãoGeneralização

► A questão de qual deles escolher é uma questão difícil e A questão de qual deles escolher é uma questão difícil e

um dos problemas mais profundos subjacentes à um dos problemas mais profundos subjacentes à

Aprendizagem de Máquinas. Aprendizagem de Máquinas.

► Convém realçar que o objectivo é sempre que a Convém realçar que o objectivo é sempre que a

máquina possa fazer as previsões acerca de dados máquina possa fazer as previsões acerca de dados

novos sem a ajuda da intuição humana (apresentamos novos sem a ajuda da intuição humana (apresentamos

estes exemplos (e o seguinte) para sublinhar a estes exemplos (e o seguinte) para sublinhar a

complexidade dos problemas, que mesmo para os complexidade dos problemas, que mesmo para os

humanos são questionáveis).humanos são questionáveis).

25

Exemplo:Exemplo:• Imaginemos que se

pretende dividir estes

dois conjuntos de pontos

por forma a que, dado

este input, consigamos

prever qual a cor que irá

ter um novo ponto.

• Qual será a melhor

escolha?

(pode-se fazer o paralelo com o exemplo anterior, em que os pontos existentes são as linhas da tabela e o ponto novo que há-de surgir corresponde à linha nova)

26

Qual será a resposta mais Qual será a resposta mais correcta?correcta?

• Neste caso parece óbvio,

que seja uma linha a

separar os dois conjuntos

de pontos.

• Assim um ponto que surja no lado direito, prevemos

que seja vermelho e preto se surgir no lado esquerdo

27

E agora? E agora?

• Agora que temos uma

configuração diferente de

pontos.

• Qual será a melhor

escolha?

28

Também não parece ser Também não parece ser difícil… difícil…

29

E agora?!E agora?!

• Já não parece ser tão

trivial encontrar a solução

neste caso

• Há pelo menos dois tipos

de resposta possível

30

Primeira opção Primeira opção

• Neste caso, é possível

separar completamente

os dois conjuntos de

pontos

• Mas será esta a melhor

escolha?

31

Segunda opçãoSegunda opção

• Neste caso, os pontos

não estão totalmente

divididos por cor

• Esta opção despreza

alguns elementos

dispersos por forma a

simplificar a separação

32

Algoritmos de aprendizagemAlgoritmos de aprendizagem

► Existem vários tipos de algoritmos de Existem vários tipos de algoritmos de aprendizagem:aprendizagem:

►Nearest Neighbor (Vizinho mais próximo)Nearest Neighbor (Vizinho mais próximo)

►Arvores de decisãoArvores de decisão

►K-means (algoritmo de agrupamento)K-means (algoritmo de agrupamento)

►Á priori Á priori

►……

33

Nearest Nearest Neighbor Neighbor

• Qual será neste caso a cor do ponto que falta?

• Vermelho é a cor do ponto que está mais próximo. Então fica vermelho.

• Este algoritmo é o mais simples de todos. O novo ponto será da cor daquele que é o seu vizinho mais próximo.

34

Nearest NeighborNearest Neighbor

► O algoritmo neste caso apenas faz o seguinte:O algoritmo neste caso apenas faz o seguinte:

Lembrar-se de todos os dadosLembrar-se de todos os dados

Quando alguém nos faz uma pergunta:Quando alguém nos faz uma pergunta:►Encontrar o ponto mais próximoEncontrar o ponto mais próximo

►Devolver a resposta associada a este.Devolver a resposta associada a este.

35

Árvores de DecisãoÁrvores de Decisão

• Outro bom exemplo de algoritmos de aprendizagem é construir hipóteses na forma de árvores de decisão. Nas árvores de decisão, cada nodo representa uma questão, e os ramos representam as possíveis respostas. Podemos utilizar esta árvore de decisão para encontrar a previsão que devemos fazer no exemplo “vai de carro”/ ”vai a pé”.

36

Árvores de DecisãoÁrvores de Decisão► Neste exemplo, a árvore ficaria com a Neste exemplo, a árvore ficaria com a

seguinte estrutura.seguinte estrutura.

37


Começamos por perguntar qual é o actual estado de precipitação. Se estiver a nevar paramos o questionário, pois já sabemos que vai de carro. Se estiver a chover, teremos de ir a pé (não nos vai dar boleia).

38


Se não estiver a chover, então temos de perguntar qual o tipo de roupas que a vizinha trás vestido. Se for com uma roupa formal vai de carro. Se não teremos de fazer outra pergunta.

39


Podemos continuar a fazer perguntas e a dar respostas até chegarmos a um único nodo das árvores onde iremos obter a nossa previsão.

40

À prioriÀ priori

► Este algoritmo permite inferir informação de uma base de Este algoritmo permite inferir informação de uma base de

dados que não esteja explícita. É um dos algoritmos mais dados que não esteja explícita. É um dos algoritmos mais

conhecidos da área do conhecidos da área do Data MiningData Mining..

► Data MiningData Mining é o processo de descoberta de novas e é o processo de descoberta de novas e

significantes correlações, padrões e tendências, filtrando significantes correlações, padrões e tendências, filtrando

grandes quantidades de dados guardados em repositórios, grandes quantidades de dados guardados em repositórios,

utilizando tecnologias de reconhecimento de padrões bem utilizando tecnologias de reconhecimento de padrões bem

como técnicas matemáticas e estatísticas.como técnicas matemáticas e estatísticas.

► Algoritmos deste género permitem analisar grandes Algoritmos deste género permitem analisar grandes

quantidades de dados, extraindo de lá informações que muito quantidades de dados, extraindo de lá informações que muito

dificilmente um ser humano conseguiria “à mão”.dificilmente um ser humano conseguiria “à mão”.

41

À prioriÀ priori

► Este algoritmo consiste na descoberta de regras de associação.Este algoritmo consiste na descoberta de regras de associação.

► O exemplo paradigmático é o do Cesto do Supermercado. O exemplo paradigmático é o do Cesto do Supermercado.

► O objectivo é descobrir que produtos costumam ser comprados juntos O objectivo é descobrir que produtos costumam ser comprados juntos

(ex. cada vez que compro pasta de dentes compro também escova de (ex. cada vez que compro pasta de dentes compro também escova de

dentes). Deste modo, o supermercado pode “facilitar” o trabalho ao dentes). Deste modo, o supermercado pode “facilitar” o trabalho ao

cliente e colocar os produtos que costumam ser comprados juntos perto cliente e colocar os produtos que costumam ser comprados juntos perto

uns dos outros. uns dos outros.

42

Redes NeuronaisRedes Neuronais

► Redes Neuronais Artificiais são técnicas Redes Neuronais Artificiais são técnicas

computacionais que apresentam um modelo computacionais que apresentam um modelo

matemático inspirado na estrutura neuronal de matemático inspirado na estrutura neuronal de

organismos inteligentes e que adquirem organismos inteligentes e que adquirem

conhecimento através da experiência. Uma grande conhecimento através da experiência. Uma grande

rede neuronal artificial pode ter centenas ou rede neuronal artificial pode ter centenas ou

milhares de unidades de processamento; já o cérebro milhares de unidades de processamento; já o cérebro

de um mamífero pode ter muitos biliões de de um mamífero pode ter muitos biliões de

neurónios.neurónios.

43


► O sistema nervoso é formado por um conjunto O sistema nervoso é formado por um conjunto

extremamente complexo de células, os neurónios. Eles extremamente complexo de células, os neurónios. Eles

têm um papel essencial na determinação do têm um papel essencial na determinação do

funcionamento e comportamento do corpo humano e do funcionamento e comportamento do corpo humano e do

raciocínio. Os neurónios são formados pelos dendritos, raciocínio. Os neurónios são formados pelos dendritos,

que são um conjunto de terminais de entrada, pelo que são um conjunto de terminais de entrada, pelo

corpo central, e pelos axônios que são longos terminais corpo central, e pelos axônios que são longos terminais

de saída.de saída.

44

Redes NeuronaisRedes Neuronais► Breve História das Redes NeuronaisBreve História das Redes Neuronais

Os estudos de McCulloch e Pitts (1943), Hebb (1949), e Os estudos de McCulloch e Pitts (1943), Hebb (1949), e

Rosemblatt (1958) introduziram o primeiro modelo de Rosemblatt (1958) introduziram o primeiro modelo de

redes neuronais simulando “máquinas”, o modelo básico redes neuronais simulando “máquinas”, o modelo básico

de rede de auto-organização, e o modelo Perceptron de de rede de auto-organização, e o modelo Perceptron de

aprendizagem supervisionada, respectivamente.aprendizagem supervisionada, respectivamente.

nos anos 60 e 70, importantes trabalhos sobre modelos de nos anos 60 e 70, importantes trabalhos sobre modelos de

redes neuronais em visão, memória, controle e auto-redes neuronais em visão, memória, controle e auto-

organização como: Amari, Anderson, Cooper, Cowan, organização como: Amari, Anderson, Cooper, Cowan,

Fukushima, Grossberg, Kohonen, von der Malsburg, Fukushima, Grossberg, Kohonen, von der Malsburg,

Werbos e Widrow.Werbos e Widrow.

45


► Breve História das Redes NeuronaisBreve História das Redes Neuronais

Alguns históricos sobre a área costumam “saltar” Alguns históricos sobre a área costumam “saltar”

os anos 60 e 70 e apontar uma reintrodução das os anos 60 e 70 e apontar uma reintrodução das

redes neuronais com a publicação dos trabalhos redes neuronais com a publicação dos trabalhos

de Hopfield (1982) relatando a utilização de de Hopfield (1982) relatando a utilização de

redes simétricas para optimização e de redes simétricas para optimização e de

Rumelhart, Hinton e Williams que introduziram o Rumelhart, Hinton e Williams que introduziram o

poderoso método Backpropagation.poderoso método Backpropagation.

46


► Características GeraisCaracterísticas Gerais

Uma rede neuronal artificial é composta por várias Uma rede neuronal artificial é composta por várias

unidades de processamento, cujo funcionamento é unidades de processamento, cujo funcionamento é

bastante simples. Essas unidades, geralmente são bastante simples. Essas unidades, geralmente são

conectadas por canais de comunicação que estão conectadas por canais de comunicação que estão

associados a determinado peso. As unidades fazem associados a determinado peso. As unidades fazem

operações apenas sobre os seus dados locais, que são operações apenas sobre os seus dados locais, que são

entradas recebidas pelas suas conexões. O comportamento entradas recebidas pelas suas conexões. O comportamento

inteligente de uma Rede Neuronal Artificial vem das inteligente de uma Rede Neuronal Artificial vem das

interacções entre as unidades de processamento da rede.interacções entre as unidades de processamento da rede.

47

Redes NeuronaisRedes Neuronais► Características Gerais Características Gerais

São modelos adaptativos treináveisSão modelos adaptativos treináveis

Podem representar domínios complexos (não lineares)Podem representar domínios complexos (não lineares)

São capazes de generalização diante de informação incompletaSão capazes de generalização diante de informação incompleta

RobustosRobustos

São capazes de fazer armazenamento associativo de São capazes de fazer armazenamento associativo de

informaçõesinformações

Processam informações Espaço/temporaisProcessam informações Espaço/temporais

Possuem grande paralelismo, o que lhes conferem rapidez de Possuem grande paralelismo, o que lhes conferem rapidez de

processamentoprocessamento

48


► O que é uma Rede Neuronal?O que é uma Rede Neuronal?

A grande premissa do conexionismo para aplicações em A grande premissa do conexionismo para aplicações em

processamento de informações e/ou inteligência processamento de informações e/ou inteligência

artificial é o facto de que se pode analisar um problema artificial é o facto de que se pode analisar um problema

de acordo com o funcionamento do cérebro humanode acordo com o funcionamento do cérebro humano

O cérebro processa informações através da activação O cérebro processa informações através da activação

de uma série de neurónios biológicos. Os neurónios por de uma série de neurónios biológicos. Os neurónios por

sua vez, interagem numa rede biológica através da sua vez, interagem numa rede biológica através da

intercomunicação.intercomunicação.

49

Redes NeuronaisRedes Neuronais► O Neurónio ArtificialO Neurónio Artificial

McCullock e Pitts 1943;McCullock e Pitts 1943;

sinais são apresentados à entrada; sinais são apresentados à entrada;

cada sinal é multiplicado por um cada sinal é multiplicado por um

número, ou peso, que indica a sua número, ou peso, que indica a sua

influência na saída da unidade; influência na saída da unidade;

é feita a soma ponderada dos é feita a soma ponderada dos

sinais que produz um nível de sinais que produz um nível de

actividade; actividade;

se este nível de actividade se este nível de actividade

exceder um certo limite exceder um certo limite

((thresholdthreshold) a unidade produz uma ) a unidade produz uma

determinada resposta de saída. determinada resposta de saída.

50


► ExemploExemplo

sinais de entrada X1, X2, ..., Xp (0 ou 1) sinais de entrada X1, X2, ..., Xp (0 ou 1) pesos w1, w2, ..., wppesos w1, w2, ..., wp, , valores reais.valores reais. limitador t; limitador t; Neste modelo, o nível de actividade a é dado por:Neste modelo, o nível de actividade a é dado por:

► a = w1X1 + w2X2 + ... + wpXp a = w1X1 + w2X2 + ... + wpXp A saída y é dada por:A saída y é dada por:

• y = 1, se a >= t ou y = 1, se a >= t ou • y = 0, se a < t. y = 0, se a < t.

51

Redes NeuronaisRedes Neuronais• Organização em camadas

52


►Organização em camadasOrganização em camadas

Usualmente as camadas são classificadas em três grupos: Usualmente as camadas são classificadas em três grupos:

► Camada de EntradaCamada de Entrada: onde os padrões são : onde os padrões são apresentados à rede; apresentados à rede;

► Camadas Intermediárias ou EscondidasCamadas Intermediárias ou Escondidas: onde é : onde é feita a maior parte do processamento, através das feita a maior parte do processamento, através das conexões ponderadas; podem ser consideradas como conexões ponderadas; podem ser consideradas como extractoras de características; extractoras de características;

► Camada de SaídaCamada de Saída: onde o resultado final é concluído : onde o resultado final é concluído e apresentado. e apresentado.

53


► Processos de AprendizagemProcessos de Aprendizagem

A propriedade mais importante das redes neuronais A propriedade mais importante das redes neuronais

é a habilidade de aprender a partir do seu é a habilidade de aprender a partir do seu

ambiente e com isso melhorar o seu desempenho. ambiente e com isso melhorar o seu desempenho.

Isso é feito através de um processo iterativo de Isso é feito através de um processo iterativo de

ajustes aplicado aos seus pesos, o treino.ajustes aplicado aos seus pesos, o treino.

A aprendizagem ocorre quando a rede neuronal A aprendizagem ocorre quando a rede neuronal

atinge uma solução generalizada para uma classe atinge uma solução generalizada para uma classe

de problemas.de problemas.

54


► Algoritmos de AprendizagemAlgoritmos de Aprendizagem

algoritmo de aprendizagem algoritmo de aprendizagem éé um conjunto de regras bem um conjunto de regras bem

definidas para a solução de um problema de aprendizagem. definidas para a solução de um problema de aprendizagem.

Existem muitos tipos de algoritmos de aprendizagem Existem muitos tipos de algoritmos de aprendizagem

específicos para determinados modelos de redes neuronais; específicos para determinados modelos de redes neuronais;

estes algoritmos diferem entre si principalmente pelo modo estes algoritmos diferem entre si principalmente pelo modo

como os pesos são modificados.como os pesos são modificados.

55

Algoritmos GenéticosAlgoritmos Genéticos

► O paradigma genético dos sistemas de aprendizagem é o O paradigma genético dos sistemas de aprendizagem é o

que tem estado mais em voga na área dos sistemas de que tem estado mais em voga na área dos sistemas de

aprendizagem. aprendizagem.

► Consiste num sistema de classificação inspirado na analogia Consiste num sistema de classificação inspirado na analogia

com as operações ocorridas na reprodução biológica e na com as operações ocorridas na reprodução biológica e na

selecção natural da forma como foi descrita por Darwin, selecção natural da forma como foi descrita por Darwin,

onde impera a lei do mais forte.onde impera a lei do mais forte.

► Encontram-se especialmente talhados para problemas de Encontram-se especialmente talhados para problemas de

reconhecimento discreto de padrões e para a aquisição de reconhecimento discreto de padrões e para a aquisição de

regras para sistemas periciais.regras para sistemas periciais.

56


► Programas EvolutivosProgramas Evolutivos

Consiste em sistemas de resolução de problemas Consiste em sistemas de resolução de problemas

baseados nos princípios biológicos da evolução e da baseados nos princípios biológicos da evolução e da

hereditariedade.hereditariedade.

Cada indivíduo representa uma potencial solução do Cada indivíduo representa uma potencial solução do

problema.problema.

Cada solução é avaliada para se ter uma medida do seu Cada solução é avaliada para se ter uma medida do seu

desempenho.desempenho.

Uma nova população é gerada a partir da anterior por Uma nova população é gerada a partir da anterior por

selecção dos melhores indivíduos e aplicação dos selecção dos melhores indivíduos e aplicação dos

operadores genéticos.operadores genéticos.

57


►Operadores genéticosOperadores genéticos Selecção: utilizado para seleccionar os indivíduos Selecção: utilizado para seleccionar os indivíduos

que tiveram melhor desempenho.que tiveram melhor desempenho.

Mutação: consiste numa alteração aleatória em Mutação: consiste numa alteração aleatória em

alguns dos indivíduos seleccionados.alguns dos indivíduos seleccionados.

Cruzamento: consiste em recombinar dois Cruzamento: consiste em recombinar dois

indivíduos por forma a obter dois filhos indivíduos por forma a obter dois filhos

potencialmente mais capazes potencialmente mais capazes

58


► Resumindo, é um método adaptativo de procura num Resumindo, é um método adaptativo de procura num

espaço de soluções por aplicação de operadores espaço de soluções por aplicação de operadores

derivados da teoria da evolução. Mantém uma derivados da teoria da evolução. Mantém uma

população de soluções propostas para um dado população de soluções propostas para um dado

problema.problema.

► As soluções relativamente “boas” produzem As soluções relativamente “boas” produzem

descendentes, enquanto que as “piores” já não surgem descendentes, enquanto que as “piores” já não surgem

na nova geração.na nova geração.

► A estimativa da qualidade de uma solução é baseada A estimativa da qualidade de uma solução é baseada

numa função de avaliação, que representa um dado numa função de avaliação, que representa um dado

ambiente.ambiente.

59

Resumindo...Resumindo...

► A Aprendizagem de Máquinas (Machine Learning) é uma área da A Aprendizagem de Máquinas (Machine Learning) é uma área da

Inteligência Artificial muito vasta. Neste trabalho tentamos Inteligência Artificial muito vasta. Neste trabalho tentamos

apresentar de uma maneira geral os seus principais tópicos. apresentar de uma maneira geral os seus principais tópicos.

Abordamos os principais algoritmos de aprendizagem por Abordamos os principais algoritmos de aprendizagem por

mineração de dados (Data Mining): árvores de decisão, à priori e mineração de dados (Data Mining): árvores de decisão, à priori e

algoritmos de clustering.algoritmos de clustering.

► Tentamos também introduzir o conceito de aprendizagem e a forma Tentamos também introduzir o conceito de aprendizagem e a forma

como esta pode ocorrer num sistema (tipos de aprendizagem).como esta pode ocorrer num sistema (tipos de aprendizagem).

► Abordamos também o paradigma conexionista, nomeadamente o Abordamos também o paradigma conexionista, nomeadamente o

seu expoente máximo, as redes neuronais.seu expoente máximo, as redes neuronais.

► Por fim abordamos os algoritmos genéticos, que têm vindo a Por fim abordamos os algoritmos genéticos, que têm vindo a

adquirir uma importância crescente muito nos últimos anos.adquirir uma importância crescente muito nos últimos anos.

60

BibliografiaBibliografia

► Artificial Intelligence by T. Lozano-Perez and L. Kaelbling. Copyright © 2003, Massachusetts Institute of Technology (MIT). http://ocw.mit.edu/NR/rdonlyres/Electrical-Engineering-and-Computer-Science/6-034Artificial-IntelligenceSpring2003/3559854D-86CD-4D8B-BBF0-17456980E4AC/0/9mlintrohandout.pdf

► Data Mining: Concepts, Models, Methods, and Algorithms by Mehmed Kantardzic, ISBN:0471228524 John Wiley & Sons © 2003

► Data Minning: Análise Determinística, Nelson Guedes Paulo Júnior e Ricardo Hideo Sahara, www.linux.ime.usp.br/~npaulo/mac439

► http://piano.dsi.uminho.pt/disciplinas/LIGIA/20012002/ai2.PDF

Documents

1 SISTEMAS DE APRENDIZAGEM (OU APRENDIZAGEM DE MÁQUINAS) 31/03/2005 Trabalho realizado por: Filipe Pereira nº14677 Luís Aguilar nº14676 Vitor Rodrigues