Aprendizado Baseado em Instancias. Introdução Em contraste aos métodos de aprendizado que...

Aprendizado Baseado em Instancias

Introdução• Em contraste aos métodos de aprendizado que

constroem uma descrição explicita genérica da função alvo.

• Os métodos baseados em instâncias guardam os exemplos de treinamento

• A generalização é posposta até que uma nova instância deva ser classificada

• Cada vez que uma nova instância é encontrada, seus relacionamentos com os exemplos previamente guardados é examinado para atribuir um valor de função alvo.

IBL

• IBL, instance based learning• Inclui os métodos de vizinho mais

próximo, raciocínio baseado em casos• IBL é um método chamado lazy• IBL é utilizado em funções alvo com

valores discreto ou valores reais.

IBL

• IBL pode utilizar uma representação simbólica mais complexa para as instâncias -> Raciocínio baseado em Casos.

• O custo de classificar uma nova instância é alto

• Indexação eficiente dos exemplos de treinamento

Aprendizado K-Nearest Neighbor

• O método IBL mas basico é o algoritmo k-nearest neighbor

• Este algoritmo assume que todas as instâncias correspondem a um ponto no espaço n-dimensional Rn

• O vizinho mais próximo de uma instância é definido em termos da distância euclidiana.

Distância Euclidiana

• Seja a instância descrita por– (a1(x),a2(x),.........an(x))

• A distância entre 2 instâncias Xi e Xj– d(Xi,Xj)=(∑r=1,n (ar(Xi)-ar(Xj))2)1/2

Esta abordagem é apropriada tanto para funções alvo discretas ou reais.

Algoritmo para funções Alvo Discretas

• Neste caso o valor f(xq) retornado é o f(xq) mais freqüente entre os k vizinhos de f(xq).

• Algoritmo– Fase de treinamento: para cada exemplo de

treinamento (x,f(x)), adicione o exemplo a lista de exemplos.

Classificação

• Dado uma instância Xq a ser classificada• Sejam X1...Xk as instâncias de treinamento

mais próximas de Xq • Retorne

– F(Xq) <- argmax )=(∑i=1,k α(r,f(Xi))• Onde α(a,b)=1 se a=b• Caso contrario α(a,b)=0

Numero de vizinhos

1 vizinho classifica como +5 vizinhos classificam como -

Regressão

• Classificação no caso de valores reais

• f(Xq) =(∑i=1,k,f(Xi))/k

Algoritmo Nearest Neighbor Distâncias Ponderadas

• Um refinamento obvio do algoritmo é atribuir pesos a cada k-vizinho de acordo a sua distância a instância a classificar Xq

• Ex: valores discretos– F(Xq) <- argmax )=(∑i=1,kwi α(r,f(Xi))– Voto de acordo com a distância– Wi = 1/ d(Xq,Xi)2

– Se Xi= Xq -> f(Xq) = f(Xi)

Continuo

• f(Xq) =(∑i=1,k,wi f(Xi))/ ∑i=1,k,wi – Normalizar os pesos– K = todas as instâncias ou constante

• Obs: A introdução de pesos no algoritmo o faz um método altamente efetivo para vários problemas práticos

• É robusto a dados com ruído e efetivo com grandes bases de treinamento

• É sensível ao conjunto de atributos

Regressão Localmente Ponderada

• Esta abordagem usa exemplos de treinamento ponderado por sua distância para formar uma aproximação a f.

• Ex: podemos usar uma função linear, quadrática, rede neural ou alguma outra função.

• Dada uma instância a classificar Xq, a abordagem constrõe uma aproximação f usando os vizinhos de Xq.

• Esta aproximação é utilizada para calcular f(Xq)

Regressão Linear

• f(X) = w0 + w1 a1(x)+ .....+ wnan(x)

• E = ½ ∑i=1,k,( f(X) – fe(x))2

• ∆W=ŋ ∑i=1,k,( f(X) – fe(x)) an(x)

Problemas de Dimensionalidade

• Imagine instâncias descritas por 20 atributos, mais somente 2 são relevantes

• Problemas de recuperação, kd-tree, as instâncias são guardadas nas folhas da arvore, com as instâncias vizinhas no no perto dele. Os nos internos da arvore ordenam a nova instância e a classificam testando seus atributos.

Comentarios IHC

• Baixos requisitos de memoria e processamento

• Uma hipoteses• Sensibilidade a ordem no treinamento,

maior quantidade de instâncias de treinamento para converger

• Menos sensitivo a ruido

Indução de Conceitos Competitivos

Indução de Conceitos Competitivos

• Protótipos• Tarefa– dado um conjunto de instâncias pre-

classificadas– encontrar uma descrição intencional– um conjunto de protótipos

Indução de Conceitos Competitivos

• Esquemas competitivos não podem ser representados isoladamente

• A extensão de um conceito depende de sua descrição e da dos outros

• O operador típico é o calculo da media das instâncias de treinamento.

• A descrição especifica a tendência central das instâncias

Aprendizado baseado em Instâncias

• Guardam instâncias específicas ao invés de uma descrição abstrata

• Protótipos– conjunção de pares atributos valor

Protótipos

A

B

Peso

Altura Altura

Peso

A D

B C

Protótipos

• Usar protótipos para classificação é um processo de três passos:

– Dada uma instância I, – calcula-se sua distância a cada protótipo

• distância euclidiana, • distância de hamming

– Usa-se o resultado para classificar a instância, o protótipo mais perto

Método média das Instâncias

• Realizar a média das instâncias para encontrar o protótipo de cada classe

• Para determinar o valor pi de um atributo para um protótipo (numérico)

– pi= 1/n xij (j=1,n)

Método incremental

• Ao encontrar uma instância de uma classe nova, guarde esta instância como protótipo

• Quando observar uma instância de uma classe conhecida, recalcule o protótipo

– para cada atributo i pi= (xi-pi)/n+1

– para atributos nominais, escolha o valor mais frequente

Método média das Instâncias

• Em termos de eficiência e elegância é um dos melhores

• pouca expressão representacional• linhas de fronteiras

Método dos Pesos

• Um dos problemas do método anterior é tratar todos os atributos de forma equivalente

• Se os atributos tem escalas diferentes– normalizar

• Alguns atributos tem maior importância

Relevância dos atributos

- -

Peso

Altura

+

+ + -

Pesos de atributos iguais Altura 0.93 e peso 0.68

- -

Peso

Altura

+

+ + -

Métrica de distância

i wi (pi-xi)2

• wi ?

• wi = 1 - 1/n( (k=1,c) j=1,nk pki - xji)• n = número total de instâncias de

treinamento• nk = número de instâncias para a

classe c

Modelos Estatisticos

Naive Bayes

Naive Bayes

• 2 presupostos– todos os atributos são igualmente importantes– independencia estatistica (dado o valor da

classe)• A independencia nunca é verdadeira• Na pratica o esquema trabalha bem.

Probabilidades para a base Weather

5/14

5No

9/14

9Yes

Play

3/52/5

32No

3/96/9

36

Yes

TrueFalse

TrueFalse

Windy

1/54/5

14NoYesNoYesNoYes

6/93/9

63

NormalHigh

NormalHigh

Humidity

1/52/52/5122

3/94/92/9342

Cool2/53/9RainyMildHotCoolMildHot

Temperature

0/54/9Overcast3/52/9Sunny23Rainy04Overcast32Sunny

Outlook

NoTrueHighMildRainyYesFalseNormalHotOvercastYesTrueHighMildOvercastYesTrueNormalMildSunnyYesFalseNormalMildRainyYesFalseNormalCoolSunnyNoFalseHighMildSunnyYesTrueNormalCoolOvercastNoTrueNormalCoolRainyYesFalseNormalCoolRainyYesFalseHighMildRainyYesFalseHighHot Overcast NoTrueHigh Hot SunnyNoFalseHighHotSunnyPlayWindyHumidityTempOutlook

5/14

5No

9/14

9Yes

Play

3/52/5

32No

3/96/9

36

Yes

TrueFalse

TrueFalse

Windy

1/54/5

14NoYesNoYesNoYes

6/93/9

63

NormalHigh

NormalHigh

Humidity

1/52/52/5122

3/94/92/9342

Cool2/53/9RainyMildHotCoolMildHot

Temperature

0/54/9Overcast3/52/9Sunny23Rainy04Overcast32Sunny

Outlook

?TrueHighCoolSunnyPlayWindyHumidityTemp.Outlook Um novo dia:

Probabilidade de cada classePara “yes” = 2/9 3/9 3/9 3/9 9/14 = 0.0053Para “no” = 3/5 1/5 4/5 3/5 5/14 = 0.0206

Normalizando entre 0 e 1::P(“yes”) = 0.0053 / (0.0053 + 0.0206) = 0.205P(“no”) = 0.0206 / (0.0053 + 0.0206) = 0.795

Probabilidades para a base Weather

Regra de BayesA Probabilidade de um evento H dada a evidência E:

A proobabilidade de H a priori : Pr[H] A probabilidade de um evento antes de ver a

evidênciaA probabilidade a posteriori de H:Pr[H|E]

A probabilidade de um evento após conhecer a evidência

Thomas BayesNascido: 1702 em London, EnglandMorto: 1761 em Tunbridge Wells, Kent, England

Pr [H∣E ]= Pr [E∣H ]Pr [H ]Pr [E ]

Naive Bayes para Classificação

• Aprendizado: Qual é a probabilidade de uma classe dada uma instância??– Evidência E = Instância– Evento H = valor da classe para a instância

• Os atributos são independentes

Pr[H|E]= Pr[E1|H]Pr[E2|H]...Pr[En|H]Pr[E] Pr[E]

Exemplo

?TrueHighCoolSunnyPlayWindyHumidit

yTemp.Outlook Evidência E

Probabilidade daclasse “yes”

Pr [yes∣E ]=Pr [Outlook=Sunny ∣yes ]

×Pr [Humidity=High ∣yes ]×Pr [Windy=True ∣yes ]

×Pr [yes ]Pr [E ]

=

29 ×3

9 ×39 × 3

9× 914

Pr [E ]

×Pr [Temperature=Cool∣yes ]×Pr [Humidity=High ∣yes ]×Pr [Windy=True ∣yes ]

×Pr [yes ]Pr [E ]

=

29 ×3

9 ×39 × 3

9× 914

Pr [E ]

Discusão

• Naive Bayes trabalha muito bem mesmo quando existe dependência entre atributos.

• Adicionando muitos atributos redundantes causará problemas