Vasamento: Algoritmo EM

Manuel Ramón Vargas Avila

Introdução

Algoritmo EM definição:Es un método general para encontrar el estimador de máxima verosimilitud de los parámetros de una distribución de probabilidad. La situación en la que el algoritmo EM muestra toda su potencia es en los problemas de datos incompletos, donde la estimación de máxima verosimilitud resulta difícil debido a la ausencia de alguna parte de los datos dentro de una estructura de datos simple y familiarSe utiliza en problemas de : clustering, reconocimiento de patrones, Modelos ocultos de Markov, entre otros. aplicaciones en casi todos los contextos estadísticos y en casi todos los campos donde se hayan aplicado técnicas estadísticas: tratamiento de imágenes médicas, corrección de censos, epidemiología del SIDA, y entrenamiento de redes neuronales artificiales, entre otros.

• El algoritmo EM consta de dos pasos: paso-E y paso-M. El paso-E consiste en generar datos para conseguir un problema de datos completos, usando el conjunto de datos observados del problema de datos incompletos y el valor actual de los parámetros, de modo que el cálculo del paso-M sea más simple al poderser aplicado a este conjunto de datos completo y rectangular.

Derivação do algoritmo EM

Para isto se introduce se utiliza o logaritmo da equação de verosimilianza

X vector aleatório de uma família parametrizada.

O que se deseja: tal que P(X|) é um maximo.

Derivação do algoritmo EM

• A estimação atual de é dada por depois da enésima iteração.

• Objetivo L(), calcular um estimador atualizado talque L()> L()

Isto é equivalente a:

Equação 2

Derivação do algoritmo EM

• Se supone que el conocimiento de las variables ocultas hara que la maximizacion de la funcion sea mas facil.

• Z vector aleatorio oculto y elementos z, la probabilidad total en terminos de z es:

• Equação 3

Derivação do algoritmo EM

• Equação 3 em 2: equação 4

• Desigualdad de jensens

Derivação do algoritmo EM

• Analogamente aplicando para equação 3

Derivação do algoritmo EM

Por conveniência

Interpretação de uma iteração do algoritmo

Acotada por

Expectation

Maximixation

Processo• Inicialização:

• Execução:Etapa E:

Etapa M:

Iterar ate convergência (não garantia de máximo global) o condição de terminação

Exemplo #1Queremos classificar um grupo de pessoas em dois grupos de alta ou baixa

Para esto nos basamos en el modelo estadísticoDe mezclas finitas.

Mezclas finitas

Para determinar completamente este

modelo se deben determinar los 5

parámetros

Media Equa: 1

VarianzaEqua: 2

ProbabilidadeDo Grupo AEqua: 3

Função Normal

Xi= dado

Wai= Probabilidade que o dado i pertence ao grupo A

PG1 é sorteado aleatoriamente

INICIALIZAÇÃO

• Passo M:Calculamos os 5 parametros com as equações 1, 2, 3 onde 1 e 2 podem ser aplicadas para o grupo B.

Passo ESe calcula para cada dado e grupo

Se normaliza

Condição de terminaçãoIterar hasta que la diferencia de log probabilidad global sea menor a 0,01 para 3 iteraciones sucesivas.

Resultado Final

Exemplo #2: Mistura de gaussianas

Suma ponderada de K gaussianas

Onde

Parâmetros a estimar

Exemplo #2: Mistura de gaussianas

Se X é um conjunto de n mostras I.I.D

Então

Dadas n mostras i.i.d

Tomadas de uma misturaDe gaussianas com parâmetros:

Definimos a la probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana como

Satisfaze

probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana

• Considere uma mistura de gaussianas 2D com parametros

Solução

Depois da terça iteração