Universidad de la Cañada

Materia: Inteligencia artificial

Semestre: 9° Grupo: 901

3er parcial

Alumno: Rigoberto Balderas Negrellos

Rigoberto Balderas Negrellos I.A.TEOREMA BAYES

En el aprendizaje máquina a menudo estamos interesados en determinar la mejor hipótesis de un espacio H, dada la formación de datos observados D. Una forma de especificar lo que queremos decir con la mejor de las hipótesis es que exigimos la hipótesis más probable, dados los datos D más cualquier conocimiento inicial acerca de las probabilidades a priori de las diversas hipótesis en H. El Teorema de Bayes proporciona un método directo para el cálculo de dichas probabilidades. Más precisamente, el teorema de Bayes proporciona una manera de calcular la probabilidad de una hipótesis sobre la base de su probabilidad a priori, las probabilidades de la observación de diversos datos dada la hipótesis, y los datos en sí observaron.

Para definir precisamente el teorema de Bayes, primero vamos a introducir un poco de notación. Vamos a escribir P (h) que denota la probabilidad inicial que tiene la hipótesis h. P (h) es a menudo llamado la probabilidad a priori de h y puede reflejar cualquier conocimiento de fondo que tenemos acerca de la posibilidad de que h es una hipótesis correcta. Si no tenemos ese conocimiento previo, entonces podríamos simplemente asignar la misma probabilidad previa a cada hipótesis candidato. Del mismo modo, escribiremos P (D) a denotar la probabilidad antes de que los datos de entrenamiento D sea observado.

P (h / D) se llama la probabilidad posterior de h, ya que refleja nuestra confianza en que h tiene después hemos visto los datos de entrenamiento D. Aviso de la posterior probabilidad P (h / D) refleja la influencia de la formación datos D, en contraste con la probabilidad a priori P (h), que es independiente de D.

En muchos escenarios de aprendizaje, el alumno considera un conjunto candidato de hipótesis H y está interesado en la búsqueda de la más hipótesis probable h ∈ H dado los datos de entrenamiento observada D, cualquier hipótesis máximo probable se llama máxima a posteriori (MAP) hipótesis. Podemos determinar las hipótesis de MAP usando el teorema de Bayes para calcular la probabilidad posterior de cada hipótesis candidato. Más precisamente, vamos a decir que es una hipótesis MAP proporcional.

En algunos casos, vamos a suponer que cada hipótesis en H es igual de probable a priori (P (hi) = P (hi) para todos HI y hi en H). En este caso podemos avanzar simplificar la ecuación anterior y sólo es necesario considerar el término P (D|h) para encontrar la hipótesis más probable. P (D|H) a menudo se llama la probabilidad de la D de datos dada h ,y cualquier hipótesis de que maximiza P (D|H) se llama una máxima verosimilitud (ML) hipótesis, HML.

1

Rigoberto Balderas Negrellos I.A.

Naive Bayes

Uno de los métodos de aprendizaje bayesiano más práctica para el alumno es el de naive Bayes, a menudo llamado el clasificador de naive Bayes. En algunos dominios se ha demostrado su desempeño ser comparable a la de la red neuronal y el aprendizaje árbol de decisión

El clasificador de naive Bayes se aplica a las tareas de aprendizaje, donde cada instancia x es descrito por un conjunto de valores de atributos y donde la función objetivo f (x) puede tomar cualquier valor de algún conjunto finito V. Un conjunto de ejemplos de entrenamiento de la función objetivo es proporcionada, y se presenta una nueva instancia, descrito por la tupla de valores de atributos (a1,a2, …..an).

El enfoque bayesiano para clasificar la nueva instancia es asignar más valor objetivo probable, VMAP, dados los valores de atributo (a1,a2….an) que describen la instancia.

Podemos utilizar el teorema de Bayes para volver a escribir esta expresión como

Ahora podríamos tratar de estimar los dos términos de la ecuación sobre la base de los datos de entrenamiento. Es fácil de estimar cada uno de los P (vj) simplemente contando la frecuencia con la que se produce cada vj valor objetivo en los datos de entrenamiento. Sin embargo, la estimación de los diferentes P (a1, a2 ... an lvj) términos en esta moda no es factible a menos que tengamos un conjunto muy grande de datos de entrenamiento. El problema es que el número de estos términos es igual al número de posibles casos posibles de los valores objetivo.

El clasificador de naive Bayes se basa en la suposición simplificadora de que la valores de atributos son condicionalmente independientes dado el valor objetivo. Es decir, el supuesto es que les da el valor objetivo de la instancia, la probabilidad de observar la conjunción a1, a2 .. .an, es sólo el producto de las probabilidades.

Una diferencia interesante entre naive Bayes y el método de aprendizaje y otros métodos de aprendizaje que hemos considerado es que no hay una búsqueda explícita a través del espacio de hipótesis posibles (en este caso, el espacio de posibles hipótesis es el espacio de posibles valores que se pueden asignar a los distintos P (vj) y P (ailvj) términos). En lugar de ello, la hipótesis se forma sin tener que buscar, simplemente contando la frecuencia de varias combinaciones de datos dentro de los ejemplos de entrenamiento.

2

Rigoberto Balderas Negrellos I.A.

Ejercicio:

Programar con el teorema de naive Bayes la siguiente información:

3

Rigoberto Balderas Negrellos I.A.

Naive Bayes- Código

4

Rigoberto Balderas Negrellos I.A.

Naive Bayes- Resultado

Prolog- Resultado

5

Rigoberto Balderas Negrellos I.A.

Prolog- Errores en PC.

6