Una Introducción a las Redes Bayesianas - UGRdecsai.ugr.es/~smc/redesia2.pdf · Una Introducción a las Redes Bayesianas Serafín Moral Departamento de Ciencias de la Computación

Una Introducción a las Redes BayesianasSerafín Moral

Departamento de Ciencias de la ComputaciónUniversidad de Granada

Una Introducción a las Redes Bayesianas– p.1/??

Redes Bayesianas

Sistemas Expertos Probabilísticos

Representar conocimiento con incertidumbre.

Después se puede manipular para razonamiento y toma dedecisiones.

Se pueden tratar muchas variables.

Las reglas (probabilidades) se pueden estimar a partir dedatos.

Los modelos tienen una interpretación clara y bien definida.

Actualmente están teniendo un gran desarrollo.


Indicios de importancia

En 1999 J. Pearl uno de los pioneros en Inteligencia Artificial recibió el IJCAIAward for Research Excellence (El séptimo de estos premios bianuales). Estaes la distinción más importante en Inteligencia Artificial.

Evolución de publicaciones en JCR (base de datos de publicaciones) bajo labúsqueda Bayesian Networks:

1990-1999: 118 publicaciones

2000-2006: 587 publicacione

Algunos artículos altamente citados en scholar.google.com:

Aprendizaje de Hecherman y col. (1995): 1249 citas

Clasificación supervisada de Friedman y col. (1997): 880 cirtas

Análisis de datos de expresión genética de Friedman y col. (2000): 906citas

Filtrado de clientes de Breese y col. (1998) 1129 citas

Libro de Judea Pearl: 8027 citasUna Introducción a las Redes Bayesianas– p.3/??

Referencias

E. Castillo, J.M. Gutiérrez, A.S. Hadi (1996) Sistemas Expertos y Modelos deRedes Probabilísticas. Monografías de la Academia de Ingeniería. Academiade Ingeniería, Madrid.

R.G. Cowell, A.P. Dawid, S.L. Lauritzen, D.J. Spiegelhalter (1999)Probabilistic Networks and Expert Systems. Springer-Verlag, Nueva York.

F.V. Jensen (1996) An Introduction to Bayesian Networks. UCL Press,Londres.

F.V. Jensen (2001) Bayesian Networks and Decision Graphs. Springer-Verlag,Nueva York.

F.V. Jensen, T.D. Nielsen (2007) Bayesian Networks and Decision Graphs(2nd Edition). Springer-Verlag, Nueva York.

U. Kjaerulff, A.L. Madsen (2007) Bayesian Networks and Influence Diagrams:A Guide to Construction and Analysis. Springer-Verlag.

J. Pearl (1988) Probabilistic Reasoning in Intelligent Systems: Networks ofPlausible Inference. Morgan Kaufmann, San Mateo, CA.Una Introducción a las Redes Bayesianas– p.4/??

Contenido

Problemas para manejar conocimiento incierto

Teoría de la Probabilidad

Independencia

Redes Bayesianas, D-separación

Construcción de redes Bayesianas

Algoritmo de borrado o de eliminación de variables

El programa Elvira

Otros temas: configuración de máxima probabilidad,diagramas de influencia, aprendizaje


Sistemas Basados en Reglas

SI es un animal con pelo ENTONCES es un mamíferoIncertidumbre:SI tiene fiebre y dolor de cabeza, entonces tiene gripe (certeza0.7)

MYCIN fue diseñado para determinar tratamientos eninfecciones de la sangre con 300 reglas.

Si una conclusión se obtiene por varias vías, los valores decerteza se combinan.

Las certezas no eran probabilidades: éstas imponen unasreglas de cálculo muy estrictas.

Su correcto funcionamiento se basa en un cuidadosodiseño de las reglas en función del uso que se hace deellas. Una Introducción a las Redes Bayesianas– p.6/??

ProblemasLa validez de una regla depende del contexto.

Si conozco el nivel de estudios de una persona, obtengo informaciónsobre su nivel de ingresos. Esta información puede ser equivocada yponerse de manifiesto si conozco el puesto de trabajo concreto queesta persona desarrolla

Si al salir de casa vemos el césped mojado podemos sospechar que hallovido. Si descubrimos que nos hemos dejado la manguera abierta,dejamos de sospechar que ha llovido.

Las reglas con incertidumbre deberían de poder usarse en ambasdirecciones.

Si hay fuego debe de haber humo

Si vemos humo sospechamos la existencia de fuego

Correlación entre las informaciones. Si una misma información se repitemuchas veces no debe de aumentar nuestra certidumbre.








Correlación entre las informaciones. Si una misma información se repitemuchas veces no debe de aumentar nuestra certidumbre.








Correlación entre las informaciones. Si una misma información se repitemuchas veces no debe de aumentar nuestra certidumbre.Una Introducción a las Redes Bayesianas– p.7/??

Probabilidad

La probabilidad como medida de certeza, no presenta ningunode estos problemas.Puedo tener P(Gripe|Fiebre) =0.9,P(Gripe|Fiebre,Otitis) =0.1.Presenta otro: necesito una distribución de probabilidad conjunta.

Si tengo 30 variables, X1, . . . ,Xn y cada una de ellas, Xi,toma dos posibles valores ai,ai, entonces necesitamospartir de las probabilidades de todas las combinaciones

(x1,x2, . . . ,xn), xi ∈ ai,ai

Si n = 30, necesitamos 230 valores, pero inicialmentesolemos disponer de unas cuantas probabilidadescondicionadas.


Probabilidad

Sólo vamos a considerar la probabilidad sobre conjuntos finitos.

Vamos a suponer un conjunto U finito de sucesos elementales y una familiade conjuntos o sucesos B (si U es finito esta familia suele ser el conjunto delas partes de U).

Una medida de probabilidad sobre (U,B) es una aplicación P : B → [0,1],que verifica:

P(U) = 1

Si A y C son disjuntos P(A∪C) = P(A)+P(C)


Probabilidad Condicional

P(A|B) =P(A∩B)

P(B), P(B) 6= 0

Aunque tiene sentido hablar de probabilidad condicionada asucesos de probabilidad 0, y en ese caso se debe de verificar:

P(A∩B) = P(A|B).P(B)

La probabilidad P(A|B) es la probabilidad de A cuandoconocemos que B y sólo B es cierto.


El Teorema de la Probabilidad Total

Si un paciente tiene la enfermedad E, entonces un test T resultapositivo con probabilidad 0.95. Si la enfermedad no estápresente el test es positivo con probabilidad 0.03. Si laprobabilidad de sufrir la enfermedad es 0.01, ¿Cual es laprobabilidad de que un paciente cualquiera presente un testpositivo?Queremos la probabilidad de T+, pero sólo conocemos laprobabilidad de T+ condicionado a la enferemedad y a que nose tenga la enfermedad, y además conocemos lasprobabilidades de tener y no tener las enfermedad.

Si Hii∈I es una colección finita de sucesos disjuntos dosa dos y cuya unión es el suceso seguro (U).P(B) = ∑i∈I P(B|Hi)P(Hi)


El Teorema de la Probabilidad Total

Si Hii∈I es una colección finita de sucesos disjuntos dosa dos y cuya unión es el suceso seguro (U).P(B) = ∑i∈I P(B|Hi)P(Hi)

Demostración: P(B) = P(B∩U) = P(B∩ (⋃

i∈I Hi)) =P(

⋃i∈I(B∩Hi)) = ∑i∈I P(B∩Hi) = ∑i∈I P(B|Hi)P(Hi)

P(T+) = P(T + |E).P(E)+P(T + |¬E).P(¬E) =0.95×0.01+0.03×0.99 = 0.0392


El Teorema de Bayes

Si un paciente tiene la enfermedad E, entonces un test T resultapositivo con probabilidad 0.95. Si la enfermedad no estápresente el test es positivo con probabilidad 0.03. Si laprobabilidad de sufrir la enfermedad es 0.01, ¿Cual es laprobabilidad de que un paciente con un test positivo sufra laenfermedad?Conocemos P(T + |E) y las probabilidades P(T + |¬E),P(E) yqueremos la probabilidad P(E|T+). Es como invertir laprobabilidad condicionada.

Si Hii∈I es una colección de sucesos disjuntos dos ados y cuya unión es el suceso seguro (U).

P(H j|B) =P(H j∩B)

P(B) =P(B|H j).P(H j)

P(B) =P(B|H j).P(H j)

∑i∈I P(B|Hi)P(Hi)


El Teorema de Bayes

Si un paciente tiene la enfermedad E, entonces un test T resultapositivo con probabilidad 0.95. Si la enfermedad no estápresente el test es positivo con probabilidad 0.03. Si laprobabilidad de sufrir la enfermedad es 0.01, ¿Cual es laprobabilidad de que un paciente con un test positivo sufra laenfermedad?

Si Hii∈I es una colección de sucesos disjuntos dos ados y cuya unión es el suceso seguro (U).

P(H j|B) =P(B|H j).P(H j)

∑i∈I P(B|Hi)P(Hi)

En el caso del ejemplo,P(E|T+) = P(T+|E).P(E)

P(T+|E).P(E)+P(T+|¬E).P(¬E) = 0.95×0.010.95×0.01+0.03×0.99 =

0.0095/0.0392 = 0.2423Una Introducción a las Redes Bayesianas– p.14/??

Variables Inciertas

Una variable es una magnitud medible en un determinadoproblema. Es incierta cuando su resultado no puede serdeterminado con exactitud.

Vamos a hablar en términos de variables inciertas. Lasvariables aleatorias las representaremos por X ,Y,Z, . . .

Temperatura con valores en≤ 36,36.5,37,37.5,38,38.5,39,39.5,≥ 40Hepatitis con valores en Presente,AusenteN. de Hijos con valores en 0,1,2,3,> 3

Un valor genérico de la variable X se representará por x

Un conjunto de variables se representará por X

Un valor genérico de X se representará por xUna Introducción a las Redes Bayesianas– p.15/??

Variables Discretas y Continuas

Una variable es discreta si el conjunto de valores posibleses finito (Presencia de una enfermedad, Número deasignaturas matriculadas, Sexo, Estudios realizados)

Una variable es continua si toma valores en un intervalo delos números reales (Altura, Peso, Luminosidad ).

Nosotros vamos a considerar variables discretas

Si hay continuas las discretizamos dividiéndolas en unconjunto finito de intervalos


Distribuciones de probabilidad

Una distribución de probabilidad p sobre X es la función queasigna a cada valor x, la probabilidad con que X toma dichovalor. Se notará como p(x).Ejemplo: Variable N. de hijos con valores 0,1,2,3,> 3 y ladistribución de probabilidad:p 0 1 2 3 >3

0.1 0.3 0.4 0.15 0.05Sus valores deben de sumar 1.

0.10.20.30.4

0 1 2 3 >3 Una Introducción a las Redes Bayesianas– p.17/??

Distribuciones Conjuntas

Si tenemos un conjunto de variables X una distribución deprobabilidad conjunta asocia a cada posible valor de estas x, suprobabilidad p(x).Ejemplo: Tenemos las variables X(Color de los ojos) e Y(Color del pelo), una distribución conjunta sobre estas variablespuede ser

Y

Moreno RubioX Marrones 0.5 0.15

Azules 0.05 0.3También podemos tener distribuciones que dependan de másde dos variables, p.e. p(x,y,z).


Distribuciones Condicionadas

Si tenemos dos variables, X ,Y , la distribución de probabilidadde Y dado X , es una función de los conjuntos dónde Y y Xtoman sus valores en [0,1], dada por

p(y|x) = P(Y = y|X = x)

Es evidente que ∀x, ∑y p(y|x) = 1

Caso de los test y de las enfermedades p(t|e)

t+ t−

e 0.95 0.05¬e 0.03 0.97


Distribuciones Condicionadas

Si condicionamos a varias variables, tenemos que dar el valorde probabilidad de la variable para cada combinación de valoresde las variables condicionadas.Ejemplo:Sean X Cáncer de Pulmón, Y Fumador y Z Sexo. Supongamosque tenemos que una probabilidad condicionada de X dadas lasvariables Y y Z, tenemos que dar una tabla de valores como lasiguiente:

Y= Si Y = Si Y = No Y = NoZ= Hombre Z= Mujer Z = Hombre Z = Mujer

X=Si 0.5 0.4 0.2 0.1X=No 0.5 0.6 0.8 0.9


Muchas Variables

¿Qué pasa si el número de variables es elevado?

Supongamos que en el problema de la enfermedad que sedetecta con un test, en vez de un sólo test tenemos 10(T1, . . . ,T10).Ahora para especificar el problema y después poder aplicar elteorema de Bayes, deberemos indicar todos los valoresp(t1, . . . , t10|e), ∀ti ∈ +,−,e ∈ pres,ausEsto constituye un número importante de valores y creceexponencialmente en función del número de tests.


Independencia Condicional

Una hipótesis que permite simplificar el problema: Los tests soncondicionalmente independientes dada la enfermedad.Entonces, podemos expresar

p(t1, . . . , t10|e) =10

∏i=1

p(ti|e)

La independencia será definida formalmente más adelante,pero se puede interpretar como que los tests tienen distintosmecanismos de medición, se fijan en distintos factores, no seequivocan siempre en los mismos casos.


Bayes Naïve

En problemas de clasificación de una variable Y en función deotras variables X1, . . . ,Xn la hipótesis de independenciacondicional da lugar al método Naïve Bayes.Fue usado por primera vez en 1.961 y es extremadamentecompetitivo aún en casos en los que la hipótesis no seaaplicable.La razón: Los modelos son más sencillos y se pueden estimarmejor.


Potenciales

Si X es un conjunto de variables y ΩX es el conjunto de todos losvalores posibles de X, un potencial sobre X es una aplicación f :

f : ΩX → R

donde R representa el conjunto de los números reales.

Un potencial asigna un valor numérico a cada combinaciónposible de valores de las variables en X.

Una distribución de probabilidad conjunta o una distribucióncondicionada son ejemplos de potenciales.

Un potencial se puede representar en un programa como unatabla con tantos índices como variables y donde cada índicepuede tomar tantos valores como casos posibles tiene lavariable correspondiente.


Operaciones Básicas con Potenciales

Marginalización.- Si tenemos un potencial f definido sobrelas variables (X,Y) la marginalización de f sobre


Marginalización

Si tenemos un conjunto de variables Y = (X,Z), entonces lamarginalización permite obtener la distribución de probabilidadsobre X (distribución marginal) a partir de la de Y.Si p(x,z) es una distribución sobre (X,Z) entonces sumarginalización sobre X es la distribución que se obtiene de laforma:

p(x) = ∑z

p(x,z)

La marginalización sobre X se llama también borrado de lasvariables en Z.Por ejemplo, si tengo una distribución p(x,y,z) sobre (X ,Y,Z) , lamarginalización sobre (X ,Y ) se obtiene comop(x,y) = ∑z p(x,y,z)


Marginalización

Si tenemos un conjunto de variables Y = (X,Z), entonces lamarginalización permite obtener la distribución de probabilidadsobre X (distribución marginal) a partir de la de Y.Si p(x,z) es una distribución sobre (X,Z) entonces sumarginalización sobre X es la distribución que se obtiene de laforma:

p(x) = ∑z

p(x,z)

La marginalización sobre X se llama también borrado de lasvariables en Z.Por ejemplo, si tengo una distribución p(x,y,z) sobre (X ,Y,Z) , lamarginalización sobre (X ,Y ) se obtiene comop(x,y) = ∑z p(x,y,z)


Ejemplo

Sean X Cáncer de Pulmón, Y Fumador y Z Sexo. Supongamosque tenemos la siguiente distribución de probabilidad conjunta


X=Si 0.14 0.168 0.024 0.018X=No 0.14 0.252 0.096 0.162

La marginalización sobre (Y,Z) viene dada por la distribución deprobabilidad:Y= Si Y = Si Y = No Y = NoZ= Hombre Z= Mujer Z = Hombre Z = Mujer0.28 0.42 0.12 0.18


Ejemplo

Sean X Cáncer de Pulmón, Y Fumador y Z Sexo. Supongamosque tenemos la siguiente distribución de probabilidad conjunta


X=Si 0.14 0.168 0.024 0.018X=No 0.14 0.252 0.096 0.162

La marginalización sobre (Y,Z) viene dada por la distribución deprobabilidad:Y= Si Y = Si Y = No Y = NoZ= Hombre Z= Mujer Z = Hombre Z = Mujer0.28 0.42 0.12 0.18


Ejemplo

La distribución sobre (Y,Z) la podemos marginalizar sobrecualquiera de sus variables.Y= Si Y = Si Y = No Y = NoZ= Hombre Z= Mujer Z = Hombre Z = Mujer0.28 0.42 0.12 0.18

Sobre Y obtenemosY = Si Y = No0.7 0.3

Sobre Z obtenemosZ = Hombre Z = Mujer0.4 0.6

El resultado de borrar dos variables consecutivas es el mismoque si dichas variables se borran en un solo paso.


Independencia

Las variables X e Y son independientes si y solo si ladistribución de probabilidad verifica

pX ,Y (x,y) = pX(x).pY (y), ∀x,y

donde pX , pY son las distribuciones de probabilidad marginalessobre las variables X e Y respectivamente.Una definición alternativa:p(y|x) = p(y), ∀x,yo, equivalentemente,p(x|y) = p(x), ∀x,y


Ejemplo

Sean dos urnas con 10 bolas: una con 3 rojas y 7 blancas y otracon 8 rojas y 2 blancas.Se eligen dos bolas aleatoriamente, una de cada urna, sinninguna relación entre las extracciones.

Tabla de Probabilidades:R1 B1

R2 0.24 0.56 0.80B2 0.06 0.14 0.20

0.30 0.70 1.00


Independencia Condicional

Dadas las variables X , Y y Z decimos que X e Y soncondicionalmente independientes Z si y solo si

PX ,Y,Z(x,y,z) = (PX ,Z(x,z).PY,Z(y,z))/PZ(z), ∀x,y,z con PZ(z) > 0

donde pX ,Z, pY,Z, pZ son las distribuciones de probabilidadmarginales sobre las variables (X ,Z), (Y,Z) y Z,respectivamente.

Análogamente se define para conjuntos de variables


Definiciones alternativas

PY |X ,Z(y|x,z) = PY |Z(y|z), ∀x,y,z

PX |Y,Z(x|y,z) = PX |Z(x|z), ∀x,y,z

PX ,Y |Z(x,y|z) = PX |Z(x|z).PY |Z(y|z), ∀x,y,z

PX ,Y,Z(x,y,z) = f1(x,z). f2(y,z), ∀x,y,z


Ejemplo

Supongamos dos urnas con bolas blancas (b) y rojas ( r). Laprimera tiene 99 rojas y 1 blanca; la segunda tiene 1 roja y 99blancas.Supongamos el siguiente experimento: elegimos aleatoriamenteuna urna, las dos con la misma probabilidad (0.5).Sea Z el resultado de la selección: con valores u1 (primeraurna), u2 (segunda).Entonces elegimos dos bolas con reemplazamiento de la urnaelegida. Sean los colores de las bolas X e Y .X e Y no son independientes: el color de una bola nos informasobre el color de la otra.


Ejemplo

Z: u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas)

X , Y colores de las bolas.

La probabilidad de que X = b esp(u1).pX (b|u1)+ p(u2).pX (b|u2) = 0.5×0.01+0,5×0.99 = 0.5

Análogamente, la probabilidad de que Y = b es 0.5. Sinembargo, la probabilidad de que X = b,Y = b esp(u1).pX (b|u1)pY (b|u1)+ p(u2).pX (b|u2).pY (b|u2) =

0.5×0.01×0.01+0.5×0.99×0.99 = 0.4901Por tanto, PX ,Y (b,b) 6= PX(b).PY (b)

Sin embargo, X e Y son independientes dada Z, ya que lasextracciones se hacen con reemplazamiento de la misma urna.Por ejemplo,pX ,Y (b,r|u1) = pX (b|u1).pY (r|u1) = 0.01×0.99 = 0.0099


Ejemplo

Z: u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas)

X , Y colores de las bolas.

La probabilidad de que X = b esp(u1).pX (b|u1)+ p(u2).pX (b|u2) = 0.5×0.01+0,5×0.99 = 0.5

Análogamente, la probabilidad de que Y = b es 0.5. Sinembargo, la probabilidad de que X = b,Y = b esp(u1).pX (b|u1)pY (b|u1)+ p(u2).pX (b|u2).pY (b|u2) =

0.5×0.01×0.01+0.5×0.99×0.99 = 0.4901Por tanto, PX ,Y (b,b) 6= PX(b).PY (b)

Sin embargo, X e Y son independientes dada Z, ya que lasextracciones se hacen con reemplazamiento de la misma urna.Por ejemplo,pX ,Y (b,r|u1) = pX (b|u1).pY (r|u1) = 0.01×0.99 = 0.0099


Dificultades de la independencia

Si tenemos una conjunto de variable, tendríamos que

considerar todas las relaciones de independencia

I(X ,Y |Z)

Variables Independ. Variables Observadas

Esta relación se lee X es independiente de Y dadas (oconocidas) ZDado un conjunto de n variables, estas son n · (n−1)·2n−2.


Cambios en las Observaciones

Consideremos las variables:A AlarmaR RoboS SeismoLa Alarma puede sonar por un Robo o un Seismo.Tenemos que R y S son independientes sin saber nada(I(R,S| /0)).Sin embargo, si conocemos que sonó la alarma, estas variablesse vuelven dependientes (¬I(R,S|A))

Al conocer más pasamos de independencia a dependencia.


Cambios en las Observaciones

M1 Transm. 1 M2 Transm. 2 M3

Se manda un mensaje (M1) por un transmisor. El mensaje quese recibe (M2) se envía por un segundo transmisor. M3 es elmensaje que se recible al final. Los transmisores tienen ruido ypueden modificar los mensajes

Tenemos que M1 y M3 son dependientes sin conocer nada(¬I(M1,M3| /0)). Sin embargo, conocido (M2) los mensajes M1 yM3 son independientes (I(M1,M3|M2))

En este ejemplo, conocer más pasamos de dependencia a inde-

pendencia.


Redes BayesianasUna red bayesiana consta de dos partes:

Una cualitativa: un grafo dirigido acíclicoUn nodo por cada variable del problemaUn conjunto de enlaces dirigidos sin crear ciclosdirigidos

SI NO

Una cuantitativa: una serie de probabilidadescondicionadas que determinan una única distribución deprobabilidad conjunta.


Redes Bayesianas. Nodo X

X

Nodo referencia

Padres

Ascendientes

Hijos

Descendientes

Otros


Representación de Independencias

Una red bayesiana representa un conjunto de independencias.De ellas podemos distinguir:

Independencias Básicas.- Son aquellas que hay que tenercuidado que se verifiquen cuando se construye la red.

Independencias Totales.- Son todas las que se deducen delas básicas aplicando las propiedades de las relaciones deindependencia. Se puede comprobar mediante el llamadocriterio de D-separación.


Independencias Básicas

X

Nodo referencia

Padres

No descendientes

Descendientes

Cada nodo es independientede sus no-descendientes da-dos sus padres.


Ejemplos

R S

A

I(R,S| /0)

M1

M2

M3

I(M1,M3|M2)


Otras independencias: D-separación

X es independiente de Y dado Z1, . . . ,Zk si todo camino (usandolos arcos en ambas direcciones) entre X e Y está bloqueado enalgún nodo por las observaciones Z1, . . . ,Zk.Un camino entre X e Y está bloqueado en un nodo Z por unconjunto de observaciones Z1, . . . ,Zk cuando se da una de lassiguientes condiciones:

El camino pasa por el nodo Z con flechas nocabeza-cabeza y el nodo está observado.

El camino pasa por el nodo Z con flechas cabeza-cabeza yni el nodo ni ninguno de sus descendientes está observado.


Dos formas de bloqueo

Dos formas básicas de bloqueo en un nodo:

X Y

No Cabeza-Cabeza

Nodos estudiados

Nodos observados

Nodos no observados

Nodo que bloquea (observado o no)

X Y

Cabeza-Cabeza

Nodo y descendientesno observados

× ×

×Una Introducción a las Redes Bayesianas– p.45/??

Cabeza-Cabeza

Cabeza-Cabeza

X

No Cabeza-Cabeza

X

X

X


Ejemplos de Independencia

Nodo Observado

Variables examinadas

Resto Variables



Nodo Observado


Resto Variables

× ×

Primer Camino Bloqueado



Nodo Observado


Resto Variables

× ××

Segundo Camino Bloqueado



Nodo Observado


Resto Variables

×××

Tercer Camino Bloqueado



Nodo Observado


Resto Variables

××

×

Cuarto Camino Bloqueado



Nodo Observado


Resto Variables

Variables Independientes (sin obs.)



Nodo Observado


Resto Variables



Nodo Observado


Resto Variables

Primer Camino NO Bloqueado



Nodo Observado


Resto Variables

Variables Dependientes (rojas obs.)



Nodo Observado


Resto Variables



Nodo Observado


Resto Variables

×




Nodo Observado


Resto Variables

×




Nodo Observado


Resto Variables

××




Nodo Observado


Resto Variables

××

Cuarto Camino Bloqueado



Nodo Observado


Resto Variables

Variables Independientes (rojas obs.)



Nodo Observado


Resto Variables



Nodo Observado


Resto Variables

Primer Camino NO Bloqueado



Nodo Observado


Resto Variables




Nodo Observado


Resto Variables



Nodo Observado


Resto Variables

×




Nodo Observado


Resto Variables

Segundo Camino NO Bloqueado



Nodo Observado


Resto Variables




Nodo Observado


Resto Variables



Nodo Observado


Resto Variables

×




Nodo Observado


Resto Variables

×




Nodo Observado


Resto Variables

××




Nodo Observado


Resto Variables

Variables Independientes (rojas obs.)


La Red Asia

Asia

Tuberculosis

Tuberc. óCánc. Pulmón

Rayos X

Fumador

Cáncer Pulmón

Bronquitis

AsmaTos


Ejemplos 3 Variables

Edad

Ingresos

Restaurante

Edad

Ingresos

Coche

Edad Sexo

Ingresos


Ejemplo con tres variables

Edad

Conocimientos

Sexo

Edad

Sexo

Colorojos

Ingresos

Edad

Conocimiento


Independencias y Causalidad

Edad

Ingresos

Coche

Ingresos

Edad

Conocimiento

En ambos casos las variables superior e inferior soncondicionalmente independientes dada la variable central, pero laestructura causal es distinta.


Representación de Independencias

Hay problemas con independencias que no pueden representarse de forma exactamediante redes Bayesinas.

Ejemplo: Tenemos dos interruptores con dos posiciones cada uno (0 y 1). Sean Xe Y las posiciones de estos interruptores. Tenemos una luz que está encendida silos dos interruptores están en la misma posición y apagada si están en posicióndistinta. Sea Z el estado de la luz. Supongamos que los interruptores sonindependientes y que tienen la misma probabilidad (0.5) de estar en cualquiera delos dos estados.

Tenemos que:

Se verifica I(X ,Y | /0), I(X ,Z| /0), I(Y,Z| /0).

Pero las independencias condicionadas no se verifican:¬I(X ,Y |Z),¬I(X ,Z|Y),¬I(Y,Z|X).


Representación

Esto se puede representar mediante la red

X Y

Z

El problema es que representamos I(X ,Y | /0) , pero noI(X ,Z| /0), I(Y,Z| /0).

Si quitamos cualquiera de los enlaces, ya estamosrepresentando alguna de las independencias condicionadasque no se verificaban.


Mapas de Independencias Minimales

Un mapa de independencias minimal para un problema es ungrafo dirigido acíclico tal que todas las independencias del grafoestán en el problema, pero que si al grafo le quitamos algunaarista, entonces aparecen independencias que no están en elproblema.

En general, nuestro objetivo ante un problema es construir unmapa de independencias minimal. Si es posible, debería derepresentar todas las independencias del problema.


Construcción de mapas de independencias

Supongamos que X es el conjunto de variables de partida.

Sea Y1,Y2, . . . ,Yn un orden cualquiera de estas variables (nodeben de invertirse relaciones causales conocidas: Si A escausa de B, entonces A debe de preceder a B)

El mapa de indepencias minimal, se construyecomenzando por el grafo vacío e introduciendo lasvariables en el orden dado.



Si vamos a introducir Y j y Aj = Y1, . . . ,Y j−1, entonces sedetermina un conjunto minimal de variables Bj (las variables delas que Y j tiene una dependencia directa) que es un conjuntominimal tal que I(Y j,Aj −Bj|Bj)El grafo se construye haciendo que los padres de Y j sean losnodos de Bj.

El Problema: Determinar un orden entre las variables.




A B C

D E





A B C

D E

F





A B C

D E

F

B

D EI(F,A,C|B,D,E)

B,D,E minimal





A B C

D E

F

B

D EI(F,A,C|B,D,E)

B,D,E minimal





A B C

D E

F

B

D EI(F,A,C|B,D,E)

B,D,E minimal

El Problema: Determinar un orden entre las variables.Una Introducción a las Redes Bayesianas– p.61/??

Septiembre 2002

Tenemos un canal de información con dos transmisores. La entrada a los dos es lamisma: variable E con valores 0 ó 1. Las salidas de los transmisores (S1 y S2) seránel mismo valor de entrada si funcionan correctamente o, en el caso de que nofuncionen la salida será aleatoria ( 0 ó 1 con probabilidad 1/2 cada uno). Lasvariables C1 y C2 representan el comportamiento de estos dos transmisores,respectivamente (con valor 0 si es aleatorio y 1 si es correcto). El comportamientode los dos transmisores depende del estado de la fuente de alimentación (F). Estapuede estar en dos situaciones: calidad alta (1) y calidad baja (0). En el caso decalidad baja, hay una mayor probabilidad de comportamiento incorrecto en amboscasos. No hay ninguna otra influencia común sobre las variables C1 y C2. Existe undispositivo que mira las salidas de ambos transmisores y produce un valor S f .Cuando S1 = S2, entonces S f coincide con ambos valores. Cuando S1 6= S2,entonces S f toma el valor e. Finalmente, existe una variable (T ) que comprueba elfuncionamiento del sistema. Si S f = E, entonces T = 1 (funcionó correctamente). SiS f = e, entoces T = 2 (error detectado). Si S f 6= e y S j 6= E, entonces T = 0 (error nodetectado).


Septiembre 2002: Preguntas

1. Determinar una red bayesiana que sea compatible con lasrelaciones entre las variables del sistema-

2. Escribir una tabla de probabilidad para S1 dados sus padresque sea compatible con los datos anteriores.

3. Para los siguientes pares de variables determinar unconjunto lo más pequeño posible, tal que si observamosdicho conjunto de variables, entonces el par esindependiente:

a) E y Fb) T y S1

c) E y S f


Red

Orden: F,E,C1,C2,S1,S2,S f ,T


Red

Orden: F,E,C1,C2,S1,S2,S f ,TF


Red


E


Red


E


Red


EC1


Red


EC1

F


Red


EC1C1


Red


EC1C1 C2


Red


EC1C1 C2

F


Red


EC1C1 C2C2


Red


EC1C1 C2C2

S1


Red


EC1C1 C2C2

S1

C1 E


Red


EC1C1 C2C2

S1S1


Red


EC1C1 C2C2

S1S1 S2


Red


EC1C1 C2C2

S1S1 S2

C2E


Red


EC1C1 C2C2

S1S1 S2S2


Red


EC1C1 C2C2

S1S1 S2S2

S f


Red


EC1C1 C2C2

S1S1 S2S2

S f

S2S1


Red


EC1C1 C2C2

S1S1 S2S2

S fS f


Red


EC1C1 C2C2

S1S1 S2S2

S fS f

T


Red


EC1C1 C2C2

S1S1 S2S2

S fS f

T

E

S f


Red


EC1C1 C2C2

S1S1 S2S2

S fS f

TT


Red


EC1C1 C2C2

S1S1 S2S2

S fS f

TT

E = 0 E = 0 E = 1 E = 1

C1 = 0 C1 = 1 C1 = 0 C1 = 1

S1 = 0 0.5 1.0 0.5 0.0

S1 = 1 0.5 0.0 0.5 1.0

E y F :T y S1:E y S f :


Red


EC1C1 C2C2

S1S1 S2S2

S fS f

TT

E = 0 E = 0 E = 1 E = 1

C1 = 0 C1 = 1 C1 = 0 C1 = 1

S1 = 0 0.5 1.0 0.5 0.0

S1 = 1 0.5 0.0 0.5 1.0

E y F : /0T y S1:E y S f :


Red


EC1C1 C2C2

S1S1 S2S2

S fS f

TT

E = 0 E = 0 E = 1 E = 1

C1 = 0 C1 = 1 C1 = 0 C1 = 1

S1 = 0 0.5 1.0 0.5 0.0

S1 = 1 0.5 0.0 0.5 1.0

E y F : /0T y S1: E,S f

E y S f :


Red


EC1C1 C2C2

S1S1 S2S2

S fS f

TT

E = 0 E = 0 E = 1 E = 1

C1 = 0 C1 = 1 C1 = 0 C1 = 1

S1 = 0 0.5 1.0 0.5 0.0

S1 = 1 0.5 0.0 0.5 1.0

E y F : /0T y S1: E,S f

E y S f : S1,S2


La Importancia de la Causalidad

Fumar

CáncerPulmón

DedosAmarillos



Fumar

CáncerPulmón

DedosAmarillos

DedosAmarillos

CáncerPulmón



Fumar

CáncerPulmón

DedosAmarillos

DedosAmarillos

CáncerPulmón

P(Cancer Pulmon | Dedos Amarillos ) ≥ P(Cancer Pulmon)P(Cancer Pulmon | a(Dedos Amarillos))?donde a(Dedos Amarillos) es la acción de poner los dedos amarillos,en lugar de observar los dedos amarillos. Una Introducción a las Redes Bayesianas– p.65/??

El Teorema de Descomposición

Dada una red bayesiana con variables X entonces ladistribución de probabilidad conjunta de estas variables sepuede descomponer de la forma:

p(x) = ∏y∈x

p(y|pa(y))

donde pa(Y ) es el conjunto de padres de la variable Y .Consecuencia: Para especificar una red bayesiana solo hay quedar, para cada variable, una distribución de probabilidadcondicionada dada sus padres.

Si la variable es raíz, la distribución será la distribución marginal

(sin condicionar ya que no tiene padres).


Ejemplo

A B C D

E F G

H I

p(a,b,c,d,e, f ,g,h, i) =

p(a).p(b).p(c).p(d).p(e|a).p( f |b,c).p(g|c,d).p(h|b,e).p(i|c,d, f )


Redes Bayesianas: Números

La parte cuantitativa de una red bayesiana es:Para cada variable de la red, una distribución de probabilidadcondicionada a sus padresSi la red tiene n variables hay que especificar o calcular ndistribuciones condicionadas.Estas distribuciones, por el teorema de descomposicón,determinan una única distribución de probabilidad conjunta.


Cálculo de Probabilidades

Tenemos una red bayesiana asociada a un conjunto deprobabilidades el problema fundamental de las redes es: dadoun conjunto O de variables observadas: O = o y una variableobjetivo Z, queremos calcular p(z|o), para todos los valores dela variable Z.Podríamos calcular la distribución conjunta, marginalizarla enlas variables O∪Z y entonces calcular la distribución deprobabilidad condicionada deseada, pero esto tiene complejidadexponencial en el número de variables.

Gran reto: Calcular la probabilidad condicionada sin tener que

calcular la conjunta (usando las distribuciones de cada variable

condicionadas a sus padres).


La Operación de Combinación

Si p(x,y) y q(y,z) son dos potenciales, entonces su combinaciónes el potencial p.q(x,y,z) dado por

p.q(x,y,z) = p(x,y).q(y,z)

La distribución conjunta es la combinación de todas las distribu-

ciones condicionadas a sus padres de las variables de la red.


Ejemplo

p Y= Si Y = Si Y = No Y = NoZ= Hombre Z= Mujer Z = Hombre Z = Mujer

X=Si 0.5 0.4 0.2 0.1X=No 0.5 0.6 0.8 0.9

q Y= Si Y = Si Y = No Y = NoZ= Hombre Z= Mujer Z = Hombre Z = Mujer0.3 0.4 0.2 0.1

p.q Y= Si Y = Si Y = No Y = NoZ= Hombre Z= Mujer Z = Hombre Z = Mujer

X=Si 0.15 0.16 0.04 0.01X=No 0.15 0.24 0.16 0.09


Ejemplo

p X= 0 X=0 X=1 X=1Y= 0 Y=1 Y=0 Y=10.96 0.04 0.1 0.9

q Y= 0 Y=0 Y=1 Y=1Z= 0 Z=1 Z=0 Z=10.97 0.03 0.2 0.8

Resultado:

p.q X= 0 X=0 X=1 X=1Y= 0 Y=1 Y=0 Y=1

Z=0 0.9312 0.008 0.097 0.18Z=1 0.0288 0.032 0.003 0.72


Cálculo sin Observaciones

Tenemos un conjunto de variables X y queremos calcular lasprobabilidades sobre Z sin observaciones: p(z).Supongamos que X = Y∪ZTenemos que:

p(z) = ∑y

p(y,z)

Donde p(y,z) es la distribución conjunta. Es decir, es lamarginalización sobre Z de la distribución conjunta.La forma más evidente de hacerlo es:

Combinar todas las distribuciones condicionadas paracalcular la conjunta

Marginalizar sobre YUna Introducción a las Redes Bayesianas– p.73/??

Ejemplo

A B C D

E F G

H I

Objetivo: Calcular las probabilidades sobre H.p(h) = ∑

a,b,c,d,e, f ,g,ip(a,b,c,d,e, f ,g,h, i) =

∑a,b,c,d,e, f ,g,i



Algoritmo de Borrado. Bases







∑b,c,d,e, f ,g,i

∑a






∑b,c,d,e, f ,g,i

∑a


∑b,c,d,e, f ,g,i

p(b).p(c).p(d).p( f |b,c).p(g|c,d).p(h|b,e).p(i|c,d, f )∑a p(a).p(e|a)





∑b,c,d,e, f ,g,i

∑a


∑b,c,d,e, f ,g,i

p(b).p(c).p(d).p( f |b,c).p(g|c,d).p(h|b,e).p(i|c,d, f )∑a p(a).p(e|a)

∑b,c,d,e, f ,g,i

p(b).p(c).p(d).p( f |b,c).p(g|c,d).p(h|b,e).p(i|c,d, f )r(e)

r(e) = ∑a p(a).p(e|a)

Tenemos un problema similar, pero con una variable menos


Algoritmo de BorradoT : Conjunto de potenciales (inicialmente probabilidadescondicionadas)X: variables inicialesH: variable objetivoY: variables iniciales, excepto H

Algoritmo:1. Para cada variable Z ∈ Y

2. Sea TZ el conjunto de los potencialesen T que contienen la variable Z

3. Sea q el potencial combinación de todos lospotenciales en TZ

4. Sea r el resultado de borrar Z en q5. Hacer T igual a (T −TZ)∪r

6. p(h) es la combinación de todos los potenciales en TUna Introducción a las Redes Bayesianas– p.76/??

Algoritmo de Borrado: Ejemplo

T =p(a), p(b), p(c), p(d), p(e|a), p( f |b,c), p(g|c,d), p(h|b,e), p(i|c,d, f )

Elegimos variable: A.

Calculamos:r(e) = ∑

ap(a).p(e|a)

Calculamos el nuevo conjunto:

T = p(b), p(c), p(d), p( f |b,c), p(g|c,d), p(h|b,e), p(i|c,d, f ),r(e)



T = p(b), p(c), p(d), p( f |b,c), p(g|c,d), p(h|b,e), p(i|c,d, f ),r(e)Elegimos variable: I.

Calculamos:s(c,d, f ) = ∑

ip(i|c,d, f )


T = p(b), p(c), p(d), p( f |b,c), p(g|c,d), p(h|b,e),s(c,d, f ),r(e)



T = p(b), p(c), p(d), p( f |b,c), p(g|c,d), p(h|b,e),s(c,d, f ),r(e)Elegimos variable: B.

Calculamos:

q(c,e, f ,h) = ∑b

p(b).p( f |b,c).p(h|b,e)


T = p(c), p(d), p(g|c,d),s(c,d, f ),r(e),q(c,e, f ,h)



T = p(c), p(d), p(g|c,d),s(c,d, f ),r(e),q(c,e, f ,h)Elegimos variable: D.

Calculamos:

t(c, f ,g) = ∑d

p(d).s(c,d, f ).p(g|c,d)


T = p(c),r(e),q(c,e, f ,h), t(c, f ,g)



T = p(c),r(e),q(c,e, f ,h), t(c, f ,g)Elegimos variable: F .

Calculamos:

w(c,e,g,h) = ∑f

q(c,e, f ,h).t(c, f ,g)


T = p(c),r(e),w(c,e,g,h)



T = p(c),r(e),w(c,e,g,h)Elegimos variable: E.

Calculamos:m(c,g,h) = ∑

er(e).w(c,e,g,h)


T = p(c),m(c,g,h)



T = p(c),m(c,g,h)Elegimos variable: G.

Calculamos:n(c,h) = ∑

gm(c,g,h)


T = p(c),n(c,h)



T = p(c),n(c,h)Elegimos variable: C.

Calculamos:v(h) = ∑

cp(c).n(c,h)


T = v(h)

La probabilidad buscada es: p(h) = v(h)


Notas

Calculamos la probabilidad deseada sin calcular laprobabilidad conjunta

En nuestro caso el número máximo de variables en unpotencial es 5

Las variables se pueden elegir en cualquier orden. Elresultado es siempre correcto

Distintos órdenes pueden producir distinto número deoperaciones

Una buena heurística: elegir la variables más fácil de borraren cada momento

El problema es NP-duro, pero dependiendo de los grafos sepueden resolver problemas con miles de variables


Variables Obervadas

Hemos obervado O = o y queremos calcular p(z|o) para unavariable Z.El algoritmo de borrado calcula: p(z,o) para todos los valores deZDespués, del valor deseado p(z|o) se obtiene dividiendo cadavalor p(z,o) por ∑z′ p(z′,o) (normalizando).

Para calcular p(z,o) se aplica el mismo algoritmo de antes, perotransformando los potenciales iniciales. El proceso consiste enhacer iguales a cero los valores correspondientes a los valoresno obervados de las variables O.


Ejemplo. Variables Observadas

Supongamos el potencial p:p Y= Si Y = Si Y = No Y = No

Z= Hombre Z= Mujer Z = Hombre Z = MujerX=Si 0.14 0.168 0.024 0.018X=No 0.14 0.252 0.096 0.162

Y que hemos observado, Y = Si. Antes del algoritmo tendríamosque transformar p en el potencial:


X=Si 0.14 0.168 0.0 0.0X=No 0.14 0.252 0.0 0.0


Ejemplo 2. Variables Observadas

Supongamos el potencial p:p Y= Si Y = Si Y = No Y = No

Z= Hombre Z= Mujer Z = Hombre Z = MujerX=Si 0.14 0.168 0.024 0.018X=No 0.14 0.252 0.096 0.162

Y que hemos observado, Y = Si, Z=Hombre. Antes del algoritmotendríamos que transformar p en el potencial:


X=Si 0.14 0.0 0.0 0.0X=No 0.14 0.0 0.0 0.0


Ejemplo: normalización

Si Z tiene tres valores z1,z2,z3, y al final del algoritmo hemosobtenido el potencial:q Z = z1 Z = z2 Z = z3

0.2 0.2 0.1Entonces, las probabilidades condicionadas se obtienendividiendo estos valores por su suma:

p(z1|o) p(z2|o) p(z3|o)

0.4 0.4 0.2


La Configuración de Máxima Probabilidad

Tenemos un conjunto de variables X, y un conjunto deobservaciones O = o.Objetivo: Calcular una configuración (un valor para cadavariable) no observada Y = a, donde Y = X−O tal que

P(a|o) = maxy

P(y|o)

E1 E2

S1 S2 S3


Problemas de Decisión - Diagramas de Influencia

Existen dos nuevos tipos de nodos: nodos de decisión y nodosde utilidad.

Un arco desde un nodo de azar a uno de decisión suponeque dicho nodo se conoce antes de tomar la decisión

Debe de existir un camino dirigido en el que aparezcan lasvariables de decisión

Las observaciones no se olvidan

Howard y Matheson(1981), Olmsted (1983)Shachter (1986), Cooper (1988), Shenoy (1992)


Diagrama de Influencia

Enfermedad

Síntomas N. Hormonal

ResultadoTest?

Tratamiento

Costo

Utilidad


Diagrama de Influencia

Plantación

Mildeu

Mildeu 2

Cosecha

TratamientoCosto

Utilidad


Construcción de Redes Bayesianas

A partir de expertos

Aprendizaje automático a partir de bases de datosEstimación de los parámetrosAprendizaje de la estructura

Modelos mixtos

Parámetros: A partir de una base de datos, determinando unestimador de P(X = a|Y = b) contando el número de casos enque X toma el valor a entre los que Y = b.Mucho más común el uso de modelos Bayesianos,principalmente basados en la distribuciónd e Dirichlet.


Aprendizaje Estructural

Dos Enfoques Básicos:

Comprobación de IndependenciasIndependencia de X e Y dado Z.

Métodos de AjusteMétrica que mide el ajuste (tratan de ajustar los datos,pero penalizan la complejidad del modelo)Algoritmo de búsqueda


Febrero 2002

Un determinado defecto genético (variable G) puede producir dos enfermedades(variables E1, E2). En presencia de dicho defecto, las enfermedades se manifiestancon una determinada probabilidad, pero no existe ninguna relación entre losmecanismos que dan lugar a las enfermedades: el hecho de que una se manifiesteno hace a la otra más o menos probable. Existen tres posibles síntomas asociadosa las enfermedades (S1,S2,S3). Los síntomas S1 y S2 se asocian a la enfermedad E1

y los síntomas S2,S3 a la enfermedad E2. En la enfermedad E1 la presencia delsíntoma S1 hace al síntoma S2 más probable. En la enfermedad E2 la presencia deuno de los síntomas no cambia la probabilidad de aparición del otro síntoma. Existeuna prueba de laboratorio (P), cuyo resultado depende de forma conjunta de lapresencia o ausencia de ambas enfermedades, pero tiene comportamiento distintoen hombres y mujeres (variable T ). Se supone que T no tiene relación directa conninguna otra variable del problema.


Febrero 2002 (Cont.)

Determinar un grafo dirigido con las variables anteriores que represente unasrelaciones de independencia entre las variables que sean compatibles con lasespecificaciones anteriores. En el caso de incluir hipótesis adicionales,indicarlas de forma precisa.

Indicar las independencias básicas representadas en el grafo.

Indicar las distribuciones de probabilidad condicionadas que habría queespecificar para determinar la distribución de probabilidad conjunta asociada algrafo construido.


Respuesta

G

E1 E2

S1 S2 S3

P

T


Pregunta, Septiembre 2001Dar ejemplos reales en las que para tres variables aleatorias X , Y , Z,tenga sentido suponer las relaciones de independencia de cada unade las siguientes situaciones:

1. X e Y son dependientes, pero condicionalmente independientesconocida Z.

2. X e Y son independientes, pero son dependientes conocida lavariable Z.

3. X e Y son independientes y X y Z son independientes dada lavariable Y .

4. No se verifica ninguna relación de independencia (condicional ono) entre estas variables.

Expresar, en cada caso, las relaciones de independencia existentesmediante un grafo dirigido acíclico.


Respuestas

X e Y son independientes, pero son dependientesconocida la variable Z

X : Número de lotería que comproY : Número de lotería que es premiadoZ: Soy rico

N. Compro N. Toca

Rico


Febrero 2001

Dado el siguiente grafo dirigido acíclico, determinar qué independenciascondicionadas de la siguiente lista se representan en el grafo, usando el criterio deD-separación.

1 2 3 4

5

8 9

6 7

10 11

12


Febrero 2001 (Continuación)

Lista de independencias que hay que comprobar:a)I(2,4| /0) e) I(1,3|5,10) h) I(2,4|9,12)

b) I(1,3|2,9,10) f) I(2,7|6) i) I(4,12|10,11)

c) I(3,4|10) g) I(2,10|7,9) j) I(3,4|11,12)

d) I(1,12|9)


Febrero 2003He instalado una alarma en mi casa que puede activarse (variable A)porque un intruso entre para robar (variable R) o haya un seismo(variable S), que son bastante frecuentes en la zona en la que vivo. Sisuena la alarma un vecino que suele avisar a mi teléfono móvil(variable L), pero hay veces que mi vecino no está (variable P) y nome llama aunque suene la alarma. También es un vecino un pocobromista y puede llamar sin que haya sonado la alarma (sea B lavariable que determina si el vecino es serio o está bromeando). Encaso de que haya un seismo existe una probabilidad alta de que seaanunciado en la emisora de radio local (variable N). No siempreescucho dicha emisora (la variable E representa si la estoyescuchando), pero si me llama mi vecino, trato de escucharla paradescartar que haya habido un seismo. Sea C la variable querepresenta que conozco que hay un seismo por escucharlo en laradio.



1. Determinar un grafo dirigido acíclico compatible con lasrelaciones entre las variables del problema.

2. Determinar las probabilidades condicionadas que hay queespecificar como datos.

3. Aplicar el algoritmo de borrado para determinar lasoperaciones necesarias para calcular la probabilidadmarginal sobre la variable C.


Solución

R S

AP B

L N

EC


Septiembre 2003

Determinar la estructura de una red bayesiana para el siguienteproblema: un granjero quiere determinar si una vaca estápreñada (variable P) después de una inseminación artificial.Para ello dispone de tres tests. El primero de ellos es unaecografía (variable E) y los otros dos son un test de sangre(variable S) y uno de orina (variable O). Se supone que los dosúltimos tests se basan en el nivel hormonal de la vaca (variableH) que puede ser alto o bajo y que, a su vez, depende de si lavaca está realmente preñada. Existe un tipo raro de sangre(variable T ) que hace que el resultado del test de sangre seasiempre positivo con independencia de si la vaca está preñadao no. Para descartar esta situación, el granjero también realizaun test para comprobar el tipo de sangre (variable T T ).


Septiembre 2003 (Cont.)

En caso de duda sobre la red, especificar las relaciones deindependencia que se han supuesto.Especificar distribuciones de probabilidad condicionadas dadossus padres para las variables S,E,T que sean compatibles conla información del problema.¿Podemos considerar que si se conoce el resultado del test delnivel hormonal en la sangre, entonces el resultado del test detipo de sangre es independiente de que la vaca esté preñada?


Diciembre 2003Considerar el problema de transmitir palabras de longitud cinco del alfabetoA = a,b sobre un canal de transmisión. Las palabras se transmiten símbolo asímbolo. La transmisión tiene ruido y algunas veces no se recibe el símboloemitido. Si se emite una a se recibe una a con probabilidad 0.8 y una b conprobabilidad 0.2. Si se emite una b se recibe una b con probabilidad 0.9 y una a conprobabilidad 0.1. La probabilidad de error solo depende del símbolo emitido y no dela presencia de error en cualquier otro símbolo. Las palabras emitidas no soncompletamente aleatorias y el valor de un símbolo determinado depende de lossímbolos que lo preceden, pero sólo del último de ellos.

1. Establecer una red bayesiana que relacione los símbolos emitidos y recibidos.

2. Indicar las probabilidades condicionadas que hay que especificar.

3. Indicar qué cálculos habría que realizar en el algoritmo de borrado paracalcular la probabilidad del primer símbolo emitido, dado que se conocen loscinco símbolos recibidos.


Febrero 2004Consideremos un estudio sobre las familias en el que vamos a considerarlas siguientes variables: A (nivel de estudios de la madre), B (nivel deestudios del padre), C (ingresos del padre), D (ingresos de la madre), T(ingresos totales en la familia), E (presencia internet en casa), F (coche), G(gastos de la familia en ocio), H (número de hijos), I (presencia de televisiónde pago).

1. Diseñar una red que exprese unas independencias compatibles con elsignigicado de estas variables. Especificar las suposiciones que sehacen.

2. Realizar una red obtenida a partir de la anterior, pero eliminando lasvariables A y B (sólo debe de representar las independencias entre lasrestantes variables que se verifiquen en la red del punto anterior),

3. En cada una de las redes, determinar un conjunto con un número devariables tan pequeño como sea posible, para que conocidas lasvariables de este conjunto, las variables E y F sean independientes.


Septiembre 2004La probabilidad de que una vaca sufra mastitis un día (variable M) dependede varios factores: si sufría mastitis el día anterior (D), número de días de laenfermedad (I) y días en que ha recibido tratamiento (T ). El ganaderodiagnostica la enfermedad en función del aspecto general (A) y de un testque se realiza en la leche (L). Sin embargo, el test puede no ser fiable si lavaca ha estado sometida a tratamiento durante más de tres días.

1. Describir un grafo de dependencias compatible con la situacióndescrita.

2. Determinar una tabla de probabilidad condicionada para la variable Len el grafo anterior.

3. Si la vaca no tuvo enfermedad el día anterior, y no ha sido tratada, ysabiendo que en estas condiciones la probabilidad de sufrir laenfermedad es de 0.01, determinar la probabilidad de que tenga laenfermedad si el test L ha resultado positivo.


Septiembre 2004 (bis)

Supongamos tres variables con dos valores cada una:

X : He hecho un viaje a Asia recientemente

Y : Tengo tuberculosis

Z: Radiografía positiva

Realizar una red bayesiana basada en el siguiente orden de lasvariables; X ,Y,Z. Especificar probabilidades condicionadas paralas 3 variables, de acuerdo con la red construida. Calcular laprobabilidad marginal con la que Z toma sus valores, aplicandoel algoritmo de borrado y eliminando primero la variable X ydespués la variable Y . Nota: es necesario calcular los valoresnuméricos de las probabilidades, no siendo suficiente conindicar las operaciones con los potenciales.


Febrero 2005

En una granja hay dos yeguas y un caballo sin ningún parentesco entre ellos y vana nacer dos potros, uno de cada una de las yeguas. El caballo es el padre deambos potros. Existe una grave enfermedad que está ligada a la presencia de ungen recesivo a. El gen normal se nota por A. Esto quiere decir que la cargagenética de cada individuo puede ser aa, aA, AA y la enfermedad sólo se manifiestacuando un individuo tiene carga genética aa. Si un individuo tiene aA no manifiestala enfermedad, pero es portador de ella.

1. Determinar una red Bayesiana que exprese las dependencias entre la cargagenética de cada uno de los caballos de la granja, incluyendo los dos potrosque van a nacer.

2. Si en la población general la probabilidad de ser portador es de 0.01 para loscaballos, de 0.02 para las yeguas, y los potros heredan un gen de cada unode los padres (se elige aletoriamente entre los dos posibles de cada padre),detallar las distribuciones de probabilidad condicionadas asociadas a la red.

3. Si se observa que el primer potro que nace manifiesta la enfermedad (tieneaa), calcular mediante el algoritmo de borrado la probabilidad de que el otropotro también tenga la enfermedad y la probabilidad de que sea portador.


Solución

Las variables que se van a considerar son:

C: Carga genética del caballo

Y1: Carga genética de la primera yegua

Y2: Carga genética de la segunda yegua

P1: Carga genética del primer potro

P2: Carga genética del segundo potro


Solución

Una red bayesiana que exprese las relaciones de dependenciaentre estas variables es:

Y1 C Y2

P1 P2


Solución

En el problema se supone que las yeguas y el caballo no puedentener aa ya que esto supone que se desarrola la enfermedad yentonces no se considerarían para la procreación (esto se indicó enel examen).Entonces las tablas de probabilidad son las siguientes (a cadapotencial le vamos a dar un nombre qi para poder hacer referencia aél):

Para el caballo, un potencial q1 que depende de C:q1 C = AA C = Aa

0.99 0.01

Para la primera yegua, un potencial q2 que depende de Y1:q2 Y1 = AA Y1 = Aa

0.98 0.02


Solución

Para la segunda yegua, un potencial q3 que depende de Y2:q3 Y2 = AA Y2 = Aa

0.98 0.02

Para el primer potro, un potencial q4 que depende de P1,Y1,C,que expresa la probabilidad condicionada de P1 dados suspadres Y1,C

q4 Y1 = AA Y1 = AA Y1 = Aa Y1 = AaC = AA C = Aa C = AA C = Aa

P1 = AA 1 0.5 0.5 0.25P1 = Aa 0 0.5 0.5 0.5P1 = aa 0 0 0 0.25


Solución

Para el segundo potro, un potencial q5 que depende de P2,Y2,C,que expresa la probabilidad condicionada de P2 dados suspadres Y2,C, y que es idéntica a la anterior en estructura yvalores:

q5 Y2 = AA Y2 = AA Y2 = Aa Y2 = AaC = AA C = Aa C = AA C = Aa

P2 = AA 1 0.5 0.5 0.25P2 = Aa 0 0.5 0.5 0.5P2 = aa 0 0 0 0.25


Solución

Observamos que P1 = aa y queremos calcular laprobabilidades condicionadas de los distintos valores de lavariable P2.

Para ello primero se restringen los potenciales a lasobservaciones y después aplicamos el algoritmo deborrado.

Restringir un potencial que contiene P1 a P1 = aa, es hacer0.0 todas las casillas que correspondan a valores de P1

distintos del observado.

Sólo hay un potencial que depende de P1 y es q4.


Solución

Al resultado de restringir q4 a P1 = aa le llamamos q′4 y es

como sigue:q′

4 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa

C = AA C = Aa C = AA C = Aa

P1 = AA 0 0 0 0P1 = Aa 0 0 0 0P1 = aa 0 0 0 0.25

Ahora aplicamos el algoritmo de borrado a la lista depotenciales q1,q2,q3,q′

4,q5.


Solución

Borramos P1. Sólo hay un pontencial que contiene esta variable, q′4:

q′4 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa


P1 = AA 0 0 0 0

P1 = Aa 0 0 0 0

P1 = aa 0 0 0 0.25No hay que hacer multiplicaciones, sólo marginalizar sobre Y1,Cobteniendo el potencial q6:

q6 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa


0 0 0 0.25


Solución

Se elimina q′4 de la lista y se añade q6, quedando q1,q2,q3,q5,q6.Ahora se borra Y1. Para ello se multiplican los dos potenciales quecontienen esta variable: q2 y q6.

q2 Y1 = AA Y1 = Aa

0.98 0.02y

q6 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa


0 0 0 0.25obteniéndose q7:

q7 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa


0 0 0 0.005


Solución

En q7 se marginaliza sobre C, borrándose Y1 y obteniéndose elpotencial q8:q8 C = AA C = Aa

0 0.005

Se eliminan q2 y q6 y se añade q8 a la lista, quedandoq1,q3,q5,q8.


Solución

En la lista q1,q3,q5,q8 se elimina la variable C.Se multiplican los potenciales que contienen esta variable q1, q5 y q8:

q1 C = AA C = Aa

0.99 0.01,

q5 Y2 = AA Y2 = AA Y2 = Aa Y2 = Aa


P2 = AA 1 0.5 0.5 0.25

P2 = Aa 0 0.5 0.5 0.5

P2 = aa 0 0 0 0.25

y

q8 C = AA C = Aa

0 0.005Una Introducción a las Redes Bayesianas– p.123/??

Solución

El resultado de la multiplicación es el potencial q9:

q5 Y2 = AA Y2 = AA Y2 = Aa Y2 = Aa


P2 = AA 0 0.000025 0 0.0000125

P2 = Aa 0 0.000025 0 0.000025

P2 = aa 0 0 0 0.0000125Se marginaliza sobre P2,Y2 borrando C, obteniéndose q10:

q10 Y2 = AA Y2 = Aa

P2 = AA 0.000025 0.0000125

P2 = Aa 0.000025 0.000025

P2 = aa 0 0.0000125


Solución

Se eliminan de la lista los potenciales combinados q1, q5 y q8, y se añade elresultado q10.La lista queda con los potenciales q3,q10.Se elimina ahora la variable Y2.Para ello se multiplican los potenciales que contienen esta variable, q3 y q10:

q3 Y2 = AA Y2 = Aa

0.98 0.02y

q10 Y2 = AA Y2 = Aa

P2 = AA 0.000025 0.0000125

P2 = Aa 0.000025 0.000025

P2 = aa 0 0.0000125obteniéndose q11:

q11 Y2 = AA Y2 = Aa

P2 = AA 0.0000245 0.00000025

P2 = Aa 0.0000245 0.0000005

P2 = aa 0 0.00000025


Solución

Se marginaliza q11 sobre P2, obteniéndose q12:

q12

P2 = AA 0.00002475

P2 = Aa 0.000025

P2 = aa 0.00000025

Se eliminan q3 y q10 de la lista y se añade q12.La lista queda: q12.Ya se han borrado todas las variables, excepto la variable en la queestamos interesados. Ahora hay que multiplicar todos los potencialesque quedan. Como sólo queda q12, el resultado es él mismo: q12.


Solución

Finalmente las probabilidades deseadas, se obtienennormalizando este potencial, es decir dividiendo cada númeropor la suma de todos los valores0.00002475+0.000025+0.00000025

De

q12

P2 = AA 0.00002475P2 = Aa 0.000025P2 = aa 0.00000025

se pasa a

q′12

P2 = AA 0.495P2 = Aa 0.5P2 = aa 0.005

En esta tabla tenemos la probabilidad de que el segundo potrosea portador (P2 = Aa) y que es de 0.5 y la probabilidad de queesté enfermo (P2 = aa) que es igual a 0.005. La de estarcompletamente sano sin ser portador es de 0.495.


Septiembre 2005

Dar un ejemplo de red bayesiana con 4 variables (X1,X2,X3,X4) paracada uno de los siguientes conjuntos de condiciones:

1. I(X1,X4|X2,X3), I(X2,X3|X1)

2. I(X1,X2| /0), I(X4,X3|X2), I(X4,X1|X2)

Las relaciones de independencia entre variables que no estánincluidas en las condiciones anteriores no deben de verificarse (porejemplo, en el caso primero, X1 y X2 deben de ser dependientes).

Dar nombres a las variables que correspondan con un ejemploreal y en el que estas relaciones se verifiquen.

Para la red del primer conjunto de restricciones, dar ejemplos detablas de probabilidad condicionadas (todas las necesarias parauna distribución de probabilidad conjunta).


Febrero 2006

Un estudiante realiza un examen con 5 preguntas que se calificancada una con los valores 0,1,2. Si el alumno obtiene más de cincopuntos, aprueba la asignatura. Realizar una red bayesiana queincluya los resultados de cada una de las preguntas (una variablepara cada pregunta) y el hecho de que el estudiante supere o no elexamen (variable A).Construir una nueva red en la que aparezcan cuatro variablesademás de las anteriores: formación básica del estudiante (F),esfuerzo dedicado a la asignatura (E), asistencia a clase (C) y estadoanímico (N). Cada una de estas variables puede tener 3 valores:bueno, malo, regular.



Construir una tercera red en la que sólo aparezcan la variable F y las

dos primeras preguntas, suponiendo que los resultados de estas pre-

guntas son condicionalmente independientes dada F . Introducir valo-

res numéricos que permitan determinar una distribucón conjunta. Cal-

cular la probabilidad de que la formación básica de un estudiante sea

buena si ha obtenido 2 en ambas preguntas.


Septiembre 2006

Tenemos una enfermedad que queremos diagnosticar y tres testsque se pueden aplicar que pueden ser positivos o negativos. Se sabeque las probabilidades de que los tests den positivos según se tengao no la enfermedad son las de la siguiente tabla:

Test 1 positivo Test 2 positivo Test 3 positivoEnfermo 0.9 0.8 0.75No enfermo 0.2 0.05 0.06

Si se supone que los resultados de los tests son condicionalmenteindependientes conocido si se tiene o no se tiene la enfermedad,determinar una red bayesiana con sus tablas de probabilidad querepresente el problema. Si hay algún dato que falta, añadir un valorarbitrario.Calcular la probabilidad de que se tenga la enfermedad una vez quelos dos primeros tests han dado positivos y el tercero negativo.


Septiembre 2006 - Solución

EnfermedadEnf. SI NO

0.01 0.99

Test 1

Enf. SI NO

Test1 + 0.9 0.2

Test1 - 0.1 0.8

Test 2

Enf. SI NO

Test2 + 0.8 0.05

Test2 - 0.2 0.95

Test 3

Enf. SI NO

Test3 + 0.75 0.06

Test3 - 0.25 0.94


Solución (cont.)

Para calcular la probabilidad condicionada de tener laenfermedad dado que los tests 1 y 2 son potivos y el 3negativo podemos aplicar el algoritmo de borrado a la listade potenciales después de transformarlos de acuerdo conlas observaciones.

Aquí vamos a aplicar directamente el teorema de Bayes.

Llamemos T1,T2,T3 a los tests con valores +,− y E convalores SI,NO.

Sea O nuestro conjunto de observacionesT1 = +,T2 = +,T3 = −.


Solución (cont.)

Aplicamos el teorema de Bayes:

P(E = SI|O) =P(O|E = SI).P(E = SI)

P(O|E = SI).P(E = SI)+P(O|E = NO).P(E = NO)

Como los resultados de los tests son condicionalementeindependientes conocido si se tiene la enfermedad:

P(O|E = SI) = P(T1 = +,T2 = +,T3 = −|E = SI) =

P(T1 = +|E = SI).P(T2 = +|E = SI).P(T3 = −|E = SI) = 0.9×0.8×0.25 = 0.18

P(O|E = NO) = P(T1 = +,T2 = +,T3 = −|E = NO) =

P(T1 = +|E = NO).P(T2 = +|E = NO).P(T3 =−|E = NO) = 0.2×0.05×0.94 = 0.0094


Solución (Cont.)

Sustituimos, junto con P(E = SI) = 0,01,P(E = NO) = 0,99,obteniendo

P(E = SI|O) =0.18×0.01

0.18×0.01+0.0094×0.99= 0.162

Nuestro resultado final es 0.162.

Este dependerá de la probabilidad ’a priori’ de laenfermedad que hayamos puesto.


Febrero 2007Consideremos un modelo de la intereracción entre tres factores (hierba, herbívoros,carnívoros) en un sistema ecológico. Para ello se considerarán tres instantes detiempo y, en cada uno de ellos, los valores de estas tres variables (hay que hacertres versiones de cada una de las variables, una en cada instante de tiempo). Cadavariable tiene tres valores posibles (’escaso’,’normal’,’abundante’).

1. Determinar una red bayesiana que represente el modelo, describiendo laparte cualitativa y cuantitativa. En la primera etapa se puede suponer que lasvariables son independientes. Para las probabilidades se deben dedeterminar valores numéricos que sean compatibles con la intuición (porejemplo, si hay pocos carnívoros y muchos herbívoros en un momento dado,en el instante siguiente lo más probable es que el número de carnívoros seanormal).

2. Describir sólo la red que incluya las variables hierba y herbívoros en elinstante 1 e hierba en el instante 2. Calcular la probabilidad marginal de lavariable hierba en el instante 2, aplicando el algoritmo de borrado.


Febrero 2007 (solución)

Consideremos las variables:

Hierba en el instante i: Hii

Herbívoros en el instante i: Hei

Carnívoros en el instante i: Ci

La red puede ser:

Hi1

He1

C1

Hi2

He2

C2

Hi3

He3

C3Una Introducción a las Redes Bayesianas– p.137/??


Si notamos: Escaso (E), Normal (N), Abundante (A).Para las variables Hi1, He1, C1, podemos considerar la mistatabla de probabilidad. Por ejemplo:

E N A

0.3 0.4 0.3Para la Hii+1 condicionado a Hii y Hei:

Hii = E Hii = N Hii = A

Hei = E Hei = N Hei = A Hei = E Hei = N Hei = A Hei = E Hei = N Hei = A

Hii+1 = E 0.4 0.5 0.9 0.15 0.2 0.3 0.0 0.05 0.2

Hii+1 = N 0.5 0.45 0.09 0.6 0.6 0.6 0.2 0.25 0.3

Hii+1 = A 0.1 0.05 0.01 0.25 0.2 0.1 0.8 0.7 0.5



Para la Hei+1 condicionado a Hii, Hei y Ca, la tabla es máscomplicada. En tres partes puede ser:

Hii = E

Hei = E Hei = N Hei = A

Ci = E Ci = N Ci = A Ci = E Ci = N Ci = A Ci = E Ci = N Ci = A

Hei+1 = E 0.5 0.7 0.95 0.35 0.3 0.4 0.1 0.15 0.3

Hei+1 = N 0.5 0.3 0.05 0.5 0.6 0.55 0.2 0.25 0.3

Hei+1 = A 0.0 0.00 0.00 0.15 0.1 0.05 0.7 0.6 0.4

Hii = N



Hei+1 = E 0.4 0.5 0.9 0.15 0.2 0.3 0.0 0.05 0.2

Hei+1 = N 0.5 0.45 0.09 0.6 0.6 0.6 0.2 0.25 0.3

Hei+1 = A 0.1 0.05 0.01 0.25 0.2 0.1 0.8 0.7 0.5



Para la Hei+1 condicionado a Hii, Hei y Ca, la tabla es máscomplicada. La tercera parte de la tabla:

Hii = A



Hei+1 = E 0.3 0.4 0.8 0.05 0.1 0.2 0.0 0.01 0.1

Hei+1 = N 0.5 0.45 0.09 0.6 0.6 0.6 0.1 0.14 0.3

Hei+1 = A 0.2 0.15 0.11 0.35 0.3 0.2 0.9 0.85 0.6



Para la Ci+1 condicionado a Hei y Ci:



Ci+1 = E 0.9 0.7 0.3 0.35 0.2 0.1 0.1 0.05 0.0

Ci+1 = N 0.1 0.2 0.6 0.6 0.6 0.5 0.4 0.25 0.2

Ci+1 = A 0.0 0.1 0.1 0.05 0.2 0.4 0.5 0.7 0.8


Febrero 2007 (solución)Describir sólo la red que incluya las variables hierba y herbívoros en el instante 1 ehierba en el instante 2. Calcular la probabilidad marginal de la variable hierba en elinstante 2, aplicando el algoritmo de borrado.

Hi1

He1

Hi2

Para Hi1 tabla:Hi1 E N A

0.3 0.4 0.3

Para He1 tabla:He1 E N A

0.3 0.4 0.3Hi2 condicionado a Hi1 y He1:

Hi2|Hi1,He1 Hii = E Hii = N Hii = A

Hei = E Hei = N Hei = A Hei = E Hei = N Hei = A Hei = E Hei = N Hei = A

Hii+1 = E 0.4 0.5 0.9 0.15 0.2 0.3 0.0 0.05 0.2

Hii+1 = N 0.5 0.45 0.09 0.6 0.6 0.6 0.2 0.25 0.3

Hii+1 = A 0.1 0.05 0.01 0.25 0.2 0.1 0.8 0.7 0.5


Solución

Aplicamos el algoritmo de borrado, eliminando las variablesHi1,He1 para obtener la marginal sobre He2.Primero borramos Hi1. Para ello multiplicamos la tabla de Hi1por la de Hi2 condicionado a Hi1,He1, obteniendo la tabla:

Hi1 = E Hi1 = N Hi1 = A

He1 = E He1 = N He1 = A He1 = E He1 = N He1 = A He1 = E He1 = N He1 = A

Hi2 = E 0.12 0.15 0.27 0.06 0.08 0.12 0.0 0.015 0.06

Hi2 = N 0.15 0.135 0.027 0.24 0.24 0.24 0.06 0.075 0.09

Hi2 = A 0.03 0.015 0.003 0.1 0.08 0.04 0.24 0.21 0.15


Solución (Febr. 2007)

Ahora marginalizamos la tabla anterior, sumando en Hi1 yobteniendo:

Hi2,He1 He1 = E He1 = N He1 = A

Hi2 = E 0.18 0.245 0.45

Hi2 = N 0.45 0.45 0.357

Hi2 = A 0.37 0.305 0.193



Ahora borramos la variable He1, multiplicando la tabla anterior:Hi2,He1 He1 = E He1 = N He1 = A

Hi2 = E 0.18 0.245 0.45

Hi2 = N 0.45 0.45 0.357

Hi2 = A 0.37 0.305 0.193

por la de He1He1 E N A

0.3 0.4 0.3,obteniendo:

Hi2,He1 He1 = E He1 = N He1 = A

Hi2 = E 0.054 0.0980 0.135

Hi2 = N 0.135 0.18 0.1071

Hi2 = A 0.111 0.1220 0.0579



En la tabla anterior marginalizamos sumando en He1,obteniendo:Hi2 E N A

0.287 0.4221 0.2909La normalización no cambia esta tabla (la suma de los valoreses 1.0) y representa la probabilidad marginal sobre Hi2 que sepedía.


Septiembre (2007)

Dibujar una red bayesiana con 5 variables (X1,X2,X3,X4,X5) en la severifiquen las siguientes independencias:

I(X1,X2| /0)

I(X4,X1|X3), I(X4,X2|X3)

I(X5,X1|X3), I(X5,X2|X3), I(X5,X4|X3)

y no se verifique ninguna otra independencia aparte de las que sededuzcan de las anteriores por las propiedades de lasindependencias representadas en grafos dirigidos acícilicos.Si todas las variables pueden tomar dos valores ( 0,1), dar ejemplosde tablas de probabilidad condicionadas para la red anterior.

Si consideramos la red con sólo las 4 primeras variables, calcular con

el algoritmo de borrado la probabilidad P(X3 = 0|X1 = 1,X4 = 0).Una Introducción a las Redes Bayesianas– p.147/??

Documents

Una Introducción a las Redes Bayesianas - UGRdecsai.ugr.es/~smc/redesia2.pdf · Una Introducción a las Redes Bayesianas Serafín Moral Departamento de Ciencias de la Computación