Réseaux bayésiens

Chap. 14

Sections 1 – 3

Plan

• Syntaxe

• Semantique

• Distribution paramétrisée

Réseaux bayésiens

• Une notation graphique simple pour des affirmations d’indépendance conditionnelle, et donc une spécification compacte de distributions conjointes complètes

• Syntaxe:– Un ensemble de nœuds, un par variable– Un graphe dirigé, non cyclique (lien ≈ "influences directes")– Une distribution conditionnelle pour chaque nœud, sachant ses

parents:P (Xi | Parents (Xi))

• Dans le cas le plus simple, une distribution conditionnelle est représentée par une table de probabilité conditionnelle (CPT), qui donne la distribution sur Xi pour chaque combinaison des valeurs des parents.

Exemple• La topologie du réseau représente les affirmations

d’indépendance conditionnelle:

• Weather est indépendante des autres variables• Toothache (mal aux dents) et Catch (accroché) sont

indépendantes conditionnellement sachant Cavity (carie)

Exemple• Je suis au travail. Le voisin John appelle pour me signaler que mon alarme

à la maison sonne, mais ma voisine Mary ne m’appelle pas. Quelques fois, l’alarme est déclenchée par un petit tremblement de terre. Quelques fois, les voisins entendent mal. Et-ce qu’il y a un vol (burglar)?

• Variables: Burglary, Earthquake, Alarm, JohnCalls, MaryCalls

• La topologie du réseau reflète les connaissances « causales »:– Un cambriolage peut déclencher l’alarme– Un tremblement de terre peut déclencher l’alarme– L’alarme peut causer l’appel de Mary– L’alarme peut causer l’appel de John

• Comparaison:– Si l’alarme, alors un cambriolage– Si Mary appelle, alors l’alarme

Topologie du réseau

Compacticité• Une CPT (table de prob. conditionnelle) pour une variable booléenne Xi avec k

parents booléens a 2k lignes pour des combinaisons des valeurs des parents

• Chaque ligne requiert une valeur p pour Xi = true(la valeur pour Xi = false est juste 1-p)

• Si chaque variable n’a pas plus de k parents, the réseau requiert O(n · 2k) valeurs

• I.e., la taille augmente linéairement avec n, vs. O(2n) pour la distribution conjointe complète (cf. règle de chaîne)

• Pour l’exemple de vol, le nombre de valeurs = 1 + 1 + 4 + 2 + 2 = 10 (vs. 25-1 = 31 pour une distribution conjoint complète)

– P(B): 1– P(E): 1– P(A|B,E): 4, …

Semantique

La distribution conjointe complète est définie par le produit des distributions conditionnelles locales:

e.g., P(j m a b e)

= P (j | a) P (m | a) P (a | b, e) P (b) P (e)

= 0.9 * 0.7 * 0.001 * 0.999 * 0.998

≈ 0.00063

•

•

Sémantique locale• Sémantique locale: chaque nœud est conditionnellement

indépendant de ses non-descendants sachant ses parents

• Théorème: Sémantique gobale = Sémantique locale

Couverture Markov• Chaque nœud est conditionnellement indépendant de

tous les autres nœuds sachant sa couverture Markov: parents + enfants + parents des enfants

Construire un réseau bayésien

1. Choisir un ordre des variables X1, … ,Xn

2. Pour i = 1 à n1. Ajouter Xi dans le réseau

2. Sélectionner les parents parmi X1, … ,Xi-1 tels que

P (Xi | Parents(Xi)) = P (Xi | X1, ... Xi-1)

Ce choix de parents garantie:(règle de

chaîne)(par

construction)

–

• Supposons que nous choisissons l’ordre M, J, A, B, E

P(J | M) = P(J)?

•

Exemple

• Supposons que nous choisissons l’ordre M, J, A, B, E

P(J | M) = P(J)?

P(A | J, M) = P(A | J)? P(A | J, M) = P(A)?

Non

•

Exemple

• Supposons que nous choisissons l’ordre M, J, A, B, E

P(J | M) = P(J)?

P(A | J, M) = P(A | J)? P(A | J, M) = P(A)? Non

P(B | A, J, M) = P(B | A)?

P(B | A, J, M) = P(B)?

Non

•

Exemple

• Supposons que nous choisissons l’ordre M, J, A, B, E

P(J | M) = P(J)?

P(A | J, M) = P(A | J)? P(A | J, M) = P(A)? Non

P(B | A, J, M) = P(B | A)? Oui

P(B | A, J, M) = P(B)? Non

P(E | B, A ,J, M) = P(E | A)?

P(E | B, A, J, M) = P(E | A, B)?

Non

•

Exemple

• Supposons que nous choisissons l’ordre M, J, A, B, E

P(J | M) = P(J)?

P(A | J, M) = P(A | J)? P(A | J, M) = P(A)? Non

P(B | A, J, M) = P(B | A)? Oui

P(B | A, J, M) = P(B)? Non

P(E | B, A ,J, M) = P(E | A)? Non

P(E | B, A, J, M) = P(E | A, B)? Oui

Non

•

Exemple

Exemple

• Décider des indépendnces conditionnelles est difficile dans une direction non-causale

• (Les modèles causaux et les indépendances conditionnelles causales semblent bien ancrés chez les humains!)

• Le réseau qui utilise des liens non-causaux est moins compact: 1 + 2 + 4 + 2 + 4 = 13 valeurs requises

••

Exemple

L’ordre est important!

Exemple: diagnostic de voiture• Évidence initiale: La voiture ne démarre pas• Variables testables (vert), variables causes (pannes) (orange)• Variables cachées (gris) assure une structure éparse (sparse)

permettant de réduire les paramètres

Exemple: Assurance de voiture

Distributions conditionnelles compactes

• CPT augmente exponentiellement avec le nombre de parents

• CPT devient infinie avec des parents ou enfants de valeur continue

• Solution: distributions canoniques qui sont définies de façon compacte

• Nœuds déterministes sont des cas simples:– Valeur de X déterminée par celles de ses parents

X = f(Parents(X)) pour une certaine fonction f

– E.g. Fonctions booléennes

– E.g. Relations numériques entre les variables continues

Distributions conditionnelles compactes• OU-bruité (Noisy-OR): modèle de distributions pour des causes

multiples non-interactives– Parents U1…Uk sont toutes les causes possibles (éventuellement ajouter

un nœud de fuite – leak node – pour les causes restantes)

– Supposons la probabilité d’échec indépendante qi pour chaque cause seule

– Nombre de paramètres linéaire par rapport au nombre de parents

Réseaux hybrids (var. discrètes + continues)• Discrètes (Subsidy? Et Buy?); continues (Harvest et Cost)

• Option 1: discrétisation – erreurs larges possibles, grande CPT

• Option 2: familles de modèles canoniques paramétrisés finis – Variable continues, parents discrets + continus (e.g. Cost)

– Variable discrète, parents continus (e.g. Buys?)

Variables enfants continues

• Nécessite une fonction de densité conditionnelle pour la variable enfant, sachant les parents continus, pour chaque assignation de valeur possible pour des parents discrets

• Le plus souvent: modèle linéaire gaussien. E.g.:

• Une formulation similaire pour Subsidy? = false• La moyenne de Cost varie linéairement avec Harvest, la variance

est fixée.• Variance linéaire est non-raisonnable sur toute la portée de valeur,

mais OK si la portée espérée de Harvest est étroite

Variables enfants continues

•c) = moyenne de a) et b) (supposons que chacun a la prob. 0.5)•Réseau composé de variables continues avec gaussiennes linéaires:

– Distribution conjointe complète est une gaussienne multivariée

Variable discrète avec parents continus

• Prob. de Buy? sachant Cost doit être un seuil « soft »:

• Distribution Probit utilise l’intégral de gaussienne:

Enfants discrets• Distribution Sigmoïde (ou logit) est aussi utilisé dans les

réseaux de neurones

• Une forme similaire à Probit, mais avec des queux plus longues

Sommaire• Réseaux bayésiens = une représentation naturelle

d’indépendance conditionnelle (déduit de causalité)• Topologie + CPTs = une représentation compacte de

distribution conjointe• Sa construction est faite par des experts du domaine

(selon la compréhension des liens de causalité)• Couverture Markov• Distribution canonique (e.g. Noisy-OR)• Variables continues et discrètes: distribution

paramétrisée (e.g. gaussienne linéaire)