Upload
doannga
View
213
Download
0
Embed Size (px)
Citation preview
3/12/14
1
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
1
Redes Bayesianas
Prof. Carlos Bana e Costa Referências:
Jensen, F.V. (1996), An Introduction to Bayesian Networks, UCL Press, London. (Capítulo 2)
Breese, J. (Microsoft Corp.), Koller, D. (Stanford University): http://robotics.stanford.edu/~koller/BNtut/
Norsys Software Corp. (NETICA soft.): http://www.norsys.com/netica.html Fred, A. (2008) Redes Bayesianas http://www.lx.it.pt/~afred/docencia/Percepcao_2006/
acetatos/rb.pdf
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
AFECTAÇÃO DE RECURSOS E NEGOCIAÇÃO • Análise PROBE
Modelos de AD
REVISÃO DE OPINIÃO
• Redes Bayesianas
SEPARAÇÃO EM COMPONENTES
• Análise de Risco
Problema dominado por
AVALIAR OPÇÕES • Análise Multicritério
Incerteza Objectivos múltiplos
ESCOLHA • Árvores de Decisão
• Diagramas de Influência
3/12/14
2
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
3
“Regra do produto”: P(Favourable, Oil) =
P(Favourable\Oil).P(Oil) = P(Oil\Favourable).P(Favourable)
“Marginalisation”:
P(Favourable) =
P(Favourable\Oil).P(Oil) + P(Favourable\Dry).P(Dry)
P(Favourable) P(Oil\Favourable) =
P(Favourable\Oil).P(Oil)
P(Favourable\Oil).P(Oil)+P(Favourable\Dry).P(Dry) P(Oil\Favourable) =
P(Favourable\Oil).P(Oil)
Relembrar: Regras de probabilidade
Regra de Bayes (1763):
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
4
onde P(H\E) indica a probabilidade da hipótese H condicionada à evidência E.
P(E) P(H\E) = P(E\H).P(H)
A pedra angular da teoria probabilística Bayesiana é a expressão de inversão:
A regra de Bayes proporciona uma relação explícita do grau de credibilidade da hipótese H à luz da evidência E. A regra de Bayes é útil em contextos onde as probabilidades são mais facilmente obteníveis numa direcção de inferência do que noutra.
3/12/14
3
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
5
Ao proporcionar a flexibilidade para raciocinar probabilisticamente em qualquer direcção, causal ou de diagnóstico, a regra de Bayes permite ao actor estabelecer convicções em formas que são compatíveis com a sua maneira de pensar sobre o(s) processo(s) ou fenómenos de interesse.
Uma rede Bayesiana É um tipo particular de Diagrama de Influência. Só contém nós de acaso (e determinísticos).
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
6
O inspetor de polícia Smith aguarda impacientemente pela chegada do Sr. Holmes e do Dr. Watson? Eles estão atrasados e o Inspector Smith tem outro compromisso importante (almoço). Olhando pela janela ele questiona-se se haverá gelo nas estradas. Ambos são notoriamente maus condutores, por isso, se houver gelo nas estradas eles podem ter sofrido um acidente. 2001
A secretária entra e diz-lhe que o Dr. Watson teve um acidente de automóvel, “o Watson? OK. Gelo na estrada... Então o Holmes, muito provavelmente, também deve ter tido um acidente. Vou almoçar agora.” “Gelo na estrada!”, retorquiu a secretária, “Bem longe disso, não está assim tão frio, e ainda por cima já colocaram sal nas estradas.” O Inspector Smith então conclui: “Falta de sorte do Watson. Vamos dar mais 10 minutos ao Holmes.”
Exemplo: Holmes e Watson
3/12/14
4
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
7
O inspetor de polícia Smith aguarda impacientemente pela chegada do Sr. Holmes e do Dr. Watson? Eles estão atrasados e o Inspector Smith tem outro compromisso importante (almoço). Olhando pela janela ele questiona-se se haverá gelo nas estradas. Ambos são notoriamente maus condutores, por isso, se houver gelo nas estradas eles poderão ter sofrido um acidente.
Holmes Watson
Ice
ambos são notoriamente maus condutores
gelo nas estradas eles poderão ter sofrido um acidente
Rede Bayesiana
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
8
se houver gelo nas estradas eles poderão ter sofrido um acidente
Holmes Watson
Ice
3/12/14
5
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
9
A secretária entra e diz-lhe que o Dr. Watson teve um acidente de automóvel, “o Watson? OK. Gelo na estrada... Então o Holmes, muito provavelmente, também deve ter tido um acidente. Vou almoçar agora.”
se houver gelo nas estradas eles poderão ter sofrido um acidente
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
10
“Gelo na estrada!”, retorquiu a secretária, “Bem longe disso, não está assim tão frio, e ainda por cima já colocaram sal nas estradas.” O Inspector Smith então conclui: “Falta de sorte do Watson. Vamos dar mais 10 minutos ao Holmes.”
Então o Holmes também deve ter tido um acidente
3/12/14
6
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
Propriedades qualitativas das redes Bayesianas
• A inferência pode seguir o sentido das setas – O conhecimento de T diz-nos
algo sobre H através de G • A inferência pode ir contra o
sentido das setas – O conhecimento de H diz-nos
algo sobre T através de G • Ambos os padrões de inferência
podem ser quebrados se conhecer G
Temperatura abaixo de
zero (T)
Estradas com gelo
(G)
Holmes teve um acidente
(H)
© Alec Morton OR425 Seminar 8: Bayes Nets and Influence Diagrams
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
• A inferência também pode subir e depois descer – O conhecimento de H
pode dizer-me algo sobre W, supondo que não conheço G
Watson teve um acidente
(W)
Holmes teve um acidente
(H)
Estradas com gelo
(G)
• Isto é conhecido como independência conditional • H e W (ou H e T) são independentes se eu
conheço o estado de G (caso contrário são dependentes)
© Alec Morton OR425 Seminar 8: Bayes Nets and Influence Diagrams
3/12/14
7
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
• Se eu não conhecer o estado de M, C e A são independentes
• Mas se se der o caso de eu conhecer M, C e A tornam-se dependentes
Aspersor ficou ligado
(A) Choveu (C)
Relvado do Holmes está molhado (M)
• E se descer e depois subir?
– Conhecendo A pode explicar M e assim tornar C menos provável
• Este padrão de inferência é activado em vez de quebrado pelo conhecimento da variável intermédia
© Alec Morton OR425 Seminar 8: Bayes Nets and Influence Diagrams
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
14
• Muitas variáveis • Muitas relações
complexas • Necessidade de
construir uma estrutura de inferência
3/12/14
8
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
15
Redes Bayesianas Uma rede Bayesiana é composta por um conjunto de nós que representam variáveis de interesse, ligadas por arcos que indicam dependências, e que contêm informação acerca das relações entre nós (frequentemente na forma de probabilidades condicionais). O seu uso inclui predição e diagnóstico.
Uma rede Bayesiana fornece uma descrição probabilística completa de um sistema particular, i.e., especifica completamente uma distribuição de probabilidade conjunta nos diversos tipos de nós distintos representados na rede. Recordar: Condicional P(X = x \ Y = y) Probabilidade de X=x dado que conhecemos que Y=y Probabilidade conjunta P(x, y) ≡ P(X = x ^Y = y) Probabilidade que X = x e Y = y
T u b e r c u l o s i s
X R a y R e s u l t
T u b e r c u l o s i s
o r C a n c e r
L u n g C a n c e r
D y s p n e a
B r o n c h i t i s
V i s i t T o A s i a S m o k i n g
Chest Clinic
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
16
T u b e r c u l o s i s
X R a y R e s u l t
T u b e r c u l o s i s
o r C a n c e r
L u n g C a n c e r
D y s p n e a
B r o n c h i t i s
V i s i t T o A s i a S m o k i n g
Chest Clinic
Uma RB consiste no seguinte: • Um conjunto de variáveis e um
conjunto de arcos dirigidos entre variáveis.
• Cada variável tem um conjunto finito de estados.
• As variáveis conjuntamente com os arcos dirigidos formam um grafo dirigido acíclico.
T u b e r c u l o s i s
P r e s e n t
A b s e n t
1 . 0 4
9 9 . 0
X R a y R e s u l t
A b n o r m a l
N o r m a l
1 1 . 0
8 9 . 0
T u b e r c u l o s i s o r C a n c e r
T r u e
F a l s e
6 . 4 8
9 3 . 5
L u n g C a n c e r
P r e s e n t
A b s e n t
5 . 5 0
9 4 . 5
D y s p n e a
P r e s e n t
A b s e n t
4 3 . 6
5 6 . 4
B r o n c h i t i s
P r e s e n t
A b s e n t
4 5 . 0
5 5 . 0
V i s i t T o A s i a
V i s i t
N o V i s i t
1 . 0
9 9 . 0
S m o k i n g
S m o k e r
N o n S m o k e r
5 0 . 0
5 0 . 0
Chest Clinic
Definição (formal) de uma Rede Bayesiana (Jansen, 1996)
• A cada variável A com pais B1, …, Bn existe associada uma tabela de probabilidades condicionadas P(A \ B1, …, Bn).
3/12/14
9
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
17
Chest Clinic Copyright 1998 Norsys Software Corp. This belief network is also known as "Asia”. It is a toy medical diagnosis example from: Lauritzen, Steffen L. and David J. Spiegelhalter (1988), “Local computations with probabilities on graphical structures and their application to expert systems”, J. Royal Statistics Society B, 50(2), 157-194.
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
18
Esta é uma versão simplificada de uma rede que pode ser usada para diagnosticar pacientes que chegam a uma clínica. Cada nó da rede corresponde a uma condição qualquer do paciente, e.g., "Visit to Asia" indica se o paciente visitou a Ásia recentemente. Para diagnosticar um paciente, inserem-se valores nós quando eles são conhecidos. O Netica então de forma automática recalcula as probabilidades de todos os outros nós, baseando-se nas relações entre eles. As ligações entre nós indicam como as relações entre nós estão estruturadas.
3/12/14
10
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
19
Os dois nós de topo indicam predisposições que influenciam a probabilidade das doenças. Essas doenças surgem na linha abaixo deles. Em baixo estão os sintomas das doenças. - Em grande medida, as ligações da rede correspondem a causalidade. Esta é uma estrutura comum para redes de diagnóstico: nós de predisposição no topo, com ligações a nós que representam condições internas e estados de falhas, que por sua vez têm ligações a nós com observáveis. Frequentemente existem muitas camadas de nós a representar condições internas, com ligações entre eles a representar os seus inter-relacionamentos complexos.
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
20
Relação probabilística de "Lung Cancer” com Smoking
Dependência funcional de "Tuberculosis or Cancer” em Tuberculosis e Lung Cancer.
3/12/14
11
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
21
Probabilidades de cada estado
do nó “Bronchitis”
Suponha que queremos "diagnosticar" um novo paciente. Quando ela entra na clínica, sem existir nenhuma informação sobre ela, nós Acreditamos que ela tenha cancro no pulmão (lung cancer) com uma probabilidade de 5.5% (o número pode ser maior que o que existe para a população em geral, pois alguma coisa a levou a dirigir-se à clínica).
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
22
Descoberta - Ela tem um raios-x anormal
Todos os números de probabilidades e as barras mudaram para tomar em consideração o que se descobriu. Agora a probabilidade de que ela tenha cancro de pulmão (lung cancer) aumentou de 5.5%para 48.9%.
3/12/14
12
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
23
T u b e r c u l o s i s
P r e s e n t
A b s e n t
3 3 . 8
6 6 . 2
X R a y R e s u l t
A b n o r m a l
N o r m a l
1 0 0
0
T u b e r c u l o s i s o r C a n c e r
T r u e
F a l s e
6 9 . 1
3 0 . 9
L u n g C a n c e r
P r e s e n t
A b s e n t
3 7 . 1
6 2 . 9
D y s p n e a
P r e s e n t
A b s e n t
6 8 . 1
3 1 . 9
B r o n c h i t i s
P r e s e n t
A b s e n t
4 9 . 1
5 0 . 9
V i s i t T o A s i a
V i s i t
N o V i s i t
1 0 0
0
S m o k i n g
S m o k e r
N o n S m o k e r
6 3 . 7
3 6 . 3
Chest Clinic
Nova descoberta: ela visitou a Ásia
recentemente
A probabilidade de cancro no pulmão (lung cancer) decresceu de 48.9% para 37.1%, porque o Raio-X anormal está parcialmente explicado por uma maior probabilidade de Tuberculose (que ela poderá ter apanhado na Ásia)
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
24
Um novo paciente acaba de entrar: removem-se todos os estados
conhecidos
3/12/14
13
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
25
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
26
3/12/14
14
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
27
Serial connection. If S is instantiated (i.e., its state is known) it blocks communication
between its parents and children
Evidence on A (or G) will influence the certainty of S. Similarly, evidence on C will influence the certainty on A (and G) through S. However, if the state of S is known, then A (G) and C become independent.
We say that A (G) and C are d-separated given S.
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
28
When nothing is known about the state of Cancer:
However, when we know the state of Cancer:
Diverging connection. If C is instantiated, it blocks communication between its children
3/12/14
15
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
29
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
30
When nothing is known about the state of Cancer:
However, when we have information about Cancer:
Converging connection. If C is instantiated, it opens communication between its parents
3/12/14
16
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
31
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
32
is the product of all conditional probabilities The joint probability distribution
where:
3/12/14
17
Análise de Decisão 2014/2015, Carlos A. Bana e Costa
Revisão de opinião Modelo Bayesiano
Redes Bayesianas
)X,,XX(P)X,,X,X(Pn
iiin ∏
=−=
11121 ……
A Regra de Bayes (1763) permite rever a probabilidade associada a uma hipótese H com base numa evidência E.
P(E) P(H⎮E) = P(E⎮H) . P(H)
Descoberta de novas classes de estrelas infra-vermelhas AutoClass Project (NASA)