Raciocínio Bayesiano
Ruy Luiz Milidiú
Resumo ObjetivoExaminar o Raciocínio Bayesiano e
suas aplicações
Sumário Probabilidades Teorema de Bayes Inferência e Predição Propriedade Markoviana
Formulation Use
observables
hidden
SYMBOLS
INFORMATIONS
EMISSIONS
STATES
FORMUL A T I ON
USE
Eventosobservação
experimentação instanciação
Experimento Espaço Amostral Evento Espaço de Eventos
Experimento
Processo que transforma uma variável aleatória de valor incerto para um valor conhecido
Espaço AmostralConjunto
de resultados possíveisde um experimento
moeda = { cara, coroa }dado = { 1, 2, 3, 4, 5, 6 }
Evento
Subconjunto do espaço amostral para o qual
há interesse em determinar incerteza
Espaço de EventosFamília de eventos E satisfazendo -álgebra
E A E então - A E Ai E então Ai E
i=1
Conjunto CoerenteFamília F qualquer de eventos tais que Convexidade
0 P[E|H] 1 P[H|H] = 1 Aditividade
P[E1 ou E2 | H] = P[E1 | H] + P[E2 | H]quando E1 E2 =
MultiplicatividadeP[E1 e E2 | H] = P[E1 | E2 e H] . P[E2 | H]
Distribuição de Probabilidades
Espaço de Eventos com incertezas satisfazendo
Convexidade Aditividade Multiplicatividade
Teorema de Bayes
P[A|B] = P[B|A] . P[A] / P[B]
Dem.: P[A e B] = P[B e A] P[A | B] . P[B] = P[B | A] . P[A]
Acumulando de evidências
P[A | evidências] P[evidências | A] . P[A]
POSTERIORI VEROSSIMILHANÇA . PRIORI
Subjetividade X Objetividade
Subjetividade+ Informação
+ Conhecimento+ Coerência=
Objetividade
Subjetividade X Objetividade
Resultados experimentaiscombinados metodologicamente
com os conhecimentos e opiniões, levam ao estabelecimento do
consenso, isto é, da opinão comum.
Teorema da Probabilidade Total Partição
Ai E Ai Aj = Ai = B E
então
P[B|H] = i P[B| Ai e H] . P[Ai |H]
Teorema da Probabilidade Total
Dem.:
P[B] = P[B ] = P[B ( Ai)] P[B] = P[ (B Ai)] P[B] = P[B Ai] P[B] = P[B | Ai] . P[Ai]
… Bayes & Partição Partição
Ai E Ai Aj = Ai = B E
então
P[Ai |B, H] P[B| Ai e H] . P[Ai |H]
… Bayes & Partição
Dem.:
P[Ai |B] = P[B | Ai] . P[Ai] / P[B]
P[Ai |B] = P[B | Ai] . P[Ai]/ P[B | Ai] . P[Ai]
… probabilísticaA B
A é probabilistamente independente de B
B não é informativo sobre A B não altera a incerteza sobre A
Independência
… probabilísticaP[A | B, H] = P[A | H]
Simetria A B B A
Fatoração P[A e B | H] = P[A | H] . P[B | H]
Independência
Exemplo: Amostra Aleatória
P(x1,…,xn|) = P(x1|) . … . P(xn|)
Independência Condicional Markov local
P(xn+1|, x(n)) = P(xn+1|)
P(xn+1|, x(n)) = P(x(n+1), )/P(, x(n)) P(xn+1|, x(n)) = P(x1|) . … . P(xn+1|).P() /
P(x1|) . … . P(xn|).P()
Exemplo: Amostra Aleatória
P(x1,…,xn|) = P(x1|) . … . P(xn|) Adaptativo
incrementalP( | x(n+1)) P(xn+1|) . P( | x(n))
P( | x(n+1)) = P(x(n+1), )/P(x(n+1))P( | x(n+1)) = P(xn+1|, x(n)) . P( | x(n)) .
P(x(n)) / P(x(n+1)) constante
Exemplo: Amostra Aleatória
P(x1,…,xn|) = P(x1|) . … . P(xn|) Previsão sem informação
P(xn+1) = P(xn+1|) . P()
P(xn+1) = x1 … xn P(x1,…,xn+1|) . P()P(xn+1) = P(xn+1|) . P() .
x1 P(x1|) . … . xn P(xn|) 1 . … . 1
Exemplo: Amostra Aleatória
P(x1,…,xn|) = P(x1|) . … . P(xn|) Previsão com informação
P(xn+1 | x(n)) = P(xn+1|) . P( | x(n))
P(xn+1 | x(n)) = P(x(n+1)) / P(x(n))P(xn+1 | x(n)) = P(x(n+1),) / P(x(n))P(xn+1 | x(n)) = P(xn+1| x(n),). P(x(n),)
/ P(x(n))
Cubos e Moedas Urna
90 cubos e 10 moedas Cubo: 5 faces pretas e 1 face branca Moeda: 1 face preta e 1 face branca
Experimento Escolher ao acaso um objeto da urna Lançar 10 vezes o objeto, observando cor do
topo
Resultado6 Brancas e 4 Pretas
Cubos e Moedas P[CUBO] = .9 P[MOEDA] = .1
P[6 B e 4 P | CUBO ] = C(10,4).(1/6)6.(5/6)4
P[6 B e 4 P | MOEDA] = C(10,4).(1/2)6.(1/2)4
(1/2)6.(1/2)4 / (1/6)6.(5/6)4 22 evidência mais compatível com MOEDA … mas o mundo é dos CUBO’s
P[ CUBO | evidencias] 1 x 9 = 9 P[ MOEDA | evidencias] 22 x 1 = 22
Cubos e MoedasPriori P[CUBO] = 9/10 P[MOEDA] = 1/10
Posteriori P[ CUBO | evidencias] = 9/31 P[ MOEDA | evidencias] = 22/31
Pesquisa de opinião
100 habitantes 10 consultados: 6 S e 4 N número de habitantes a
favor
Pesquisa de opinião P[] = 1/101 = 0, 1, 2, … , 100 X S S S S S S N N N N P[X|] = …(-5).(100-)…(97-)/100.99…..91
P[ | dados] C(10,4) . P[X|] . 1/101P[ | dados] P[X|]
Pesquisa de opiniãoposteriori
0
0.0002
0.0004
0.0006
0.0008
0.001
0.0012
0.0014
0 20 40 60 80 100 120
População selvagem peixes num lago 60 recolhidos e marcados com M 100 recolhidos: 10 M e 90 sem
M
Estimativa por regra de três
= 600 peixes !
População selvagem P[] uniforme em 100, 101, … , 104
X = 10 M e 90 sem M P[X| , 60] = 60 … 51 (-60)…(-149)
/ .(-1). … . (-99)P[ | X, 60] C(100,10).P[X| , 60].
P[]
P[ | X, 60] P[X| , 60]
População selvagem
posteriori
0 500 1000 1500 2000 2500
Distribuição conjunta
p(x1,x2) = p(x2|x1).p(x1)
p(x1,x2,x3) = p(x3|x2,x1).p(x2|x1).p(x1)
p(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|x1,…,xn-1)
representação exponencial
Independência
variáveis independentes
p(x1,…,xn) = p(x1).p(x2). … . p(xn)
representação linear
Propriedade Markoviana Observações ao longo do tempo
x1, … , xn são informativos para xn+1
Memória curtap(xn+1| x1, … , xn) = p(xn+1| xn)
O futuro , dado o presente, independe do passado
Propriedade Markoviana
Conjunta é reduzida
p(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|xn-1)
Subcadeiap(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|xn-1) Marginal
p(x1,…,xn-1)Xn p(x1,…,xn)
p(x1).p(x2|x1). … . p(xn|xn-1).Xn p(xn|xn-1)p(x1).p(x2|x1). … . p(xn|xn-1)
Subcadeia
k = 1, … , n
p(x1,…,xk) = p(x1).p(x2|x1). … . p(xk|xk-1)
Reversibilidade
A cadeia é reversível
p(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|xn-1)
Reversibilidade
A cadeia é reversível
p(x1,…,xn) = p(xn).p(xn-1|xn). … . p(x1|x2)
Reversibilidadep(x1, x2)
p(x1).p(x2|x1)p(x2).p(x2|x2)
p(x1, x2) = p(x2).p(x2|x2)
Reversibilidadep(x1,…,xn)
p(x1).p(x2|x1). … . p(xn|xn-1).p(xn|xn-1)p(x1,…,xn-1).p(xn|xn-1)
p(xn).p(xn-1|xn). … . p(x1|x2).p(xn|xn-1)p(xn|xn-1).p(xn).p(xn-1|xn). … . p(x1|x2)p(xn|xn-1).p(xn).p(xn-1|xn). … . p(x1|x2)
p(xn,xn-1).p(xn-1|xn). … . p(x1|x2)p(xn).p(xn-1|xn).p(xn-1|xn). … . p(x1|x2)