Raciocínio Bayesiano

Ruy Luiz Milidiú

Resumo ObjetivoExaminar o Raciocínio Bayesiano e

suas aplicações

Sumário Probabilidades Teorema de Bayes Inferência e Predição Propriedade Markoviana

Formulation Use

observables

hidden

SYMBOLS

INFORMATIONS

EMISSIONS

STATES

FORMUL A T I ON

USE

Eventosobservação

experimentação instanciação

Experimento Espaço Amostral Evento Espaço de Eventos

Experimento

Processo que transforma uma variável aleatória de valor incerto para um valor conhecido

Espaço AmostralConjunto

de resultados possíveisde um experimento

moeda = { cara, coroa }dado = { 1, 2, 3, 4, 5, 6 }

Evento

Subconjunto do espaço amostral para o qual

há interesse em determinar incerteza

Espaço de EventosFamília de eventos E satisfazendo -álgebra

E A E então - A E Ai E então Ai E

i=1

Conjunto CoerenteFamília F qualquer de eventos tais que Convexidade

0 P[E|H] 1 P[H|H] = 1 Aditividade

P[E1 ou E2 | H] = P[E1 | H] + P[E2 | H]quando E1 E2 =

MultiplicatividadeP[E1 e E2 | H] = P[E1 | E2 e H] . P[E2 | H]

Distribuição de Probabilidades

Espaço de Eventos com incertezas satisfazendo

Convexidade Aditividade Multiplicatividade

Teorema de Bayes

P[A|B] = P[B|A] . P[A] / P[B]

Dem.: P[A e B] = P[B e A] P[A | B] . P[B] = P[B | A] . P[A]

Acumulando de evidências

P[A | evidências] P[evidências | A] . P[A]

POSTERIORI VEROSSIMILHANÇA . PRIORI

Subjetividade X Objetividade

Subjetividade+ Informação

+ Conhecimento+ Coerência=

Objetividade

Subjetividade X Objetividade

Resultados experimentaiscombinados metodologicamente

com os conhecimentos e opiniões, levam ao estabelecimento do

consenso, isto é, da opinão comum.

Teorema da Probabilidade Total Partição

Ai E Ai Aj = Ai = B E

então

P[B|H] = i P[B| Ai e H] . P[Ai |H]

Teorema da Probabilidade Total

Dem.:

P[B] = P[B ] = P[B ( Ai)] P[B] = P[ (B Ai)] P[B] = P[B Ai] P[B] = P[B | Ai] . P[Ai]

… Bayes & Partição Partição

Ai E Ai Aj = Ai = B E

então

P[Ai |B, H] P[B| Ai e H] . P[Ai |H]

… Bayes & Partição

Dem.:

P[Ai |B] = P[B | Ai] . P[Ai] / P[B]

P[Ai |B] = P[B | Ai] . P[Ai]/ P[B | Ai] . P[Ai]

… probabilísticaA B

A é probabilistamente independente de B

B não é informativo sobre A B não altera a incerteza sobre A

Independência

… probabilísticaP[A | B, H] = P[A | H]

Simetria A B B A

Fatoração P[A e B | H] = P[A | H] . P[B | H]

Independência

Exemplo: Amostra Aleatória

P(x1,…,xn|) = P(x1|) . … . P(xn|)

Independência Condicional Markov local

P(xn+1|, x(n)) = P(xn+1|)

P(xn+1|, x(n)) = P(x(n+1), )/P(, x(n)) P(xn+1|, x(n)) = P(x1|) . … . P(xn+1|).P() /

P(x1|) . … . P(xn|).P()

Exemplo: Amostra Aleatória

P(x1,…,xn|) = P(x1|) . … . P(xn|) Adaptativo

incrementalP( | x(n+1)) P(xn+1|) . P( | x(n))

P( | x(n+1)) = P(x(n+1), )/P(x(n+1))P( | x(n+1)) = P(xn+1|, x(n)) . P( | x(n)) .

P(x(n)) / P(x(n+1)) constante

Exemplo: Amostra Aleatória

P(x1,…,xn|) = P(x1|) . … . P(xn|) Previsão sem informação

P(xn+1) = P(xn+1|) . P()

P(xn+1) = x1 … xn P(x1,…,xn+1|) . P()P(xn+1) = P(xn+1|) . P() .

x1 P(x1|) . … . xn P(xn|) 1 . … . 1

Exemplo: Amostra Aleatória

P(x1,…,xn|) = P(x1|) . … . P(xn|) Previsão com informação

P(xn+1 | x(n)) = P(xn+1|) . P( | x(n))

P(xn+1 | x(n)) = P(x(n+1)) / P(x(n))P(xn+1 | x(n)) = P(x(n+1),) / P(x(n))P(xn+1 | x(n)) = P(xn+1| x(n),). P(x(n),)

/ P(x(n))

Cubos e Moedas Urna

90 cubos e 10 moedas Cubo: 5 faces pretas e 1 face branca Moeda: 1 face preta e 1 face branca

Experimento Escolher ao acaso um objeto da urna Lançar 10 vezes o objeto, observando cor do

topo

Resultado6 Brancas e 4 Pretas

Cubos e Moedas P[CUBO] = .9 P[MOEDA] = .1

P[6 B e 4 P | CUBO ] = C(10,4).(1/6)6.(5/6)4

P[6 B e 4 P | MOEDA] = C(10,4).(1/2)6.(1/2)4

(1/2)6.(1/2)4 / (1/6)6.(5/6)4 22 evidência mais compatível com MOEDA … mas o mundo é dos CUBO’s

P[ CUBO | evidencias] 1 x 9 = 9 P[ MOEDA | evidencias] 22 x 1 = 22

Cubos e MoedasPriori P[CUBO] = 9/10 P[MOEDA] = 1/10

Posteriori P[ CUBO | evidencias] = 9/31 P[ MOEDA | evidencias] = 22/31

Pesquisa de opinião

100 habitantes 10 consultados: 6 S e 4 N número de habitantes a

favor

Pesquisa de opinião P[] = 1/101 = 0, 1, 2, … , 100 X S S S S S S N N N N P[X|] = …(-5).(100-)…(97-)/100.99…..91

P[ | dados] C(10,4) . P[X|] . 1/101P[ | dados] P[X|]

Pesquisa de opiniãoposteriori

0

0.0002

0.0004

0.0006

0.0008

0.001

0.0012

0.0014

0 20 40 60 80 100 120

População selvagem peixes num lago 60 recolhidos e marcados com M 100 recolhidos: 10 M e 90 sem

M

Estimativa por regra de três

= 600 peixes !

População selvagem P[] uniforme em 100, 101, … , 104

X = 10 M e 90 sem M P[X| , 60] = 60 … 51 (-60)…(-149)

/ .(-1). … . (-99)P[ | X, 60] C(100,10).P[X| , 60].

P[]

P[ | X, 60] P[X| , 60]

População selvagem

posteriori

0 500 1000 1500 2000 2500

Distribuição conjunta

p(x1,x2) = p(x2|x1).p(x1)

p(x1,x2,x3) = p(x3|x2,x1).p(x2|x1).p(x1)

p(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|x1,…,xn-1)

representação exponencial

Independência

variáveis independentes

p(x1,…,xn) = p(x1).p(x2). … . p(xn)

representação linear

Propriedade Markoviana Observações ao longo do tempo

x1, … , xn são informativos para xn+1

Memória curtap(xn+1| x1, … , xn) = p(xn+1| xn)

O futuro , dado o presente, independe do passado

Propriedade Markoviana

Conjunta é reduzida

p(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|xn-1)

Subcadeiap(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|xn-1) Marginal

p(x1,…,xn-1)Xn p(x1,…,xn)

p(x1).p(x2|x1). … . p(xn|xn-1).Xn p(xn|xn-1)p(x1).p(x2|x1). … . p(xn|xn-1)

Subcadeia

k = 1, … , n

p(x1,…,xk) = p(x1).p(x2|x1). … . p(xk|xk-1)

Reversibilidade

A cadeia é reversível

p(x1,…,xn) = p(x1).p(x2|x1). … . p(xn|xn-1)

Reversibilidade

A cadeia é reversível

p(x1,…,xn) = p(xn).p(xn-1|xn). … . p(x1|x2)

Reversibilidadep(x1, x2)

p(x1).p(x2|x1)p(x2).p(x2|x2)

p(x1, x2) = p(x2).p(x2|x2)

Reversibilidadep(x1,…,xn)

p(x1).p(x2|x1). … . p(xn|xn-1).p(xn|xn-1)p(x1,…,xn-1).p(xn|xn-1)

p(xn).p(xn-1|xn). … . p(x1|x2).p(xn|xn-1)p(xn|xn-1).p(xn).p(xn-1|xn). … . p(x1|x2)p(xn|xn-1).p(xn).p(xn-1|xn). … . p(x1|x2)

p(xn,xn-1).p(xn-1|xn). … . p(x1|x2)p(xn).p(xn-1|xn).p(xn-1|xn). … . p(x1|x2)