statlearn probmodels ELTE 2017davidnagy.web.elte.hu/eloadas/kiseloadas/statlearn_probmodels_ELTE...elméleti Introduction Knowledge representation Probabilistic models Bayesian behaviour

Nagy Dávid

Probabilisztikus modellek

Statisztikai tanulás az idegrendszerben, 2019

Nagy Dávid

elméleti

Introduction Knowledge representation Probabilistic models Bayesian behaviour Approximate inference I (computer lab) Vision I Approximate inference II: Sampling Measuring priors Neural representation of probabilities Structure learning Vision II Decision making and reinforcement learning

valószínűségi kalkulus

megfazas kohoges valoszınuseg

1 0 0.011 1 0.040 0 0.8550 1 0.095

jelölések

valószínűségi változók

valószínűségi változók lehetséges értékei

M K P

1 0 0.011 1 0.040 0 0.8550 1 0.095

jelölések

M K P

m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095

jelölések

jelölések

M K P

m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095

P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04

P (M,K) =

P (m ^ k) = P (m, k) = 0.04

P (M = m,K = k) = P (m, k) 6= P (M,K)

M K P

m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095

jelölések

P (M,K) =

P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04P (m ^ k) = P (m, k) = 0.04

MK

P

m¬k

0.01

mk

0.04

¬m¬k

0.85

5¬m

k0.09

5

MK

P

m¬k

0.01

mk

0.04

¬m¬k

0.85

5¬m

k0.09

5

P (M,K) =

MK

P

m¬k

0.01

mk

0.04

¬m¬k

0.85

5¬m

k0.09

5

P (M,K) =

probability mass function

• az igazságtáblázatot függvényként reprezentáljuk

MK

P

m¬k

0.01

mk

0.04

¬m¬k

0.85

5¬m

k0.09

5

P (M,K) =

• ö

• s

összegszabály

szorzatszabály

valószínűségszámítás

M K P

m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095

M P

m 0.05¬m 0.95

összegszabály

összegszabály

P(“esik a hó”)

P(“esik a hó és süt a nap”) vagy

P(“esik a hó és nem süt a nap”)

marginális valószínűség, “vagy”-szabály

P (x) =X

y02YP (x, y0)

P (k) = P (k,m) + P (k,¬m)

• ö

• s

összegszabály

szorzatszabály


szorzatszabályP (m, k) = P (m)P (k|m)

lánc-szabály, “és”-szabály

P(“esik a hó”) és P(“süt a nap ha esik a hó”)

P(“esik a hó és süt a nap”)

P (m, k)

P (m)= P (m|k)

P (m, k)

P (m)= P (m|k)P (m, k)

P (m)= P (m|k)P (m, k) = P (m)P (k|m)

szorzatszabály

P (m, k)

P (m)= P (m|k)

P (m, k)

P (m)= P (m|k)P (m, k)

P (m)= P (m|k)P (m, k) = P (m)P (k|m)

szorzatszabály

P (m, k)

P (m)= P (m|k)

P (m, k)

P (m)= P (m|k)P (m, k)

P (m)= P (m|k)P (m, k) = P (m)P (k|m)

szorzatszabály

M K P

m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095

P (m, k)

P (m)= P (m|k)

P (m, k)

P (m)= P (m|k)P (m, k)

P (m)= P (m|k)P (m, k) = P (m)P (k|m)

}XP (·) = 1

P (m,¬k) + P (m, k)

const= 1

const = P (m)

szorzatszabály


P (x) =X

y02YP (x, y0)

P (x, y) = P (x|y)P (y)

P (X,Y )

probabilisztikus modell

P (x, y)

P (y)= P (x|y)feltételes valószínűség

P (y|x)P (x)

P (y)= P (x|y)Bayes szabály

P (D,G|H, I) =


PA,B,C,E,F P (A,B,C,D,E, F,G,H, I)

PA,B,C,E,F,D,G P (A,B,C,D,E, F,G,H, I)

P (D,G|H, I) =

P (A,B,C,D,E, F,G,H, I)

joint distribution

P (D,G,H, I)

P (H, I)(feltételes valószínűség)?

mintavételezés• egy adott probabilisztikus modellhez készíthető* mintavételező

gép • kimenetei (minták) lehetséges események • az események relatív gyakoriságai tartanak a

valószínűségeikhez • különböző trükökkel lehet mintát venni külön a változókból

(marginális eloszlásból) vagy a feltételes eloszlásokból is

M K P

m ¬k 0.01m k 0.04¬m ¬k 0.855¬m k 0.095

P (M,K) =

• nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög • nem fázott meg és nem köhög

0

0,125

0,25

0,375

0,5

0 1 2 3

P (n) =

✓3

n

◆0.3n0.73�n

a = flip(0.3)b = flip(0.3)c = flip(0.3)a + b + c

1012

0000

0011

mintavételezés(sampling) eloszlás

probabilisztikus program

nagy számok törvénye

Nn(E)

n! p as n ! 1

<latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit><latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit><latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit><latexit sha1_base64="EywZ/ufgTuON4At0abOvtOP8AeU=">AAACE3icbVDLSsNAFJ34rPVVdelmsAjVRUlE0GVRBFdSwT6gCWUynbRDJ5MwcyOWkH9w46+4caGIWzfu/BunbRbaemDgcM693DnHjwXXYNvf1sLi0vLKamGtuL6xubVd2tlt6ihRlDVoJCLV9olmgkvWAA6CtWPFSOgL1vKHl2O/dc+U5pG8g1HMvJD0JQ84JWCkbunYDRSh6U1XVq6OslRmLkQ4doE9QIqJxpk0gstlAKNuqWxX7QnwPHFyUkY56t3Sl9uLaBIyCVQQrTuOHYOXEgWcCpYV3USzmNAh6bOOoZKETHvpJFOGD43Sw0GkzJOAJ+rvjZSEWo9C30yGBAZ61huL/3mdBIJzL+UyToBJOj0UJAKb3OOCcI8rRkGMDCFUcfNXTAfElASmxqIpwZmNPE+aJ1XH8NvTcu0ir6OA9tEBqiAHnaEaukZ11EAUPaJn9IrerCfrxXq3PqajC1a+s4f+wPr8AXN1noU=</latexit>

(Borel féle)

• Ha E esemény, • az E esemény valószínűsége p, • Nn(E) esemény bekövetkezéseinek

száma n mintában, • Akkor 1 valószínűséggel

problémaMi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas?

P (X = 1.7) = 0

P (X = 1.737894613982395) = 0

pmf(x)

x

probléma

x1.5 2

Mi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas?

P (X = 1.7) = 0

P (X = 1.737894613982395) = 0

pdf(x)

probability density function

sűrűségfüggvény

Z b

apX(x) dx = P (a X b)

<latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit><latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit><latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit><latexit sha1_base64="uvi8a7Ne5pnEHDup6HrTVxLxe/k=">AAACEnicbZBPS8MwGMZT/875r+rRS3AIG8hoRdCLMPTicYLbCmstaZpuYWlaklQ2xj6DF7+KFw+KePXkzW9j1vWgmy8k/Hie9yV5nyBlVCrL+jaWlldW19ZLG+XNre2dXXNvvy2TTGDSwglLhBMgSRjlpKWoYsRJBUFxwEgnGFxP/c4DEZIm/E6NUuLFqMdpRDFSWvLNmku58tF9AFPfqQ5r0D2B4RBewiasIugyAp38Dmq+WbHqVl5wEewCKqCopm9+uWGCs5hwhRmSsmtbqfLGSCiKGZmU3UySFOEB6pGuRo5iIr1xvtIEHmslhFEi9OEK5urviTGKpRzFge6MkerLeW8q/ud1MxVdeGPK00wRjmcPRRmDKoHTfGBIBcGKjTQgLKj+K8R9JBBWOsWyDsGeX3kR2qd1W/PtWaVxVcRRAofgCFSBDc5BA9yAJmgBDB7BM3gFb8aT8WK8Gx+z1iWjmDkAf8r4/AG8KppT</latexit>

mintavételezés

mintavételezés

mit jelölünk P-vel?

pdf(x) =X

i

pmf(xi) �(x� xi)

pmf pdf

Mindent.

P (x) =X

y02YP (x, y0)

P (x, y) = P (x|y)P (y)


P (X,Y )


P (x, y) = P (x|y)P (y)


P (X,Y )


P (x) =

Z

YP (x, y) dy

X

y

!Z

dy

P (x, y) = P (x|y)P (y)


P (x, y)

P (y)= P (x|y)

P (y|x)P (x)

P (y)= P (x|y)

P (X,Y )


feltételes valószínűség

Bayes szabály

P (x) =

Z

YP (x, y) dy

összefoglalás• ismerjük a valószínűségi kalkulus két szabályát, a szorzatszabályt és

az összegszabályt • tudjuk mit jelent mintákat venni egy eloszlásból (sampling) • ezeket ki tudjuk terjeszteni folytonosan sok értékű változókra • a valószínűségszámításban már mindent* tudunk, most már csak

kényelmi** fogalmakat vezetünk be • * : azért nem mindent, mert ha (a valós számokhoz hasonlóan)

más matematikai objektumokra is ki szeretnénk terjeszteni (pl val. változók amelyeknek a lehetséges értékei is valószínűségi eloszlások vagy végtelen sok val. változó), az nem mindig triviális.

• mértékelmélet • ** : néha a kényelmi megoldások teszik lehetővé hogy

praktikusan is ki lehessen számolni valamit, ne csak elméletben (exponenciális komplexitás)

függetlenség

ha megtudjuk hogy “y”, az semmit nem változtat “x” valószínűségén • az előbb 4-est dobtunk. Mit fogunk most dobni?

x ? y

P (d1|d2)P (d2) = P (d1)P (d2)

P (d1 + d2|d2)P (d2) 6= P (d1 + d2)P (d2)

• az előbb 4-es dobtunk, most dobunk mégegyet, mi lesz a kettő összege?

p(x, y) = p(x)p(y)

p(x|y) = p(x)

ha már tudjuk hogy “z”, és megtudjuk hogy “y”, az semmit nem változtat “x” valószínűségén

• képeket nézek, a kérdés hogy fogok-e látni snowboardosokat. Számít hogy látok-e sífelvonókat?

feltételes függetlenség

• Ha tudjuk hogy síterepen készült képeket nézünk akkor is számít hogy látok-e sífelvonókat?

x ? y | z

• a függetlenség és a feltételes függetlenség nem implikálják egymást, erre majd látunk több példát

p(x|y, z) = p(x|z)p(x, y|z) = p(x|z)p(y|z)

irányított grafikus modellek

propozicionális logika

elsőrendű logika

λ-kalkulus

igazságtáblázat joint probability table

UTMprobabilisztikus programnyelvek

i. grafikus modell

univerzalitás

X1 ? X3, X4 | X2

P (X1, X2, X3, X4) = P (X1|X2, X3, X4) P (X2|X3, X4) P (X3|X4) P (X4)


X2 ? X4 | X3

X3 ? X4

= P (X1|X2) P (X2|X3)P (X3)P (X4)

X4 X3

X2

X1

P (X1, X2, ..., Xn) =nY

i

P (Xi | Parent(Xi))

lánc-szabály


= P (X1|X2) P (X2|X3)P (X3)P (X4)

X4 X3

X2

X1

P (X1, X2, ..., Xn) =nY

i

P (Xi | Parent(Xi))

grafikus modellek• az eloszlás faktorizálódik a gráf szerint • a gráf az eloszlás függetlenségi struktúráját kódolja

• a függetlenségi relációk leolvashatóak a gráfról

• hogyan?

hatásterjedés

ZH pont

Nehéz Intell.

Felv. pont

ZH jegy

hatásterjedés

nehez = sample(p(nehez))

intell = sample(p(intell))

pont = sample(p(pont | nehez, intell))

felv = sample(p(felv | intell))

jegy = sample(p(jegy | pont))

Nehéz

ZH pont

tud terjedni hatás?

hatásterjedés

Nehéz

ZH pont

hatásterjedés

igen

ZH pont

Nehéz

ZH jegy


hatásterjedés

Nehéz

ZH pont

ZH jegy

hatásterjedés

igen

ZH pont

ZH jegy

Nehéz

megfigyelt változó


hatásterjedés

ZH pont

ZH jegy

Nehéz

nem

hatásterjedés

Nehéz Intell.

ZH pont

Felv. pont

ZH jegy

hatásterjedés


Nehéz Intell.

ZH pont

Felv. pont

ZH jegy

hatásterjedés

igen

Nehéz

ZH pont

Felv. pont

ZH jegy

Intell.

hatásterjedés


Nehéz Intell.

ZH pont

Felv. pont

ZH jegy

hatásterjedés

nem

Nehéz Intell.

ZH pont

Felv. pont

ZH jegy

hatásterjedés


ZH pont

Felv. pont

ZH jegy

Nehéz Intell.

hatásterjedés

nem

Nehéz

ZH pont

Felv. pont

ZH jegy

Intell.


hatásterjedés (explaining away)

Nehéz

ZH pont

Felv. pont

ZH jegy

Intell.

hatásterjedés (explaining away)

igen

Valamivel meg kell magyarázni a magas pontszámot: ha azt mondom hogy maximális pontszámot kaptam, azt gondolhatjátok hogy okos vagyok. De ha kiderül hogy nagyon könnyű volt, akkor kevésbé gondoljátok ezt.

ZH pont

Felv. pont

Nehéz Intell.

ZH jegy

hatásterjedés


Nehéz Intell.

ZH pont

Felv. pont

ZH jegy

hatásterjedés

igen

d-szeparáció tétel• az előbbi kis gráfokból összekombinálható az összes lehetséges

függőségi reláció

• azt akarjuk leolvasni hogy u és v változók függetlenek-e különböző m megfigyelések mellett

• u és v között minden lehetséges útra ellenőrizzük hogy blokkolva van-e, feltéve hogy megfigyeljük m-et

• ha minden út blokkolva van, akkor függetlenek (feltéve m)

v

u

m

v

u

m

vu

m

vu

m

vu

m

vu

m

vu

m

d

d-szeparáció

v

um

nem juthat át hatás

Markov takaró

8Y : X ? Y | MB(X)

Y

X• szülők • gyerekek • gyerekek szülei

plate notation

grafikus modell építés

Nehéz Intell.

ZH pont

Felv. pont

ZH jegy

házi feladat

P (I) = N (I|µint,�int)

µint �int

Zmax

P (Z) = Binomial(Z|Zmax, sig(I �N))

µ �

P (N) = N (N |µ,�)

I �N

nehez = normal(mu,sigma)

intell = normal(mu_i,sigma_i)

pont = binomial(z_max,sig(intell-nehez))

felv = binomial(z_max2,sig(intell))

jegy = bin(pont,5)

grafikus modell építés

összefoglalás

• tudjuk mit jelent a függetlenség probabilisztikus modellekben

• az irányított grafikus modellek az eloszlás függetlenségi struktúráját jelenítik meg

• a gráf a teljes eloszlás egy faktorizációját adja meg, amelynek segítségével kevesebb számmal is meg lehet adni az eloszlást

• ezt kihasználva hatékonyabb inferencia algoritmusokat lehet kitalálni

• a gráfról a függetlenségi relációkat a d-szeparáció tétel alapján le tudjuk olvasni

• a grafikus modell abban is segít hogy egy intuitívan ismert rendszerből probabilisztikus modellt tudjunk felírni

bayes-i inferencia

mi az amit megfigyelünk?• fotonok becsapódása • levegő gyors rezgései • hőmérséklet ingadozása • bizonyos molekulák

mire vagyunk kíváncsiak?• milyen tárgyak vannak körülöttem • milyen messze • kik vannak körülöttem • mire gondolnak • mik a fizika törvényei

inferencia

ff

ff } generatív folyamat

ff

} generatív folyamat

f

f-1

}}inverz

inferencia

generatív folyamat

P (o|h)

P (h|o)

P (o|h)

P (h|o)

ha ilyen lenne a világ akkor mit figyelnénk meg?

P (o|h)

P (h|o)


ha ezt figyeljük meg akkor milyen a világ?

P (o|h)

P (h|o)

• forward probability • generatív irány • prediktív irány • “szimulátor”



P (o|h)

P (h|o)

• forward probability • generatív irány • prediktív irány • “szimulátor”

• inverse probability • Bayes-i inferencia • modell inverzió



P (h|o) = P (o|h)P (h)

P (o)

P (o|h)

P (h|o) = P (o|h)P (h)

P (o)

}prior

P (h|o) = P (o|h)P (h)

P (o)

likelihood} }prior

P (h|o) = P (o|h)P (h)

P (o)

likelihood} }prior}posterior

P (h|o) = P (o|h)P (h)

P (o)


}evidence


P (h|o) = P (o|h)P (h)RP (o|h)P (h)dh


P (h|o) / P (o|h)P (h)


P (h|o) / P (o|h)P (h)

megfordítottuk a generatív modellt


P (h|o) / P (o|h)P (h)

megfordítottuk a generatív modellt

miért kell a prior?

tünet

betegség

f

f-1

betegség

miért köhögök?

P (illness|symptom) / P (symptom|illness)P (illness)

meg

fázá

s tb

kézt

örés

milyen gyakori a ?

megfázás

tb

kéztörés


meg

fázá

s tb

kézt

örés

ha lenne a betegség attól köhögnék?

megfázás

tb

kéztörés


meg

fázá

s tb

kézt

örés

meg

fázá

s tb

kézt

örés

meg

fázá

s tb

kézt

örés

valószínűleg megfáztam


meg

fázá

s tb

kézt

örés

3D - 2D

f = bPXY

X

Y

Z

f = bPXY nem injektív

f�1

X

Y

Z

nem egyértelmű

hipotézis tér: minden lehetséges 3D drótváz

image data

hipotézisek amelyekre magas a prior


image data


hipotézisek amelyekre nem 0 a likelihood


image data


hipotézisek amelyekre nem 0 a likelihood

posterior


[Kul

karn

i et a

l 201

4]

színek

hány foton?

szén v. hó

megvilágítás elnyelési görbe (anyag)

spektrális eloszlás


spektrális eloszláslátósejtek érzékenysége

3 szám


spektrális eloszláslátósejtek érzékenysége

3 szám

anyag?

beszédfelismerés

P (sound) ! P (word | sound)<latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit><latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit><latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit><latexit sha1_base64="ctucsgL1WbuAFK/FJFtzS1QaY6Y=">AAACB3icbVBLSwMxGMzWV62vVY+CBItQoZRdEfRY9OJxBfuA7lKy2Wwbmk2WJKuU2psX/4oXD4p49S9489+YtnvQ1oHAMPN9SWbClFGlHefbKiwtr6yuFddLG5tb2zv27l5TiUxi0sCCCdkOkSKMctLQVDPSTiVBSchIKxxcTfzWHZGKCn6rhykJEtTjNKYYaSN17UOvYu7i0Qn0tYBe5V7IyK8++NWZ2rXLTs2ZAi4SNydlkMPr2l9+JHCWEK4xQ0p1XCfVwQhJTTEj45KfKZIiPEA90jGUo4SoYDTNMYbHRolgLKQ5XMOp+ntjhBKlhkloJhOk+2rem4j/eZ1MxxfBiPI004Tj2UNxxqCJPCkFRlQSrNnQEIQlNX+FuI8kwtpUVzIluPORF0nztOYafnNWrl/mdRTBATgCFeCCc1AH18ADDYDBI3gGr+DNerJerHfrYzZasPKdffAH1ucPIcOYMg==</latexit>

m

P( j | m )

Szövegértelmezés

“A lány meglátta a fiút a távcsővel”

j1 j2

Szövegértelmezés

-“Elnézést, kártyával lehet fizetni?” -“Persze”

-“Elnézést, kártyával lehet fizetni?” -“Persze” -“Egy ászból és királyból tud visszaadni?”

-“Elnézést, kártyával lehet fizetni?” -“Persze” -“Egy ászból és királyból tud visszaadni?”

humor = téves inferencia felfedezése?

[Hurley et al 2011]

• a látótér határai nem látszanak

• csak középen látunk élesen (fovea)

• vakfolt • a szakkádoktól nem

rázkódik a világ

összefoglalás

• ami érdekel az általában közvetlenül nem megfigyelhető • a rejtett állapotok kikövetkeztetésében segít a tapasztalatokat

generáló folyamat ismerete • ennek megfordítása a likelihood: melyek azok a rejtett

állapotok amelyek összeegyeztethetőek a megfigyelésekkel? • de ez még nem elég, kell prior is hogy feloldja az empirikus

aluldetermináltság problémáját • a kettő szorzata a posterior, ami megadja jelenlegi tudásunkat

a nem megfigyelt változók értékeinek plauzibilitásáról

közelítő inferencia• az adat és egy adott hipotézistér mellett a posterior eloszlások a

legtöbb amit tudunk mondani • viszont ezt sokszor nehéz vagy lehetetlen egzaktul kiszámolni,

ezért közelítésekre kényszerülünk • pontbecslések • sztochasztikus közelítő módszerek (Monte Carlo)

• mintavételezés • aszimptotikusan (végtelen sok ideig futtatva) egzaktak

Monte Carlo

n=50 n=1000

n=10 e. n=1 mil

közelítő inferencia• az adat és egy adott hipotézistér mellett a posterior eloszlások a

legtöbb amit tudunk mondani • viszont ezt sokszor nehéz vagy lehetetlen egzaktul kiszámolni,

ezért közelítésekre kényszerülünk • pontbecslések • sztochasztikus közelítő módszerek (Monte Carlo)

• mintavételezés • aszimptotikusan (végtelen sok ideig futtatva) egzaktak

• determinisztikus közelítő módszerek • pl: variációs Bayes • nem kell végtelen sok idő, de sosem egzakt eredmény

variational bayes

q(z|�) = N (z|�)

p(z|x)

argmin�

KL(q(z|�) || p(z|x))

this we don’t know

eloszlás

pontbecslések

egy szám

post

erio

r

*

*

0.7

0.5

MAP becslés

várható érték

E[X] =

Z

Xx p(x) dx

variancia

V ar[X] = E[(X � E[X])2]

korreláció

Corr[X,Y ] =Cov[X,Y ]

V ar[X] V ar[Y ]

Cov[X,Y ] = E[(X � E[X])(Y � E[Y ])]

pontbecslések

https://www.autodeskresearch.com/publications/samestats

kulcsfogalmak

• valószínűségi kalkulus

• eloszlásfüggvény, marginális eloszlás, feltételes eloszlás

• függetlenség, feltételes függetlenség

• irányított grafikus modell

• mintavételezés (sampling)

• Bayes-i inferencia

• prior, posterior, likelihood

Készíts generatív valószínűségi modellt, ami autógyártók éves bevételének jóslására használható (más témát is választhatsz).

• válaszd ki a fontos változókat • a változók közötti függetlenségi viszonyok alapján rajzolj

grafikus modellt • válassz diszkrét vagy folytonos eloszlásokat a szükséges

marginálisok és kondicionálisok formájául (https://en.wikipedia.org/wiki/List_of_probability_distributions)

• gondolkodj el rajta, hogy mik azok a feltételezések, amiket beleépítettél a modellbe, de sejthetően nem egyeznek a valósággal

1. házi feladat

https://en.wikipedia.org/wiki/List_of_probability_distributions

https://en.wikipedia.org/wiki/List_of_probability_distributions

• x2 és x5 között terjedhet hatás? • hogyan lehetne x1 és x4-et függetlenné tenni?

2. házi feladat

[Kulkarni et al 2014] Kulkarni, Tejas D., et al. "Inverse graphics with probabilistic CAD models." arXiv preprint arXiv:1407.1339 (2014).

referenciák

https://www.youtube.com/watch?v=G-lN8vWm3m0McGurk effect (video)

Hurley, Matthew M., Daniel Clement Dennett, and Reginald B. Adams. Inside jokes: Using humor to reverse-engineer the mind. MIT press, 2011.

[Hurley et al 2011]

Documents

statlearn probmodels ELTE 2017davidnagy.web.elte.hu/eloadas/kiseloadas/statlearn_probmodels_ELTE...elméleti Introduction Knowledge representation Probabilistic models Bayesian behaviour