条件付確率・独立性期待値と分散中心極限定理

2007.05.22 期待値と平均を追加2007.05.22 中心極限定理グラフ追加2008.06.24 グラフ追加2012.06.12 条件付き確率の値修正2012.07.09 一様分布の期待値追加

条件付確率 (conditional prob.)

� 事象 A が起きたという条件の下で事象 B が起きる確率を考える

� 例　女性で身長が１７０ｃｍ以上)Pr(

)Pr()|Pr(

A

BAAB

∩=

0082.0485.0

003976.0

)Pr(

)170.0Pr()|170.0Pr(

==

≥=≥

　　　　　　　　　　

女性　かつ　女性身長女性身長

A

B

独立事象

� 条件付確率が条件に無関係のとき2 つの事象は独立という

)Pr()Pr()Pr(

)Pr()Pr(

)Pr()|Pr(

)Pr()|Pr(

BABA

BA

BAAB

BAB

=∩

=∩=

=

条件付分布

� X=x という条件の下での Y の分布

)|()(

)|()(),(

)(

),()|(

)Pr(

)Pr(

)|Pr()|(

yxfyg

xygxfyxh

xf

yxhxyg

xX

xXandyY

xXyYxyG

==

=

==<=

=<=

　　　　

　　　　　　

確率変数の独立性

� 2 つの確率変数 X, Y が独立� 分布関数

� 密度関数

)()(),(

)()(

)Pr()Pr(

),Pr(),(

ygxfyxh

yGxF

yYxX

yYxXyxH

=

=<<=

<<=

　　　　　　　　

期待値 (Expectation)

� データの平均（代表値、どんな値）

� 確率変数（分布）の期待値（どんな値）n

xxxx

xxx

n

n

+++=

21

21

:mean

,,,:data

kk

k

k

papapaXE

ppp

aaa

+++=

2211

21

21

)(:

,,,:

,,,:

平均

各値の確率取り得る値

確率分布　　　　度数分布表

値 確率

a1 p1

a2 p2

ak pk

合計 1.00

階級 階級値 相対度数

a0~a1 m1 f1

a1~a2 m2 f2

ak-1~ak mk fk

合計 1.00

kk

kk

fmfmfmx

papapaXE

+++=+++=

2211

2211)(

　　

確率分布　　　　度数分布表

値 確率

a1 p1a2 p2

ak pk合計 1.00

階級 階級値 相対度数

a0~a1 m1 f1a1~a2 m2 f2

ak-1~ak mk fk合計 1.00

kk

kk

fmfmfmx

papapaXE

+++=+++=

2211

2211)(

　　

　　確率分布　　度数分布表（離散型）値 確率a1 p1a2 p2

ak pk合計 1.00

データ 度数 相対度数x1 f1 f'1x2 f2 f'2

xk fk f'k合計 n 1.00

kk

kk

kk

kk

papapaXE

fxfxfx

n

fx

n

fx

n

fx

nfxfxfxx

+++=+++=

+++=

+++=

2211

''22

'11

22

11

2211

)(

/)(

　　　

　　　

　　

　　度数分布表（連続型データ）階級 階級値 度数 相対度数a0~a1 m1 f1 f'1a1~a2 m2 f2 f'2

ak-1~ak mk fk f'k合計 n 1.00

kk

kk

kk

kk

papapaXE

fmfmfm

n

fm

n

fm

n

fm

nfmfmfmx

+++=+++=

+++=

+++=

2211

''22

'11

22

11

2211

)(

/)(

　　　

　　　

　　

データ 度数 相対度数

x1 f1 f'1

x2 f2 f'2

xk fk f'k

合計 n 1.00

kk

kk

kk

kk

papapaXE

fxfxfx

n

fx

n

fx

n

fx

nfxfxfxx

+++=+++=

+++=

+++=

2211

''22

'11

22

11

2211

)(

/)(

　　　

　　　

　　

連続型分布の期待値

a0 a1 a2 ai−1 ai ak

小区間 中点 確率 近似確率

a0~a1 m1 p1 p'1a1~a2 m2 p2 p'2

ak-1~ak mk pk p'k合計 1.00

小長方形の面積　　

の間の値を取る確率小区間

==−≈

=

−

−

∫−

'))((

)(

],[

1

1

1

iiii

a

ai

ii

paamf

dxxfp

aai

i

∫

∑

→

−=

−++−+−=

+++=

=−

∞→

−∞→

∞→

b

a

k

iiiii

k

kkkkk

kkk

dxxxf

aamfm

aamfmaamfmaamfm

pmpmpm

XE

)(

))((

)})(())(())(({

}'''{

)(

11

122220111

2211

lim

lim

lim

期待値

22

2

22

2

)}({)(

)()}({

)}({)())(()(

)}({)(

)()())((

)()(

)(

)(

XEXE

dxxfXEx

XExxXEXEXV

XExxX

dxxfxXE

dxxfxXE

X

Xxf

X

−=

−=

−=−=−=

=

=

∫

∫∫

∞

∞−

∞

∞−

∞

∞−

　　　　　

　　　　　

　　　　　の期待値の分散：

　　

　　　

平均の期待値

の密度関数　　　　　確率変数

ϕϕ

ϕϕ

離散型の場合は積分の代わりに和 (Σ)を使う

次の宝くじの期待金額を求めよう

等 x 確率 当選金φ(x)

１ 1/1000 10,000２ 1/100 5,000３ 1/10 1004 889/1000 0

7001050101000

8890

10

1100

100

1000,5

1000

1000,10

1000

889)4(

10

1)3(

100

1)2(

1000

1)1(

))((

)(

=+++

×+×+×+×=

×+×+×+×=

　　　　　＝

の期待値期待金額　　

ϕϕϕϕ

ϕϕ

XE

X

877.31000

38771000

8894

10

3

100

2

1000

11000

8894

10

13

100

12

1000

11

)(

==

×+++=

×+×+×+×=

XE

Xの期待値

期待値と分散

22

2

22

2

)}({)(

)()}({

)}({)())(()(

)}({)(

)()())((

)()(

)(

)(

XEXE

dxxfXEx

XExxXEXEXV

XExxX

dxxfxXE

dxxfxXE

X

Xxf

X

−=

−=

−=−=−=

=

=

∫

∫∫

∞

∞−

∞

∞−

∞

∞−

　　　　　

　　　　　

　　　　　の期待値の分散：

　　

　　　

平均の期待値

の密度関数　　　　　確率変数

ϕϕ

ϕϕ

離散型の場合は積分の代わりに和 (Σ)を使う

二項分布の期待値

pn

ppyny

npn

pppxnx

nn

ppxnx

n

ppxnx

nx

ppCxpxXE

pnBiX

n

y

yny

n

x

xnx

n

x

xnx

n

x

xnx

n

x

xnxxn

n

xx

=

−−−

−=

−−−−−

−=

−−−

=

−−

=

−==

∑

∑

∑

∑

∑∑

−

=

−−

=

−−−−

=

−

=

−

=

−

=

　　　

　　　

　　　

　　　

　　　

1

0

)1(

1

)1()1()1(

1

0

00

)1()!1(!

)!1(

)1())!1(1()!1(

)!1(

)1()!()!1(

!

)1()!(!

!

)1()(

),(~

一様分布の期待値 区間 [0, 1] の一様分布 密度関数 f(x)

≤≤

=その他0

101)(

xxf

2

1

2

010

010

)()()(

)(

)(

1

0

21

0

1

0

1

1

0

0

1

1

0

0

=

==

+×+=

×+×+×=

++=

=

=

∞

∞−

∞

∞−

∞

∞−

∫

∫

∫∫∫

∫∫∫

∫

x

xxdx

dxx

dxxdxxdxx

dxxxfdxxxfdxxxf

dxxxf

XE

主な分布の期待と分散

2

2

2

)(,)(

),(~

12/)()(,2/)()(

),(~

)(,)(

)(~

)(,)(

),(~

σµσµ

λλλ

==

−=+=

==

==

XVXE

NX

abXVbaXE

baUX

XVXE

PoX

npqXVnpXE

pnBiX

　　　　　

　　　　

　　　　

　　　　

期待値と分散の性質

)()()(

)()()(

)(

)())(()()}(({

)()}(){(

)()(

)(

)()()()(

)()(

2

222

2

2

YVXVYXVYX

YEXEYXE

XVa

dxxfXExadxxfXExa

dxxfbaXEbax

XVabaXV

bxaE

dxxfbdxxxfadxxfbax

bXaEbaXE

+=+⇒⊥+=+

=

−=−=

+−+

=++=

+=+

+=+

∫ ∫∫

∫∫ ∫

　　

　　

　　

　　　　　　　　　　　　

　　

独立、同一分布に従う和の分布

nnXV

nX

nVXV

nXE

nX

nEXE

Xn

X

XVXE

iidXXX

n

i

n

ii

n

ii

n

i

n

ii

n

ii

n

ii

ii

n

2

1

22

1

2

1

111

1

2

21

)1()()

1()

1()(

1)(

1)

1()(

1

)(,)(

,,,

σσ

µµ

σµ

∑∑∑

∑∑∑

∑

===

===

=

====

====

=⇒

==

　　

　　

　　の期待値と分散

　　　

正規分布の再生成

),(~

),,(~

),(~

22

221

221

222

211

σσµµ

σµσµ

babaNbYaXZ

YXNY

NX

+++==>

⊥

)1,0(~/

)/,(~1

),(~,,,

2

2

1

221

Nn

XZ

nNXn

X

NXXX

n

ii

n

σµ

σµ

σµ

−=

= ∑=

中心極限定理 Central Limit Theorem

� X1, X2, ..., Xn は同じ分布 F(x) に従い独立� 　　 E(X)=μ 　　　　　平均存在� 　　 Var(X)=σ2 　　　分散存在

� 　　　 =ΣXi/n の分布は n->∞ のとき　

　　　　　 N(μ,σ2/n) に収束

� 実用的には n≧25

X

一様分布の場合

� X が区間 [0, 1] の一様分布　 E(X)=1/2, Var(X)=1/12

n=2 n=3

その他

　　　　　

　の

その他　　　　

　の

その他　　　

　　の　

0

322/)3(

212/33

10

)(

pdf

0

212

10

)(

pdf

0

101)(

pdf

]1,0[~

2

2

2

3

321

2

21

1

1

i

{

{

{

<<−<<−+−<<

=

++=

<<−<<

=

+=

<<=

=

zz

zzz

zz

xu

XXXZ

zz

zz

xu

XXZ

xxu

XZ

UX

n= 1

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-2 -1 0 1 2

0.00

0.20

n= 2

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-2 -1 0 1 2

0.0

0.2

n= 3

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.0

0.2

n= 4

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.0

0.2

0.4

n= 5

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.0

0.2

0.4

n= 6

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.00

0.20

n= 7

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.0

0.2

0.4

n= 8

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.00

0.20

n= 9

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.0

0.2

0.4

n= 10

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 1 2 3

0.0

0.2

n= 11

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2

0.0

0.2

0.4

n= 12

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-4 -2 0 1 2 3

0.0

0.2

0.4

n= 13

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-2 0 2 4

0.0

0.2

0.4

n= 14

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 1 2 3

0.0

0.2

0.4

n= 15

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-2 0 1 2 3

0.0

0.2

n= 16

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-4 -2 0 1 2 3

0.0

0.2

0.4

n= 17

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.0

0.2

0.4

n= 18

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 1 2 3

0.0

0.2

n= 19

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 1 2 3

0.0

0.2

0.4

n= 20

(apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5) * sqrt(12 * i)

Den

sity

-3 -1 0 1 2 3

0.0

0.2

0.4

N = 1

scale(data)

De

nsity

-4 -2 0 2 4

0.0

0.1

0.2

0.3

0.4

0.5

N = 2

scale(data)

De

nsity

-4 -2 0 2 4

0.0

0.1

0.2

0.3

0.4

0.5

N = 3

scale(data)

De

nsi

ty

-4 -2 0 2 4

0.0

0.1

0.2

0.3

0.4

0.5

N = 4

scale(data)

De

nsity

-4 -2 0 2 4

0.0

0.1

0.2

0.3

0.4

0.5