物理フラクチュオマティクス論 Physical …kazu/PhysicalFluctuo...2008/4/24 物理フラクチュオマティクス論（東北大学） 1 物理フラクチュオマティクス論

2008/4/24 物理フラクチュオマティクス論（東北大学） 1

物理フラクチュオマティクス論Physical Fluctuomatics

第3回確率変数，確率分布，確率密度関数3rd Random variable, probability distribution and probability

density function

東北大学大学院情報科学研究科応用情報科学専攻田中和之(Kazuyuki Tanaka)[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/


確率の基礎知識

a. 事象と確率b. 結合確率と条件付き確率c. ベイズの公式と事前確率，事後確率d. 離散確率変数と確率分布e. 連続確率変数と確率密度関数f. 期待値，分散，共分散g. 一様分布h. ガウス分布

前回

今回


確率と確率変数

各事象に番号を割り当て，その番号に対する変数を導入する．この変数を確率変数(Random Variable)という．

「奇数の目がでる」という事象に「X=1」

という等式を対応させることができる．


確率と確率変数

標本空間から構成されたすべての事象 A に実数値X(A) を１対１対応させる写像を考える．この写像 X(A) を事象 A の確率変数 (Random Variable) という．通常, 確率変数 X(A) は A を省略し，単に X と表される．

確率変数 X が実数値 x をとる事象 X=x の確率をPr{X=x} と表す．このとき x をその確率変数の実現値または状態 (State)という．起こりうる状態の集合を状態空間 (State Space)という．

２つの事象X=x および X=x’ が互いに排反であるとき状態 x と状態 x’ は互いに排反であるという．


離散確率変数と連続確率変数

離散確率変数 (Discrete Random Variable): 離散的な状態空間をもつ確率変数

例：{x1,x2,…,xM}

連続確率変数 (Continuous Random Variable): 連続的な状態空間をもつ確率変数

例：(−∞,+∞)


離散確率変数と確率分布

{ } ( ) ( )MxxxxxPxX ,,, Pr 21 L===

すべて事象 X=x1, X=x2,…, X=xM の起こる確率が変数 x の関数 P(x) を用いて

と表されるとき, P(x) を確率変数 X の確率分布 (Probability Distribution) ，x を状態変数 (State Variable) という．

標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表され，確率変数 X がM個の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi(i=1,2,…,M) により定義されるとき

確率変数状態変数状態


離散確率変数の確率分布の性質

( ) ( )MixP i ,,2,1 10 L=≤≤

( )∑=

=M

iixP

11

いずれも確率の公理１，２，３から導かれる．

規格化条件(Normalization Condition)


離散確率変数の期待値と分散

[ ] ( )∑=

==M

iii xPxXE

1μ

確率変数 X の期待値 (Expected Value，平均: Average)μ

[ ] ( ) ( )∑=

−==M

iii xPxXV

1

22 μσ

確率変数 X の分散 (Variance) σ2

σ：標準偏差 (Standard Deviation)


離散確率変数の結合確率分布

{ } ( )yxPyYxX ,,Pr ===

２種類の確率変数 X, Y に対して，事象 X=x と事象 Y=y 結合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}= Pr{X=x,Y=y} が関数 P(x,y) を用いて

と表されるとき, P(x,y) を確率変数 X と Y の結合確率分布 (Joint Probability Distribution) という．

確率ベクトル変数⎟⎟⎠

⎞⎜⎜⎝

⎛YX

状態ベクトル変数⎟⎟⎠

⎞⎜⎜⎝

⎛yx


離散確率変数の周辺確率分布

( ) ( )∑=

=M

iiY yxPyP

1,確率変数 Y の

周辺確率分布(Marginal Probability Distribution)

標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によってΩ=A1∪A2∪…∪AM と表され，離散確率変数 X がM 個の実数値x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義さ

れるとき

( ) ( )∑=x

Y yxPyP ,

状態空間における互いに排反な取り得るすべての状態 x についての和

簡略表記

1),( =∑∑x y

yxP 規格化条件(Normalization Condition)


離散確率変数の周辺確率分布

( ) ( )∑∑∑=x z u

Y uzyxPyP ,,,

確率変数 Y の周辺確率分布 (Marginal Probability Distribution)

XX YY

ZZ UU周辺化(Marginalize)

より高次元への拡張


離散確率変数の独立性

確率変数 X と Y が互いに独立である：

( ) ( ) ( )yPxPyxP 21, =

確率変数 X と Yの結合確率分布

確率変数 X の確率分布

確率変数 Y の確率分布

( ) ( ) ( )yPyxPyPx

Y 2, == ∑確率変数 Y の

周辺確率分布

1)()( 21 == ∑∑yx

yPxP


離散確率変数の共分散

[ ] ( )( ) ( )∑∑= =

−−=M

i

N

jjiYjXi yxPyxYX

1 1,,Cov μμ

確率変数 X と Y の共分散 (Covariance)

( )∑∑= =

=≡M

i

N

jjiiX yxPxX

1 1

,]E[μ ( )∑∑= =

=≡M

i

N

jjiiY yxPyY

1 1,]E[μ

⎟⎟⎠

⎞⎜⎜⎝

⎛=

]V[],Cov[],Cov[]V[

YXYYXX

R

][],Cov[ XVXX = ][],Cov[ YVYY =

共分散行列(Covariance Matrix)


離散確率変数の確率分布の例

[ ] ( )aX tanhE =

[ ] ( )( )2tanh1V aX −=

( )( ) ( )1

cosh2exp)( ±== x

aaxxP

a

E[X]

0


離散確率変数の結合確率分布の例

[ ]( )a

XYYXtanhE],Cov[

==

[ ] 1V =X

( )( ) ( )1 ,1

cosh4exp),( ±=±== yx

aaxyyxP

a

Cov[X,Y]

0

[ ] 0E =X


離散確率変数の条件付き確率分布の例

( ) ( )( )a

axyppxyP yxyx

cosh2exp1)( ,,1 =−= − δδ

( )1 ,1 ±=±= yx

⎟⎟⎠

⎞⎜⎜⎝

⎛ −≡

ppa 1ln

21

２元対称通信路の条件付き確率分布


連続確率変数の確率

{ } { } { }aXbXbXa ≤<∞−−≤<∞−=≤≤ PrPrPr

確率変数 X の状態空間 (−∞,+∞) において状態 x が区間 (a,b) にある確率

( ) { }xXxF ≤<∞−≡ Pr 確率変数 X の分布関数(Distribution Function)

{ } ( ) ( ) ( )∫=−=≤≤b

adxxaFbFbXa ρPr

( ) ( )dx

xdFx ≡ρ確率変数 X の確率密度関数(Probability Density Function)


連続確率変数の確率密度関数の性質

( ) ( )+∞<<∞−≥ xx 0ρ

( ) 1=∫+∞

∞−dxxρ

規格化条件(Normalization Condition)


連続確率変数の期待値と分散

[ ] ( )∫+∞

∞−== dxxxXE ρμ

確率変数 X の期待値 (平均)

[ ] ( ) ( )∫+∞

∞−−== dxxxXV ρμσ 22

確率変数 X の分散


連続確率変数の結合確率密度関数

確率変数 X と Y の状態空間 (−∞,+∞) において状態 x と y が区間 (a,b)×(c,d) にある確率

( ) ( ){ }( )∫ ∫=

≤≤≤≤d

c

b

adxdyyx

dYcbXa

,

Pr

ρ

I

結合確率密度関数 (Joint Probability Density Function)

( )∫ ∫+∞

∞−

+∞

∞−=1, dxdyyxρ 規格化条件

(Normalization Condition)


連続確率変数の周辺確率密度関数

確率変数 Y の周辺確率密度関数 (Marginal Probability Density Function)

( ) ( )dxyxyY ∫+∞

∞−= ,ρρ


連続確率変数の独立性

確率変数 X と Y が互いに独立である：

( ) ( ) ( )yxyx 21, ρρρ =

確率変数 X と Y の

結合確率密度関数確率変数 X の確率密度関数

確率変数 Y の確率密度関数

( ) ( ) ( )ydxyxyY 2, ρρρ =≡ ∫+∞

∞−確率変数 Y の

周辺確率密度関数

1)(

1)(

2

1

=

=

∫

∫∞+

∞−

+∞

∞−

dyy

dxx

ρ

ρ


連続確率変数の共分散

[ ] ( )( ) ( )dxdyyxyxYX YX∫ ∫+∞

∞−

+∞

∞−−−= ,,Cov ρμμ

確率変数 X と Y の共分散 (Covariance)

( )dxdyyxxXX ∫ ∫+∞

∞−

+∞

∞−=≡ ,]E[ ρμ

⎟⎟⎠

⎞⎜⎜⎝

⎛=

]V[],Cov[],Cov[]V[

YXYYXX

R

][],Cov[ XVXX = ][],Cov[ YVYY =

共分散行列(Covariance Matrix)

( )dxdyyxyYY ∫ ∫+∞

∞−

+∞

∞−=≡ ,]E[ ρμ


一様分布 U(a,b)

( ) ( ) ( )( )⎩

⎨⎧

+∞<<<<∞−≤≤−

=−

xbaxbxaabx

,0

1

ρ

[ ]2

E baX +=

[ ] ( )12

V2abX −

=

一様分布 (Uniform Distribution) の確率密度関数

p(x)

x0 a b

(b-a)-1


ガウス分布（正規分布） N(μ,σ2)

( ) ( ) ⎟⎠⎞

⎜⎝⎛ −−= 2

22 21exp

21 μ

σπσρ xx

[ ] μ=XE [ ] 2V σ=X

∫∞+

∞−=⎟

⎠⎞

⎜⎝⎛− πξξ 2

21exp 2 d

平均と分散はガウス積分の公式 (Gaussian Integral Formula) から導かれる

平均μ，分散σ2 のガウス分布 (Gaussian Distribution) の確率密度関数

( )+∞<<∞− xp(x)

μ x0

)0( >σ


多次元ガウス分布

( )( )

( ) ⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛−−

−−−= −

Y

XYX y

xyxyx

μμ

μμπ

ρ 1

2,

21exp

det2

1, CC

( )∫ ∫ ∫∞+

∞−

∞+

∞−

∞+

∞−− =⎟

⎠⎞

⎜⎝⎛− CC det2

21exp 1T dd πξξξ

rrrL

d 次元ガウス積分の公式から導かれる

行列 C を正定値の実対称行列として，２次元ガウス分布(Two-Dimensional Gaussian Distribution) の確率密度関数

( )+∞<<∞−+∞<<∞− yx ,

C=⎟⎟⎠

⎞⎜⎜⎝

⎛]V[],Cov[

],Cov[]V[YXY

YXX

一般の次元への拡張も同様

において行列 C が共分散行列になる．


大数の法則

)( )(121 +∞→→+++≡ nXXX

nY nn μL

X1,X2,...,Xn は平均 μ, 分散 σ2 の互いに独立な同一の確率変数であるとき

中心極限定理

)(121 nn XXX

nY +++≡ L

X1,X2,...,Xn は平均 μ, 分散 σ2 の互いに独立な同一の確率変数であるとき

は n が大きいとき平均 μ, 分散 σ2/n の正規分布に従う．


確率の基礎知識

a. 事象と確率b. 結合確率と条件付き確率c. ベイズの公式と事前確率，事後確率d. 離散確率変数と確率分布e. 連続確率変数と確率密度関数f. 期待値，分散，共分散g. 一様分布h. ガウス分布

前回

今回


演習問題３－１

( )( ) ( )1

cosh2exp)( ±== x

aaxxP

確率変数 X が ±1 の２値のみをとるものとして事象 X が状態 x をとるという事象 X=x の確率分布が

により与えられるとき期待値 E[X] と分散 V[X] の表式を導出し，そのについての値を C 言語，Java またはMatLab を用いて計算し，グラフを書け．

11 ≤≤− a


演習問題３－２

( )( ) ( )1 ,1

cosh4exp),( ±=±== yx

aaxyyxP

確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 X が状態 x をとり，かつ事象 Y が状態 y をとるという事象 (X=x)∩(Y=y) の確率分布 P(x,y) が

により与えられるとき確率変数 X についての周辺確率P(X) と共分散 Cov[X,Y] の表式を導出せよ．


演習問題３－３

( ) yxyx ppxyP ,, 1)( 1 δδ −= −

⎟⎟⎠

⎞⎜⎜⎝

⎛ −≡

ppa 1ln

21

確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 Yが状態 y をとるという条件のもとでの事象 X が状態 x をとるという事象 X=x の条件付き確率分布が

( )( )a

axyxyPcosh2

exp)( =

次の表式でも与えられることを示せ．

ヒント：次の等式を用いる． ( ) ( )1 ,1 121

, ±=±=+= yxxyyxδ( )pp lnexp=

cosh(c) は任意の実数 c に対して偶関数


演習問題３－４

∫∞+

=⎟⎠⎞

⎜⎝⎛−

0

2

221exp πξξ d

ガウス積分の公式を証明せよ．

∫∫ ∫

∫ ∫∫

=+∞→

+ +

+∞→

∞+

∞−

+

+∞→

+

−+∞→

⎟⎠⎞

⎜⎝⎛−=⎟

⎠⎞

⎜⎝⎛ −−=

⎟⎠⎞

⎜⎝⎛−=⎟

⎠⎞

⎜⎝⎛−=⎟

⎠⎞

⎜⎝⎛−

1

2

0 0

22

0

222

21explim2

21

21explim2

21explim2

21explim

21exp

rR

R R

R

R

R

R

RR

rdrdd

ddd

r

rηξηξ

ξξξξξξ

ヒント


演習問題３－５

( ) ( ) ⎟⎠⎞

⎜⎝⎛ −−= 2

22 21exp

21 μ

σπσxxp

[ ] μ=XE [ ] 2V σ=X

で与えられるとき，平均 E[X] と分散 V[X] が次の表式で与えられることをガウス積分の公式を用いて証明せよ．またμ=0, σ=10, 20, 40 のときの p(x) の x に対する値を C 言語, Java または MatLabで計算し，グラフ

を書け．

確率変数 X が任意の実数 X をとる連続確率変数であり，その確率

密度関数が

( )+∞<<∞− x


演習問題３－６

一様分布 U(0,1) に従う乱数（一様乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場

合について書け．

rand()randmax

1←x

C 言語では rand() は0,1,2,…,randmax のなかのい

ずれかの値をランダムに生成される命令である．randmax の値は rand() の出力の最大値であり，シ

ステムによって異なる場合があるので注意．


演習問題３－７

平均 μ，分散 σ2 のガウス分布 N(μ,σ2) に従う乱数（ガウス乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞ

れの場合について書け．

任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対して (x1+x2+…+xn )/n はn→+∞ で平均 μ，分散 σ2 のガウス分布 N(μ,σ2/n) に従う[中心極限定理より]

61221 −+++← xxx Lξ

区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる．

平均 0, 分散 1 のガウス乱数

σξ+μが平均 μ, 分散 σ2 のガウス乱数

ヒント：


演習問題３－８

( ) ( ) ( )∫ ∫ ∫∞+

∞−

∞+

∞−

∞+

∞−− =⎟

⎠⎞

⎜⎝⎛ −−− CC det2

21exp 1T dd πξμξμξ

rrrrrL

任意の自然数 d に対して d 行 d 列の正定値の実対称行列 C に対して次の d 次元ガウス積分の公式を証明

せよ．

13

2

1

000

000000000

−

⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜

⎝

⎛

= UUC

dλ

λλ

λ

L

MOMMM

L

L

L

( )duuuU rL

rr ,,, 11=

行列 C の固有値 λi に対応する固有ベクトル(i=1,2,…,d) とすると行列 C は次のように対角化される

iurヒント：


演習問題３－９

( )( )

( ) ( )⎟⎠⎞

⎜⎝⎛ −−−= − μμ

π

rrrrr xxxpd

1T

21exp

det2

1 CC

( )⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

+∞∞−∈

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛ /

= d

dx

xx

x ,2

1

M

r

により与えられるとき，その平均ベクトルが，共分散行列が C となることを示せ．

μr

確率ベクトル変数の各成分がいずれも任意の実数をとる連続確率変数であり，正定値の実対称行列 C に

対してその確率密度関数が

Xr

Documents

物理フラクチュオマティクス論 Physical …kazu/PhysicalFluctuo...2008/4/24 物理フラクチュオマティクス論（東北大学） 1 物理フラクチュオマティクス論