확률변수의 기대값 , 분산 등

1. 기대값

2. 분산

3. 표준화 과정

4. 공분산과 상관계수

5. 조건부 기대값과 조건부 분산

(6. 누적확률분포함수 )

7. 종합

8. 적률과 적률모함수

어느 확률 변수 X 의 기대값

Notation : E[X] 혹은 혹은

1. 기대값

Expectation

X

주사위를 던져 나오는 수 : X X 의 기대값 ?

1 2 3 4 5 6

f(x) 1/6 1/6 1/6 1/6 1/6 1/6

E[X]=1*(1/6)+2*(1/6)+ . . . .+6*(1/6) =3.5

즉 X: DRV 일 때 확률변수 X 의 기대값은

x

xxfXE )(][

이와 비슷하게 X : CRV 이라면

dxxxfXE )(][

기대값 계산의 예 (DRV 의 경우 )

주사위를 던져 나오는 수의 제곱에 10 배를 상금으로 준다고 할 때 상금의 기대값은 ?

주사위를 던져 나오는 수 : X상금 : Y

x 1 2 3 4 5 6

f(x) 1/6 1/6 1/6 1/6 1/6 1/6

y 10 40 90 160 250 360

f (y) 1/6 1/6 1/6 1/6 1/6 1/6

210XY

1526

1360904010 ][YE

CRVXifdxxfxh

DRVXifxfxhYE

x

x

:)()(

:)()(][

)(xf확률변수 X 의 확률함수 가 주어져 있고)(XhY 의 관계가 있을 때

기대값 계산의 예 :

x y 1 3

2 1/8 3/8 1/2

4 1/8 3/8 1/2

1/4 3/4

)(xf x

)( yf y

(1) 두 확률변수가 독립 ? Yes !

(2) E[X] = 2*(1/2)+4*(1/2) = 3

(3) E[Y] =1*(1/4)+3*(3/4) = 2.5

기대값 계산의 예 : CRV 의 경우

elsewhere

xforx

xf

0

202

)( ?][ XE

답 : 4/3

기대값 계산의 예

elsewhere

yxforyyxyxf

0

101012 2 )(),(

(1) 두 확률변수가 독립 ?

xyyxdyyyxxf x 23

1

2

11212

1

0

1

0

322

)()(

)( )()( 210

1

0

222 6612 yyyyxdxyyxyf y

두 확률변수는 서로 독립 !

elsewhere

xforxxf x 0

102)(

elsewhere

yforyyyf y

0

106 2 )()(

(2) E[X] = ?

elsewhere

xforxxf x 0

102)(

3

2

3

22

1

0

31

0

xdxxxXE )(][

(3) E[Y] = ?

elsewhere

yforyyyf y

0

106 2 )()(

2

1

2

32)}(6{][

1

0

1

0

432

yydyyyyYE

기대값 계산의 예 :

elsewhere

xforxxf

0

1012 )()(

3

1

3

212][ 32

1

0

0

1

xxdxxxXE

기대값 계산의 예 : CRV 의 경우

elsewhere

xforxxf

0

10)1(2)( ?][ kXE

)2)(1(

2][

kkXE k

moment1st : ][XE

moment 2nd : ][ 2XE

moment 3rd : ][ 3XE. . . . . . . .

momentkth : ][ kXE

(1 차 적률 )

(2 차 적률 )

(3 차 적률 )

(k 차 적률 )

기대값의 몇 가지 성질

(1) E[a] = a

(2) E[a X] = a E[X]

(3) E[a X + b] = a E[X] + b

)2)(1(

2][

kkXE k 일 때

?])12[( 2 XE 답 : 3

2. 분산 , Variance

어느 확률변수 X 의 분산

Notation : Var[X] 혹은 혹은 2X

Note : = 표준편차 (standard deviation)X

])[(][ 2 XEXVar 로 정의된다 .

2

CRVXifdxxfxh

DRVXifxfxhYE

x

x

:)()(

:)()(][

또한 일 때 다음의 사실을 이미 알고 있다 .

2)()( XXhY 이라고 할 때 ,

])[(][ 2 XEXVar

CRVXifdxxfx

DRVXifxfx

x

x

:)()(

:)()(2

2

)(XhY

분산의 몇 가지 성질

1.

222 ][])[(][ XEXEXVar222 ][XE혹은

2. ][][ XVarcXVar

3. ][][ XVaraaXVar 2

E[X]=10, Var[X]=100그리고 Y = 2X - 3

Var[Y ] = ? 답 : 400

E[Y ] = ? 답 : 17

분산 계산의 예 : DRV 경우 ( 앞서 예 )

x y 1 3

2 1/8 3/8 1/2

4 1/8 3/8 1/2

1/4 3/4

)(xf x

)( yf y

222 ][])[(][ XEXEXVar

E[X]=3, E[Y]=2.5 를 이미 알고 있다 .

E[X ] = 4*(1/2)+16*(1/2)=102

Var [X] = 10 – 9 = 1

elsewhere

xforxxf x 0

102)(

분산 계산의 예 : CRV 경우 ( 앞서 예 )

앞서 E[X] = 2/3 를 계산하였다 .

2

1][ 2 XE

Var[X] = 1/18

Var[X]=1/18 일 때

Var[X+10]=1/18

Var[5X]=25/18

Var[5X+10]=25/18

그리고 E[X]=2/3 라고 한다면222 ][XE =1/18+(4/9) = 1/2

3. 표준화 과정

평균을 0, 분산을 1 로 전환시키는 방법

확률변수 X 의 평균이 이고 , 분산이 2

표준화 :

X

Z

01

}][{][

XE

XEZE

11

2

][][

XVar

XVarZVar

확률변수 X 의 평균이 이고 , 분산이 2

X

Z

새로운 확률변수 Z 는 평균이 0, 분산이 1 이 된다 .

( 이에 대한 증명은 추후 할 것임 )

예 : 표본평균 는 평균이 이고 , 분산이 이다 .n

2X

n

XZ

/

의 평균은 0 이고 분산이 1 이 된다 .

4. 공분산과 상관계수

Notation : 공분산 Covariance Cov[X, Y] 혹은

상관계수 correlation coefficient

XY

XY

(1) 공분산

)])([(],[ YX YXEYXCov

YXXYEYXCov ][],[( 해 볼 것 )

혹은

혹은

YXYXCovXYE ],[][

E[X] 와 E[Y] 를 구하는 방법에 대해서는 앞서 공부

CRVYXifdxdyyxxyf

DRVYXifyxxyfXYE

y x

xy

:,),(

:,),(][

만약 E[X], E[Y], E[XY] 를 계산할 수 있다면

YXXYEYXCov ][],[

를 계산할 수 있을 것이다 .

공분산 계산의 예 : 앞의 예 (DRV 의 경우 )

x y 1 3

2 1/8 3/8 1/2

4 1/8 3/8 1/2

1/4 3/4

)(xf x

)( yf y

YXXYEYXCov ][],[

앞서 E[X]= 3, E[Y]= 2.5 를 이미 계산하였다

2

15

8

334

8

114

8

332

8

112 ][XYE

Cov[X,Y] = 15/2 - 3*(5/2) = 0

Note: 앞서 두 변수 간에 독립관계가 성립한다고 하였다 .

만약 두 변수 X, Y : 독립이면

이 성립하고 ,

이 성립한다 .

][][][ YEXEXYE

0 YXXYEYXCov ][],[

( 해 볼 것 )

두 변수 X,Y : 독립 Cov[X,Y]=0

Note:

1/31/91/91/903

2/9

0

1/9

3

2/9

0

1/9

2

2/93/9

1/301/32

1/31/901

10x y

)( yf y

)(xf x

Cov[X,Y]=0 그러나 독립이 아닌 예 : 교재 96 쪽

E[XY] = 24/9, E[X] = 2, E[Y] = 4/3 Cov[X,Y]=0

9

1

3

1

3

102

3

102 )()(),( yx fff : 독립이 아님

따라서 공분산 =0 독립

공분산 계산의 예 : CRV 의 경우

elsewhere

yxforyxyxf

0

1010)2(32

),( ?XY

elsewhere

xforxxf x

0

10)1(32

)( 9/5][ XE

elsewhere

yforyyf y

0

10)41(31

)( 18/11][ XE

9/7][ XYE

162/71XY

분산 및 공분산의 성질

],[][][][ YXCovYVarXVarYXVar 2

],[][][][ YXabCovYVarbXVarabYaXVar 222

],[][],[ YXacCovXabVarcYbXaXCov

( 풀어 볼 것 )XWYWXY

WYX

acbcab

cbacWbYaXVar

222

][ 222222

0 만약 모두 독립

일반화

jijiji

j

n

iii

nn

XXCovaaXVara

XaXaXaVar

],[][

][

21

2

2211

만약 모든 확률변수들이 독립

n

iiinn XVaraXaXaXaVar

1

22211 ][ ][

nXXX ,,, 21 : 확률변수들

Var[X]=10, Var[Y]=20, Cov[X,Y]=5

Var[3X-2Y]=110

(2) 상관계수

YXXY

YXCov

],[

만약 X, Y: 독립 Cov[X,Y]=0 0XY

앞서 표준편차 , 공분산이 계산되면 상관계수를 계산

5. 조건부 기대값과 조건부 분산 )|( yxf 혹은 )|( xyf 를 알고 있다면

조건부 기대값을 다음과 같이 구한다

CRVXifdxyxxf

DRVXifyxxfyXE

x

x

:)|(

:)|(]|[

CRVYXifdyxyyf

DRVYifxyyfxYE

y

y

:)|(

:)|(]|[

yXyXE |]|[ xYxYE |]|[ 로 표기하기도 한다

)|( yxf 혹은 )|( xyf 를 알고 있다면

조건부 분산을 다음과 같이 구한다

]|)[(]|[ | yXEyXVar yX2

CRVXifdxyxfx

DRVXifyxfxyXVar

x yX

xyX

:)|()(

:)|()(]|[

|

|

2

2

분산은 편차의 제곱의 기대값인데 , Y = y 라는 정보를 알고있는 경우에는 이 정보를 이용하여야 할 것이다 .

편차 = yXX |편차의 제곱의 기대값에서도 Y = y 라는 정보를 이용

]|)[(]|[ | xYExYVar xY2

이와 비슷하게 X=x 로 주어져 있을 때 , Y 의 분산은

CRVYifdxxyfy

DRVYifxyfyxYVar

y xY

yxY

:)|()(

:)|()(]|[

|

|

2

2

2yXyXVar |]|[ 2

xYxYVar |]|[ 로도 표기한다

elsewhere

yxforyxyxf

0

1010)2(32

),(

조건부 기대와 분산 계산의 예 : CRV 의 경우

elsewhere

yforyyf y

0

10)41(31

)(

elsewhere

xforxYxf

0

10)1(32

21|

9/521| YXE

?21| YXE(1)

(2) ?21| YXVar

187

21|2 YXE

16213

21| YXVar

1/31/91/91/903

2/9

0

1/9

3

2/9

0

1/9

2

2/93/9

1/301/32

1/31/901

10x y

)( yf y

)(xf x

조건부 기대와 분산 계산의 예 : DRV 의 경우

0][ 20| XVarYXE(1)

x

1 2 3

f(x|0) 0 1 0

(2) 321| XYVar ( 해 볼 것 )

6. 누적확률분포함수

CRVXifdttf

DRVXiftfxXPxF

x

x

t

:)(

:)(][)(

10 )(xF

)()( 2121 xFxFxxif

: F 는 non-decreasing function of x

확률 ( 밀도 ) 함수 f(x) 가 주어져 있을 때

Note

nXXX 21

)( )( xfxF

(1) DRV 의 경우 그리고

)()( 11 XFXf . . . . ,for )()()( 321 iXFXFXf iii

(2) CRV 의 경우

)(')(

)( xFdx

xdFxf

예 : DRV 의 경우

x 0 1 2

f(x) 1/4 1/2 1/4

xfor

xfor

xfor

xfor

xF

21

2143

1041

00

/

/)(

x

f(x)

0 1 2

1/4

3/4

1

예 : CRV 의 경우

elsewhere

xforxxf0

202

1)(

xfor

xforx

xfor

xF

21

204

100

2)(

의 예 : DRV 의 경우)( )( xfxF

xfor

xfor

xfor

xfor

xF

31

3263

2161

10

)(

?)( xf

의 예 : CRV 의 경우)( )( xfxF

xfor

xforx

xfor

xF

31

312

110

)(?)( xf

CRVYXifdsdttsf

DRVYXiftsfyYxXPyxF

y x

y

t

x

s

:,),(

:,),(],[),(

결합누적확률분포함수

7. 종합),( yxf

)(xf x )( yf y

)|( xyf )|( yxf

X 2X Y 2

Y

yX | 2yX |xY | 2

xY |

독립 ?

XY XY)(xF

)( yF

),( yxF

예 : DRV 의 경우

x y -1 2

1 2/9 3/9 5/9

2 2/9 2/9 4/9

4/9 5/9

)(xf x

)( yf y

913 /X 96 /Y 81202 /X 811802 /Y

816 /XY 10.XY 81173232 /][ YXVar

독립이 아니다 공분산이 영이 아니다

575225312 /)/(*)/(*| YX

25

6

5

2

5

72

5

3

5

71

222

2

|X

8. 적률과 적률 모함수(moment & moment generating function;MGF)

K 차 적률 :

CRVXifdxxfx

DRVXifxfxXE

x

rx

k

k

:)(

:)(][

axaxax

aeedx

dax

dx

de

Note:

Moment Generating Function

CRVXifdxxfe

DRVXifxfeeEtM

x

txx

tx

tx

:)(

:)()(

10 eand

txxeEdt

tdMtM

)()('

txtx

exEdt

xedE

dt

tMdtM 2

2

2 ][)()(''

txtx

exEdt

exdE

dt

tMdtM 3

2

3

3 ][)()('''

. . . . . . . . . . .

][)0(' XEM

][)0('' 2XEM

][)0(''' 3XEM

따라서 적률모함수를 구할 수 있다면 k 차 적률을 쉽게 구할 수 있게 된다

적률모함수의 예

321)( ttttM

1][ 2][ 1][ 2 XVarXEXE

적률모함수의 예 : 이항분포의 적률모함수 이용

nt ppetM )1()( : 이항분포의 적률모함수

npt

peppendt

tdMXE tnt

0)1(

0t

)(][

1

nppnntdt

tdMXE

22 )1(

0

)('][

)1(][ pnpXVar