数理統計学 ( 第九回）尤度比検定とは？

数理統計学第９回 1

数理統計学 ( 第九回）尤度比検定とは？

浜田知久馬


胃がんのスクリーニング検査正常胃癌計検査の陽性 1497 16 1513

判定陰性 8483 4 8487

計 9980 20 10000

α エラー 1497/9980=0.15

β エラー 4/20=0.20


問題 1 ２つの検査の α,β エラー

どちらを選ぶ検査Ａ正常胃癌計検査の陽性 4990 20 5010判定陰性 4990 0 4990 計 9980 20 10000

検査Ｂ正常胃癌計検査の陽性 50 10 60判定陰性 9930 10 9940 計 9980 20 10000


問題 2 ２つの妊娠診断薬どちらを選ぶ

検査Ａ非妊娠妊娠計検査の陽性 25 250 275判定陰性 475 250 725 計 500 500 1000

検査Ｂ非妊娠妊娠計検査の陽性 250 475 725判定陰性 250 25 275 計 500 500 1000


妊娠診断薬1.アルミ包装されたテストスティックを箱から取り出し ,　開封してください。 2.キャップを取り、テストスティックを下に向け、　サンプラーに少なくとも 5秒間直接尿をかけ　サンプラー全体を尿で濡らします。 3.青い線が、「終了確認窓 ( 丸い窓 ) 」に現われたら、　テスト終了です (約 1分 )。「終了確認窓 ( 丸い窓 ) 」に　青い線が出ていなければ、正しくテストできなかったということです .　別のテストスティックで再テストしてください。 4.「判定窓 (四角い窓 )」に色の濃い薄いに関わらず、　青い線が出ていれば陽性、出ていなければ陰性です。


妊娠診断薬この検査薬は、妊娠の早期判定の補助として

用いるもので、確定診断は、他の所見とともに医師により総合的になされるものです。

妊娠すると妊婦の尿中に分泌されるヒト絨毛性性腺刺激ホルモン (hCG) を鋭敏な抗原・抗体反応で検出する診断薬

尿が希釈され過ぎているか反対に濃縮されている場合：妊娠してても陰性

病気の場合やホルモン値に影響を及ぼすお薬を飲んでいる場合：妊娠してなくても陽性


問題３　麻原彰晃を無罪と判定した場合につい

て α エラー， β エラーの観点から論ぜよ４　美人は必ずしも幸せな人生をおくると

は限らない．この仮説について　　背理法を用いて証明せよ .


美人だけど不幸な人生を送った人達


検定の構成法

・一様最強力検定は存在しないことが多い .

・推定問題の原理的構成法　最尤法 , 最小二乗法 , モーメント法　最尤法では確率が最大になるように母数推定・ネイマン・ピアソンの基本定理　確率の比 ( 尤度比 ) に着目すればよい .

　最尤法に基づいた検定 ( 尤度比検定）


尤度比検定の例ダーウィンのデータ仮説：自家受精群と他家受精群で　　　母平均 μが等しいか？帰無仮説：Ｈ 0： μ1= μ2

対立仮説：Ｈ 1： μ1≠μ2

σ2=32 (既知）


仮説の母数空間における表現Ｈ 0 ： (μ1 ,μ2) 　∈　 ω0

Ｈ 1 ： (μ1 ,μ2) 　∈　 ω1

μ1

μ2

ω0

ω1


尤度比検定統計量ｆ (Y;θ) ＝ｆ (θ; Y) 　　 Yを given として確率を θ の関数と考えたとき尤度 (likelihood) とよぶ .

maxH1 ｆ (θ; Y) 　　 maxθ ω1∈ ｆ (θ; Y)

───────＝ ─────────＞ｃmaxH0 ｆ (θ; Y) 　　 maxθ ω0∈ ｆ (θ; Y)

log(maxH1 ｆ (θ; Y))- log(maxH0 ｆ (θ; Y)) ＞ log ｃ

ならば , Ｈ 0を棄却


正規分布の確率密度関数

σ ２は既知ｎ個Ｙ１，・・・，Ｙｎのｎ個のデータの得られる確率ｆ

f ＝ｆ (y １ ) ・ｆ (y2) ・・・ｆ (y ｎ ) ＝ Π ｆ (yi)

2

2

2 2exp

2

1)(

y

yf

n

i

i

n

n

i

i

y

yf

12

2

2

12

2

2

2exp

2

1

2exp

2

1)(


尤度 ( Ｈ 0)Ｈ 0： μ1=μ2=μ

第ｈ群（ｈ＝１：自家受精群，ｈ＝２：他家受精群）のｉ番目の観測値をｙｈｉ（ i ＝１ ,2, ・・・ 15 ）で表すことにする．

2

2

2 2exp

2

1)(

y

yf

2

22

1

15

1

30

2

15

12

2

2

2

10

2exp

2

1

2exp

2

1

hi

h i

i

hi

hH

y

yf


対数尤度 ( Ｈ 0)

950.1830

02

2log

2)2log(15log

2

1

15

1

2

2

1

15

1

0

2

22

1

15

1

20

yy

y

d

fd

yf

h i

hi

hi

h i

H

hi

h iH

尤度最大　⇒　対数尤度最大

を代入するとlogf Ｈ 0 ＝－ 76.458


対数尤度 ( Ｈ 1) μ1≠μ2

15

12

22

2

1

15

12

11

1

1

15

12

222

15

12

2112

2

22

1

15

1

21

0log

0log

22)2log(15

2)2log(15log

i

iH

i

iH

i

i

i

i

hhi

h iH

y

d

fd

y

d

fd

yy

yf


対数尤度 ( Ｈ 1) μ1≠μ2

20.19215

17.70815

15

12

22

15

11

11

i

i

i

i

yy

yy

logf Ｈ 1 に代入すると

logf Ｈ 1 ＝－ 33.450( 自家受精 ) － 40.438( 他家受精）　　　＝－ 73.888


対数尤度比尤度比： maxH1f／ maxH0f

対数尤度比： log(maxH1f)- log(maxH0f)

2

1

15

12

22

2

22

1

15

1

2

2

22

1

15

1

2

01

2

2)2log(15

2)2log(15

loglog

h i

hhihi

hi

h i

hhi

h i

HH

yyyy

yy

yy

ffLR


対数尤度比

2

1

15

1

2

1

15

1

22

2

1

15

1

22

1

15

1

2

h i h ihhhi

h ihhhi

h ihi

yyyy

yyyyyy

群内平方和　　　　　　　　　　群間平方和対数尤度比 =(全平方和－群内平方和 )／２

σ ２

= 群間平方和／２ σ ２　

2

2

1

15

1

2

2

h i

h yyLR


対数尤度比

22

2/)(

2

22

2

22

2

2

221

2

2

212

2

211

2

2

2

2

1

212

2

1

15

1

2

Zyyn

yyyn

yyyn

yynyyn

yyy

yyLR h i

h

　　


Z 検定自由度∞ ,σ既知の平均値の差の検定　　　

Ｈ 0の下で Zは標準正規分布 ,

Z ２は自由度 1のカイ 2乗分布にしたがう .

Zが Zαを越えるときＨ 0を棄却2×対数尤度比が χ2

αを越えるときＨ 0を棄却

268.2

15

1

15

13

192.20708.17

11 22

21

nn

yyZ


尤度の計算プログラム

data mle;set mle;do m1=16 to 22 by 0.1;do m2=16 to 22 by 0.1;s=3;f1=1/(2*3.141728*s**2)**.5 *exp(-(y1-m1)**2/s**2/2);f2=1/(2*3.141728*s**2)**.5 *exp(-(y2-m2)**2/s**2/2);logl=log(f1*f2);output;end;end;


尤度曲面


対数尤度曲面


-102.3801

-99.3811

-96.3820

-93.3830

-90.3840

-90.3840

-90.3840

-87.3849-84.3859-81.3869-78.3879 -78.3879

-75.3888

16

18

20

22

m2

16 18 20 22

m1

等高線プロット


帰無仮説 (μ1=μ2 ) の下での尤度


尤度比検定likelihood ratio test 　　

・ネイマン・ピアソンの基本定理の拡張　確率の比に基づいた検定・検定統計量　 2×[log(maxH1 ｆ (θ; Y))- log(maxH0 ｆ (θ; Y))]

　 H0 の下で DF(H1) - DF(H0) のカイ 2 乗分布に従う .

　ダーウィンの例）　 H0 ： DF=1(μ), H1 ： DF=2 (μ1, μ2)　　自由度 1 のカイ 2 乗分布にしたがう .


最尤推定量 (MLE) の復習

U ＝ dlog ｆ（ θ ；ｙ）／ｄ θ ：スコア関数とすると

MLEθ は log ｆ（ θ ；ｙ） =0 の解となる .E[U]=0 ， V [U]=E[U2]= E[-U’]=I( 情報量）V [θ]= 1/I１ ) ｎが大きくなれば， MLE は真値に一致する　２ ) MLE は，漸近的に正規分布にしたがう　　 ( 漸近正規性）　　　　　３ ) 最尤推定量の分散は，漸近的に Fisher の情報量の逆数 (1/I) となる .

＾＾

＾


3 種類の検定尤度比検定， Wald 検定，スコア検定例　 H0： μ ＝ μ 0 　の検定

1) 尤度比検定　 L(μ) － L(μ0) 　

　山の高さの違い2) Wald 検定　　 μ － μ0

　　　 MLE からの隔たり

3 ）スコア検定　　Ｕ (μ0)

　　 μ0における傾きが 0 に近いか

＾

＾


3 種類の検定の模式図


山のてっぺんを捜すには．

（１）地図で位置を

確認する

（２）　　高度を

測ってみる．

（３）　傾斜角度を

測ってみる．

http://images.google.com/imgres?imgurl=www.kashmir3d.com/kash/intro/map1.jpg&imgrefurl=http://www.kashmir3d.com/kash/intro/intro_1.html&h=268&w=300&prev=/images%3Fq%3D%25E7%25AD%2589%25E9%25AB%2598%25E7%25B7%259A%26svnum%3D10%26hl%3Dja%26lr%3D%26ie%3DUTF-8%26oe%3DUTF-8

http://slot.educ.kumamoto-u.ac.jp/~taguchi/image11.jpg


三蔵法師が山の最高点に

誘拐された．

最尤解を探せ．


孫悟空　尤度比検定

觔斗雲でひとっ飛び，如意棒で山の高さを測る．


　スコア検定　沙悟浄

水を流して勾配を測り，

傾きが 0になる点を探す．

http://www.cnet-kiso.ne.jp/k/kisovfac/kapa.htm


Wald 検定　猪八戒

地図を頼りにひたすら掘り進む

http://www.kbn.ne.jp/ris/contents/cityoffice/kankou/image/kiyama-map.gif

http://images.google.com/imgres?imgurl=http://public.sakura-rubber.co.jp/fire/image/chapter04/4-139-08.jpg&imgrefurl=http://public.sakura-rubber.co.jp/fire/chapter04/4-14-27.htm&h=287&w=300&sz=15&tbnid=Gz5ctqtPixwJ:&tbnh=106&tbnw=110&start=10&prev=/images%3Fq%3D%25E3%2581%25A4%25E3%2582%258B%25E3%2581%25AF%25E3%2581%2597%26hl%3Dja%26lr%3D%26ie%3DUTF-8


正規分布の確率密度関数

σ ２は既知ｎ個Ｙ１，・・・，Ｙｎのｎ個のデータの得られる確率ｆ

f ＝ｆ (y １ ) ・ｆ (y2) ・・・ｆ (y ｎ ) ＝ Π ｆ (yi)

2

2

2 2exp

2

1)(

y

yf

n

i

i

n

n

i

i

y

yf

12

2

2

12

2

2

2exp

2

1

2exp

2

1


対数尤度 (log likelihood)

2

2

12

2

12

2

12

2

12

2

12

2

2

22

222

2exp

2

1loglog

ynyy

yyyy

yfL

n

i

i

n

i

n

i

in

i

i

n

i

i

Lは μについての 2次関数尤度ｆの最大化⇒　対数尤度 Lの最大化　

⇒ ｄ L/ｄ μ＝ 0となる μを探す .


正規分布の場合：一標本問題分散 σ ２が既知（ 3 ２ =9 ）の場合対数尤度：

スコア統計量：MLE：情報量：

H0： μ ＝ μ0 　の検定は？

2

2

2)(

yn

L

2

)(

yn

U

y

2n

I


尤度比検定

n

yyn

ynCL

Cyyn

CL

LL

LR

LR

2

20

2

202

2

20

0

2

2

02

)()(

2

)()(

2

)()(

))()((2


尤度比検定

Ｈ 0： μ ０＝ 20 の検定 L(17.708 ) ＝ -33.450

L(20 ) ＝　 -37.827

χ ２ＬＲ＝２｛ L(μ) － L(μ ０）｝

＝２｛ -33.450 － -37.827 ｝＾

76.83

)20708.17(15)(2

2

2

20

yn


Wald 検定

22

202

2

202

/

)(

)()(/1

)(

LRWald

Wald

n

nI

I

　　

Ｈ 0 ： μ ０＝ 20 の検定　　 (17.708 － 20) ２＝ ─────── ＝ 8.76　　　 (32/15) 　　　　


ラオのスコア検定

22

4

2

0

2

4

2

02

0

202

20020

0

)(

)(

)]([)()(

LRWald

Score

ynn

yn

I

U

nUVI

ynU

　

Ｈ 0 ： μ ０＝ 20 の検定＝ 15 (17.708-20)2 ／ (32) ＝ 8.76


3 種類の検定1 ）漸近的に等価な検定　（ｎが大きくなると結果はほぼ等しくな

る）2 ）各検定の特徴　　尤度比：検定・信頼区間の　　　　　　　　計算に反復計算が必要　　 Wald ：対称性がある　　スコア：推定値が不明でも検定できる .　　　　　　　収束しない場合，総当たり法３）正規分布のときは完全に一致　　対数尤度が２次関数となるため .


スコア検定・ Wald ，尤度比検定は ,MLE が求まらない

と検定できない．・ MLE を求めるためには反復計算が必要・スコア検定はＨ 0 の下でのＵとＩがわかれ

ば　計算できる．・多くのモデルについての計算が必要な場

合 ,総当り法では , スコア検定が行われる．・スコア検定では収束しない場合でも ,

　Ｈ 0 の検定が可能


信頼区間の構成Ｈ 0： μ ＝ μ ０を α 水準で検定して , 棄却されない範囲が信頼区間

尤度比検定ベースの 95% 信頼区間

自家受精群： 17.708±1.96×3 ／ 15 0.5

＝ 16.190 ， 19.226

ny

ynLR

96.1

84.3)(

2

202


信頼区間の模式図尤度比検定で有意とならない範囲

Ｌが 1.92までおちる範囲


スコア検定と Wald 検定テーラー展開

正規分布の場合，近似は正確

2

))(())(()()(

2axafaxafafxf

≒

22

222

0

202

][

)(

)()(

)(

)(

)(

][')(][][

Wald

Score

V

II

I

I

U

I

UUU

≒

≒


尤度比検定と Wald 検定

2

][2

)(

2

)()()()(

2

)()()(

2

)()())(()()(

2

22

2

2

Wald

VILL

IL

IULL

≒

≒


尤度比検定と Wald 検定

対数尤度関数 L （ θ ）＝ log ｆ（ θ ）を MLEθ の周辺でテーラー展開して ,2 次式で近似できる

対数尤度は , θ の 2 次関数で近似されるWald 検定の結果は , 尤度比検定を近似する .

対数尤度比を２倍するとカイ２乗統計量正規分布の場合，近似は正確


演習２項分布についてｆ（ π ； y ） =nC ｙ π ｙ（ 1 － π ）ｎ - ｙ

1) 対数尤度を示せ .2) スコア統計量を計算せよ　 U ＝ｄ log ｆ（ π ； y ）／ｄ π3) U ＝ 0 となる π(π の最尤推定量 ) を求めよ4) 情報量 I=E[U2] を計算せよ .5) 1/I が何をあらわしているか述べよ .6)π=π0 の下で I と U を求め , スコアカイ２乗 (U2/I) を計算せよ .　

Documents

数理統計学 ( 第九回） 尤度比検定とは？

数理統計学 ( 第九回）尤度比検定とは？