12

Click here to load reader

Maximum Likelihood estimator

Embed Size (px)

DESCRIPTION

econometric

Citation preview

Page 1: Maximum Likelihood estimator

บทท 4 ตวประมาณคาความควรจะเปนสงสด (Maximum Likelihood Estimator)

บทนแนะนาวธประมาณคาอกวธหนง ซงใชกนแพรหลายในเศรษฐมตเมอมความรเบองตนเกยวกบการแจกแจงของตวแปรสม ในทนจงยกตวอยางการใชตวประมาณคาความควรจะเปนสงสด (MLE) กบตวแปรสมทมการแจกแจงแบบ Bermoulli และการแจกแจงแบบปกต (normal) สาหรบงานเศรษฐมตโดยทวไปแลว ประชากรมกมการแจกแจงในลกษณะทสอง นอกจากจะเสนอวธประมาณคาพารามเตอรของคาเฉลยและความแปรปรวนแลวในทายบทไดกลาวถงคณสมบตของ MLE ดวย 4.1 การวเคราะหตวอยางจากประชากรทมการแจกแจงแบบปกต ในบทขอกอนไดพจารณาวธการประมาณคาตวแปรสมดวยวธการถดถอยเชงเสน โดยมขอสมมตหรอขอตกลงเบองตนไวเพยง 2 ประการคอ ตวแปรสมซงเปนตวแปรคลาดเคลอน ( )u นน มคาเฉลยหรอคาคาดหมายเทากบศนย และมความแปรปรวนเทากนทกๆ หนวยสงเกต ในทนจะเพมคณสมบตอกประการหนงเกยวกบตวแปรคลาดเคลอน ( )u คอ ลกษณะการแจกแจงแบบปกต นนคอ โดยสรปแลวสาหรบแบบจาลองเชงเสน ท x คอ คอลมนเวคเตอร ของ 1 ซงกคอ แบบจาลองเชงเสนเพอศกษาคาเฉลยและความแปรปรวนของตวแปรสม y

uxy += β (4.1)

เมอ ( ) 0=uE ( ) Ισ 2=′ uuE iu มการแจกแจงแบบปกต

หรอสรปเปนสญลกษณ : ( )Ισ 20 ,Niidu ~

เมอตวแปรสม y เปนฟงกชนของตวแปรคลาดเคลอน y ยอมมการแจกแจงแบบปกตดวย และดงทราบแลววา ( ) β=iyE และมความแปรปรวน ( ) 22

σβ =−iyE ดงนนฟงกชนความหนาแนน ความนาจะเปน (pdf) ของ y คอ

( ) ( ) ( )αα

σ

βσπ <<−

−−=

y,y

expyf2

2

2

12

21 /

(4.2)

ฟงกชนความหนาแนนของ y มรปรางสมมาตรดวยคาเฉลย β และคาความเบยงเบน σ ดงรปท 4.1 โดยคาเฉลย (mean) คาฐานนยม (mode) และคามธยฐาน (median) เทากน ตวแปรสม y มคากวาง

Page 2: Maximum Likelihood estimator

เศรษฐมตประยกตสาหรบการตลาดเกษตร 58

ในชวง α− ถง α+ โดยมคาทเกดขนบอยทสดท β=y และทจดผกผน (inflection point) y มคาเทากบ σβ ± การแจกแจงของ y เขยนไดวา ( )2σβ ,N และถาตวแปรสมทมการแจกแจงปกตมความแปรปรวนรวม (covariance) เทากบศนยแลว ตวแปรทงสองยอมไดชอวา เปนอสระตอกน บทอนมานนไมจรงในกรณอนดงกลาวในบทท 3 แตเปนจรงเฉพาะกบ normal variable เทานน σ β y

รปท 4.1 ฟงกชนความหนาแนนแจกแจงแบบปกต จากชดขอตกลงในสมการ (3.2) เมตรกซความแปรปรวนรวม (covariance matrix) ∑ มลกษณะดงน

=∑

2

22

21

0

0

σσ

O

ขอสมมตเกยวกบการแจกแจงแบบปกตมความสาคญตอการทดสอบสมมตฐานทางสถตเปนอยางมาก เนองจากตวสถตทสาคญเกอบทงหมดมฐานจากตวแปรสมทมการแจกแจงแบบปกต ( t,2χ

และ )F (Judge et al., 1988: 51) และในกรณทมการแจกแจงเปนอน เมอขนาดตวอยางใหญขน การแจกแจงของตวสถตจะเขาใกลการแจกแจงแบบปกต และองการทดสอบหลกเหลาน เชน h-statistics (อางองหลายๆ เลม) คาอธบายงายๆ ณ ทนกคอ เมอตวแปรสม iu เปนตวแทนของปจจยทงหมดทมอทธพลตอ iy ซงทาให iy มคาแตกตางไปจากคาเฉลย ( )β ทฤษฎบทแนวโนมเขาสสวนกลาง (central limit theorem) กลาววา ผลรวมของตวแปรหรอปจจยอสระทงหลายจะสรางตวแปรสมทแจกแจงแบบปกต ถาไมมปจจยอสระตวใดตวหนงมอทธพลครอบงาตวแปรอนๆ ดงนนถาปจจยเหลานมขนาดเทาๆ กน และมอทธพลตอ y ในทางตรงขามแลว กอาจคาดไดวาคาเฉลยของตวแปรสมจะมคาเปนศนย (เชน ( ) 0=uE ) และยอมมผลใหตงขอตกลงเบองตนทวาคาความแปรปรวนมคาคงทได (Judge et al., 1982: 39)

Page 3: Maximum Likelihood estimator

บทท 4 ตวประมาณคาความควรจะเปนสงสด 59

เปาหมาย ณ เวลานคอ เมอมตวแปรทมการแจกแจงแบบปกตแลวจะเกดประโยชนอะไร และจะใชขอมลเกยวกบ β และ 2σ ในการสรางตวประมาณคาไดอยางไร 4.2 วธประมาณคาความควรจะเปนสงสด (Maximum Likelihood Estimation) เพอใหเกดความเขาใจวธประมาณคาความควรจะเปน (Maximum Likelihood Estimation : MLE) ลองพจารณาตวอยางตอไปน ให y เปนตวแปรสมแจกแจงแบบ แบบเบอรนลล (Bernoulli) (Judge et al., 1988: 44, 63-65)

และมพารามเตอรทรคา (ซงใชสญลกษณ p สมมตวา p อาจจะมคา 4

1= หรอ

4

3 สมมตวาตวอยางม

ขนาด 3=n ดวย คา 011 321 === y,y,y คาถามคอ จะประมาณคา p ไดอยางไร ในวธการ

MLE กคอ การหาโอกาสทสงสดทจะเกดคา p (ทไมรคาน) โดยเลอกคา 4

1=p หรอ

4

3 หรอคาอนใดท

จะทาใหมความนาจะเปนสงสด (maximum probability) ทคา y ในตวอยางจะเกดขน ใน เ ม อ ( ) ( ) y

pppyf y −

−=1

1 ส าห ร บ 0=y ห ร อ 1 ค า คว ามน า จ ะ เป น (probability) ของตวแปรสมจะม pdf ของ 21 y,y และ 3y ดงนน ( )011 321 === y,y,yf ( )011 ,,f= ( ) iy

pp yi

i

−∏==

1

13

1

( )ppp −⋅⋅= 1 (4.3)

ความหมายของสมการ (4.3) กคอ ฟงกชนของ p เมอใหคาทสงเกตไดของตวอยาง y ดงนนจงเรยกไดวาเปนฟงกชนความควรจะเปน (likelihood function) โดยใชสญลกษณ ( )ypL ซงกเหมอนกบ pdf ของตวอยางสมนนเอง เพยงแตตความหมายใหเปนฟงกชนของตวพารามเตอรทไมรคาแทนฟงกชนของคาตวแปรสม (ซงรคาสงเกตไดอยแลว) วธการทจะเลอกคา p ทไดจากขอมลตวอยางไดอยางไรนนมคาตอบคอ จะตองตงอยบทหลกเกณฑทวาขอมลจากตวอยางตองถกบรรจอยในฟงกชนความควรจะเปน จากตวอยางขางตนคาของฟงกชนทคานวณได ไดแก

เมอเลอก 04604

1

4

1.yL:p =

=

และเมอ 4104

3

4

3.1yL:p =

=

Page 4: Maximum Likelihood estimator

เศรษฐมตประยกตสาหรบการตลาดเกษตร 60

ดงนนโอกาสหรอความควรจะเปน (probability หรอ likelihood) สงสดในการไดตวอยางทมคา

( )011 321 === y,y,y คอเลอกคาประมาณ 4

3=p~ ซงเปน MLE ของ p แปลวา คาของ

p ทมความเปนไปไดมากทสดในการสรางขอมล y ชดนนนเอง (Judge et al., 1988: 63) ในความเปนจรงชดของพารามเตอรมมากกวา 2 คา สาหรบการ Bernoulli นน คาพารามเตอรจะมคาอยในชวง 0-1 เทานน วธการหนงในการหาคา p คอ คานวณเพอหาคาสงสดของ ( ) ( )ppypL −= 12 ดวยการแทนคา p ตางๆ ดงในรป 4.2 จะเหนคาของ ( )ypL ในแกนตงและคา p ในแกนนอน ฟงกชนจะมคาสงสดเมอ p มคา 0.67 โดยทวไปแลวการประมาณคาพารามเตอรเปนการหาคาททาใหฟงกชน pdf ของตวอยางสงสดทวไป (global maximum) ทงนโดยใชคาตวอยางทสงเกตมา อกวธหนงกคอ การหาคา p ซงทาให ( )ypL สงสด โดยวธแคลคลสซงอาจใหคาสงสดเฉพาะถน (local maximum) ของสมการตอเนอง โดยการหาคาอนพนธ

( ) 232 pppd

ypLd−= (4.4)

( )p

pd

ypLd62

2

2

−= (4.5)

จดใหอนพนธทหนงเทากบศนยและหาคา p ซงจะพบวาไดคา 0=p~ และ 3

2=p~ คาททาให

อนพนธทสองมคาเปนลบ กคอ เมอ 3

2=p~ (นนคอ คาททาใหเงอนไขระดบทหนงและสองเปนจรง)

ผลทไดสอดคลองกบผลในรป 4.2 ( )ypL 0 .67 1 p

รปท 4.2 กราฟแสดงฟงกชนความนาจะเปน (Likelihood function)

กลาวสรปโดยทวไปไดวา วธการความควรจะเปนสงสด (MLE) นน ฟงกชนความควรจะเปน ( )yL θ ในทางพชคณตเหมอนกนหรอเทากน joint pdf ( )θyf ของตวแปรสม ny,,y K1 เมอ

Page 5: Maximum Likelihood estimator

บทท 4 ตวประมาณคาความควรจะเปนสงสด 61

θ เปนเวคเตอรของพารามเตอรทไมรคา ซงคาจรงของ θ จะตกอยในปรภม Ω ความแตกตางระหวาง ( )yL θ กบ ( )θyf อยทการตความเทานนนนกคอ ( )yL θ แปลความไดวาเปนฟงกชนของ θ

เมอเกดคาตวอยาง y สวน joint pdf ( )θyf เปนฟงกชนของ y เมอกากบดวยพารามเตอรของ θ เมอ θ เปนคาประมาณ MLE ของ θ ทอยในปรภม Ω ทงนโดยตองทาให ( )yL θ มคาสงสด และเมอคา θ~ เปนฟงกชนทวไปของ y เชน ( )yθθ

~~= เมอ ( )′= ny,,yy K1 และ θ~ เรยกไดวา

เปนตวประมาณคาความควรจะเปนสงสด (maximum likelihood estimator) ในทางปฏบตมกใชฟงกชนในรปของลอกกาลซมธรรมชาต (natural logarithm) แทนฟงกชนเดม L ทงนกเพอเกดความสะดวกในการคานวณ ฟงกชนลอก-ไลคลฮด (log-likelihood) คอ

( )yLlnL θ= เปนโมโนโทนคฟงกชน นนคอ ( )yLln θ และ ( )yL θ จะมคาสงสดของฟงกชนทคา θ เดยวกน (Judge et al., 1988: 64) ตวอยางท 1 ให ny,,y K1 เปนตวแปรทมการแจกแจงแบบเบอรนลล (Bernoulli) ดวย pdf

( ) ( ) iyyii pppyf −−= 11 , i = 1,, n และ 10 ≤≤ p (4.6)

ลอก-ไลคลฮด (log-likelihood) ฟงกชนจะเปนดงน

L ( ) ( )

∏==

=

n

ii pyflnypLln

1

( ) ( )( )ii ypypln −∑−⋅∑= 11 ( ) ( ) ( )plnyplny ii −⋅−∑+⋅∑= 11 (4.7) อนพนธทหนง และทสองคอ

( )∑ ∑−

⋅−−=p

yp

ypd

Ldii

1

11

1 (4.8.1)

( )( )

∑ ∑−

⋅−−−=2

1

11

122

2

py

py

pd

Ldii (4.8.2)

จดใหอนพนธทหนงเทากบศนย และหาคา ∑= iyn

p1~ ซงกคอคาเฉลย (mean) นนเอง สงเกตวา

อนพนธทสอง 22 pdLd / จะเปนคาลบเสมอตราบเทาท p มคาอยในชวง 0 ถง 1 และ p~ ไดชอวาใหคา global maximum ของลอก-ไลดลฮดฟงกชน

Page 6: Maximum Likelihood estimator

เศรษฐมตประยกตสาหรบการตลาดเกษตร 62

ตวอยางท 2 ให ny,,y K1 เปนตวอยางจากประชากรทมการแจกแจงปกต ( )2σβ ,N ดงนนพารามเตอรทไมรคาคอ ( )2σβθ ,= ฟงกชนความควรจะเปนในรปของลอกกาลซม

L ( ) ( )y,LlnyLln 2σβθ == (4.9)

( )

−=

=

n

i

iyexpln

1 2

2

2 2

1

2

1

σ

β

σπ

( ) ( ) ( )

−=

−−

2

2

222

2

12

σ

βσπ i

nn yexpln

( ) ( )∑

−−−−=

=

n

i

iyln

nln

n1 2

2

2

1

22

2 σ

βσπ (4.10)

ตวอยาง ให ( )053472 .,.,.y =′ สมมตใหทราบคาของ 12 =σ คา β ควรอยในชวง 2.7 ถง 5.0 แตเพอใหเหนความหมายของ MLE ไดชดขน อาจทดลองทจะใหคา β เรมตงแต 0 ถง 8 เพอคานวณคา

( )3212 y,y,y,Lln σβ ดงนจากสมการ (4.10) แทนคา 12 =σ , ( )053472 .,.,.y =′ จะ

ได ( ) ( ) ( ) ( )

−+−+−−−=

222

0534722

12

2

3βββπ ...lnLln แทนคา β ดวย

0, 1, 2, , 8 จะไดผลดงตารางตอไปน (เลข 3 คอ จานวนตวอยาง)

คา β 0 1 2 3 4 5 6 7 8 คา ln L -28.14 -17.64 -10.14 -5.64 -4.14 -5.64 -10.14 -17.64 -28.14

แสดงวาคา ln L สงสดเมอ β มคาเทากบ 4 (-4.14) เมอคา 12 =σ ตวอยางนไดสมมตวารคา 2σ แตโดยปกต 2σ เปนพารามเตอรทไมรคา จงตองทดลองหาคา β และ 2σ ไปพรอมๆ กน และเมอวาดภาพวา คา β อาจมทศนยมดวยแลว กระบวนการแทบคาจะตองใชเวลาอยางมากกวาจะไดคาตอบทดทสด สมมตวาคา β ถกเลอกใหเทากบ 2 (ดวยเหตผลใดกแลวแต) จะพบวา pdf ของ y ท 2=β จะไมครอบคลมคา y ทงสามคา ในขณะท pdf ของ y เมอ 4=β ครอบคลมขอมล y ทง 3 คาอยางครบถวน ดงรป 4.3 ทงตารางและรป 4.3 ชวยกนอธบายความหมายของ maximum likelihood ไดอยางชดเจน

Page 7: Maximum Likelihood estimator

บทท 4 ตวประมาณคาความควรจะเปนสงสด 63

( )yf 2 2.7 3 4 4.3 5 y

รปท 4.3 pdf แบบปกต 2 เสน ทแสดงความหมายของวธ Maximum Likelihood

จากสมการ (4.10) การประมาณคา β และ 2σ โดยวธแคลดลสในรปของเมตรกซ เมอ x เปนเวคเตอรของ 1

( ) ( ) ( )ββσ

σπ xyxylnn

lnn

Lln −′−−−−=2

2

2

1

22

2

หาอนพนธทหนง ( ) 01

2=−′=

∂β

σβxyx

Lln (4.11.1)

และจดใหเทากบศนย

( ) ( ) 02

1

22 42=−′−+−=

∂ββ

σσσxyxy

nLln (4.11.2)

จะหาไดวา จากสมการ (4.11.1) ( ) yxxx ′′= −1β~ (4.11.3)

จากสมการ (4.11.2) ( ) ( )n

xyxy ββσ

−′

−=

~~ 2 (4.11.4)

หมายเหต : n

uu ˆˆ~ ′=2σ

ให β~ , 2σ~ เปนสญลกษณของคาประมาณซงไดจากการใชขอมลตวอยางเงอนไขทสองไดจากการหาอนพนธทสองของสมการ (4.11.1) และ (4.11.2)

222

2 1

σσβ

nxx

Lln−=′−=

∂ (4.11.5)

Page 8: Maximum Likelihood estimator

เศรษฐมตประยกตสาหรบการตลาดเกษตร 64

( )( )βσσβ

xyxLln

−′−=∂∂

∂4

2 12

(4.11.6)

( ) ( )ββσσ

σ

xyxynLln

−′−−=

∂64

2 1

222

(4.11.7)

เมตรกซของอนพนธทสองจะตองเปน negative definite เมอแทนคาดวยคา β~ , 2σ~ (Judge et al., 1988: 66)

( )

∂∂

∂∂∂

22

2

2

22

2

σβσ

σββLL

LL

สาหรบการหาคาเฉลยของ y ซง 1=x นน เมตรกซนมคาเทากบ

4

2

20

0

σ

σ

~

~n

n

β

~ และ 2σ~ เปนคาประมาณสาหรบพารามเตอร β และ 2σ ซงทาใหฟงกชนมคาสงสด ทงนโดยเงอนไขทสอง (อนพนธทสอง) ตองมเครองหมายเปนลบ จะสงเกตไดวา ββ ˆ~ = แตนนคอ การประมาณคาโดย MLE ใหคาเฉลยทไมเอนเอยง แตใหคาความแปรปรวนแตกตางไปจากวธกาลงสองนอยทสด ซงจะพบภายหลงวา 2σ เปนตวประมาณคาทไมเอนเอยงของ 2σ ดงนน 2σ~ จากวธ MLE จงเปนการประมาณคาทเอนเอยง อยางไรกตามเมอ n มคาใหญขน 2σ และ 2σ~ จะมคาใกลกน β

~ ไดชอวาเปนตวประมาณคาทไมเอนเอยงและมประสทธภาพ สาหรบ β และแมวาจะไมรการแจกแจงของประชากรกตาม β~ กยงคงเปนคาเฉลยของตวอยางทดทสด คอเปน Best Linear Unbiased Estimator (BLUE) ของคาเฉลยของประชากร อยางไรกตามถาไมรการแจกแจงของประชากร เราจะไมสามารถระบการแจกแจงของคาเฉลยของตวอยางขนาดเลกได และไมอาจสรปไดวาในตวอยางขนาดเลก β~ จะมประสทธภาพ (ในกรณทไมรการแจกแจงของประชากรเทานน) (Jude et al., 1988: 81) และการท 2σ~ เอนเอยงนนยอมทาให 2σ~ ขาดคณสมบตความมประสทธภาพ (efficient)

Page 9: Maximum Likelihood estimator

บทท 4 ตวประมาณคาความควรจะเปนสงสด 65

การแจกแจงของ 2σ~ ดงกลาวขางตนวา ( ) ( ) ( ) nyynxyxy i //~~~ 22 −∑=−

′−= ββσ ซงมความ

เ อ น เ อ ย ง ท ง น เ พ ร า ะ 22 1σσ ˆ~

−=

n

n แ ล ะ ม ค า ค า ดหม า ยค อ ( )n

nE

12 −=σ~

( )

n

nE

12 −=σ 22

σσ ≠ เพอความสะดวกในการวเคราะหจงใชการแจกแจงของ 2σ ซงถารการ

แจกแจงของ 2σ กจะทราบการแจกแจงของ 2σ~ ดวย โดยคณดวยคาตวเลข ( ) nn /1−

สมการท (3.25) สามารถเขยน 2σ ไดวา

( ) ( )111

2

−=

′=

−′

−=

n

uMu

n

uu

n

xyxy ˆˆˆˆˆˆˆ

ββσ (4.12)

ตวเศษของสมการ (4.12) อยในรปแบบกาลงสอง (quadratic form) ซงมการแจกแจงแบบปกตดวย คาเฉลย = 0 และความแปรปรวนรวม (covariance matrix) Ισ 2= เมอ M เปนไดเดมโพเทน (idempotent) ( MM =2 ) ซงม trace = r (ตวเลขตวหนง) แลว ถาหาร uMu ˆˆ ดวย 2σ จะได

( )2

2 r

uMuχ

σ~

ˆˆ ′

เมอ ( )2rχ เปนสญลกษณของตวแปรทมการแจกแจงแบบไค-สแควดวยดกรอสระ r=

คณสมบตของไค-สแคว คอ กาลงสองของตวแปรสมแจกแจงแบบปกตยกกาลงสองนนคอ ถาให ( )10 ,Nz ~ แลว 2z จะมการแจกแจงเปนไค-สแควดวยดกรอสระเทากบ 1 หรอเขยนวา ( )

2rχ

ถา ( )rz,,zz K1=′ เปนเวคเตอรของตวแปรแจกแจงแบบปกต ( )10 ,N แลว zz ′ มการแจกแจงเปนไค-สแคว ( )

2rχ ซง ( )

2rχ มคาเฉลย r= และมความแปรปรวน r2=

การแจกแจงของ 2χ ไมสมมาตรดงรปท 4.4 แต pdf จะมรปรางสมมาตรขนเมอคาดกรอสระสงขน และคลายกบการแจกแจงแบบปกต จากการใชคณสมบตของตวแปร 2χ ทาใหเหนวา

( )( ) ( )11 222 −−= nn χσσ /ˆ (4.13)

ซงหมายความวา 2σ เทากบ ( )12 −n/σ คณดวยตวแปรสมทมการแจกแจงไค-สแคว คาเฉลยของ 2σ คอ

( )( )21

2

12

−=

nEn

E χσ

σ (4.14)

Page 10: Maximum Likelihood estimator

เศรษฐมตประยกตสาหรบการตลาดเกษตร 66

( ) 22

11

σσ

=−

−= n

n

และความแปรปรวนของ 2σ หรอ ( )( )

( )121 2

22 −⋅

−= n

nvar

σσ (4.15)

(หมายเหต : ถา a และ b เปนคาคงท และ y เปนตวแปรสม, ( ) ( )yvarabyavar 2=+ ซง a และ b ไมมความแปรปรวน)

จาก (4.15) สามารถแสดงไดทนทวา ( ) ( )2

122

−nn χσσ /~~ และมคาเฉลย ( ) 21σ

n

n −= คา

ความแปรปรวน ( )2

4 12

n

n −= σ

( )2χf 1=r

5=r 10=r

รปท 4.4 การแจกแจงความนาจะเปนของตวแปรสมแจกแจงไค-สแคว ดวยดกรอสระตางๆ การประเมนความมประสทธภาพโดยวธ Cramer-Rao กลาวโดยยอๆ วา ตวประมาณคาตวหนง, θ , จะมประสทธภาพ เมอ ( ) θθ =ˆE และ

( ) ( )θθ~ˆ varvar ≤ เมอ θ~ เปนตวประมาณคาทไมเอนเอยงใดๆ สาหรบอสมการ Cramer-Rao

(Cramer-Rao inequality) เปนเครองมอหนงทเพยงพอในการตดสนความมประสทธภาพของตวประมาณคา กลาวคอ ถาให y เปนตวแปรสมทม pdf ( )θyf ถา nyy K1 เปนตวอยางสม และ joint pdf ของตวอยางขนาด n= คอ

( ) ( ) ( )∏=∫==

n

in yfy,,yyf

11 θθθ K

Page 11: Maximum Likelihood estimator

บทท 4 ตวประมาณคาความควรจะเปนสงสด 67

โปรดระลกวา ( )θyf คอ joint pdf ของ θ ทไมรคาเมอใหคา iy หรอสงเกต iy หรอสงเกต iy จากตวอยางไดในรปของ ( )yL θ เมอให ( )θL เปน natural log ของฟงกชนความควรจะเปนแลว Cramer-Rao inequality กลาววา ถา θ เปนตวประมาณคาทไมเอนเอยงของ θ ดงนน

( )( )

2

2

1

θ

θθ

d

LdE

var ˆ

ซงหมาความวา ถา θ ซงไมเอนเอยง มความแปรปรวนเทากบ ( )221 θdLdE //− ซงถอวาเปนเสนกรอบลางสด (lower bound) ทเรยกวา Cramer-Rao lower bound (CRLB) แลวถอวา θ มประสทธภาพ เพราะไมม var ใดทจะตาไปกวานได (สาหรบตวประมาณทไมเอนเอยง) นคอเงอนไขทเพยงพอ แตไมจาเปน (sufficient but not necessary condition) ทงนเปนไปไดวาอาจไมมตวประมาณคาทไมเอนเอยงใดเลยทมคาเลกเทาๆ กบ CRLB สาหรบตวแปรสมทมการกระจายแบบปกต ( )2σβ ,Ny ~ ซงประมาณดวยวธ MLE,

( ) ββ =~E และ ( )

nvar

22 σ

σβ == ~~ นน Cramer-Rao lower bound หาไดจากอนพนธทสอง

ของ MLE นนคอ

( )

∑=

∑=

==

n

ii

n

ii yvar

nnyvarvar

121

1/~

β

( )nn

nyvar

ni

2

2

2

2

1 σσ==∑′=

n

d

LdE

2

2

2

1 σ

β

=

เมอ β~ เปนตวประมาณคาทไมเอนเอยงและมความแปรปรวนเทากบ CRLB จงสรปไดวา β~ เปน best unbiased estimator ของคาเฉลยของประชากรทมการแจกแจงปกต เมอรคา 2σ (Judge et al., 1988: 75) (ไมวาตวประมาณคาจะเปนเชงเสนหรอไมกตาม (Judge et al., 1982: 48) แมวา CRLB จะเปนมพลงแตใชยากในบางกรณ และเพราะวาเปนเงอนไขทไมจาเปนสาหรบการตดสนความมประสทธภาพ นอกจากนยงตองรการแจกแจงของประชากรดวย CRLB จงไมไดรบความนยมเทาทควร

Page 12: Maximum Likelihood estimator

เศรษฐมตประยกตสาหรบการตลาดเกษตร 68

บทสรป บทนแนะนาใหผอานไดรจกกบหลกเกณฑหรอตวประมาณคาอกตวหนงซงมการใชกนแพรหลาย อกวธหนงและเปนทางเลอกในกรณทตวประมาณคาทใชหลกเกณฑกาลงสองนอยทสด (LS) ไมสามารถใชงานได วธนเรยกวา Maximum Likelihood Estimator (MLE) ซงใชหลกเกณฑในการหาคาสถตคอคาเฉลยและคาความแปรปรวนของตวแปรสม โดยคาทไดเกดจากความเปนไปไดสงสดของการทขอมลชดนนๆ (ททาการศกษา) เกดขนมาได การใชวธการ MLE มเงอนไขเพมเตมจากวธ LS กคอ เรารการแจกแจงของตวแปรสม ซงมลกษณะเปนการแจกแจงปกต และแตละหนวยสงเกตตางเปนอสระตอกนแตมลกษณะการแจกแจงอยางเดยวกน ผลการประมาณดวยวธ MLE ตางจากวธ LS ตรงทคาประมาณของความแปรปรวน (variance) มอคต (biased) แตเปนคาอคตทมรปแบบแนชด และสามารถปรบใหปลอดจากอคตได โดยเปรยบเทยบกบวธ LS ซงไมมอคตแลว เราสามารถปรบคาความ

แปรปรวนดวยความสมพนธ คอ 22 1σσ ˆ

n

n~

−= เมอ 2σ~ และ 2σ คอคาประมาณจาก MLE

และ LS ตามลาดบ นอกจากวธประมาณคาแลวผอานยงไดรจกการแจกแจงของคาประมาณ 2σ~ และ 2σ อกดวย วธการ MLE ในบทนเหมอนกบวธ LS ในบทท 3 ตรงทเปนการประมาณคาเฉลยและความแปรปรวนของตวแปรสม โดยไมมตวแปรอธบาย ซงหลกเกณฑของตวประมาณคาทงสองวธนจะนาไปขยายผลโดยใชกบแบบจาลองเศรษฐมตทมตวแปรอธบายพฤตกรรมของตวแปรสม ( )y ในบทตอๆ ไป