Marekas Molis

MKM įrodymas

PRF :Y i=β0+β1 X i+u i (Population Regression Function)

E (Y|X i)= f ( X i )=β0+β1 X i

Y i=E (Y|X i )+ui

Kur E(Y|X)- sisteminė dalis, u-atsitiktinė, nesisteminė dalis

E (Y i|X i )=E [ E (Y|X i ) ]+E (ui|X i )=E (Y|X i )+E (u i|X i )

E (Y i|X i )=E (Y|X i ) → E (ui|X i )=0

SRF :Y i= β0+ β1 X i+ui (Sample Regression Function)

Y i= β0+ β1 X i

Į ver čių apskaičiavimas

(min )∑ u2=∑ (Y ¿¿ i− β0− β1 X i)2¿

∂ RSS∂ β0

=−2∑ (Y ¿¿ i− β0− β1 X i)❑=0¿

∑Y i−n β0−β1∑ X i=0∨:n

β0=∑Y i

n− β1

∑ X i

n

β0=Y − β1 X

∂ RSS∂ β1

=−2∑ X i(Y ¿¿ i− β0− β1 X i)❑=0 ¿ ∑ ( X i Y i− β0 X i− β1 X i

2 )=0

∑ X iY i− β0∑ X i=β1∑ X i2 β1∑ X i

2=∑ X i Y i−[∑Y i

n− β1

∑ X i

n ]∑ X i

β1[∑ X i2−

(∑ X i )2

n ]=∑Y i X i−∑Y i∑ X i

n

β1=∑ Y i X i−

∑ Y i∑ X i

n

∑ X i2−

(∑ X i )2

n

=n∑ Y i X i−∑Y i∑ X i

n∑ X i2−(∑ X i )

2 =n∑ Y i X i−n2 Y X

n∑ X i2−n2 X2 =

∑ Y i X i−n Y X

∑ X i2−n X2 =

∑ ( X i−X ) (Y i−Y )∑ ( X i−X )2

1

Marekas Molis

Nes: ∑ ( X i−X ) ( Y i−Y )=∑ X i Y i−Y∑ X i−X∑ Y i+n X Y=∑ X iY i−nY i X−n X i Y +n X Y=∑ X iY i−n X Y

∑ ( X i−X )2=∑ ( X i2−2 X i X−X2 )=∑ X i

2−2 X ∑ X i+n X2=∑ X i2−2∑ X i

n ∑ X i+n X2=∑ X i2−2 n X2+n X2=∑ X i

2−n X2

Įverčių savybės

1. Išreikšti per žinomus dydžius, todėl lengva apskaičiuoti.

2. Taškiniai įverčiai.

3. Regresijos tiesė pereina per imčių X ir Y vidurkius, nes:

β0=Y − β1 X , Y= β0+ β1 X

4. Įvertinto Y vidurkis lygus tikram Y vidurkiui.

Y i= β0+ β1 X i=(Y− β1 X )+ β1 X i

Susumuojame ir padaliname iš n:

∑ Y i=(∑Y − β1∑ X )+ β1∑ X i /:n

Y=Y− β1 X+ β1 X=Y → Y=Y

5. Paklaidų vidurkis lygus 0.

−2∑ (Y ¿¿i− β0− β1 X i)=0 →−2∑ u i=0→∑ ui

n=0→ ui=0¿

Naudojantis šia savybe, SRF galime išreikšti kita forma.

Y i= β0+ β1 X i+ ui→∑Y i=n β0+ β1∑ X i+∑ ui (daliname visąreiškinį iš n )→ Y= β0+ β1 X

Atimame gautą reikškinį iš SRF lygties

Y i−Y =β0− β0+ β1 ( X i−X )+ ui→ y i= β1 x i+ui (deviation form)

6. Paklaidos nekoreliuoja su Yi

cov (ui , Y i )=∑ (ui−u )( Y i−Y )=∑ y i ui= β1∑ x i ui=¿ β1∑ x i ( y i− β1 xi )=¿ β1∑ x i y i− β12∑ x i

2=¿ β12∑ x i

2− β12∑ x i

2=0¿¿¿

(Paai š kinimas : ui= y i− β1 xi , y i= β1 x i , β1=∑ x i y i

∑ x i2 )

2

Marekas Molis

∂∑ ( y i− β1 xi )2

∂ β1

=−2∑ x i ( y i− β1 x i )=−2∑ x iui=−2∑ ( X i−X ) ( ui−u )=0

cov ( X i , ui )=0

Įverčių tiesiškumas

β1=∑ xi y i

∑ x i2 =

∑ xi (Y i−Y )∑ x i

2 =∑ x i Y i

∑ x i2 −

Y ∑ x i

∑ xi2 =∑ x i Y i

∑ x i2 , nes∑ x i=¿0¿

Tarkime, kad i∈ {1,2 }

∑i=1

2

xi Y i

∑i=1

2

xi2

=x1 Y 1+x2 Y 2

x12+ x2

2 =x1Y 1

x12+x2

2 +x2Y 2

x12+x2

2 =∑i=1

2 x iY i

∑i=1

2

x i2

Taigi,

β1=∑ xi y i

∑ x i2 =∑ x i Y i

∑ xi2 =∑ k iY i , kai k i=

x i

∑ x i2

β1=k1 Y 1+k2 Y 2+…+k nY n tiesinė funkcija tenkinanti ne tik tiesinės funkcijos adityvumo, bet ir

homogeniškumo savybes. β1 yra svertinis Y vidurkis. Esant pakartotiniam emimui ki yra fiksuotos, nes Xi yra fiksuoti (nestochastiški).

β0 įverčio tiesiškumas

β0=Y − β1 X=∑ Y i

n−X [∑ k i Y i ]⏞

β1

=∑ [Y i( 1n−X k i)]

ki savybės:

1.∑ k i=0 ,nes∑ x i=0

2.∑ k i2=¿ 1

∑ x i2 , nes∑ k i

2=¿ ∑ x i2

∑ xi2∑ x i

2 =1

∑ x i2 ¿¿

3.∑ k i xi=∑x i

2

∑ xi2 =1=∑ k1 X1=1

3

Marekas Molis

Įrodymas:

∑ k1 X1=∑X i ( X i−X )∑ ( X i−X )2

=∑ X i2−X X i

∑ ( X i−X )2=∑ X i

2−∑ X X i

∑ ( X i−X )2 =∑ X i2−X ∑ X i

∑ ( X i−X )2=∑ X i

2−n X2

∑ ( X i−X )2

Nes X ∑ X i=∑ X i

n ∑ X i=(∑ X i )

2

n∙ n

n=

(∑ X i )2n

n2 =X 2n

∑ ( X i−X )2=∑ ( X i2−2 X X i+X 2)❑=∑ X i

2−2 X∑ X i+n X2=∑ X i2−2 X (n X )+n X2=∑ X i

2−2n X2+n X2=∑ X i2−n X2

∑ k1 X1=∑ X i

2−n X 2

∑ X i2−n X 2=1

Įverčių nepaslinktumas

β1=∑ k iY i=∑ k i ( β0+ β1 X i+ui )=β0∑ k i⏞¿ 0

+ β1∑ k i X i⏞¿1

+∑ k iu i

Uždedame matematinės vilties opreratorių:

E ( β1)⏞stochastiškas

=E ( β1 )⏞const

+ ∑ k i⏞determin .

E (ui )⏞¿0

E ( β1 )=β1 nepaslinktas įvertis

β0 nepaslinktumas

Jeigu PRF :Y i=β0+β1 X i+ui

β0=∑ [( 1n−X k i) ( β0+β1 X i+ui )⏞

Y i ]=∑i=1

n [ β0

n+

β1 X i

n+

ui

n−β0 X k i−β1 X i X k i−ui X k i]=β0+β1 X+0−0− β1 X− X∑ k i ui=β0−X∑ k iu i

Surandame mat. viltį:

E ( β0 )=E ( β0 )−X∑ (ki E (ui ) )

E ( β0 )=β0 nepaslinktas, tiesinis įvertis.

Įverčių standartinės paklaidos

4

Marekas Molis

var ( β1)=E [ β1−E ( β1) ]2=E ( β1−β1 )2

β1=∑ k iui+β1

E ( β1−β1 )2=E [ (∑ k iu i)2 ]=E (k1

2 u12+k2

2 u22+…+k n

2un2+2 k1 k2 u1u2+…+2 kn−1 knun−1un )

Kadangi pagal prielaidas E (u i2)=σ 2ir E (u iu j )=0 , i≠ j tai

var ( β1)=E [ (∑ k i ui )2 ]=σ 2∑ k i

2= σ2

∑ xi2 ;σ2−homoskedastiškų paklaidų pastovidispersija

var ( β0 )=E ( β0−E ( β0 ) )2=E ( β0−β0 )2

Iš anksčiau žinome: β0=β0+∑ [( 1n−X k i)ui]

Paaiškinimas: ∑ [( 1n−X k i)ui]=∑ u i

n⏞

¿ 0

−X∑ k i ui=−X∑ k iu i

E ( β0−β0 )2=E [( 1

n−X k i)ui]

2

=E[∑ ui

n−X ∑ k i ui]

2

=E [∑ u i2

n2 +−2 Xn ∑ ui∑ k i ui+X2 (∑ k iui )

2]=E[∑ ui2

n2 −2 Xn

σ2∑ k i⏞¿0

+X2 σ2∑ k i2]=σ2

n+ X σ2

∑ ( X i−X )2=σ2( 1

n+ n X2

∑ x i2 )=σ2(∑ xi

2+n X 2

n∑ xi2 )=σ 2(∑ ( X i−X )2+n X2

n∑ xi2 )=σ2(∑ X i

2−2 X ∑ X i+n X 2+n X2

n∑ x i2 )=σ 2(∑ X i

2−2 X∑ X i+2 n X2

n∑ ( X i−X )2 )=σ2(∑ X i2−2 X ∑ X i

nn+2 n X2

n∑ ( X i−X )2 )=σ2(∑ X i2−2 n X2+2n X 2

n∑ ( X i−X )2 )=σ 2( ∑ X i2

n∑ ( X i−X )2 )se ( β0 )=σ √ ∑ X i

2

n∑ ( X i−X )2; se ( β1 )= σ

√∑ x i2

Kovariacija

cov ( β0 , β1 )=E [( β0−E ( β0) ) ( β1−E ( β1 )) ]=E [ ( β0−β0 ) ( β1−β1) ]

β0=Y − β1 X → E ( β0 )=Y−E ( β1 ) X → β0=Y−β1 X

β0−E ( β0 )=Y − β1 X−Y +E ( β1 ) X=X (β1− β1 )=−X ( β1−β1 )

E [ (−X ) ( β1−β1) ( β1−β1 )]=−X E ( β1−β1 )2=−X var ( β1 )=−X σ2

∑ x i2

Paklaid ų dispersija σ2

5

Marekas Molis

(1 ) Y i=β0+β1 X i+ui

(2)Y =β0+ β1 X+u i atimkime (2) lygtį iš (1) lygties. Gauname:

y i=β1 xi+(u i−u ) , prisiminkime , kad u i= yi− β1 x i

ui+ β1 x i=β1 xi+(u i−u )

ui=β1 xi+(u i−u )− β1 x i→ ui=( β1−β1) x i+(ui−u )

Gautą reiškinį pakeliame kvadratu:

(ui )2=(( β1− β1) x i+(ui−u ))2→ ui

2=( β1− β1 )2 x i2+2 (u i−u ) (β1− β1 ) xi+ (ui−u )2

Susumuojame:

∑ u i2=∑ (β1− β1 )2 x i

2+2∑ (u i−u ) (β1− β1 ) x i+∑ (ui−u )2

∑ u i2=( β1−β1 )2∑ x i

2−2 ( β1−β1 )∑ (ui−u ) xi+∑ (ui−u )2

Uždedame matematinės vilties operatorių:

E (∑ u i2)=∑ x i

2 E [ ( β1−β1 )2 ]−2 E [( β1−β1 )∑ (ui−u ) x i ]+E [∑ (ui−u )2 ]Prisiminkime 2 savybes:

1.β1=∑ k iY i=∑ k i ( β0+ β1 X i+ui )=β0∑ k i⏞¿ 0

+ β1∑ k i X i⏞¿1

+∑ k iu i=β1+∑ k iu i

2. k i=x i

∑ x i2

Padarykime kelis supaprastinimus:

E [( β1−β1)∑ ( ui−u ) x i ]=E [ (β1+∑ k i ui−β1 )∑ (ui−u ) xi ]=E [(∑ k i ui )∑ (ui−u ) x i ]=E [(∑ k iu i )∑ ui x i ]=E [∑ k i x iui2 ]=σ2

E [∑ (u i−u )2 ]=E ¿

E (∑ u i2)=∑ xi

2 var ( β1 )+(n−1 ) σ2−2 σ 2 , var ( β1 )= σ2

∑ xi2

E (∑ u i2)=σ2+ (n−1 ) σ 2−2 σ2=(n−2)σ2

6

Marekas Molis

Jei mes pažymėsime σ 2=∑ u i2

n−2

E (σ 2 )= 1n−2

E (∑ ui2 )=σ2

Tai rodo, kad σ 2yra nepaslinktas σ 2įvertis.

Efektyvūs įverčiai.

β1 efektyvumas

Sakykim ~β1=∑ ci Y i , panašiai buvo β1=∑ k iY i

~β1=∑ ci ( β0+β1 X i+ui )=β0∑ c i+β1∑ c i X i+∑ c iui

Uždedame matematinės vilties operatorių:

E (~β1 )=β0∑ c i+β1∑ ci X i+0

Jei norime, kad E (~β1 )=β1,(t.y.įvertis turi būti nepaslinktas) reikia, kad ∑ ci=0 ir ∑ ci X i=1

Žinome, kad var (~β1)=σ 2∑ c i2

Tikslas yra minimizuoti var (~β1) kartu užtikrinant nepaslinktumo sąlygą ∑ ci=0 ir∑ c i X i=1

min∑ c i=0 ,∑ ci Xi=1

var (~β1 )=σ2∑ c i2

Susidurėme su optimizavimo su apribojimais problema.

Teorinis intarpas

Langrange‘o funkcija

(extr ) φ ( x ) , kai

g ( x )=b(m−s ąlygų)

{ g1 (x )=b1

…gm (x )=bm

Sudarome Langrange‘o funkciją:

L ( x , λ )=φ ( x )−λ [g ( x )−b ]

7

Marekas Molis

Ekstremumo sąlyga:

δLδx

=0

δLδλ

=0

x∈ Rn , x=(x1 , …, xn)

λ∈Rm , λ=(λ1 , …, λm)

min∑ c i=0 ,∑ ci Xi=1

var (~β1 )=σ2∑ c i2 , σ 2konstanta , todėl minimizuojame tik∑ c i

2

L (c i , λ1, λ2 )=∑ c i2−λ1∑ ci−λ2(∑ ci X i−1)

δLδ∑ c i

=2∑ c i−n λ1−λ2∑ X i=0

δLδ λ1

=∑ ci=0

δLδ λ2

=−(∑ c i X i−1)=∑ c i X i−1=0

∑ ci=nλ1+ λ2∑ X i

2=0→ nλ1+λ2∑ X i=0→ λ1=

− λ2∑ X i

n=−λ2 X

Vieno dėmens atveju pirmoji išvestinė yra tokia:

2 c i−λ1−λ2 X i=0

Įstatome λ1 išraiską į lygtį

2 c i+λ2 X−λ2 X i=0→2 c i=λ2 x i→ c i=λ2 xi

2( padauginame abi pusesiš X i)

c i X i=λ2 xi X i

2(susumuojame ) →∑ c i X i=

λ2

2 ∑ xi X i

λ2

2 ∑ x i X i=1 , tai λ2=2

∑ x i X i

∑ x i X i=∑ ( X i2−X X i )=∑ X i

2−X∑ X i=∑ X i2−

∑ X i

n ∑ X i=∑ X i2−n X2

8

Marekas Molis

Paimkime iš kitos pusės:

∑ x i2=∑ ( X i−X )2=∑ X i

2−2 X∑ X i+∑ X 2=∑ X i2−2 X ∑ X i+n X2=∑ X i

2−2n X2+n X2=∑ X i2−n X2

{∑ x i X i=∑ X i2−n X2

∑ x i2=∑ X i

2−n X2 →∑ xi X i=∑ xi2

Vadinasi,

λ2=2

∑ x i2 ,atsiminkime ,kad ci=

λ2 x i

2→ c i=

x i

∑ x i2 =k i

Tai sutampa su klasikiniais MKM svoriais ki , Vadinasi var ( β1) yra minimali. Tai reiškia, kad β1yra BLUE (Best Linear Unbiased Estimators).

β0 efektyvumas

Turime įvertį ~β0:

~β0=∑i=1

n [ β0

n+

β1 X i

n+

ui

n−β0 X c i−β1 X i X c i−u i X c i]=β0+ β1 X−β0 X ∑ c i−β1 X∑ X i c i−X ∑ ui c i

E (~β0 )=β0+ β1 X−β0 X ∑ ci−β1 X ∑ X i c i−0

Jei norime, kad ~β0 būtų nepaslinktas, reikia, kad ∑ ci=0 ir∑ X i c i=1

var (~β0 )=σ2( ∑ X i2

n∑ ( X i−X )2 )=σ2( ∑ X i2

n∑ xi2 )=σ2 1

n∑ X i2∑ c i

2

min∑ c i=0 ,∑ ci Xi=1

var (~β0 )=σ2 1n∑ X i

2∑ c i2 , σ2 konstanta ,todėl minimizuojametik 1

n∑ X i2∑ c i

2

L=1n∑ X i

2∑ c i2−λ1∑ c i−λ2(∑ c i X i−1)

δLδ c i

=2c i

n ∑ X i2−λ1−λ2 X i=0

δLδ λ1

=∑ ci❑=0

δLδ λ2

=∑ c i X i−1=0

9

Marekas Molis

2 ci

n ∑ X i2−λ1−λ2 X i=0→

2c i

n ∑ X i2=λ1+λ2 X i→ c i=

nλ1+nλ2 X i

2∑ X i2

∑ ci=n2 λ1+nλ2∑ X i

2∑ X i2 =0(žiūrėti išvestinę pagal λ1)

n2 λ1+nλ2∑ X i=0 → n2 λ1=−nλ2∑ X i → λ1=−λ2∑ X i

n=− λ2 X

δLδ c i

=2c i

n ∑ X i2+λ2 X−λ2 X i=0

2 ci

n ∑ X i2=λ2 xi→ c i=

n λ2 x i

2∑ X i2 ( padauginame gaut ą reiškinį iš X i)

c i X i=n λ2 xi X i

2∑ X i2 (susumuojame)

∑ ci X i=n λ2∑ x i X i

2∑ X i2 (žinome , kad∑ x i X i=∑ x i

2 )→∑ c i X i=n λ2∑ x i

2

2∑ X i2 =1( δL

δ λ2)

λ2=2∑ X i

2

n∑ x i2

c i=n λ2 x i

2∑ X i2 ¿

Įrodėme, jog ci=ki, tai reiškia, jog β0 yra efektyvus.

Įrodyta Gauss-Markov teorema. (Įverčiai tiesiniai, nepaslinkti, efektyvūs)

Bendrasis regresinis modelis (The Matrix approach)

PRF :Y i=β0+β1 X2 i+…+ βk −1 Xki+u i , kur i=1 , n

Matricine forma jis gali būti pavaizduotas taip:

(Y 1

Y 2

⋮Y n

)⏟

yn×1

=(1 X21 X31 … X k 1

1 X22 X32 ⋯ X k 2

⋮ ⋮ ⋮ ⋱ ⋮1 X2n … … X kn

)⏟

Xn×k

(β0

β1

β2

⋮βk−1

)⏟

βk × 1

+(u1

u2

⋮un

)⏟

un× 1

10

Marekas Molis

Taigi:

y⏟n ×1

=Xβ⏟n× 1

+ u⏟n× 1

CLRM prielaidos matriciniame pavidale

1. E (u )=0

E (u )=(E (u1)E (u2)⋮

E(un))=(

00⋮0)=0

2. E (uuT )=σ2 I , kur I−vienetinė matrica

E (uuT )=E [(u1

u2

⋮un

)(u1 u2 … un )]=(E(u1

2) E(u1 u2) … E (u1un)E(u2 u1) E(u2

2) … E (u2un)⋮ ⋮ ⋱ ⋮

E(un u1) E(un u2) … E(un2)

)=(σ2 0 … 00 σ2 … 0⋮ ⋮ ⋱ ⋮0 0 … σ2)=σ2 I⏟

n×n

( paklaid ų variacijos−kovariacijosmatrica)

3. n×k matrica X nestochastin ė , t . y . joje yra fiksuoti skaičiai .

4. X matricos rangas ρ ( X )=k<n ,t . y . kintamieji tarpusavyje nesusiję ir jųturibūti mažiau nei stebėjimų .

MKM įverčių išvedimas

∑ ei2= eT⏟

1× n

e⏟n× 1

=( y−X β )T ( y−X β )=( yT⏟1×n

− βT⏟1 × k

XT⏟k ×n)( y⏟

n × 1

− X⏟n ×k

β⏟k ×1)= yT⏟

1 ×n

y⏟n×1

− βT⏟1 × k

XT⏟k× n

y⏟n×1

− yT⏟1 ×n

X⏟n ×k

β⏟k ×1

+ βT⏟1 ×k

XT⏟k × n

X⏟n ×k

β⏟k ×1

= yT⏟1×n

y⏟n×1

−2 βT⏟1×k

XT⏟k × n

y⏟n ×1

+ βT⏟1× k

XT⏟k ×n

X⏟n × k

β⏟k × 1

¿

pačiai βT⏟1× k

XT⏟k ×n

y⏟n×1

= yT⏟1× n

X⏟n × k

β⏟k × 1

∂(eT e)∂ β

=0−2 XT y+2 XT X β=0

X T⏟k× n

X⏟n×k

β⏟k ×1

¿ X⏟k× n

T y⏟n ×1

Norėdami išspręsti šią lygtį, galime pasinaudoti Kramerio taisykle. Kadangi X matricos rangas k, tai galime sudaryti k-eilės nenulinį determinantą, kuris reikalingas sprendimui.

β⏟k ×1

=(XT⏟k ×n

X⏟n×k)

−1 X⏟k ×n

T y⏟n ×1

11

Marekas Molis

β nepaslinktumas

β=( XT X )−1 XT y=( XT X )−1 XT ( Xβ+u )=( XT X )−1 XT Xβ+( XT X )−1 XT u=β+( XT X )−1 XT u , nes ( X T X )−1 XT X=I

E ( β )=E (β )+E ( ( XT X )−1 XT u )=β+ ( XT X )−1 XT E (u )=β

Paai škinmas : β ir ( XT X )−1 XT−konstantos , paklaidos u−stochastiškos , t . y . E (u )=0

β dispersija

E [( β−β)⏟k × 1

( β−β)T⏟1 × k ] ,( β=β+( XT X )−1 XT u )

E [( β+ ( XT X )−1XT u−β )(β+ ( XT X )−1

XT u−β )T ]=E [ ⟨ ( XT X )−1

XT u ⟩ ⟨ ( XT X )−1XT u ⟩T ]=E [ ( XT X )−1

XT uuT X ( XT X )−1 ]

Paai škinimas:1. ( ABC )T=CT BT AT → ⟨ ( XT X )−1 XT u ⟩T=uT X [ ( XT X )−1 ]T

2. ( A−1 )T=( AT )−1→ [ ( XT X )−1 ]T=[ ( X T X )T ]−1

3. A=AT , kai A simetri ška matrica.→ ( XT X )T=XT X

XT X=(1 1 ⋯ 1

X21 X22 ⋯ X2n

X31 X32 ⋯ X 3 n

⋮ ⋮ ⋱ ⋮X k 1 Xk 2 … X kn

)⏟

k ×n

(1 X21 X31 … X k1

1 X22 X32 ⋯ X k2

⋮ ⋮ ⋮ ⋱ ⋮1 X2n X3 n … X kn

)⏟

n× k

=(n ∑ X2 i ⋯ ∑ X ki

∑ X2 i ∑ X2 i2 ⋯ ∑ X2 i X ki

⋮ ⋮ ⋱ ⋮

∑ X ki ∑ Xki X2 i ⋯ ∑ X ki2 )

⏟k ×k

, i=1 , n

Taigi XTX simetriška.

E [ ( XT X )−1 XT u uT X ( XT X )−1 ]=( XT X )−1 XT E (u uT ) X ( XT X )−1=( XT X )−1 XT ( σ2 I ) X ( XT X )−1

=σ2 ( XT X )−1 ( XT X ) ( XT X )−1=σ2(XT⏟

k × n

X⏟n ×k )

−1

β variacijos−kovariacijos matrica

E [( β−β)⏟k × 1

( β−β)T⏟1 × k ]=E [( β0−β0

β1−β1

⋮βk−1−βk−1

) ( β0−β0 β1−β1 ⋯ βk−1−βk−1 )]=( ( β0−β0 )2 ( β0−β0) ( β1−β1) ⋯ ( β0−β0 ) ( βk−1−βk−1 )( β1−β1 ) ( β0−β0 ) ( β1−β1 )2

⋯ ( β1−β1 ) ( βk−1−βk−1 )⋮ ⋮ ⋱ ⋮

( βk−1−βk−1 ) ( β0−β0 ) ( βk−1−βk−1 ) ( β1−β1) ⋯ ( βk−1−βk−1 )2)=( var ( β0) cov ( β0, β1) ⋯ cov ( β0 , βk−1)

cov ( β0 , β1) var ( β1) ⋯ cov ( β1 , βk −1)⋮ ¿⋱ ¿ ¿

cov ( βk−1 , β1)¿⋯¿var ( βk−1)¿)Multikolinearumas

12

Marekas Molis

Terminą įvedė Ragnar Frisch. Tobulas multikolinearumas reiškia, jog egzistuoja tobulas (tikslus) tiesinis darinys tarp nepriklausomų kintamųjų.

λ1 X1+λ2 X2+…+ λk X k=0 ;bent du λ i≠ 0

Praktikoje labiau paplitęs „netobulas“ multikolinearumas.

λ1 X1+λ2 X2+…+ λk X k+ϵi=0 ;bent du λ i≠ 0 , ϵ i−stochastinė paklaida .

Tarkime, kad λ1≠ 0

Tobulo multikolinearumo atveju:

X1=− λ2

λ1X2−…−

λk

λ1Xk

Netobulo multikolinearumo atveju:

X1=− λ2

λ1X2−…−

λk

λ1Xk−

ϵi

λ1

Pavyzdys:

X1 X2 X2¿

e

1 23,89913

61,89913

6

5 1012,5294

72,52946

6

4 89,27576

51,27576

5

6 1213,5456

71,54567

1

7 1416,9465

92,94659

3

X2=2 X1, šiuo atveju r X 1 X2=1( tobulas multikolinearumas)

X2¿=2 X1+e , šiuo atveju r X 1 X 2

¿=0,9918

Reikia pažymėti, jog multikolinearumas galioja, kai tarp nepriklausomu kintamųjų egzistuoja tiesinis ryšys. Pavyzdžiui, modelis Y i=β0+β1 X i+ β2 X i

2+β3 X i3+ui nepažeidžia ne multikolinearumo

13

Marekas Molis

prielaidos, tačiau apskaičiuoti parametrų įverčius su mažesnėmis standartinėmis paklaidomis bus sunkiau, nes koreliacijos koeficientas bus didelis.

Pavyzdys:

X i X i2 X i

3

1 1 15 25 1254 16 646 36 2167 49 343

r X i X i2=0,972 r X i X i

3=0,919 r X i2 X i

3=0,985

Multikolinearumo atsiradimo priežastys

1. Duomenų surinkimo metodo trukūmai.2. Apribojimai modelyje arba naudojamoje imtyje.3. Modelio specifikacija (polinominiai dėmenys)4. Kintamųjų daugiau negu stebėjimų.5. Laiko eilutėse kintamieji turi bendrą deterministinį trendq.

Įverčių apskaičiavimas turint tobulą multikolinearumą

y i=β2 x2 i+ β3 x3 i+ui

β2=(∑ y i x2 i ) (∑ x3 i

2 )−(∑ y i x3i ) (∑ x2 i x3 i )(∑ x2 i

2 ) (∑ x3 i2 )−(∑ x2 i x3 i )

2

β3=(∑ y i x3 i ) (∑ x2 i

2 )−(∑ y i x2i ) (∑ x2 i x3 i )(∑ x2 i

2 ) (∑ x3 i2 )−(∑ x2 i x3 i )

2

Tarkime, kad X3 i= λ X2 i

β2=(∑ y i x2 i ) (∑ ( λ x2i )

2)−(∑ y i λx2 i ) (∑ x2 i λx2 i )(∑ x2 i

2 )(∑ ( λ x2 i )2 )−(∑ x2 i λx2 i )

2 =λ2 (∑ y i x2 i ) (∑ x2 i

2 )−λ2 (∑ y i x2 i ) (∑ x2 i2 )

λ2 (∑ x2 i2 )

2−λ2 (∑ x2 i

2 )2 =0

0

β3=(∑ y i λx2i ) (∑ x2i

2 )−(∑ y i x2i ) (∑ x2i λx2i )(∑ x2 i

2 ) (∑ ( λ x2i )2 )−(∑ x2 i λx2i )

2 =λ (∑ y i x2 i ) (∑ x2 i

2 )− λ (∑ y i x2 i ) (∑ x2 i2 )

λ2 (∑ x2 i2 )2− λ2 (∑ x2i

2 )2 =00

Matriciniu pavidalu:

β⏟k ×1

=(XT⏟k ×n

X⏟n×k)

−1 X⏟k ×n

T y⏟n ×1

14

Marekas Molis

(XT⏟k ×n

X⏟n ×k )

−1=

adj ( XT X )|XT X|⏟

0

=∞

Determinantų savybės :

1. |AT|=|A|

2. |AB|=|A||B|

var . cov ( β)=σ2(XT⏟k × n

X⏟n× k )

−1=∞

Neįmanoma nustatyti nei dispersijų nei kovariacijų.

β koeficientų paskirtis yra atskirti individualius nepriklausomų kintamųjų poveikius priklausomajam kintamajam. Kai nepriklausomi kintamieji yra pernelyg susiję, jų poveikio atskirti neįmanoma.

M icronumerosity

n<k (daugiau kintamųjų negu stebėjimų).

rank ( X )=n →|XT⏟k ×n

X⏟n× k|=0

Realybėje nebūna tobulo multikolinearumo. Jei būtų – tai reištų determinuotus ryšius, o juk mes dirbame su stochastiniais kintamaisiais ir stochastiniais ryšiais.

Heteroskedastiškumas

Priežastys

1. Mokomasi iš klaidų.2. Duomenų surinkimo metodai tikslėja.3. Išskirtys.4. Praleisti svarbūs kintamieji.5. Kintamųjų asimetrija.6. Neteisinga kintamųjų transformacija arba neteisinga funkcinė forma.

15

Marekas Molis

Skerspjūvio duomenys labiau linkę turėti heteroskedastiškumo problemą nei laiko eilučių. Skerspjūvio duomenyse yra daug skirtingų objektų. Tuo tarpu laiko eilučių modeliuose yra duomenys apie vieno objekto kitimą laike.

Problemos

σ 2=∑ u i2

n−2=∑ (Y i−Y i )

2

n−2=∑ (β0+β1 X i+u i− β0− β1 X i )

2

n−2=∑ (−( β0−β0 )−( β1−β1 ) X i+ui )

2

n−2β0=Y −β1 X

β0=Y − β1 X

β0−β0=( β1− β1 ) X+u

∑ (( β1−β1 ) X−( β1−β1 ) X i+ui−u)2n−2

= 1n−2∑ [−x i ( β1−β1 )+(u i−u )]2= 1

n−2∑ (x i2 ( β1−β1 )2−2 x i ( β1−β1 ) (ui−u )+(ui−u )2 )= 1

n−2¿

E (σ 2 )=∑ x i2var ( β1 )+∑ σ i

2

n−2Jeigu E (σ 2 )≠ σ 2 , tai var ( β)≠ var (β). Įverčiai neefektyvūs. Negalime tikrinti hipotezių.GLS (WLS). Apibendrintas MKM.Nevienoda Y dispersija. Apibendrinto MKM idėja suteikti didesnį svorį stebėjimams su mažesne

dispersija ir mažesnį svorį stebėjimams su didesne dispersija.Y i=β0+β1 X i+ui→ Y i=β0 X0 i+β1 X i+u i , kur X0 i=1∀ i=1 , n

Sakykim E (ui2 )=σ i

2

σ i žinomePertvarkome turima lygtįY i

σ i=β0

X0 i

σ i+β1

X i

σ i+

ui

σ i→ Y i

¿=β0¿ X 0i

¿ +β1¿ X1

¿+ui¿

var ( ui¿)=E (ui

¿ 2)=E ( ui

σ i)

2

= 1σ i

2 E (u i )2= 1

σ i2 σ i

2=1

Gavome homoskedastiškas paklaidas.

Nežinome tikrųjų σ i2

1 prielaida E (ui2 )=σ2 X i

2 Y i

X i=

β0

X i+β1+

u i

X i=β0

1X i

+ β1+ϵ i

E (ϵi2 )=E( ui

X i)

2

= 1X i

2 E (ui2 )=σ 2

Šiuo atveju laisvasis narys tapo nuolydžio koeficientu o nuolydžio koeficientas laisvuoju nariu.

2 prielaida E (ui2 )=σ2 X i

16

Marekas Molis

Y i

√ X i

=β0

√ X i

+β1√ X i+u i

√ X i

=β01

√ X i

+β1 √X i+ϵi

E (ϵi2 )=E( ui

√ X i )2

= 1√ X i

E (ui2 )=σ 2 X i

X i=σ2

3 prielaida E (ui2 )=σ 2 [ E (Y i ) ]2

Y i

E(Y i)=

β0

E(Y i)+ β1

X i

E (Y i)+

ui

E(Y i)

E (ϵi2 )= 1

[ E (Y i ) ]2E (u i

2)=σ2 ,kur ϵi=ui

E(Y i)

Tačiau mes nežinome Y i=β0+β1 X i . Šiuo atveju naudojami 2 etapai:1. Y i=β0+ β1 X i

2.Y i

Y i

=β0( 1Y i )+β1( X i

Y i )+ϵ i

Naudojama, kai turime didelę imtį.

4 prielaida Logaritminė transformacijaln Y i=β0+β1 ln X i+ui

Sumažinama kintamųjų matavimo skalės, todėl gali sumažėti dispersija. Jei skirtumai tarp dispersijų buvo nedideli, tai jie taps dar mažesni.

AutokoreliacijaE (ut u t+ s ) ≠0 ( s≠ 0 ) Netenkinama prielaida , jog paklaidos nekoreliuoja tarpusavyje .Indeksas t suponuoja, jog nagrinėjami laiko eilučių modeliai. (Skerspjūvio duomenyse autokoreliacijos tikimybė žymiai mažesnė).

Tarkime, kad paklaidos generuojamos sekančiu būdu.ut=ρ ut−1+εt , kur εt−baltasis triuk šmas (white noise)Užrašyta lygtis vadinama pirmos eilės autoregesija ir paprastai žymima AR(1).Pagal AR(1):ut=ρ ut−1+εt ,−1< ρ<1Tada:E (ut )=ρE (ut−1 )+E (εt )=0

17

Marekas Molis

Paklaidų dispersija:var (u t )=E (ut

2 )=E (ρ2 ut−12 +2 ρ ut−1 εt+εt

2 )=ρ2 E (ut−12 )+2 ρ E (ut−1ε t )⏟

¿0

+E (εt2 )=ρ2 E (ut−1

2 )+σ ε2=ρ2 var (u t−1 )+σ ε

2

Sakykime, kad var (u t )=var (ut−1 )=σ2(paklaidos homoskedastiškos)

σ 2=ρ2 σ2+σ ε2 → σ2−ρ2 σ2=σ ε

2 →σ 2=σ ε

2

1−ρ2

Paklaidų kovariacijaut=ρ ut−1+εt∨∙ut−1→ ut ut−1=ρ ut−1

2 +ε t ut−1

Surandame mat. viltį:E (ut u t−1 )=ρE (u t−1

2 )+E ( εt ut−1)=ρ var (ut−1 )

Iš anksčiau žinime , kad var (ut )=var (ut−1 )=σ ε

2

1−ρ2

Todėl:

cov (ut ,ut−1 )=E (ut u t−1 )=ρσ ε

2

1−ρ2

ut=ρ ut−1+εt−1∨∙ ut−2→ ut ut−2=ρu t−1 ut−2+ε t ut−2

E (ut u t−2 )= ρE (u t−1u t−2 )+E (ε t ut−2 )=ρE ( ut−1 ut−2 )

ut−1ut−2=ρ ut−22 +εt−1 ut−2 → E (ut−1u t−2 )= ρE (u t−2

2 )=ρ var (u t−2)

cov (ut ,ut−2 )=E (u tu t−2 )=ρ2 σε2

1−ρ2

cov (ut ,ut−s )=E (ut ut−s )= ρs σε2

1− ρ2

β1 dispersija

Žinome, kad MKM įverčio β1 dispersija yra σ2

∑ xi2 .

Esant autokoreliacijai:

σ 2=σ ε

2

1−ρ2 → var ( β1 )=

σε2

1−ρ2

∑ x i2 =

σ ε2∑ x i

2

1−ρ2

Autokoreliacijos pasekmės1. MKM įverčiai nepaslinkti, tačiau neefektyvūs. 2. Iš to išplaukia, kad negalima pasitikėti R2, t ir F statistikomis.

18

Marekas Molis

Duomenų transformacija ir autokoreliacijaTarkime, kad turime modelį:Y t=β0+β1 X t +ut , kur ut−baltasis triukšmas Perrašome modelį t-1 laikotarpio atžvilgiu:Y t−1=β0+ β1 X t−1+u t−1

Surandame modelių skirtumus:Y t−Y t−1=β1 ( X t−X t−1 )+(u t−u t−1 )∆ Y t=β1 ∆ X t+et ,kur et=ut−ut−1

cov (e t , e t−1 )=E ( et et−1)=E [ (ut−ut−1 ) ( ut−1−u t−2 ) ]=E [ut ut−1−ut−12 −ut ut−2+u t−1u t−2 ]=E (u t ut−1 )−E (ut−1

2 )−E (ut u t−2 )+E (ut−1ut−2 )=−σ2

Tarp paklaidų atsirado kovariacija. Turime autokoreliacijos problemą.

Autokoreliacijos sprendimas naudojant apibendrintą MKM (GLS)Turime modelį:(1)Y t=β0+β1 X t+ut , kur ut generuojamas AR (1 ) proceso .ut=ρ ut−1+εt ,−1< ρ<1Tarkime, kad mes žinome ρ reikšmę.Perrašome modelį t-1 laikotarpio atžvilgiu:

Y t−1=β0+ β1 X t−1+u t−1

Padauginame abi puses iš ρ :(2)ρY t−1=ρβ0+ ρβ1 X t−1+ρ ut−1

Atimame (2) lygtį iš (1):(Y t−ρY t−1 )=(1−ρ ) β0+β1 ( X t−ρ X t−1 )+ε t , εt−baltasis triukšmasε t=u t−ρut−1=ρ ut−1+εt−ρu t−1=εt

Gavomenaują modelį :Y t

¿=β0¿+β1 X t

¿+εt

kur Y t¿=Y t−ρY t−1 , β0

¿=(1−ρ ) β0 , X t¿=( X t−ρ X t−1 )

Apibendrintas MKM (GLS) yra ne kas kita, kaip MKM pritaikymas transformuotiems duomenims.

19