View
213
Download
0
Category
Preview:
Citation preview
4. Das multiple lineare Regressionsmodell
Bisher:
• 1 endogene Variable y wurde zuruckgefuhrt auf 1 exogeneVariable x (einfaches lineares Regressionsmodell)
Jetzt:
• Endogenes y wird regressiert auf mehrere exogene Variablenx1, . . . , xK (multiples lineares Regressionsmodell)
Es zeigt sich:
• Viele Ergebnisse und Intuitionen der einfachen Regressionubertragen sich auf das multiple Modell
130
Wichtige Hilfsmittel:
• Matrixalgebra
• Erwartungswertvektor
• Kovarianzmatrix
• multivariate Normalverteilung
131
Inhaltlicher Aufbau:
• Modellspezifikation(A-, B-, C-Annahmen)
• Punktschatzung(KQ-, ML-Schatzung, Bestimmtheitsmaß)
• Hypothesentests(t-Test, F -Test)
• Prognose
132
4.1 Spezifikation
Beispiel: (I)
• Schatzung einer Produktionsfunktion fur Gerste
• Exogene Variablen (Dungemitteleinsatze):
Phosphat p (in kg/ha)Stickstoff n (in kg/ha)
• Endogene Variable (Output):
Gerste g (in 100kg/ha)
133
Beispiel: (II)
• Stichprobenumfang:
30 Beobachtungen (Parzellen)
• Okonomisches Modell:
g = f(p, n)
(grundlegender Wirkungszusammenhang)
Nachster Schritt:
• Funktionale Spezifikation
134
Erhobener Datensatz
i pi ni gi i pi ni gi1 22.00 40.00 38.36 16 25.00 110.00 59.552 22.00 60.00 49.03 17 26.00 50.00 55.243 22.00 90.00 59.87 18 26.00 70.00 54.134 22.00 120.00 59.35 19 26.00 90.00 66.575 23.00 50.00 45.45 20 26.00 110.00 61.746 23.00 80.00 53.23 21 27.00 40.00 48.997 23.0 100.00 56.55 22 27.00 60.00 54.388 23.00 120.00 50.91 23 27.00 80.00 58.289 24.00 40.00 44.87 24 27.00 100.00 62.8110 24.00 60.00 54.06 25 28.00 50.00 50.7611 24.00 90.00 60.34 26 28.00 70.00 51.5412 24.00 120.00 58.21 27 28.00 100.00 59.3913 25.00 50.00 51.52 28 28.00 110.00 68.1714 25.00 80.00 58.58 29 29.00 60.00 59.2515 25.00 100.00 57.27 30 29.00 100.00 64.39
135
1. Funktionale Form (A-Annahmen)
Spezifikation in 3 Schritten:
• 1. Schritt: (I)
Moglicher Wirkungszusammenhang:
g = α + β1p + β2n
(α, β1, β2 unbekannte Parameter)
Nachteil: keine abnehmenden Grenzertrage
136
• 1. Schritt: (II)
Realistischer:
g = Apβ1nβ2
mit Parametern A, β1, β2(Cobb-Douglas-Produktionsfunktion)
Nachteil: Zusammenhang ist nicht linear
Ausweg: Logarithmieren
ln(g) = ln(A) + β1 ln(p) + β2 ln(n)
Definiere
y ≡ ln(g), x1 ≡ ln(p), x2 ≡ ln(n), α ≡ ln(A)
−→ Lineares Modell
y = α + β1x1 + β2x2
137
Logarithmierter Datensatz
i x1i x2i yi i x1i x2i yi[ln(pi)] [ln(ni)] [ln(gi)] [ln(pi)] [ln(ni)] [ln(gi)]
1 3.0910 3.6889 3.6470 16 3.2189 4.7005 4.08682 3.0910 4.0943 3.8924 17 3.2581 3.9120 4.01173 3.0910 4.4998 4.0922 18 3.2581 4.2485 3.99144 3.0910 4.7875 4.0835 19 3.2581 4.4998 4.19835 3.1355 3.9120 3.8166 20 3.2581 4.7005 4.12296 3.1355 4.3820 3.9746 21 3.2958 3.6889 3.89167 3.1355 4.6052 4.0351 22 3.2958 4.0943 3.99608 3.1355 4.7875 3.9301 23 3.2958 4.3820 4.06539 3.1781 3.6889 3.8038 24 3.2958 4.6052 4.140110 3.1781 4.0943 3.9901 25 3.3322 3.9120 3.927111 3.1781 4.4998 4.1000 26 3.3322 4.2485 3.942412 3.1781 4.7875 4.0641 27 3.3322 4.6052 4.084113 3.2189 3.9120 3.9420 28 3.3322 4.7005 4.222014 3.2189 4.3820 4.0704 29 3.3673 4.0943 4.081815 3.2189 4.6052 4.0478 30 3.3673 4.6052 4.1650
138
• 2. und 3. Schritt:Das okonometrische Modell lautet fur i = 1, . . . ,30:
yi = α + β1x1i + β2x2i + ui
Jetzt:
• Allgemeine Formulierung des multiplen linearen Regressions-modells mit K exogenen Variablen
yi = α + β1x1i + β2x2i + . . . + βKxKi + ui
fur i = 1, . . . , N , bzw. ausgeschrieben
y1 = α + β1x11 + β2x21 + . . . + βKxK1 + u1y2 = α + β1x12 + β2x22 + . . . + βKxK2 + u2
...yN = α + β1x1N + β2x2N + . . . + βKxKN + uN
139
Bemerkungen:
• Die (K + 1) Parameter α, β1, . . . , βK heißen Regressionspa-rameter oder Regressionskoeffizienten
• Die Zufallsvariable ui ist eine Storgroße
Jetzt:
• Formulierung der klassischen A-, B-, C-Annahmen fur dasmultiple Regressionsmodell
140
1. Funktionale Form (A-Annahmen)
• Annahme A1:Im multiplen Regressionsmodell (Folie 139) fehlen keine rele-vanten exogenen Variablen und die benutzten exogenen Vari-ablen x1, x2, . . . , xK sind nicht irrelevant
• Annahme A2:Der wahre Zusammenhang zwischen x1i, x2i, . . . , xKi und yiist linear
• Annahme A3:Die Parameter α, β1, . . . , βK sind fur alle N Beobachtungen(x1i, x2i, . . . , xKi, yi) konstant
141
Bemerkung:
• Die Annahmen A1 bis A3 postulieren, dass das okonometrischeModell funktional nicht fehlspezifiziert ist
2. Storgroßenspezifikation (B-Annahmen) (I):
• Annahme B1:Die Storgroße ui hat fur alle Beobachtungen i = 1, . . . , Neinen Erwartungswert von Null, d.h.
E(ui) = 0
fur i = 1, . . . , N
142
2. Storgroßenspezifikation (B-Annahmen) (II):
• Annahme B2: (Homoskedastie)Die Storgroße ui hat fur alle Beobachtungen i = 1, . . . , N einekonstante Varianz, d.h. fur i = 1, . . . , N gilt
V ar(ui) = σ2
• Annahme B3: (Keine Autokorrelation)Die Storgroße ui ist nicht autokorreliert, d.h. fur alle i =1, . . . , N und j = 1, . . . , N mit i 6= j gilt
Cov(ui, uj) = 0
• Annahme B4:Die Storgroßen ui sind normalverteilt, d.h. ui ∼ N(0, σ2)
143
Bemerkung:
• B1 bis B4 besagen, dass die N Storgroßen u1, . . . , uN diegleiche Wahrscheinlichkeitsverteilung besitzen (namlich ui ∼N(0, σ2)) und alle unabhangig voneinander sind
144
3. Variablenspezifikation (C-Annahmen)
• Annahme C1:Die exogenen Variablen x1i, . . . , xKi sind keine Zufallsvari-ablen, sondern konnen wie in einem Experiment kontrolliertwerden
• Annahme C2: (Freiheit von perfekter Multikollinearitat)Es existieren keine Parameterwerte γ0, γ1, . . . , γK (wobei min-destens ein γk 6= 0), so dass zwischen den exogenen Variablenx1i, . . . , xKi die lineare Beziehung
γ0 + γ1x1i + . . . + γKxKi = 0
fur alle i = 1,2, . . . , N gilt
145
Bemerkung: (Perfekte Multikollinearitat)
• Betrachte Zweifachregression
yi = α + β1x1i + β2x2i + ui
• Wenn C2 verletzt ist, gibt es γ0, γ1, γ2 mit
γ0 + γ1x1i + γ2x2i = 0
und damit
x2i = −(γ0/γ2)︸ ︷︷ ︸
≡δ0
−γ1/γ2︸ ︷︷ ︸
≡δ1
x1i
−→ Es liegt keine Zweifachregression vor, denn
yi = (α + β2δ0) + (β1 + β2δ1)x1i + ui
146
Jetzt:
• Formulierung des multiplen linearen Regressionsmodells vonFolie 139 in Matrixschreibweise
Setze dazu:
y =
y1y2...
yN
,X =
1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN
, β =
αβ1...
βK
,u =
u1u2...
uN
−→ Matrixschreibweise:
y = Xβ + u
147
Ausgeschrieben:
y1y2...
yN
=
1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN
αβ1...
βK
+
u1u2...
uN
Jetzt:
• Formulierung der A-, B-, C-Annahmen in Matrixdarstellung
148
1. Funktionale Form (A-Annahmen)
• Annahme A1:Im multiplen Regressionsmodell fehlen keine relevanten exo-genen Variablen und die benutzten exogenen Variablen (Spal-ten der X-Matrix) sind nicht irrelevant
• Annahme A2:Der wahre Zusammenhang zwischen X und y ist linear
• Annahme A3:Der Parametervektor β ist fur alle N Beobachtungen (xi, yi)konstant
149
2. Storgroßenspezifikation (B-Annahmen) (I)
• Annahme B1:
E(u) = 0N×1
Zwischenbemerkungen: (I)
• Betrachte die (N ×N)-Matrix uu′ mit Erwartungswert
E(uu′) = E
u1u1 u1u2 · · · u1uNu2u1 u2u2 · · · u2uN... ... · · · ...uNu1 uNu2 · · · uNuN
=
E(u21) E(u1u2) · · · E(u1uN)
E(u2u1) E(u22) · · · E(u2uN)
... ... · · · ...E(uNu1) E(uNu2) · · · E(u2
N)
150
Zwischenbemerkungen: (II)
• Wegen B1 gilt E(ui) = 0 bzw. E(uj) = 0 und damit
E(uiuj) =
{
E{[ui − E(ui)][uj − E(uj)]} = Cov(ui, uj) , fur i 6= jE{[ui − E(ui)][ui − E(ui)]} = V ar(ui) , fur i = j
Hieraus folgt
E(uu′) =
V ar(u1) Cov(u1, u2) · · · Cov(u1, uN)Cov(u2, u1) V ar(u2) · · · Cov(u2, uN)
... ... · · · ...Cov(uN , u1) Cov(uN , u2) · · · V ar(uN)
= Cov(u)
151
Definition 4.1: (Varianz-Kovarianz-Matrix)
Die Matrix E(uu′) = Cov(u), die sowohl die Varianzen samtlicherStorgroßen als auch alle Kovarianzen zwischen den Storgroßenenthalt, wird als Varianz-Kovarianz-Matrix des multiplen Regres-sionsmodells bezeichnet.
Zwischenbemerkungen: (III)
• Gilt nun V ar(ui) = σ2 fur alle i = 1, . . . , N (Annahme B2,vgl. Folie 143) sowie Cov(ui, uj) = 0 fur alle i = 1, . . . , N undj = 1, . . . , N mit i 6= j (Annahme B3, vgl. Folie 143), so folgtfur die Varianz-Kovarianz-Matrix
Cov(u) =
σ2 0 · · · 00 σ2 · · · 0... ... · · · ...0 0 · · · σ2
= σ2
1 0 · · · 00 1 · · · 0... ... · · · ...0 0 · · · 1
= σ2IN
152
2. Storgroßenspezifikation (B-Annahmen) (II)
• Annahmen B2 und B3:
Cov(u) = σ2IN
• Annahme B4:Der Storgroßenvektor u ist multivariat normalverteilt mit
u ∼ N(0N×1, σ2IN)
153
3. Variablenspezifikation (C-Annahmen) (I)
• Annahme C1:Keines der Elemente der (N × [K + 1])-Matrix X ist eineZufallsvariable
Zwischenbemerkungen: (I)
• Die X-Matrix lasst sich wie folgt zerlegen:
X = [x0 x1 · · · xK]
mit
x0 ≡
11...1
, x1 ≡
x11x12...
x1N
, · · · , xK ≡
xK1xK2...xKN
154
Zwischenbemerkungen: (II)
• Die Spaltenvektoren x1, . . . ,xK reprasentieren jeweils die NBeobachtungen der K exogenen Variablen
• Gilt rang(X) = K +1, so sind die Spaltenvektoren x0,x1, . . . ,xK linear unabhangig(vgl. Definitionen 2.7, 2.8 auf den Folien 32, 33)
3. Variablenspezifikation (C-Annahmen) (II)
• Annahme C2: (Freiheit von perfekter Multikollinearitat)
rang(X) = K + 1
155
4.2 (Punkt)Schatzung
Fur die KQ-Schatzung im multiplen linearen Regressionsmodell:
• Okonometrisches Modell:
y = Xβ + uyi = α + β1x1i + β2x2i + . . . + βKxKi + ui
• Geschatztes Modell:
y = Xβyi = α + β1x1i + β2x2i + . . . + βKxKi
• Residuen:
u = y− yui = yi − yi
156
Jetzt:
• Bestimmung des KQ-Schatzers β im multiplen Modell
Herleitung: (I)
• Residualquadratsumme in Matrixschreibweise:
Suu = u′u
=N∑
i=1u2
i
157
Herleitung: (II)
• Wegen
u = y−Xβui = yi − α− β1x1i − . . .− βKxKi
folgt:
Suu =(
y−Xβ)′ (
y−Xβ)
=N∑
i=1
(
yi − α− β1x1i − . . .− βKxKi)2
158
Herleitung: (IV)
• Minimierungsbedingungen lauten:
∂ Suu
∂ β=
∂ Suu/∂ α∂ Suu/∂ β1
...∂ Suu/∂ βK
= 0(K+1)×1
(Normalengleichungen)
159
Herleitung: (VI)
• Berechung des Gradienten: (siehe Ubung)
∂ Suu
∂ β=
∂
∂ β
(
y−Xβ)′ (
y−Xβ)
=∂
∂ βy′y−
∂
∂ β2y′Xβ +
∂
∂ ββ′X′Xβ
= −2X′y + 2X′Xβ
−→ Normalengleichungssystem:
X′Xβ = X′y
−→ KQ-Schatzer:β =
(
X′X)−1
X′y
160
Ausfuhrliche Schreibweise:
X′X =
1 1 · · · 1x11 x12 · · · x1N... ... ... ...xK1 xK2
... xKN
1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN
=
N∑N
i=1 x1i · · ·∑N
i=1 xKi∑N
i=1 x1i∑N
i=1 x21i · · ·
∑Ni=1 x1ixKi... ... ... ...
∑Ni=1 xKi
∑Ni=1 xKix1i
...∑N
i=1 x2Ki
,
X′y =
1 1 · · · 1x11 x12 · · · x1N... ... ... ...xK1 xK2
... xKN
y1y2...
yN
=
∑Ni=1 yi
∑Ni=1 x1iyi
...∑N
i=1 xKiyi
161
Illustration: (Dungemittelbeispiel) (I)
• Aus den N = 30 Daten von Folie 138 errechnet man:
N = 30,30∑
i=1x1i = 96.77,
30∑
i=1x2i = 129.72
30∑
i=1yi = 120.42,
30∑
i=1x21i = 312.39,
30∑
i=1x1ix2i = 418.46
30∑
i=1x1iyi = 388.57,
30∑
i=1x22i = 564.63,
30∑
i=1x2iyi = 521.66
162
Illustration: (Dungemittelbeispiel) (II)
• Somit folgt:
β =
30 96.77 129.7296.77 312.39 418.46129.72 418.46 564.63
−1
120.42388.57521.66
=
0.95430.59650.2626
=
αβ1β2
163
EViews-Output fur die Dungemittelregression
164
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
Jetzt:
• Bestimmtheitsmaß R2 bei multipler Regression
Weiterhin gilt:
• Streuungszerlegung
Syy = Syy + Suu
(vgl. Satz 3.6, Folie 96)
−→ Definition des multiplen Bestimmtheitsmaßes:
R2 =Syy
Syy=
Syy − SuuSyy
= 1−SuuSyy
(vgl. Def. 3.7, Folie 97)
165
Jetzt:
• Explizite Berechnung des multiplen Bestimmtheitsmaßes
Satz 4.2: (Formel fur das R2)
Fur das multiple Bestimmtheitsmaß R2 gilt:
R2 =Syy
Syy=
y′X(X′X)−1X′y−Ny2
y′y−Ny2 =y′Xβ −Ny2
y′y−Ny2 .
Bemerkungen:
• Herleitung: Von Auer (2007)
• Vgl. auch Ubung
166
Illustration: (Dungemittelbeispiel) (I)
• Aus den N = 30 Daten von Folie 138 errechnet man:
N = 30, y = 4.013865, y′y =30∑
i=1y2i = 483.779553
X′y =
120.415937388.565728521.658742
, β =
0.9543150.5965200.262552
167
Illustration: (Dungemittelbeispiel) (II)
• Daraus folgt
y′Xβ =[
120.415937 388.565728 521.658742]
0.9543150.5965200.262552
= 483.664510
und somit
R2 =483.664510− 30 · 4.0138652
483.779553− 30 · 4.0138652 = 0.742164
168
Bemerkungen:
• Rundungsfehler
• Aufnahme zusatzlicher X-Variablen fuhrt (fast) immer zurErhohung des R2
−→ Adjustiertes Bestimmtheitsmaß:
R2adj = 1− (1−R2)
N − 1N −K − 1
Jetzt:
• Eigenschaften des KQ-Schatzers
β = (X′X)−1X′y
169
Satz 4.3: (Erwartungstreue des KQ-Schatzers)
Unter den A-, B-, C-Annahmen (ohne B4) ist der KQ-Schatzerβ = (X′X)−1X′y erwartungstreu fur β, d.h.
E(
β)
= β.
Fur die Varianz-Kovarianz-Matrix des KQ-Schatzers gilt:
Cov(
β)
= σ2(
X′X)−1
.
170
Bemerkungen: (I)
• Im Detail besagt die Erwartungstreue
E(α) = α, E(β1) = β1, . . . E(βK) = βK
• Zur Herleitung der Erwartungstreue sowie der Kovarianzma-trix von β vgl. Ubung
• Spezialfall der Einfachregression (K = 1):
X =
1 x1... ...1 xN
, X′X =
[
N∑N
i=1 xi∑N
i=1 xi∑N
i=1 x2i
]
171
Bemerkungen: (II)
• Inverse einer (2× 2)-Matrix:
A =
[
a11 a12a21 a22
]
, A−1 =1
a11a22 − a12a21
[
a22 −a12−a21 a11
]
−→ Berechnung von
Cov(β) =
[
V ar(α) Cov(α, β)Cov(α, β) V ar(β)
]
= σ2(X′X)−1
(vgl. Satz 4.3, Folie 170; Ubung)
172
Satz 4.4: (Gauß-Markov-Theorem)
Unter den A-, B-, C-Annahmen (ohne B4) ist der KQ-Schatzerβ = (X′X)−1X′y der beste lineare unverzerrte Schatzer fur denParametervektor β.(BLUE = Best Linear Unbiased Estimator)
Bemerkungen:
• Bedeutung von BLUE im multiplen Fall?
• Es sei β∗
ein anderer linearer E-treuer Schatzer fur β
−→ Cov(β∗)− Cov(β) ist positiv semidefinit
(vgl. Definition 2.13, Folie 47)
173
Verteilung von y: (I)
• Zunachst
y = Xβ + u,
d.h. y ist eine lineare Funktion von u
• Aufgrund der B-Annahmen gilt
u ∼ N(0N×1, σ2IN)
−→ auch y ist multivariat normalverteilt
174
Verteilung von y: (II)
• Erwartungswertvektor von y:
E(y) = E(Xβ + u)= E(Xβ) + E(u)= Xβ
• Kovarianzmatrix von y:
Cov(y) = Cov(Xβ + u)= Cov(u)= σ2IN
• Also gilt:
y ∼ N(Xβ, σ2IN)
175
Verteilung von β: (I)
• Zunachst
β = (X′X)−1X′y,
d.h. β ist eine lineare Funktion von y
• Verteilung von y
y ∼ N(Xβ, σ2IN)
(vgl. Folie 175)
−→ auch β ist multivariat normalverteilt
176
Verteilung von β: (II)
• Erwartungswertvektor und Kovarianzmatrix von β sind
E(
β)
= β, Cov(
β)
= σ2(X′X)−1
(vgl. Satz 4.3, Folie 170)
• Also gilt:β ∼ N(β, σ2(X′X)−1)
• Fur die Einzelkomponenten von β gilt
α ∼ N(α, V ar(α)) bzw. βk ∼ N(βk, V ar(βk)),
mit V ar(α) bzw. V ar(βk) als den entsprechenden Diago-nalelementen von σ2(X′X)−1
177
Problem erneut:
• Stortermvarianz σ2 ist unbekannt
−→ Cov(β) = σ2(X′X)−1 kann nicht berechnet werden
(vgl. Einfachregression, Folien 91 ff.)
Satz 4.5: (E-treuer Schatzer fur σ2)
Ein erwartungstreuer Schatzer fur die unbekannte Stortermvarianzσ2 ist gegeben durch
σ2 =1
N −K − 1
N∑
i=1u2
i =u′u
N −K − 1.
178
Bemerkungen:
• Man zeige die Erwartungstreue, d.h. E(σ2) = σ2, mittels derBeziehung
u = y− y
= y−Xβ= y−X(X′X)−1X′y
=[
IN −X(X′X)−1X′]
y
(vgl. Ubung)
• Von besonderer Bedeutung: M ≡ IN −X(X′X)−1X′
(Residuen-Erzeugungsmatrix)
179
EViews-Output fur die Dungemittelregression
180
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
Illustration: (Dungemittelbeispiel) (I)
• Sum squared resid = u′u = 0.114812
=⇒ σ2 =u′u
N −K − 1=
0.11481230− 2− 1
= 0.0042523
• S.E. of regression =√
u′uN −K − 1 =
√σ2 = σ = 0.065210
• σ2 = 0.0042523 und Hauptdiagonalelemente von σ2(X′X)−1
liefern die geschatzten Varianzen V ar(α), V ar(β1), V ar(β2)
181
Illustration: (Dungemittelbeispiel) (II)
• σ = 0.065210 und die Wurzeln der Hauptdiagonalelementevon σ2(X′X)−1 liefern die Standardfehler der KQ-Schatzer
SE(α) = 0.469432
SE(β1) = 0.137878
SE(β2) = 0.033997
182
4.3 Hypothesentests
2 Arten von Hypothesentests:
• t-Tests (Tests basierend auf der t-Verteilung)
• F -Tests (Tests basierend auf der F -Verteilung)
183
Zunachst:
• Testen einer Linearkombination von Parametern
• In der Einfachregression hatten wir
H0 : β = q gegen H1 : β 6= q
• Im multiplen Modell betrachten wir
H0 : r0α + r1β1 + . . . + rKβK = qH1 : r0α + r1β1 + . . . + rKβK 6= q
bzw. mit r′ =[
r0 r1 · · · rK]
H0 : r′β = qH1 : r′β 6= q
184
Illustration: (Dungemittelbeispiel)
• Test auf konstante Skalenertrage:
β =
αβ1β2
, r =
011
, q = 1
also
H0 : r′β = β1 + β2 = 1
H1 : r′β = β1 + β2 6= 1
zum Signifikanzniveau a = 5%
185
Geeignete Teststatistik: (I)
• T = r′ β − qSE(r′ β)
• Form des Standardfehlers SE(r′ β):
V ar(r′ β) = r′Cov(β)r = σ2r′(X′X)−1r
=⇒ SE(r′ β) =√
V ar(r′ β) =√
σ2r′(X′X)−1r
mit
σ2 =u′u
N −K − 1=
1N −K − 1
N∑
i=1u2
i
186
Geeignete Teststatistik: (II)
• Verteilung von T unter Gultigkeit von H0 : r′β = q:
T(unter H0)∼ tN−K−1
(t−Verteilung mit N −K − 1 Freiheitsgraden)
−→ Kritischer Bereich:
(−∞,−tN−K−1;1−a/2] ∪ [tN−K−1;1−a/2,+∞)
d.h. lehne H0 ab, falls
|T | ≥ tN−K−1;1−a/2
187
EViews-Output fur die Dungemittelregression
188
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
Berechnung der Teststatistik:
r′ β =[
0 1 1]
αβ1β2
= β1 + β2
= 0.596520 + 0.262552 = 0.859072
Standardfehler der Teststatistik:
SE(r′ β) = SE(β1 + β2)
=√
V ar(β1) + V ar(β2) + 2 Cov(β1, β2)
=√
(0.137878)2 + (0.033997)2 + 2 · 0.0000287
=√
0.01901 + 0.001156 + 0.000057
= 0.142208
189
−→
T =r′ β − q
SE(r′ β)=
0.859072− 10.142208
= −0.990999
Testentscheidung:
|T | = 0.990999 < 2.0518 = t27;0.975
−→ H0 kann nicht abgelehnt werden(konstante Skalenertrage sind mit den Daten vereinbar)
190
Spezialfalle des allgemeinen t-Tests: (I)
• Betrachte die K + 1 Vektoren
r0 =
10...0
, r1 =
01...0
, . . . , rK =
00...1
, q = 0
−→ Testprobleme
H0 : α = 0 gegen H1 : α 6= 0
H0 : β1 = 0 gegen H1 : β1 6= 0...
H0 : βK = 0 gegen H1 : βK 6= 0
191
Spezialfalle des allgemeinen t-Tests: (II)
• Teststatistiken:
Tα =r′0
βSE(r′0
β)=
αSE(α)
Tβ1 =r′1
βSE(r′1
β)=
β1
SE(β1)...
TβK=
r′Kβ
SE(r′Kβ)
=βK
SE(βK)
192
EViews-Output fur die Dungemittelregression
193
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
EViews-Output:
• t-Statistic = KoeffizientenschatzungStandardfehler des Koeffizientenschatzers
• Prob. = p-Wert des t-Tests(Kleinstes Signifikanzniveau zur Ablehnung von H0)
Einseitiger (linksseitiger) t-Test:
H0 : r′β ≥ q gegen H1 : r′β < q
• Teststatistik
T =r′ β − q
SE(r′ β)
• Lehne H0 zum Niveau a ab, falls T < −tN−K−1;1−a
194
Jetzt:
• Simultanes Testen mehrerer Parameterbeziehungen(F -Test)
Lineares multiples Regressionsmodell:
y = X · β + u(N×1) (N×[K+1]) ([K+1]×1) (N×1)
Null- und Alternativhypothese:
H0 : Rβ = q
H1 : Rβ 6= q
mit R einer (L× [K + 1])-Matrix und q einem (L× 1)-Vektor
195
Beispiele: (I)
• H0 : β1 = β2 = . . . = βK = 0
−→ R =
0 1 0 · · · 00 0 1 · · · 0... ... ... ... ...0 0 0 · · · 1
, q =
00...0
= 0L
• H0 : β1 + . . . + βK = 1 und gleichzeitig β1 = 2β2
−→ R =
[
0 1 1 1 · · · 10 1 −2 0 · · · 0
]
, q =
[
10
]
196
Beispiele: (II)
• H0 : β1 = 5 und gleichzeitig β2 = . . . = βK = 0
−→ R =
0 1 0 0 · · · 00 0 1 0 · · · 00 0 0 1 · · · 0... ... ... ... ... ...0 0 0 0 · · · 1
, q =
500...0
197
Grundidee des F -Tests: (I)
• Vergleiche Residualquadratsumme des Regressionsmodells
Suu = u′u =N∑
i=1u2
i
mit Residualquadratsumme des Nullhypothesenmodells
Su0u0 = (u0)′u0 =N∑
i=1(u0
i )2
(u0 ist der Residualvektor, der sich bei der KQ-Schatzungunter Berucksichtigung von H0 ergibt)
198
Grundidee des F -Tests: (II)
• Es muss immer gelten
Su0u0 ≥ Suu
• Die Nullhypothese ist vermutlich falsch, falls
Su0u0 >> Suu
199
Durchfuhrung des Tests: (I)
• Geeignete Teststatistik:
F =
(
Su0u0 − Suu)
/L
Suu/(N −K − 1)
=
[
Rβ − q]′ [
R(X′X)−1R′]−1 [
Rβ − q]
u′u/(N −K − 1)
• Verteilung von F unter Gultigkeit von H0 : Rβ = q:
F(unter H0)∼ FL,N−K−1
(F−Verteilung mit L und N −K − 1 Freiheitsgraden)
200
Durchfuhrung des Tests: (II)
• Kritischer Bereich zum Signifikanzniveau a:
[FL,N−K−1;1−a,+∞)
d.h. lehne H0 zum Niveau a ab, falls
F ≥ FL,N−K−1;1−a
[(1− a)-Quantil der FL,N−K−1-Verteilung]
201
EViews-Output fur die Dungemittelregression
202
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
EViews-Output:
• F-statistic = F -Test fur das Testproblem
H0 : β1 = β2 = . . . = βK = 0
• Prob(F-statistic) = p-Wert des F -Tests(Kleinstes Signifikanzniveau zur Ablehnung von H0)
203
4.4 Prognose
Ziel:
• Bedingte Prognose des endogenen Wertes y0 bei gegebenenWerten der K exogenen Variablen x10, x20, . . . , xK0(vgl. Prognose der Einfachregression, Abschnitt 3.4)
204
Dafur: (I)
• Es seien
x′0 =[
1 x10 x20 · · · xK0
]
der Vektor der exogenen Variablen und
β = (X′X)−1X′y
der KQ-Schatzer des multiplen Regressionsmodells
−→ Bedingte Punktprognose:
y0 = x′0β
• Prognosefehler:
y0 − y0 = x′0β − x′0β − u0 = x′0
(
β − β)
− u0
205
Dafur: (II)
• Varianz des Prognosefehlers:
V ar(y0 − y0) = σ2(
1 + x′0(X′X)−1x0
)
• Geschatzte Varianz des Prognosefehlers:
V ar(y0 − y0) = σ2(
1 + x′0(X′X)−1x0
)
mit σ2 = u′u/(N −K − 1)
−→ Standardfehler des Prognosefehlers:
SE(y0 − y0) =√
V ar(y0 − y0)
206
Jetzt:
• Konstruktion eines (1− a)-Prognoseintervalls uber die Stan-dardisierung des Prognosefehlers(vgl. Folie 125)
T =(y0 − y0)−
=0︷ ︸︸ ︷
E (y0 − y0)SE(y0 − y0)
• Man kann zeigen, dass
T ∼ tN−K−1
(t-Verteilung mit N −K − 1 Freiheitsgraden)
−→ (1− a)-Prognoseintervall:
[y0−tN−K−1;1−a/2·SE(y0−y0), y0+tN−k−1;1−a/2·SE(y0−y0)]
207
Recommended