6. Statistische Hypothesentests

Ausgangssituation erneut:

• ZV X reprasentiere einen Zufallsvorgang

• X habe die unbekannte VF FX(x)

• Interessieren uns fur einen unbekannten Parameter θ der Ver-teilung von X

Jetzt:

• Testen von Hypothesen uber unbekanntes θ anhand einerStichprobe X1, . . . , Xn

• Demonstration am eindimensionalen Fall

267

Beispiel 1:

• In einer Studentenkneipe sollen geeichte Bierglaser im Aus-schank 0.4 Liter Bier enthalten. Wir haben die Vermutung,dass der Wirt haufig ’zu wenig’ ausschenkt.

• X reprasentiere den Zufallsvorgang ’Fullen eines 0.4-LiterBierglases durch den Wirt’

• Es bezeichne θ = E(X) die erwartete Fullmenge eines Glases

• Durch eine Stichprobe X1, . . . , Xn soll getestet werden

θ = 0.4 gegen θ < 0.4

268

Beispiel 2:

• Wir wissen aus der Vergangenheit, dass das Risiko einer Aktie(die Standardabweichung der Aktienrenditen) bei 25 % lag.Im Unternehmen wird nun das Management ausgetauscht.Verandert sich dadurch das Risiko der Aktie?

• X sei die Aktienrendite

• θ =√

Var(X) = SD(X) sei die Standardabweichung der Ren-diten

• Durch eine Stichprobe X1, . . . , Xn soll getestet werden

θ = 0.25 gegen θ 6= 0.25

269

6.1 Grundbegriffe des Testens

Definition 6.1: (Parametertest)

Es sei X eine Zufallsvariable und θ ein unbekannter Parameterder Verteilung von X. Ein Parametertest ist ein statistischesVerfahren, mit dem eine Hypothese uber den unbekannten Pa-rameter θ anhand einer einfachen Zufallsstichprobe X1, . . . , Xnaus X uberpruft wird.

Formulierung eines statistischen Testproblems:

• Es sei Θ die Menge aller moglichen Parameterwerte(d.h. θ ∈ Θ)

• Es sei Θ0 ⊂ Θ eine Teilmenge der Parametermenge

270

• Betrachte folgende Aussagen:

H0 : θ ∈ Θ0 gegen H1 : θ ∈ Θ/Θ0 = Θ1

• H0 heißt Nullhypothese, H1 Gegenhypothese oder Alternative

Arten von Hypothesen:

• Sind |Θ0| = 1 (d.h. Θ0 = {θ0}) und H0 : θ = θ0, so nenntman H0 einfach

• Andernfalls bezeichnet man H0 als zusammengesetzt

• Analoge Bezeichnungen gelten fur H1

271

Arten von Testproblemen:

• Es sei θ0 ∈ Θ eine feste reelle Zahl. Dann heißt

H0 : θ = θ0 gegen H1 : θ 6= θ0

zweiseitiges Testproblem

• Die Testprobleme

H0 : θ ≤ θ0 gegen H1 : θ > θ0

bzw.

H0 : θ ≥ θ0 gegen H1 : θ < θ0

heißen einseitig (rechts- bzw. linksseitig)

272

Jetzt:• Betrachte das allgemeine Testproblem

H0 : θ ∈ Θ0 gegen H1 : θ ∈ Θ1 = Θ/Θ0

Allgemeine Vorgehensweise:• Entscheide anhand einer Stichprobe X1, . . . , Xn aus X, ob H0

zugunsten von H1 abgelehnt wird oder nicht

Explizites Vorgehen:• Wahle ’geeignete’ Teststatistik T (X1, . . . , Xn) und bestimme

einen ’geeigneten’ kritischen Bereich K ⊂ R• Testentscheidung:

T (X1, . . . , Xn) ∈ K =⇒ H0 wird abgelehntT (X1, . . . , Xn) /∈ K =⇒ H0 wird nicht abgelehnt

273

Man beachte:

• T (X1, . . . , Xn) ist eine ZV (Stichprobenfunktion)−→ Die Testentscheidung ist zufallig−→ Fehlentscheidungen sind moglich

• Mogliche Fehlentscheidungen:

TestergebnisRealitat H0 ablehnen H0 nicht ablehnenH0 richtig Fehler 1. Art kein FehlerH0 falsch kein Fehler Fehler 2. Art

Fazit:

• Fehler 1. Art: Test lehnt H0 ab, obwohl H0 richtig

• Fehler 2. Art: Test lehnt H0 nicht ab, obwohl H0 falsch

274

Wann treten die Fehlentscheidungen auf?

• Der Fehler 1. Art tritt auf, falls

T (X1, . . . , Xn) ∈ K,

obwohl fur den wahren Parameter gilt θ ∈ Θ0

• Der Fehler 2. Art tritt auf, falls

T (X1, . . . , Xn) /∈ K,

obwohl fur den wahren Parameter gilt θ ∈ Θ1

275

Frage:

• Wann besitzt ein statistischer Test fur das Problem

H0 : θ ∈ Θ0 gegen H1 : θ ∈ Θ1 = Θ/Θ0

’gute’ Eigenschaften?

Intuitive Vorstellung:

• Test ist ’gut’, wenn er moglichst geringe Wahrscheinlichkeitenfur die Fehler 1. und 2. Art aufweist

Jetzt:

• Formales Instrument zur Messung der Fehlerwahrscheinlich-keiten 1. und 2. Art

276

Definition 6.2: (Gutefunktion eines Tests)

Man betrachte einen statistischen Test fur das obige Testprob-lem mit der Teststatistik T (X1, . . . , Xn) und einem ’geeignet ge-wahlten’ kritischen Bereich K. Unter der Gutefunktion des Testsversteht man die Funktion G, die, in Abhangigkeit des wahrenParameters θ ∈ Θ, die Wahrscheinlichkeit dafur angibt, dass derTest H0 ablehnt:

G : Θ −→ [0,1]

mit

G(θ) = P (T (X1, . . . , Xn) ∈ K).

277

Bemerkung:

• Mit der Gutefunktion sind die Wahrscheinlichkeiten fur denFehler 1. Art gegeben durch

G(θ) fur alle θ ∈ Θ0

sowie fur den Fehler 2. Art durch

1−G(θ) fur alle θ ∈ Θ1

Frage:

• Wie sieht ein idealer Test aus?

Intuition:

• Ein Test ist ideal, wenn die Fehlerwahrscheinlichkeiten 1. und2. Art stets (konstant) gleich Null sind−→ Test trifft mit Wskt. 1 die richtige Entscheidung

278

Beispiel:

• Es sei θ0 ∈ Θ. Betrachte das Testproblem

H0 : θ ≤ θ0 gegen H1 : θ > θ0

Grafik idealer Test

279

Leider:

• Es kann mathematisch gezeigt werden, dass ein solcher ide-aler Test im allgemeinen nicht existiert

Deshalb Ausweg:

• Betrachte zunachst rein theoretisch fur eine geeignete Test-statistik T (X1, . . . , Xn) die maximale Fehlerwahrscheinlichkeit1. Art

α = maxθ∈Θ0

{P (T (X1, . . . , Xn) ∈ K)} = maxθ∈Θ0

{G(θ)}

• Lege den kritischen Bereich K dann so fest, dass α einenvorgegebenen kleinen Wert annimmt

280

−→ Alle Fehlerwahrscheinlichkeiten 1. Art sind dann durch α be-grenzt(d.h. kleiner oder gleich α)

• Haufig benutzte α-Werte sind α = 0.01, α = 0.05, α = 0.1

Definition 6.3: (Signifikanzniveau eines Tests)

Man betrachte einen statistischen Test fur das Testproblem aufFolie 276 mit der Teststatistik T (X1, . . . , Xn) und einem geeignetgewahlten kritischen Bereich K. Dann bezeichnet man die max-imale Fehlerwahrscheinlichkeit 1. Art

α = maxθ∈Θ0

{P (T (X1, . . . , Xn) ∈ K)} = maxθ∈Θ0

{G(θ)}

als das Signifikanzniveau des Tests.

281

Konsequenzen dieser Testkonstruktion:

• Die Wskt., H0 aufgrund des Tests abzulehmen, obwohl H0richtig ist (d.h. die Wskt. des Fehlers 1. Art) ist hochstens α−→ Wird H0 aufgrund einer Testrealisation abgelehnt, so kann

man ziemlich sicher davon ausgehen, dass H0 tatsachlichfalsch ist(Man sagt auch: H1 ist statistisch gesichert)

• Die Wskt. fur den Fehler 2. Art (d.h. H0 nicht abzulehnen,obwohl H0 falsch ist), kann man dagegen nicht kontrollieren−→ Wird H0 aufgrund einer Testrealisation nicht abgelehnt,

so hat man keinerlei Wahrscheinlichkeitsaussage uber einemogliche Fehlentscheidung(Nichtablehung von H0 heißt nur: Die Daten sind nichtunvereinbar mit H0)

282

Wichtig deshalb:

• Es ist entscheidend, wie man H0 und H1 formuliert

• Das, was man zu zeigen hofft, formuliert man in H1(in der Hoffnung, H0 anhand des konkreten Tests ablehnenzu konnen)

Beispiel:

• Betrachte Beispiel 1 auf Folie 268

• Kann man anhand eines konkreten Tests H0 verwerfen, sokann man ziemlich sicher sein, dass der Wirt in der Regel zuwenig ausschenkt

• Kann man H0 nicht verwerfen, so kann man nichts explizitesuber die Ausschankgewohnheiten des Wirtes sagen.(Die Daten stehen lediglich nicht im Widerspruch zu H0)

283

6.2 Klassische Testverfahren

Jetzt:

• 3 allgemeine klassische Testkonstruktionen, die alle auf derLoglikelihoodfunktion der Stichprobe aufbauen

Ausgangssituation:

• Es sei X1, . . . , Xn eine einfache Stichprobe aus X

• θ ∈ R sei der unbekannte Parameter

• L(θ) = L(θ;x1, . . . , xn) sei die Likelihoodfunktion

284

• ln[L(θ)] sei die Loglikelihoodfunktion

• g : R −→ R sei eine beliebige, stetige Funktion

• Statistisches Testproblem:

H0 : g(θ) = q gegen H1 : g(θ) 6= q

Grundlage aller Tests:

• Maximum-Likelihood-Schatzer θML fur θ

285

6.2.1 Der Wald-Test

Historie:

• Vorgeschlagen von A. Wald (1902-1950)

Idee des Tests:

• Wenn H0 : g(θ) = q wahr ist, dann sollte die ZV’e g(θML)− qnicht signifikant von Null verschieden sein

286

Vorwissen:

• Aquivarianz des ML-Schatzers (Folie 265)−→ g(θML) ist ML-Schatzer fur g(θ)

• Asymptotische Normalitat (Folie 266)

−→(

g(θML)− g(θ)) d→ U ∼ N(0,Var(g(θML)))

• Die asymptotische Varianz Var(g(θML)) muss anhand derDaten geschatzt werden

Teststatistik des Wald-Tests:

W =

[

g(

θML)

− q]2

Var[

g(

θML)]

d(unter H0)−→ U ∼ χ2

1

287

Testentscheidung:

• Lehne H0 zum Signifikanzniveau α ab, wenn W > χ21;1−α

Bemerkungen:

• Der Wald-Test ist ein reiner Test gegen H0(es ist nicht notwendig, eine bestimmte Alternativhypothesezu spezifizieren)

• Das Prinzip des Wald-Tests kann auf jeden konsistenten,asymptotisch normalverteilten Schatzer angewendet werden

288

Wald-Teststatistik fur H0 : g(θ) = 0 gegen H1 : g(θ) 6= 0

289

g(θ )

≈ Wθ

MLθ

( )]ln[ θL

6.2.2 Der Likelihood-Ratio-Test (LR-Test)

Idee des Tests:

• Betrachte die Likelihood Funktion L(θ) an 2 Stellen:max

{θ:g(θ)=q}L(θ) (= L(θH0))

maxθ∈Θ

L(θ) (= L(θML))

• Betrachte die Große

λ =L(θH0)

L(θML)

• Fur λ gilt:0 ≤ λ ≤ 1Wenn H0 wahr ist, dann sollte λ in der Nahe von einsliegen

290

Teststatistik des LR-Tests:

LR = −2 ln(λ) = 2{

ln[

L(θML)]

− ln[

L(θH0)]}

d(unter H0)−→ U ∼ χ2

1

(ohne Beweis)

Fur die LR-Teststatistik gilt:

• 0 ≤ LR < ∞

• Wenn H0 wahr ist, dann sollte LR in der Nahe von Null liegen

Testentscheidung:

• Lehne H0 zum Signifikanzniveau α ab, wenn LR > χ21;1−α

291

Bemerkungen:

• Der LR-Test testet, ob der Abstand der Loglikelihoodfunk-tionen, ln[L(θML)]− ln[L(θH0)], signifikant großer als 0 ist

• Der LR-Test benotigt keine asymptotische Varianz

292

LR-Teststatistik fur H0 : g(θ) = 0 gegen H1 : g(θ) 6= 0

293

)](ln[ MLL∧θ g(θ ) g(θ ) ≈LR

)](ln[ 0HL∧θ

θ

MLθ0

ˆHθ

ln[L(θ )]

6.2.3 Der Lagrange-Multiplier-Test (LM-Test)

Historie:

• Der Test geht zuruck auf J.L. Lagrange (1736-1813)

Idee des Tests:

• Fur den ML-Schatzer θML gilt:

∂ ln[L(θ)]∂ θ

∣

∣

∣

∣

∣

θ=θML

= 0

• Wenn H0 : g(θ) = q wahr ist, dann sollte die Steigung derLoglikelihood-Funktion an der Stelle θH0 nicht signifikant vonNull verschieden sein

294

Teststatistik des LM-Tests:

LM =

∂ ln[L(θ)]∂ θ

∣

∣

∣

∣

∣

θH0

2

·[

Var(

θH0

)]−1d

(unter H0)−→ U ∼ χ21

(ohne Beweis)

Testentscheidung:

• Lehne H0 zum Signifikanzniveau α ab, wenn LM > χ21;1−α

295

LM-Teststatistik fur H0 : g(θ) = 0 gegen H1 : g(θ) 6= 0

296

( )θθ

∂∂ ]ln[L

MLθ

( )]ln[ θL

≈ LM θ

g(θ)

0H∧θ

Bemerkungen:

• Sowohl beim Wald-Test als auch beim LM-Test tauchen inden Teststatistiken die geschatzten Varianzen des SchatzersθH0 auf

• Diese unbekannten Varianzen werden konsistent durch dieFisher-Information geschatzt

• Viele okonometrische Tests beruhen auf diesen 3 Konstruk-tionsprinzipien

• Die 3 Test sind asymptotisch aquivalent, d.h. sie liefern furgroße Stichprobenumfange dieselben Testergebnisse

• Es gibt Verallgemeinerungen aller 3 Testprinzipien fur dasTesten von Hypothesen bzgl. eines Parametervektors θ

• Ist θ ∈ Rm, dann sind alle 3 Teststatistiken unter H0 χ2m-

verteilt

297

Zusammenfassung der 3 Tests

298

( )

θθ

∂∂ Lln

ln[( )] ML∧θ

ln[( )] 0H∧θ ≈ LR g(θ )

≈ LM ≈ Wθ

MLθ0

ˆHθ

( )θLln