Statistik-Team - Ruhr-Universität Bochum · 3. Das allgemeine lineare Modell 3. Das allgemeine lineare Modell 3.6 Kovarianzanalyse 3.1Matrizen und Vektoren, Kodierung 3.2Addition

3. Das allgemeinelineare Modell

3.6 Kovarianzanalyse

Statistik-Team

I Tobias Kley: [email protected]

I Ubung: Freitag, 8.15 - 9.45 Uhr, HGA 10

I Tutorium (SPSS) - ab 26.10.2009

Koordination: Dr. Helge [email protected]/ 322-2479Gafo 04-621

I Montag 12 - 14 (GAFO 04/271)Linda [email protected]

I Montag 10 -12 (GAFO 03/901); Montag 12 - 14 (GAFO 03/901);Freitag 12-14 (GAFO 03/974 )Max [email protected]

1 / 32


3.6 Kovarianzanalyse3. Das allgemeine lineare Modell

3.1 Matrizen und Vektoren, Kodierung

3.2 Addition und Multiplikation von Matrizen

3.3 Das allgemeine lineare Modell (ALM), Methode der kleinstenQuadrate

3.4 Der F -test im ALM

3.5 Zweifaktorielle Varianzanalyse


3.7 Modelle mit Messwiederholungen

2 / 32




3 / 32



Beispiel 3.19: Therapieerfolg bei Verhaltens-storungen

I Wie wirkt sich eine psychotherapeutische Behandlung aufverschiedene Verhaltensstorungen aus

I Es werden 3 Gruppen untersucht

I Konzentrationsstorung (5 Patienten)I Schlafstorung (5 Patienten)I Hysterische Verhaltungsstorung (5 Patienten)

I Gemessen wird der Therapieerfolg y (durch Expertenteameingestuft)

4 / 32



DatenI K: Konzentrationsstorung (i = 1)

I S: Schlafstorung (i = 2)

I H: Hysterische Verhaltsstorung (i = 3)

j K S H1 5 5 22 6 4 13 6 2 14 4 1 15 5 3 2

Beachte: Es liegt hier das Modell der einfaktoriellen Varianzanalysevor (vgl. Methodenlehre II, Beispiel 3.8(a)). Es gibt zwei Darstellungendes Modells

Yij = µi + εij

= µ+ αi + εij i = 1, 2, 3; j = 1, 2, . . . , 5

5 / 32



SPSS-Output (einfaktorielle Varianzanalysefur Beispiel 3.19 ohne Berucksichtigung vonKovariablen)

Sig.FMittel der Quadratedf

Quadratsummevom Typ III

Korrigiertes Modell

Konstanter Term

GRUPPE

Fehler

Gesamt

KorrigierteGesamtvariation

1450,400

15204,000

1,1671214,000

,00015,60018,200236,400

,000131,657153,6001153,600

,00015,60018,200236,400a

QuelleQuelle

Tests der Zwischensubjekteffekte

Abhängige Variable:Therapieerfolg

a. R-Quadrat = ,722 (korrigiertes R-Quadrat = ,676)

Man beachte:I Die drei behandelten Gruppen unterscheiden sich signifikantI Die Ergebnisse lassen vermuten, dass die Therapie bei

Konzentrationsstorungen zum großten Erfolg fuhrt(y1· = 5.2; y2· = 3; y3· = 1.4)

6 / 32



Vermutung: Therapieerfolg hangt auch von der Verbalisationsfahig-keit (verbale Intelligenz x) der Patienten ab. Diese Eigenschaft wirdaus diesem Grund mit gemessen

K S Hj x y x y x y1 7 5 11 5 12 22 9 6 12 4 10 13 8 6 8 2 9 14 5 4 7 1 10 14 5 5 9 3 13 2

Frage: Andert sich das Ergebnis der Varianzanalyse, falls die verbaleIntelligenz in die Untersuchungen mit einbezogen wird?

7 / 32



Streudiagramm und lineare Regressionsgeraden

Verbale Intelligenz

14,0012,0010,008,006,004,00

Th

erap

ieer

folg

6,00

5,00

4,00

3,00

2,00

1,00

Anpassungslinie für Gesamtsumme

Hysterische VerhaltsstörungSchlafstörungKonzentrationsstörung

Verhaltensstörung

R2 Linear = 0,078

Konzentrationsstörung: R 2 Linear = 0,754

Schlafstörung: R 2 Linear = 0,837Hysterische Verhaltsstörung: R 2

Linear = 0,892

Beachte: Die Korrelation in der Gesamtgruppe ist negativ, aber in deneinzelnen Gruppen positiv!

8 / 32



3.20 Das Modell der einfaktoriellen Kovarianz-analyse

I Wie bei der einfaktoriellen Varianzanalyse gibt es zweiDarstellungen:

Yij = µ+ αi + γxij + εij

= µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni

(µi = µ+ αi , α1 + . . .+ αk = 0)

I yij : Testergebnis des j-ten Patienten in der i-ten Gruppe (imBeispiel ist k = 3; n1 = n2 = n3 = 5)

I µi : Einfluss der Verhaltensstorung auf Therapieerfolg

I xij : Kovariable (Verbalisationsfahigkeit) des j-ten Patienten derGruppe i . γxij ist dann der Einfluss der Kovariablen (Verbali-sationsfahigkeit) des Patienten j in Gruppe i auf den Therapie-erfolg

9 / 32



3.20 Das Modell der einfaktoriellen Kovarianz-analyse

I Zwei Darstellungen:

Yij = µ+ αi + γxij + εij

= µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni

(µi = µ+ αi , α1 + . . .+ αk = 0)

I Der Parameter γ bemisst den Einfluss der Kovariablen(Verbalisationsfahigkeit) auf den Therapieerfolg.

I γ = 0 bedeutet: die Kovariable (Verbalisationsfahigkeit) hatkeinen Einfluss auf den Therapieerfolg.

I Beachte: der Faktor γ ist fur jede Gruppe derselbe - d.h. erhangt nicht von dem Index ”i” ab (Homogenitat derRegressionskoeffizienten)

10 / 32



Beachte: Dieses Modell ist ein Spezialfall des ALM

Y = Xb + ε

Wobei

b =

(µ1

µ2

µ3

γ

)ε =

ε11

.

.

.

.

.

.ε35

X =

1 0 0 71 0 0 91 0 0 81 0 0 51 0 0 50 1 0 110 1 0 120 1 0 80 1 0 70 1 0 90 0 1 120 0 1 100 0 1 90 0 1 100 0 1 13

Y =

566455421321112

11 / 32



3.21 Das Modell der einfaktoriellen Kovarianz-analyse im ALM Y = XB + ε

I Daten- und Fehlervektor

Y =

y11

.

.

.y1n1

.

.

.yk1

.

.

.yknk

; ε =

ε11

.

.

.ε1n1

.

.

.εk1

.

.

.εknk

I Parametervektor und Designmatrix

b =

µ1

.

.

.µkγ

X =

1 0 0 · · · 0 x11

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.1 0 0 · · · 0 x1n10 1 0 · · · 0 x21

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.0 1 0 · · · 0 x2n2

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.0 0 0 · · · 1 xk1

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.0 0 0 · · · 1 xknk

12 / 32



3.22(A) Schatzer fur γ (Methode der kleinstenQuadrate)

I

γ =

∑ki=1

∑ni

j=1(yij − y i·)(xij − x i·)∑ki=1

∑ni

j=1(xij − x i·)2

I Beachte: γ ist ein gewichtetes Mittel der Schatzer fur dieSteigungen der Regressionsgeraden in den einzelen Gruppen.D.h.

I Schatzer fur die Steigung in Gruppe i (vgl. Methodenlehre II,2.11):

γi =

∑nij=1(yij − y i·)(xij − x i·)∑ni

j=1(xij − x i·)2

I Anteil der Varianz der Kovariablen in Gruppe i an derGesamtvarianz

αi =

∑nij=1(xij − x i·)

2∑ki=1

∑nij=1(xij − x i·)2

I Es gilt (α1 + . . .+ αk = 1):

γ =k∑

i=1

αi γi

13 / 32



3.22(B) Schatzer fur µi (Methode der kleinstenQuadrate)

I Beachte: als Schatzer fur die Parameter µi verwendet man dieGruppenmittelwerte, wobei die Daten vorher um den Einfluss derKovariablen korrigiert werden

µi = 1ni

∑nj=1 (yij − γxij) = y i· − γx i·

I Schatzer fur die Varianz der zufalligen Fehler (Residualvarianz)

s2y |x =

1

n − k − 1

k∑i=1

ni∑j=1

(yij − µi − γxij)2

(dabei bezeichnet n = n1 + · · · + nk den Gesamtstichproben-umfang)

14 / 32



Mathematische Formulierung der Hypothesen(im Beispiel 3.19): kein Einfluss der Kovariable

I Die Kovariable hat keinen Einfluss auf den Therapieerfolg:

H0 : γ = 0

Mit der Matrix K = (0, 0, 0, 1) und dem Parametervektorb = (µ1, µ2, µ3, γ)T kann man diese Nullhypothese schrei-ben als

H0 : Kb = (0, 0, 0, 1) ·

µ1

µ2

µ3

γ

= γ = 0

15 / 32



Mathematische Formulierung der Hypothesen(im Beispiel 3.19): kein Unterschied zwischenden Gruppen

I Zwischen den verschiedenen Verhaltensstorungen besteht keinUnterschied hinsichtlich des Therapieerfolgs:

H0 : µ1 = µ2 = µ3

Mit der Matrix

K =

(1 −1 0 00 1 −1 0

)und dem Parametervektor b = (µ1, µ2, µ3, γ)T kann man dieseHypothese schreiben als

H0 : Kb =

(1 −1 0 00 1 −1 0

)µ1

µ2

µ3

γ

=

(µ1 − µ2

µ2 − µ3

)=

(00

)

16 / 32



3.23(A) F -Test auf Signifikanz des Regressions-koeffizienten

Man beachte: Alle Hypothesen konnen mit dem F -Test im ALM(vgl. Methodenlehre II; 3.12) getestet werden. Die Anwendung derallgemeinen Theorie liefert:

I Die Hypothese H0 : γ = 0 (Kovariable hat keinen Einfluss) wirdzum Niveau α abgelehnt, falls

Fγ =11 γ

2 ns2xx

s2y |x

> F1,n−k−1,1−α

gilt (oder der p-Wert < α ist). Dabei ist F1,n−k−1,1−α das (1−α)Quantil der F -Verteilung und

s2xx =

1

n

k∑i=1

ni∑j=1

(xij − x ··)2

die Summe der quadrierten Abweichungen der Kovariablen vonihrem Mittelwert

17 / 32



Alternative Interpretation der Teststatistik aus3.23(A): Differenz von Summen aus quadriertenResiduen (vgl. Methodenlehre II, Kapitel 3.4)

I Trifft die Hypothese H0 : γ = 0 (die Kovariable hat keinenEinfluss auf den Therapieerfolg) zu, so liegt das Modell dereinfaktoriellen Varianzanalyse vor:

yij = µi + εij ; i = 1, . . . , k ; j = 1, . . . , ni

Bezeichnet

y i· =1

n

ni∑j=1

yij i = 1, . . . , k

den Mittelwert in Gruppe i (nicht bzgl. der Kovariablenkorrigiert), dann ist

s2H0

=1

n − k

k∑i=1

(yij − y i·)2

die Residualvarianz der einfaktoriellen Varianzanalyse (Varianzunter der Nullhypothese)

18 / 32



Allgemeines Prinzip: Differenz von Summenaus quadrierten Residuen

I Nach 3.22(B) ist

s2y |x =

1

n − k − 1

k∑i=1

ni∑j=1

(yij − µi − γxij)2

die Residualvarianz im Modell der einfaktoriellen Kovarianzanalyse(Varianz unter der Alternative)

I Die Statistik des F -Tests hat die Darstellung

Fγ =(n − k) s2

H0− (n − k − 1) s2

y |x

s2y |x

=11 (RSSγH0

− RSS)1

n−k−1RSS

Man vergleicht also die Summen der quadrierten Residuen in demModell der einfaktoriellen Varianzanalyse [RSSγH0

= (n − k)s2H0

]und unter der Einbeziehung der Kovariablen[RSS = (n − k − 1)s2

y |x ]I Kurz: Differenz der Summe der quadrierten Residuen unter

Nullhypothese und Alternative dividiert durch die Summe derquadrierten Residuen unter Alternative

19 / 32



Beispiel: Test auf Einfluss der Kovariablen fur die Daten aus Beispiel3.19

I RSSγH0= (n − k) s2

H0= 14.0

I RSS = (n − k − 1) s2y |x = 3.6

I Fγ = 14.0−3.6111 3.6

= 10.40.327 = 31.78

Fur α = 5% ist F1,11,0.95 = 4.844, also wird die Nullhypothese

H0 : γ = 0

(kein Einfluss der Kovariablen) zum Niveau 5% verworfen (P-Wert:0.0001)

20 / 32



3.23(B) F -Test auf Unterschiede zwischen denGruppen

I Die HypotheseH0 : µ1 = · · · = µk

wird zum Niveau α abgelehnt, falls

Fµ =1

k−1

∑ki=1 ni (y∗i· − y∗··)

2

1n−k−1

∑ki=1

∑ni

j=1 (y∗ij − y∗i·)2> Fk−1,n−k−1,1−α

gilt. Dabei istI Fk−1,n−k−1,1−α das (1− α)-Quantil der F -Verteilung mit

(k − 1, n − k − 1) FreiheitsgradenI y∗ij = yij − γxij (die um den Einfluss der Kovariablen bereinigten

Daten)I y∗i· = 1

ni

∑nij=1 y∗ij der Gruppemmittelwert in Gruppe i

I y∗·· = 1n

∑ki=1

∑n1j=1 y∗ij der Gesamtmittelwert

I Beachte: es wird eine einfaktorielle Varianzanalyse mit den“korrigierten” Daten y∗ij = yij − γxij durchgefuhrt

21 / 32



Alternative Interpretation der Teststatistik aus3.23(A): Differenz von Summen aus quadriertenResiduen

Fµ =1

k−1 (RSSµH0− RSS)

1n−k−1RSS

I Residuensumme unter der Nullhypothese H0 : µ1 = · · · = µk

RSSµH0=

k∑i=1

ni∑j=1

(y∗ij − y∗··)2

I Residensumme im Modell der Kovarianzanalyse(µi = 1

ni

∑ni

j=1(yij − γxij) = y∗i· beachten!)

RSS =k∑

i=1

ni∑j=1

(yij − µi−γxij)2 =

k∑i=1

ni∑j=1

(y∗ij − y∗i·)2

22 / 32



Beispiel: Test auf Gruppenunterschiede fur die Daten aus Beispiel3.19

I RSSµH0= 46.45

I RSS = 3.6

I Fµ =12 (46.45−3.6)

111 3.6

=12 42.85

111 3.6

= 65.48

Fur α = 5% ist F2,11,0.95 = 3.982, also wird die Nullhypothese (keineGruppenunterschiede)

H0 : µ1 = µ2 = µ3

zum Niveau 5% verworfen (P-Wert: 0.000001)

23 / 32



SPSS-Output: einfaktorielle Kovarianzanalyse



Korrigiertes Modell

Konstanter Term

GRUPPE

VERBALE_INTELLIGENZ

Fehler

Gesamt


1450,400

15204,000

,327113,599

,00031,78910,401110,401

,00065,48321,425242,850

,1292,691,8801,880

,00047,68115,600346,801a

QuelleQuelle




Man Beachte: Durch Einbeziehung der Kovarariablen verkleinert sichdie Summe der quadrierten Residuen von 14.00 (im Modell der ein-faktoriellen Varianzanalyse) auf 3.6 (im Modell der einfaktoriellenKovarianzanalyse).D.h. statt 72.22% werden 92.86% der Varianz erklart!

24 / 32



3.24 Voraussetzungen fur die Kovarianzanalyse

I Modell der einfaktoriellen Kovarianzanalyse

yij = µi + γxij + εij

= µ+ αi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni

I µi reprasentiert den Einfluss der Gruppe i auf die abhangigeVariable yij

I γxij reprasentiert den Einfluss der Kovariablen xij auf dieabhangige Variable yij

I Die zufalligen Fehler εij sind unabhangig und normalverteilt mitErwartungswert 0 und Varianz σ2 (diese Annahme ist in Beispiel3.19 mindestens diskussionswurdig)

I Der Faktor γ is unabhangig von der Gruppe (d.h. hangt nicht voni ab): Homogenitat der Regressionskoeffizienten

25 / 32



3.25 Uberprufung der Annahme der Homogenitatder Regressionskoeffizienten

I Modell

yij = µi + γixij + εij ; i = 1, . . . , k ; j = 1, . . . , ni

I Nullhypothese: Der Einfluss der Kovariablen andert sich nicht mitder Gruppenzugehorigkeit

H0 : γ1 = γ2 = · · · = γk

I Beachte:

- In diesem Modell betrachtet fur jede Gruppe eine Regressions-gerade und die Nullhypothese sagt aus, dass dieser k Geradenparallel sind- Das Modell hat 2k Parameter µ1, . . . , µk , γ1, . . . , γk (imBeispiel 6)- Das Modell der einfaktoriellen Kovarianzanalyse hat k + 1Parameter µ1, . . . , µk , γ (im Beispiel 4)

26 / 32



Design- und Hypothesenmatrix fur Beispiel 3.19

b =

µ1

µ2

µ3

γ1

γ2

γ3

X =

1 0 0 7 0 01 0 0 9 0 01 0 0 8 0 01 0 0 5 0 01 0 0 5 0 00 1 0 0 11 00 1 0 0 12 00 1 0 0 8 00 1 0 0 7 00 1 0 0 9 00 0 1 0 0 120 0 1 0 0 100 0 1 0 0 90 0 1 0 0 100 0 1 0 0 13

K =

(0 0 0 1 −1 00 0 0 0 1 −1

)Kb =

(γ1 − γ2

γ2 − γ3

)

27 / 32



3.26 F -Test fur die Hypothese der Homogenitatder Regressionskoeffizienten

I Die HypotheseH0 : γ1 = · · · = γk

wird zum Niveau α abgelehnt, falls

F γ =1

k−1 (RSSH0− RSS)

1n−2k RSS

> Fk−1,n−2k,1−α

Dabei sindI RSSH0

=∑k

i=1

∑nij=1(yij − µi − γxij)

2 die Summe der quadriertenResiduen unter der Nullyhpothese

I µi , γ die kleinsten Quadrate Schatzer unter der Annahme der Ho-mogenitat der Regressionskoeffizienten (vgl. Bemerkung 3.22)

I RSS =∑k

i=1

∑nij=1(yij − µi − γixij)

2 die Summe der quadriertenResiduen , unter der Annahme, dass keine Homogenitat derRegressionskoeffizienten vorliegt

I (µi , γi ) die kleinsten Quadrate Schatzungen, unter der Annahme,dass keine Homogenitat der Regressionskoeffizienten vorliegt

28 / 32



Beispiel: F -Test fur die Hypothese der Homogenitat derRegressionskoeffizienten fur die Daten aus Beispiel 3.19

I RSSH0= 3.6

I RSS = 2.445

I F γ =12 (3.6−2.445)

115−6 2.445

= 0.57750.2717 = 2.125

Fur α = 5% ist F2,9,0.95 = 4.256, also wird die Nullhypothese derHomogenitat der Regressionskoeffizienten

H0 : γ1 = γ2 = γ3

zum Niveau 5% nicht verworfen (P-Wert: 0.824)

29 / 32



SPSS Output: Uberprufung der Annahme derHomogenitat in der einfaktoriellenKovarianzanalyse



Korrigiertes Modell

Konstanter Term

GRUPPE

VERBALE_INTELLIGENZ

GRUPPE * VERBALE_INTELLIGENZ

Fehler

Gesamt


1450,400

15204,000

,27292,445

,1762,124,57721,154

,00032,3748,79518,795

,0117,7542,10724,213

,2151,779,4831,483

,00035,3049,591547,955a

QuelleQuelle




30 / 32



3.27 Bemerkungen zur Kovarianzanalyse

I Mit der Kovarianzanalyse uberpruft man, wie “bedeutsam” derEinfluss der Kovariablen ist

I Der Einfluss der Kovariablen wird durch die Kovarianzanalyseneutralisiert

I Durch die Beachtung der Kovariablen wird im Modell derVarianzanalyse die Residualvarianz reduziert.

I Beachte: liegt keine Homogenitat der Regessionskoeffizientenvor, so ist eine Durchfuhrung der Kovarianzanalyse wie in 3.23(A)und 3.23(B) beschrieben nicht sinnvoll.

31 / 32



3.27 Bemerkungen zur Kovarianzanalyse

I Eine Kovarianzanalyse ist eine Varianzanalyse “bereinigt” um denEinfluss der Kovariablen. D.h. Eine Kovarianzanalyse ist eineVarianzanalyse der Regressionsresiduen y∗ij = yij − γxij

I Durch die Kovarianzanalyse wird die Verzerrung durch dieGruppenunterschiede in der gewohnlichen linearen Regressionkorrigiert

I Das Modell der Kovarianzanalyse kann in verschiedeneReichtungen erweitert werden:

I Mehrere Faktoren. Z.B. Zweifaktorielle Kovarainzanalyse

yijk = µ+ αi + βj + αβij + γxijk + εijk

I Modelle mit Messwiederholungen (vgl. Kapitel 3.7)

I Mehrdimensionale Kovariablen

32 / 32

Documents

Statistik-Team - Ruhr-Universität Bochum · 3. Das allgemeine lineare Modell 3. Das allgemeine lineare Modell 3.6 Kovarianzanalyse 3.1Matrizen und Vektoren, Kodierung 3.2Addition