S tatistische uitspraken over meerdere populatiegemiddelden: variantie analyse (AN O VA)

Statistische uitspraken over meerderepopulatiegemiddelden: variantie analyse (AN O VA)

Het vergelijken van twee populatiegemiddelden: – Student’s t-toets

– normale verdelingen in elke groep

– gelijke varianties

Het vergelijken van meer dan twee populatiegemiddelden– Variantie analyse

– normale verdelingen in elke groep

– gelijke varianties

Kern van de variantieanalyse (ANOVA) is het feit dat de variantie kan opgedeeld worden (gefractioneerd). De variantie wordt berekend als de som van de gekwadrateerde afwijkingen van het gemiddelde, gedeeld door n-1 (sample size min een, het aantal vrijheidsgraden). Dus, gegeven een zekere n, is de variantie een functie van de sommen van die kwadraten of van SS (sums of (deviation) squares). Het fractioneren van de variantie gaat als volgt. Beschouw de volgende eenvoudige data set:

Variantie analyse (AN O VA)

Groep 1 Groep 2

Observatie 1 2 6

Observatie 2 3 7

Observatie 3 1 5

Gemiddelde

SS

2

2

6

2

Gemiddelde van alle waarnemingen 4SS van alle waarnemingen 28

De gemiddelden zijn voor de beide groepen behoorlijk verschillend (2 en 6, respectievelijk). De sommen van de kwadraten zijn binnen elke groep 2. Wanneer we ze optellen bekomen we 4. Als we nu de berekeningen hernemen, niet rekening houdend met het bestaan van groepen, m.a.w. als we de totale SS berekenen op basis van het globale gemiddelde, bekomen we 28. Met andere woorden, wanneer we de variantie berekenen (sums of squares) gebaseerd op de variabiliteit binnen de groepen (within-group) bekomen we een veel kleinere schatter van die variantie als wanneer we ze berekenen op basis van de totale variabiliteit rond het globale gemiddelde. Dit wordt in dit voorbeeld uiteraard verklaard door het grote verschil tussen de groepsgemiddelden en het is dit verschil dat bepalend is voor het verschil in de SS. Moesten we een ANOVA uitvoeren van de gegevens uit het voorbeeld dan zouden we het volgende resultaat bekomen:


MAIN EFFECTSTAT.

SS df MS F P

Effect 24.0 1 24.0 24.0 .008

Error 4.0 4 1

Variantie analyse (AN O VA)MAIN EFFECTSTAT.

SS df MS F P

Effect 24.0 1 24.0 24.0 .008

Error 4.0 4 1

Zoals je ziet is in deze tabel de totale SS (28) gefractioneerd in de SS van de variabiliteit binnen (within) de groepen (2+2=4; de tweede rij) en de variabiliteit verklaard door het verschil tussen (between) de twee gemiddelden (28-(2+2)=24; de eerste rij).

SS Error en SS Effect. De ‘within-group’ variabiliteit (SS) is meestal de ‘Error variantie’ genoemd. Deze term verwijst naar het feit dat we ze binnen het voorliggende onderzoek moeilijk kunnen verklaren. De SS Effect kunnen we echter wel verklaren. Ze wordt namelijk veroorzaakt door de verschillen in gemiddelde tussen (‘between’) de groepen. Met andere woorden verklaard het groepslidmaatschap deze variabliteit omdat we weten dat beide groepen verschillende gemiddelden vertonen.


Testen op Significantie.

Een aantal statistische tests is gebaseerd op een ratio van de verklaarde tot de niet verklaarde variantie. ANOVA is hiervan een voorbeeld. De test is hier gebaseerd op een vergelijking van de variantie ten gevolge van de tussen de groepen variabiliteit (Mean Square Effect, of MSeffect) met de tussen groepen variabiliteit (Mean Square Error, of MSerror; Edgeworth, 1885). Onder de nul hypothese (dat er geen verschillen zijn in de gemiddelden tussen de verschillende groepen uit de populatie), zouden we nog wel kleine random fluctuaties verwachten op de groepsgemiddelden wanneer we kleine steekproeven zouden trekken zoals in ons voorbeeld. Daarom zou, onder de nul hypothese, de variantie geschat op basis van de ‘within-group’ variabiliteit ongeveer hetzelfde moeten zijn als de variantie ten gevolge van de ‘between-groups’ variabiliteit. We kunnen deze twee schatters van de variantie vergelijken op basis van de F test, die toetst of de ratio van de twee variantie schatters significant groter is dan 1. In ons voorbeeld is die test zeer significant, en we zullen daarom ‘concluderen’ dat de gemiddelden voor de twee groepen significant verschillen.


Voorbeeld:

30 personen worden behandeld voor overgewicht op basis van dieet A, dieet B en dieet C.Na 1 maand evaluatie:

Groep Gewichtsafname in kg

A -1.0; 0.3; 0,9; 2.1; 2.6; 3.1; 3.3; 5.4; 5.7; 6.8

B 1.7; 3.0; 5.2; 5.6; 5.7; 6.1; 6.6; 7.8; 11.5; 12.6

C 4.1; 6.1; 6.9; 7.4; 8.0; 8.6; 8.8; 9.7; 10.6; 11.8

Gewichtsverlies per groep

GROEP

VE

RL

IES

-2

0

2

4

6

8

10

12

14

A B C



±Std. Dev.

±Std. Err.

Mean

Box & Whisker Plot: gewichtsverlies per groep

GROEP

VE

RL

IES

-2

0

2

4

6

8

10

12

A B C

Groep n gemiddelde sA 10 2.92 2.50B 10 6.58 3.37C 10 8.20 2.24


Groep n gemiddelde s s²A 10 2.92 2.50 6.25B 10 6.58 3.37 11.36C 10 8.20 2.24 5.02

1. Bereken in elke groep s² als schatting van de variantie2. Aantal vrijheidsgraden Df: 10 - 1 = 93. Variantie binnen groepen = gemiddelde variantie in drie groepen = 7.54 = s²w met aantal vrijheidsgraden = 27 (N.B. s²w = SSW/dfW)4. Als µA = µB = µC (= µ), dan zijn de gemiddelden van A, B en C een steekproef van omvang 3 uit een normale verdeling met gemiddelde µ en variantie ²/105. De steekproefvariantie van deze kleine streekproef is:

13

)()()( 2222

XXXXXX

S CBAX


6. Vermenigvuldiging met n (=10) geeft een schatting van ² , namelijks²B = 10.s²X (relatie sd - se)

Deze schatting is gebaseerd op de spreiding tussen de groepsgemiddelden. Hier is s²X = 7.316 en dus s²B = 73.16 (N.B. s²B = SSB/dfB)7. Indien de nulhypothese niet juist is, zal s²W nog steeds een schatter zijn van ², maar s²B niet meer. Omdat de verschillen tussen de gemeten gemiddelden een afspiegeling zijn van de verschillen tussen µA, µB en= µC en dus niet meer alleen door het toeval veroorzaakt worden, zal s²B de neiging hebben om groter te worden naarmate de verschillen tussen µA, µB en= µC groter zijn. We toetsen dus op basis van de discrepantie tussen s²B en s²w op basis van de toetsingsgrootheid:

F = s²B / s²w = 73.16 / 7.54 = 9.70

8. Kansverdeling van F hangt af van aantal vrijheidsgraden van de teller (dfB = 2) en van de noemer (dfW = 27) tabel p<0.0019. Procedure uitbreidbaar tot k groepen met ongelijke aantallen per groep.

ANOVA

VERLIES

146,328 2 73,164 9,697 ,001

203,712 27 7,545

350,040 29

Between Groups

Within Groups

Total

Sum ofSquares df Mean Square F Sig.


Statistica output

SPSS output

Analysis of Variance (anova1.sta)Marked effects are significant at p < ,05000

SS df MS SS df MS Effect Effect Effect Error Error Error F p

VERLIES 146,3280 2 73,16400 203,7120 27 7,544889 9,697161 ,000670

tussen diëten s²B binnen diëten s²W


Waar zitten de verschillen ?

LSD (Least Significant Difference)

t-toets² geschat op basis van s²w met df = n-k

Kies Bepaal t uit tabel met df = n-kVerklaar groepen I en j verschillend als:

BAW

BAAB

nns

XXt

11

jiWji nntsXX

11..


Waar zitten de verschillen ?

LSD (Least Significant Difference)

In het voorbeeld met de drie diëten:df = n-k = 27, t = 2.05 (uit tabel) ni = 10 voor i = 1,2,3

Hieruit blijkt dat A (gemiddelde afname 2.92) significant verschilt van B (gemiddelde afname 6.58) en van C (gemiddelde afname 8.20), maar dat het verschil tussen B en C niet significant is.

52.210

1

10

105.275.2.. ji XX

SPSS output Multiple Comparisons

Dependent Variable: VERLIES

-3,66000* 1,22840 ,016 -6,70573 -,61427

-5,28000* 1,22840 ,001 -8,32573 -2,23427

3,66000* 1,22840 ,016 ,61427 6,70573

-1,62000 1,22840 ,397 -4,66573 1,42573

5,28000* 1,22840 ,001 2,23427 8,32573

1,62000 1,22840 ,397 -1,42573 4,66573

-3,66000* 1,22840 ,006 -6,18048 -1,13952

-5,28000* 1,22840 ,000 -7,80048 -2,75952

3,66000* 1,22840 ,006 1,13952 6,18048

-1,62000 1,22840 ,198 -4,14048 ,90048

5,28000* 1,22840 ,000 2,75952 7,80048

1,62000 1,22840 ,198 -,90048 4,14048

-3,66000* 1,22840 ,018 -6,79545 -,52455

-5,28000* 1,22840 ,001 -8,41545 -2,14455

3,66000* 1,22840 ,018 ,52455 6,79545

-1,62000 1,22840 ,595 -4,75545 1,51545

5,28000* 1,22840 ,001 2,14455 8,41545

1,62000 1,22840 ,595 -1,51545 4,75545

(J) GROEPB

C

A

C

A

B

B

C

A

C

A

B

B

C

A

C

A

B

(I) GROEPA

B

C

A

B

C

A

B

C

Tukey HSD

LSD

Bonferroni

MeanDifference

(I-J) Std. Error Sig. Lower Bound Upper Bound

95% Confidence Interval

The mean difference is significant at the .05 level.*.


M An O VaFixed effects: factoren met vaste, bekende niveausRandom effects: niveaus corresponderen met de proefpersonen in het onderzoek

Repeated measures An o VaHerhaalde metingen bij dezelfde proefpersonenUit verschillende groepen



MANOVA

Veronderstel dat we in het bovenstaande voorbeeld een tweede groeperende factor introduceren, m.n. geslacht. Stel dat we in elke groep drie mannen en drie vrouwen zouden hebben:

Groep 1 Groep 2

Mannen 2 6

3 7

1 5

gemiddelde 2 6

Vrouwen 4 8

5 9

3 7

gemiddelde 4 8


MANOVA

Het is duidelijk dat we de totale variantie kunnen opdelen volgens tenminste drie bronnen: (1) error (‘within-group’) variabiliteit, (2) variabiliteit ten gevolge van het groeplidmaatschap en (3) variabiliteit ten gevolge van geslacht. (Merk op dat er nog een bijkomende bron is -- interactie -- die we kort zullen bespreken). Wat zou er gebeurd zijn als we geslacht niet meegenomen zouden hebben als een factor in de studie, maar gewoon een t-test zouden hebben uitgevoerd? Als je de SS zou berekenen en de factor geslacht verwaarloost (gebruik de ‘within’-groep gemiddelden en negeer geslacht; het resultaat is SS=10+10=20), dan zou je zien dat de resulterende ‘within’-groep SS groter is dan wanneer we geslacht includeren (gebruik de ‘within’-groep en de ‘within’-geslacht gemiddelden om die SS te berekenen; ze zijn 2 in elke groep, de gecombineerde SS-’within’ is 2+2+2+2=8). Dit verschil is het gevolg van het feit dat de gemiddelden voor mannen systematisch lager zijn dan voor vrouwen, en dit verschil in gemiddelden draagt bij tot de variabiliteit als we deze factor negeren. Het controlleren voor de ‘error’ variantie verhoogt de sensitiviteit (power) van een test. Dit voorbeeld toont (bijkomend) dat ANOVA ted verkiezen is boven een t-test: bij ANOVA kunnen we voor elke factor testen terwijl we controleren voor alle andere; daarom heeft ANOVA meer statistische power (m.a.w. we hebben minder waarnemingen nodig om een significant effect te bekomen) dan de t-test.

Documents

S tatistische uitspraken over meerdere populatiegemiddelden: variantie analyse (AN O VA)