Upload
baldric-giedd
View
115
Download
3
Embed Size (px)
Citation preview
Effekte, Effektstärken, und Interpretation von Effekten
Seminar Forschungsmethoden der SozialpsychologieJohannes Ullrich
2 4 6 8 10 12
-3-2
-10
12
3
Effekt der WM 2006 auf Anzahl ausländische Gäste
Monat in 2006
Sta
nd
ard
isie
rte
Mitt
elw
ert
sab
we
ich
un
g 2
00
6 Hessen im JuniHessen im Juni
Mittelwertsdifferenzen
• Zwei Gruppenmittelwerte (treatment vs. control), Vorurteile gegenüber Offenbachern
• Bogus Pipeline (Jones & Sigall, 1971)
Studie 1
ct YYY
403070 Y
Mittelwertsdifferenzen
• Zwei Gruppenmittelwerte (treatment vs. control), Vorurteile gegenüber Offenbachern
• Bogus Pipeline (Jones & Sigall, 1971)
Studie 1
Studie 2
ct YYY
403070 Y
303565 Y
Mittelwertsdifferenzen
• Vergleich von Mittelwertsdifferenzen unmöglich ohne Information über Variabilität der Daten
SDpooled
Studie 1 40
Studie 2 20
403070 Y
303565 Y
StandardisierteMittelwertsdifferenzen
• Cohen's d
.2 = klein
.5 = mittel
.8 = groß
Studie 1
Studie 2
140
3070
d
5.120
3565
d
pooled
ct
sd
YYd
Kovarianz
• Zusammenhang zwischen zwei Variablen
• Einstellung zu gesundem Essen und gesundes Essverhalten
Studie 1 Cov = 30
Studie 2 Cov = 70
n
YYXXCov
i
n
ii ))((
1
Korrelation
• Pearson's r
klein = .1
mittel = .3
groß = .5
Studie 1
Studie 2
56.6*9
30r
yx
yx
sdsdr ,cov
36.13*15
70r
Zusammenhänge zwischen Effektstärken
• Differenzen durch Variabilität (Fehlerterme) teilen bekannt aus ANOVA und t-Tests
• Unterschied: Abhängigkeit von Stichprobengröße
ctpooled
ct
nnt
sd
YYd
11
ctct
c
n
iict
n
iit
nnnn
YYYYSE
ct
11
2
)()( 2
1
2
1
SE
YYt
ct
Zusammenhänge zwischen Effektstärken
• r und d sind mit Zusammenhangs- bzw. Unterschiedshypothesen assoziiert
• sind aber in einander transformierbar• ermöglicht Vergleiche von Effektstärken nicht nur
zwischen Replikationsstudien, sondern auch zwischen verschiedenen Designs und Variablen
)2)((
cov2
2,
ctctct
ct
yx
yx
nnnnnnd
nnd
sdsdr
Meta-Meta-Analyse von Richard et al. (2003, Review of General Psyc)
Zwischenfazit 1
• Effekt = Beziehung zwischen X und Y, egal ob X treatment vs. control oder kontinuierliche Variable
• Standardisierung (Relativierung an Variabilität der Daten) macht Effekte leichter interpretierbar
Interpretation von Effekten:Das "Label"
Aus Wainer & Brown (2004)
1992 National Assessment of Educational ProgressMathematik-Ergebnisse für Schüler der 8. Klasse,getrennt nach Staat und Hautfarbe
Simpson's Paradox
Aus Wainer & Brown (2004)
Ensteht bei der Aggregation von gruppierten Daten, wenn die Gruppenmitgliedschaft mit der Aggregatvariable und der abhängigen Variable korreliert!
Simpson's Paradox
Aus Wainer & Brown (2004)
1992 National Assessment of Educational ProgressMathematik-Ergebnisse für Schüler der 8. Klasse,getrennt nach Staat und Hautfarbe
"Natürliche" Gewichtung der Subgruppen-Mittelwerte bei der Errechnung eines Gesamtmittelwerts
Standardisierte Gewichtung anhand der national repräsentativenSubgruppengröße
27708.*25905.*23687.*281
27115.*25916.*23669.*281
Zwischenfazit 2
• Standardisierung alleine garantiert noch keine Interpretierbarkeit
• Simpson's Paradox nur eine Variante des "Drittvariablenproblems"
• Label bezieht sich auf X und Y, aber Z hängt auch mit X und Y zusammen (und A, B, C, ... möglicherweise auch)
Kausalität
John Stuart Mill (1806-1873):• Ursache geht der Wirkung voraus• Zusammenhang Ursache-Wirkung• Ausschluß von Alternativerklärungen
Kausalität
John Stuart Mill (1806-1873):• Ursache geht der Wirkung voraus• Zusammenhang Ursache-Wirkung• Ausschluß von Alternativerklärungen
X Y
Kausalität
X Y X Y
X Y
Ursachen
• Streichholz als Ursache eines Waldbrands• Inus condition:
– „Insufficient but – Nonredundant part of an – Unnecessary but– Sufficient condition“ (Mackie, 1974)
• Deterministisch (Physik) vs. probabilistisch (Humanwissenschaften)
Kausale Effekte
• Definiert über Counterfactuals (kontrafaktische Überlegungen)
• Yt(u) - Y
c(u)
• Effekt in Rubin's Causal Model: Unterschied zwischen dem, was man bei einer Person in der Treatment-Bedingung beobachten würde, und dem, was man bei derselben Person – unter denselben Umständen – in der Kontroll-Bedingung beobachten würde
• „Fundamentales Problem des kausalen Schließens“
Der ideale Vergleich
• Yt(u) - Y
c(u)
• Wird am besten angenähert durch experimentelle Methoden– Zufallszuweisung von Untersuchungseinheiten
(Recipients) zu verschiedenen Bedingungen– Zwischen den Bedingungen wird die vermutete
Ursache systematisch variiert (Manipulation), wobei alle weiteren Umstände möglichst konstant gehalten werden
Aspirin Placebo
Übung
• Prosoziales Verhalten bei Männern und Frauen
• Welche methodischen Probleme gibt es, die die Validität der Schlussfolgerungen gefährden können?
• Wie valide ist die Schlussfolgerung im letzten Satz des Berichts? 1 'überhaupt nicht' bis 11 'völlig valide'
Übung
• Stimulus-Sampling (Wells & Windschitl, 1999):
Probleme mit Experimenten
• Künstliche Bedingungen und Generalisierbarkeit
• Ethische Bedenken
• Manchmal bestimmt der Effekt die Fragestellung, und die Ursache ist schwer manipulierbar (Krankheiten, soziale Probleme), wie in Kriminalgeschichten: „Wer ist der Mörder?“
Alternativen zu Experimenten
• Keine Zufallszuweisung, aber Kenntnis von quantitativer Zuweisungsvariable– Interrupted Time Series Design– Regression Discontinuity Design
• Nicht-äquivalente Designs, "Beobachtungsstudien"
Interrupted Time Series Design
• Große Anzahl von Beobachtungen auf einer Variablen im Zeitverlauf
• Kenntnis des Zeitpunkts eines Treatments
• Veränderung in Intercept oder Slope
• Sofortiger oder verzögerter Effekt?
• Punktueller oder andauernder Effekt?
Datenquelle:StatistischesBundesamt
2 4 6 8 10 12
-3-2
-10
12
3
Effekt der WM 2006 auf Anzahl ausländische Gäste
Monat in 2006
Sta
nd
ard
isie
rte
Mitt
elw
ert
sab
we
ich
un
g 2
00
6 Hessen im JuniHessen im Juni
2 4 6 8 10 12
-3-2
-10
12
3
Effekt der WM 2006 auf Anzahl ausländische Gäste
Monat in 2006
Sta
nd
ard
isie
rte
Mitt
elw
ert
sab
we
ich
un
g p
ro B
un
de
sla
nd
20
06
Anzahl WM Stadien
Keins123
Datenquelle:StatistischesBundesamt
Regression-Discontinuity Design
– Bsp.: Finanzielle Zuschüsse für aus der Haft entlassene Menschen, wenn sie in den letzten 12 Monaten mind. 652 Stunden im Gefängnis gearbeitet haben.
– Senkt das die Rückfallquote?
Regression-Discontinuity Design
550 600 650 700 750
01
00
20
03
00
40
0
x
y
regression discontinuity
Kriminalgeschichten
• "Schmudellige" Kriminalgeschichten: Keine Zufallszuweisung, keine quantitative Zuweisungsvariable
• Der ideale Vergleich ist auch in "schmuddeligen" Kriminalgeschichten die Grundlage für alle weiteren Überlegungen– Wie und warum weicht ein Forschungsdesign
von dem idealen Vergleich ab?
Schlussfazit
• Effekte leichter interpretierbar durch:– Standardisierung (z.B. d oder r)– Kontrolle oder Kenntnis des Mechanismus der
Zuweisung von Personen (und/oder Stimuli) zu den verschiedenen Stufen einer Treatment-Variable
– Validität von Schlussfolgerungen über empirische Ergebnisse hängt von der Passung von Effekt und Label ab