View
213
Download
0
Category
Preview:
Citation preview
NVMO 27 maart2013
NVMO Workshop OvO
27 maart 2013
Quasi-experimental study design and get the grant
NVMO 27 maart2013
Korte schets van quasi-experimentele designs en de
achtergronden ervan
27 maart 2013
Eugène CustersUMC Utrecht, dOO, Expertisecentrum voor Onderwijs en
OpleidingLid van het WECO van de NVMOecusters@umcutrecht.nl
NVMO 27 maart2013
Quasi-experimentele designs
Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago: Rand McNelly & Company.
Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Belmont, CA: Wadsworth Publishing.
NVMO 27 maart 2013
Zes ‘modes of inquiry’ (cf. Hammond, 1978, 1983, 1996)
NVMO 27 maart2013
Kernprobleem bij het opzetten van onderzoek en beoordelen van onderzoeksuitkomsten:
Hoe valide zijn (zullen) mijn resultaten (zijn)?
NVMO 27 maart2013
Typologie van validiteit van experimentele bevindingen
[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)
NVMO 27 maart2013
Typologie van validiteit van experimentele bevindingen
[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)
[2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)
NVMO 27 maart2013
Typologie van validiteit van experimentele bevindingen
[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)
[2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)
[3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten)
NVMO 27 maart2013
Typologie van validiteit van experimentele bevindingen
[1] Interne validiteit (causal inference: de interventie veroorzaakt de uitkomst)
[2] Externe validiteit (generaliseerbaarheid van de resultaten “naar buiten”)
[3] Construct validiteit (operationaliseren van complexe of slecht gedefinieerde concepten)
[4] Statistische validiteit van de uitkomst (toevalsbevinding, onder- of overschatting van effect)
NVMO 27 maart2013
Interne validiteit van experiment:
Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?
NVMO 27 maart2013
Interne validiteit van experiment:
Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?
Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen
NVMO 27 maart2013
Interne validiteit van experiment:
Hoe zeker kan ik ervan zijn dat de interventie (treatment), en niet “iets anders” (plausibele alternatieve verklaring), de uitkomst heeft veroorzaakt?
Voorbeelden van alternatieve verklaringen: [a] selectie bias, [b] gebeurtenissen die tegelijk met de treatment optreden, [c] ontwikkeling (maturation), [d] uitval van deelnemers, [e] effect van (herhaalde) metingen
Doel: Sluit alternatieve verklaringen uit
NVMO 27 maart2013
Borging van interne validiteit:
Meest effectieve maatregel: gebruik van controlegroep (comparison
group) + randomisering = RCT (gerandomiseerd experiment)
NVMO 27 maart2013
Borging van interne validiteit:
Meest effectieve maatregel: gebruik van controlegroep (comparison
group) + randomisering = RCT (gerandomiseerd experiment)
Maar: dit is niet altijd mogelijk of wenselijk alternatieve oplossingen zijn nodig:
quasi-experimenten
NVMO 27 maart2013
Quasi-experimental designs: Minimale voorwaarden
[1] Er is sprake van een discrete interventie (of treatment)
NVMO 27 maart2013
Quasi-experimental designs: Minimale voorwaarden
[1] Er is sprake van een discrete interventie (of treatment)
[2] Er is sprake van een uitkomstmaat
NVMO 27 maart2013
Quasi-experimental designs: Minimale voorwaarden
[1] Er is sprake van een discrete interventie (of treatment)
[2] Er is sprake van een uitkomstmaat
[3] De interventie gaat in de tijd vooraf aan de uitkomst
NVMO 27 maart2013
Belangrijkste principes van quasi-experimenten:
[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;
NVMO 27 maart2013
Belangrijkste principes van quasi-experimenten:
[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;
[2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign
NVMO 27 maart2013
Belangrijkste principes van quasi-experimenten:
[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;
[2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign
dus niet primair door statistische procedures
NVMO 27 maart2013
Belangrijkste principes van quasi-experimenten:
[1] Identificeren van plausibele bedreigingen (alternatieve verklaringen) van interne validiteit;
[2] “Primaat van het design”: onschadelijk maken van plausibele bedreigingen van de interne validiteit door aanpassingen van het onderzoeksdesign
dus niet primair door statistische procedures (dus niet: uitsluiten van alternatieve
verklaringen door complexe en/of heel precieze hypothesen)
NVMO 27 maart2013
Belangrijkste design-kenmerken van quasi-experimental designs om interne
validiteit te borgen:
[a] pretests (een of meer)
[b] controlegroepen (een of meer)
NVMO 27 maart2013
Enkele voorbeelden van quasi-experimental designs
NVMO 27 maart2013
Eenvoudigste design (geen pretest, geen controlegroep)
One-group posttest-only design:
X O1
(in 1963 nog: “One shot case study”)
NVMO 27 maart2013
Iets verfijnder design (geen pretest, geen controlegroep)
One-group posttest-only design with multiple substantive posttests:
X [O1A O1B O1C … O1N]
(bv. opsporen van de bron van een epidemie)
NVMO 27 maart2013
Designs met pretest, maar zonder controlegroep
One-group pretest-posttest design:
O1 X O2
(kan zowel within-subjects als between-subjects)
NVMO 27 maart2013
Designs met pretest, maar zonder controlegroep
One-group pretest-posttest design with double pretest:
O1 _ O2 X O3
(meer dan twee pretests zijn mogelijk)
NVMO 27 maart2013
Designs met pretest, maar zonder controlegroep
One-group pretest-posttest design using a nonequivalent dependent variable:
[O1A O1B] X [O2A O2B]
(van ‘B ’ is bekend dat hij gevoelig is voor alternatieve hypothesen)
NVMO 27 maart2013
Designs met controlegroep, maar zonder pretest
Posttest-only design with nonequivalent groups:
NR X O1 --------------------------------------
NR _ O2
(in 1963 nog: “Static group comparison”)
NVMO 27 maart2013
Designs met controlegroep, maar zonder pretest
Posttest-only design with nonequivalent groups but independent pretest samples:
NR O1 NR X O2
--------------------------- --------------------------------------
NR O1 NR _ O2
NVMO 27 maart2013
Designs met controlegroep, maar zonder pretest
Posttest-only design using proxy pretests:
NR OA1 X OB2 ----------------------------------------------------------
NR OA1 _ OB2
(basis voor matching en stratifying)
NVMO 27 maart2013
Designs met controlegroep en (dependent) pretest
Control group design with pretest and posttest samples
NR O1 X O2 -----------------------------------------------------
NR O1 _ O2
(a.k.a. nonequivalent comparison group design)
NVMO 27 maart2013
Designs met controlegroep en (independent) pretest
Cohort control group design
NR O1------------------------------------------------------
NR _ X O2
(vergelijken van jaargroepen in onderwijssituaties)
NVMO 27 maart2013
Designs met controlegroep en (dependent) pretest
Cohort control group design met multiple pretests
NR O1 O2 -----------------------------------------------------------------------------------
NR __ __ O3 X O4
(voordeel: vergelijkbare groepen, nadeel: history)
NVMO 27 maart2013
Hoe kies ik het meest geschikte design?
Geen “recept”, maar: case building
NVMO 27 maart2013
Hoe kies ik het meest geschikte design?
Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële
bedreigingen van de interne validiteit van je onderzoek
NVMO 27 maart2013
Hoe kies ik het meest geschikte design?
Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële
bedreigingen van de interne validiteit van je onderzoek
Kies dan design features (pretests, controlegroep, etc.)
NVMO 27 maart2013
Hoe kies ik het meest geschikte design?
Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële
bedreigingen van de interne validiteit van je onderzoek
Kies dan design features (pretests, controlegroep, etc.)
Probeer voorbeelden uit de literatuur te vinden
NVMO 27 maart2013
Hoe kies ik het meest geschikte design?
Geen “recept”, maar: case buildingFormuleer de belangrijkste potentiële
bedreigingen van de interne validiteit van je onderzoek
Kies dan design features (pretests, controlegroep, etc.)
Probeer voorbeelden uit de literatuur te vinden
Kies pas in laatste instantie de eventuele statistische controls
NVMO 27 maart2013
A cautionary note:
Zelfs een volgens de regels van de kunst opgezet en uitgevoerd (quasi-)experiment
vertelt je alleen dat de interventie het resultaat heeft veroorzaakt,
maar niet waarom dat het geval is (bv. placebo effect)
Recommended