Upload
merige673642
View
85
Download
0
Embed Size (px)
DESCRIPTION
meta analiza
Citation preview
M. Popa 2013
A. Ce este meta-analiza?
B. Obiectivele meta-analizei
C. Etapele procesului de meta-analiză
D. Puncte tari ale meta-analizei
E. Puncte slabe ale meta-analizei
F. Resurse
G. Întrebări recapitulative
Referințe bibliografice
3/11/2013 2
numeroase studii…
numeroase teme de cercetare…
aceeași temă este abordată de mai mulți autori: în condiții diferite
pe populații diferite
Rezultatele pot fi variate (concordante sau discordante) care este ”adevărul”?
cum se poate trage o concluzie din analiza rezultatelor mai multor studii?
Soluții pentru sinteza lucrărilor științifice: Narativ (tradițional)
Statistic (începând din deceniul, 9 sec. XX)
3/11/2013 3
”Meta-analiza se referă la analiza analizelor… analiza
statistică a unei largi colecții de rezultate obținute în studii
individuale, cu scopul de a integra concluziile acestora.
Este o alternativă riguroasă la analiza cauzală, narativă, a
studiilor de cercetare, care susține efortul de a da un sens
expansiunii rapide a cercetării științifice”
Glass, G. (1976). Primary, secondary and meta-analysis of
research, p.3
Schmidt, F. L., & Hunter, J. E. (2003, p. 533): ”Meta-analiza integrează rezultatele mai multor studii care tratează același subiect, pentru a
descoperi modelele simple ale relațiilor evidențiate în aceste cercetări, ca bază pentru dezvoltarea teoriilor psihologice”.
3/11/2013 4
”Meta-analiza se referă la analiza analizelor… analiza statistică a unei largi
colecții de rezultate obținute în studii individuale, cu scopul de a integra
concluziile acestora.
Este o alternativă riguroasă la analiza cauzală, narativă, a studiilor de cercetare,
care susține efortul de a da un sens expansiunii rapide a cercetării științifice”
Glass, G. (1976). Primary, secondary and meta-analysis of research, p.3
Abordarea statistică tradițională:
testarea ipotezelor și decizia cu privire la H0
nu este potrivită integrării rezultatelor din studii diferite Semnificația statistică depinde de N (care este diferit de la studiu la studiu)
Admiterea H0 nu are aceeași ”greutate” ca respingerea H0
”statistic semnificativ” este o concluzie ”puternică”
”statistic nesemnificativ” este o concluzie ”slabă”
Meta-analiza orientată cu precădere pe mărimea efectului
directia și magnitudinea mărimii efectului în studii dedicate aceluiași subiect
3/11/2013 5
3/11/2013 6
(Kanfer & Kantrowitz, 2002)
3/11/2013 7
Întrebări la care meta-analiza încearcă să ofere răspuns:
Care este mărimea medie a efectului în studiile analizate?
Este efectul respectiv statistic semnificativ? (… deși acest aspect nu este neapărat important)
Care sunt limitele intervalului de încredere pentru efectul mediu?
Distribuția efectelor individuale este omogenă sau neomogenă? dacă rezultatele nu diferă în urma artefactelor studiilor în mai mare măsură
decât este de ateptat, ele sunt considerate a fi omogene (Hox, 1995)
Există influențe moderatoare asupra efectului? (variază acesta în funcție de valorile altor variabile?)
3/11/2013 8
1) Alegerea temei cercetării
2) Găsirea studiilor
3) Alegerea studiilor
4) Calcularea indicelui de mărime a efectului
5) Efectuarea meta-analizei
6) Raportarea rezultatelor meta-analizei
3/11/2013 9
O meta-analiză se efectuează: pe teme temă de interes larg printre
cercetători
pentru perioade de timp care nu au mai fost acoperite de mate-analize
Spring (2007): ”Întrebarea fundamentală”
P – population
I – intervention
C – comparison
O – outcome
Exemplu: ”Compararea eficienței (O) învățării online (I) cu învățarea tradițională(C), la elevii de liceu (P)”, Means, B., Toyama, Y.,
Murphy, R., Bakia, M., & Jones, K. (2010)3/11/2013 10
(Kanfer & Kantrowitz, 2002)
Volume de proceedings și rezumate
Dizertații interne
externe
Baze de date electronice Psych Info, APA online
SSCI, Web of Science
ERIC
Altele…
Articole de sinteză (review articles)
Manuscrise nepublicate (sau în curs de publicare)
Documente oficiale (guvernamentale, agenții… etc.)
3/11/2013 11
Criterii posibile: Perioada acoperită de meta-analiză
Definirea operațională a variabilelor
Tipul de studiu (experiment; quasi-experiment; corelațional)
Calitatea studiilor
Rigoarea modelului de cercetare
Raportarea indicilor de mărime a efectului sau a valorilor necesare pentru acestea
Publicate/nepublicate
Reviste ”peer-review”
Etc.
Obiectivitatea alegerii Evaluatori diferiți, pentru a garanta aplicarea concordantă a criteriilor de includere
3/11/2013 12
Pentru aprofundarea problemei alegerii studiilor recomandăm cap. 7 din:
Sava, A. F. (2013). Psihologia validată științific. Ghid practic de cercetare în psihologie. Iași: Polirom.
Meta-analiza vizează un anumit indice de mărime a afectului
Dacă studiile alese raportează indici diferiți de mărime a efectului Se alege indicele preferat
Se transformă toți indicii în indicele ales
Indici eligibili ”r” Pearson
”d” Cohen
”delta” Glass
”g” Hodges
”raportul de șansă” (odds-ratio)
Alții: proporții, raportul de risc, rata de incidență etc.
3/11/2013 13
3/11/2013 14
Formule pentru obținerea coeficientului de corelație
Pentru tabele
de contingență 2x2
Pentru ANOVA One Way
Transformarea ”d” Cohen
în ”r” Pearson
Transformarea ”r” în ”d”
Pentru ANOVA Two Way
15
Mărimea efectului pe tabele de contingență de tip 2x2
bc
adES
Raportul dintre cota de succes în grupul
experimental și cota de succes în
grupul de control
Frecvența
SUCCES EȘEC
GRUP EXPERIMENTAL a b
GRUP DE CONTROL c d
RAPORTUL DE ȘANSĂ RAPORTUL DE RISC
Raportul dintre probabilitatea de succes
(eșec) a fiecărui grup
ESa a b
c c d
/ ( )
/ ( )
Modelul efectelor fixe
Ia în considerare doar varianța intra-studiu (eroarea de stimare a fiecărui efect în raport cu un efect global, considerat unic pentru toate cercetările)
Modelul efectelor aleatorii
Ia în considerare și varianța dintre studii (eroarea de estimare a fiecărui studiu prin raportare la celelalte)
Presupune că fiecare studiu descrie un efect diferit de celelalte, care însă, împreună, descriu un ”super-efect” comun
3/11/2013 16
Modele de meta-analiză
Studiul 4Studiul 3Studiul 2Studiul 1
3/11/2013 17
ρ=0.37
r=0.30 r=0.35 r=0.40 r=0.43
• Există un efect ”comun”, ”unic”
• Fiecare studiu descrie acest efect
• Diferențele dintre studii sunt expresia erorii
de eșantionare
ε 1ε 2 ε 3 ε 4
Varianța intra studiu
18
ρ=0.37
r=0.27 r=0.41 r=0.37 r=0.43
r=0.29 r=0.35 r=0.40 r=0.44
Studiul 4Studiul 3Studiul 2Studiul 1
3/11/2013
ε 1ε 2 ε 3 ε 4
ξ 1ξ 2
ξ 3 ξ 4
• Fiecare studiu descrie un efect diferit,
determinat de condiții specifice: vârsta
participanților, nivelul de educație, starea de
sănătate, natura intervenției etc.
• Distribuția efectelor diferite este expresia
unei ”super-distribuții”, care descrie efectul
adevărat
Eroarea totală este compusădin două erori
Populațiile
fiecărui
studiu
”Superpopulația”
tuturor studiilor
Fiecare din cele două modele poate produce rezultate și concluzii diferite
Alegerea modelului este crucială: Afectează procedurile de calcul
Definește obiectivele meta-analizei
Orientează interpretarea rezultatelor
Modelul efectelor fixe Este mai ușor de efectuat
Conduce la supraevaluarea efectului
Probabilitate mai mare pentru eroarea de tip I Se estimează că un procent în jur de 50% dintre studiile de meta-analiză care utilizează modelul efectelor fixe, concluzionează greșit
cu privire la existența unui efect
procentul erorii de tip I este cu atât mai mare cu cât N mediu este mai mic
Nu permite generalizarea concluziilor dincolo de studiile analizate
Recomandabil atunci când numărul studiilor este mic (k<20)
Totuși, majoritatea meta-analizelor publicate se bazează pe metoda efectelor fixe (!!!)
Modelul efectelor aleatorii Presupune calcule mai laborioase
Oferă concluzii mai sigure
Concluziile sunt generalizabile în afara studiilor analizate (validitate externă mai mare)
Este mai recomandabil
Dar nu se va efectua atunci când numărul studiilor este mai mic de 20 (dar ar trebui să fie mai mare de atât) 3/11/2013 19
Hunter & Schmidt
Media mărimii efectelor
Varianța efectelor
Varianța erorii de eșantionare
Varianța populației de corelații
95% CI
Testul omogenității
Hedges & colleagues
3/11/2013 20
Testul semnificației efectului mediu
Hedges & colleagues
3/11/2013
21
Media mărimii efectelor
Eroarea standard a efectului mediu
Varianța erorii de eșantionare
Varianța populației de corelații
95% CI
Testul omogenității
Hunter & Schmidt
3/11/2013
Media mărimii efectelor
Eroarea standard a efectului mediu
Varianța erorii de eșantionare
Varianța populației de corelații
95% CI
Testul omogenității
Testul semnificației
efectului mediu
Fișierul meta-corr_final.xlsx
3/11/2013 23
Exemplu de calcul realizat după: Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo
comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.
Funnel plot (Light and Pillemer, 1984)
Scatter-plot pentru corelația dintre mărimea efectului și mărimea eșantionului
Ideal trebuie să aibă forma de mai jos
Dacă este asimetric, este posibilă eroare de publicare
Forrest plot
Graficul comparativ al intervalelor de încredere pentru efectele analizate
3/11/2013 24
L'Abbé Plot
3/11/2013 25
scatter-plot pentru rezultatele studiilor individuale (grup experimental/de control)
rata evenimentului din grupul experimental pe axa Oy
rata evenimentului pentru grupul de control pe axa Ox
Raportarea suportului teoretic
Definirea problemei
Enunțarea ipotezei
Descrierea rezultatului care va fi analizat
Tipul de intervenție utilizat
Tipul modelului de cercetare
Populația vizată
Strategia de căutare a studiilor
Bazele de date analizate
Cuvinte cheie de căutare
Softul utilizat
Traducerea articolelor din altă limbă
3/11/2013 26
Metoda utilizată Relevanța studiilor selectate
Tehnica de codificare a studiilor
Evaluarea calității studiilor
Evaluarea eterogentății
Metodele statistice utilizate (model, tehnică)
Rezultate
Tabele și grafice adecvate
Rezultatele analizei de senzitivitate
Discuții Evaluarea posibilelor surse de eroare
Justificare eventualelor excluderi
Concluzii și generalizarea lor
Sugestii pentru viitoare meta-analize
3/11/2013 27
Evidențierea efectelor unor variabile moderatoare
Categorii de vârstă, gen, ocupație
Condiții de cercetare (experiment. Non-experiment)
Etc.
3/11/2013 28
Nu sunt abordate în această prezentare
Oferă posibilitatea analizei obiective, sistematice a rezultatelor obținute în cercetări diferite
Pune ordine în ”haosul” cercetării științifice
Permite concluzii și generalizări pe care studiile individuale nu și le pot permite
Are o putere statistică mai mare decât studiile individuale
Poate include moderatori în procesul explicației
3/11/2013 29
Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39
Frecvența meta-analizelor în bazele de date EBSCO
Meta-analiza este o metodă de
cercetare foarte utilizată
Putem avea încredere în meta-analiză? ”Meta-analiza este văzută ca salvatoarea sintezei literaturii de cercetare, dar poate în mod nejustificat. La fel ca și în cazul
altor proceduri statistice, rezultatele sunt atât de bune pe cât de bune sunt datele utilizate și persoana care efectueazăanaliza: dacă modelul efectelor fixe va continua să fie utilizat în mod rutinier, riscăm să obținem concluzii care supralicitează mărimea efectelor”
(Field, A. P., 2001. Can Meta-Analysis Be Trusted? Psychologist, 16(12), p. 11)
Eroarea de publicare Sunt publicate cu precădere studiile care confirmă existența unui efect
Meta-analizele tind supraestimeze mărimea efectului efectul
Soluții: căutarea ”literaturii gri”… nepublicată sau publicată pe internet
Rezultatele meta-analizei depind de: calitatea procesului de identificare și alegere a studiilor
deciziile cu privire la modelul și tehnica de calcul
Dacă obiectivul principal este estimarea unui efect, metoda ”Hunter-Schmidt” este mai puțin avantajoasădecât metoda Hedges & Co
Dacă obiectivul este semnificația statistică și avem >80 de studii, ambele metode sunt la fel de bune
Între 20-40 de studii, metoda Hedges & Co este preferabilă
Pentru mai puțin de 20 de studii testul de semnificație nu are relevanță
3/11/2013 30
Impactul artefactelor statistice
Fidelitatea
Restricția de amplitudine
Pentru corecția lor, vezi:
http://www.mpopa.ro/miscellanea/Marian_Popa_Cronbach_alfa.pdf
http://www.mpopa.ro/miscellanea/M_Popa_restrictie_amplitudine_PRU.pdf
Alegerea formulelor de calcul
Hedges & Olkin și Rosenthal and Rubin: calcularea efectului mediu CU transformarea in Zr
Hunter & Schmidt: calculare efectului mediu FARA transformarea in Zr
Exist soluții diferite pentru calcularea erorii standard (Hunter și Schmidt versus Rosenthal)
Fiecare soluție conduce la rezultate diferite!
3/11/2013 31
Obiective bine definite
Definiție precisă a variabilelor și rezultatelor
Un proces adecvat de identificare și selecție a studiilor
Descrierea și evaluarea eterogenității
Justificarea tehnicilor de analiză
Validarea concluziilor prin analiza de senzitivitate:
a) utilizarea în paralel a mai multor tehnici de calcul
b) analiza repetată, cu scoaterea unor studii
Dacă rezultatele se modifică vizibil, atunci credibilitatea este compromisă
3/11/2013 32
Practical Meta-Analysis Effect Size CalculatorDavid B. Wilson, Ph.D., George Mason University
http://www.campbellcollaboration.org/resources/effect_size_input.php
Computer Programs for Meta-Analysis
http://commfaculty.fullerton.edu/jreinard/meta-analysis_programs.htm
MetaEasy: A Meta-Analysis Add-In for Microsoft Excel
http://www.jstatsoft.org/v30/i07
3/11/2013 33
Ce este meta-analiza?
Care sunt obiectivele meta-analizei?
Care sunt erorile posibile în faza de documentare și alegere a studiilor pentru meta-analiză?
Care este fundamentul teoretic al modelului efectelor fixe?
Care este fundamentul teoretic al modelului efectelor aleatorii?
Care sunt punctele slabe ale meta-analizei?
Care sunt punctele tari ale meta-analizei?
Care sunt condițiile de bază ale unei meta-analize bune?
3/11/2013 34
Borenstein, M., Hedgesb, L. V., Higginsc, J. P. T., & Rothsteind, H. R. (2010). A basic introduction to fixed-effect and random-effects models for meta-analysis. Rsesearch Synthesis Methods, Published online in Wiley Online Library. doi: 10.1002/jrsm.12
Field, A. P. (2001). Can Meta-Analysis Be Trusted? Psychologist, 16(12), 642-645.
Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.
Field, A. P. (2003). The Problem in Using Fixed-Effects Models of Meta-Analysis on Real-World Data. Understanding Statistics, 2(2), 105-124.
Field, A. P. (2005). A Bluffer’s Guide to Meta-Analysis. Psy-Pag Quarterly, 58, 9-23.
Field, A. P. (2005). Is the Meta-Analysis of Correlation Coefficients Accurate when Population Correlations Vary? Psychological Methods, 10(4), 444-467.
Glass, G. V. (1976). Primary, Secondary, and Meta-Analysis Research. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco. http://www.gvglass.info/papers/primary.pdf
Glass, G. V. (2000). Meta-Analysis at 25. 2013, from http://www.gvglass.info/papers/meta25.html
Hedges, L. V., Cooper, H., & Bushman, B. J. (1992). Testing the Null Hypothesis in Meta-Analysis: A Comparison of Combined Probability and Confidence Interval Procedures. Psychological Bulletin, 111(1), 188-194 (http://www-personal.umich.edu/~bbushman/hcb192.pdf)
Howell, D. C. (2013). Statistical Methods for Psychology (8th ed.). Wadsworth: Cengage Learning
Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis (2nd ed.). Thousand Oaks: Sage.
Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39 (http://www.tim.tu-berlin.de/fileadmin/fg101/TIM_Working_Paper_Series/Volume_102/TIM_WPS_Kock_2009.pdf)
Lyons, L. C. (2003). Meta - Analysis: Methods of Accumulating Results Across Research Domains (http://www.lyonsmorris.com/METAA/index.htm)
Măricuțoiu, L. P. (2008). Introducere în metaanaliză. Metaanaliza corelațiilor. Psihologia Resurselor Umane, 6(2), 112-127.
Means, B., Toyama, Y., Murphy, R., Bakia, M., & Jones, K. (2010). Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning Studies: U.S. Department of Education: Office of Planning, Evaluation, and Policy Development Policy and Program Studies Service
Rosenthal, R., & DiMatteo, M. R. (2001). META-ANALYSIS: Recent Developments in QuantitativeMethods for Literature Reviews. Annual Revue of Psychology(52), 59-82.
Sava, A. F. (2013). Psihologia validată științific. Ghid practic de cercetare în psihologie. Iași: Polirom.
Schmidt, F. (2008). Meta-Analysis : A Constantly Evolving Research Integration Tool. Organizational Research Methods, 11(1), 96-113
Schmidt, F. L., & Hunter, J. E. (2005). Meta-Analysis. In N. Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Eds.), Handbook of Industrial, Work & Organizational Psychology(Vol. 1 - Personnel Psychology, pp. 51-70). London
3/11/2013 35