‰valuations d impact aleatoires

  • View
    50

  • Download
    0

Embed Size (px)

DESCRIPTION

Évaluations d impact aleatoires. Vandana Sharma, MD, MPH Séminaire Handicap International, 4 décembre 2013. Sommaire. Le Laboratoire d'action contre la pauvreté Abdul Latif Jameel (J-PAL) Qu'est-ce que l'évaluation ? Évaluations aléatoires Qu'est-ce que l'évaluation aléatoire ? - PowerPoint PPT Presentation

Text of ‰valuations d impact aleatoires

INNOVATIONS FOR POVERTY ACTION (IPA)

valuations d impact aleatoiresVandana Sharma, MD, MPHSminaire Handicap International, 4dcembre 2013

SommaireLe Laboratoire d'action contre la pauvret Abdul Latif Jameel (J-PAL)

Qu'est-ce que l'valuation?

valuations alatoiresQu'est-ce que l'valuation alatoire?Comment mener une valuation alatoire?Dfis et difficults

Exemple1: ducation et VIH au Kenya

Exemple2: agents de sant volontaires au Nigria

Laboratoire d'action contre la pauvret Abdul Latif Jameel(J-PAL): la science en pratiqueJ-PAL estUn centre fond en 2003 au sein du dpartement d'conomie du MIT (Massachussets Institute of Technology)Un rseau de chercheurs autour du monde

Dont la mission est de faire en sorte que le combat contre la pauvret soit fond sur des preuves scientifiquesNous essayons en particulier de tirer des leons des valuations alatoires de programmes visant rduire la pauvret (au sens large)

Que faisons-nous?valuations d'impact rigoureusesFormations Lobbying politique

91universitaires, 441valuations dans plus de 55pays du monde entier

J-PAL- Rseau d'conomistes menant des essais alatoires contrlsQu'est-ce que l'valuation?Une mthode systmatique de collecte, analyse et utilisation d'informations dans le but de rpondre des questions sur des politiques et des programmes

valuation d'un processus: La politique ou le programme a-t-il t mis en uvre comme prvu?

valuation de l'impact: La politique ou le programme a-t-il chang les choses?

L'valuation est essentielleLes ressources sont limites

Peu de preuves tangibles de ce qui est le plus efficace

De nombreuses dcisions se prennent sur une intuition ou pour suivre une mode

Des valuations rigoureuses offrent de la fiabilit

L'valuation est utileAide les dcideurs mieux investir

Amliore les programmes

Identifie les bonnes pratiques

The Lancet, 13fvrier 2010valuations d'impact:Les valuations d'impact mesurent l'efficacit d'un programme en comparant les rsultats de ceux qui y ont particip (individus, communauts, coles, etc.) ceux qui sont rests en dehors

L'objectif est de mesurer l'impact dterminant d'un programme ou d'une intervention sur un rsultat

Exemples:Dans quelle mesure la distribution gratuite de moustiquaires a-t-elle diminu l'incidence du paludisme?Dans quelle mesure une campagne d'information sur le VIH a-t-elle rduit les comportements sexuels risque?Lequel de deux modles de chanes d'approvisionnement a-t-il t le plus efficace pour liminer les pnuries de mdicaments?

valuations d'impactPour dterminer le lien de cause effet entre l'intervention et le rsultat, nous devons mesurer le contrefactuel

Qu'est-ce quil serait arriv aux participants sils navaient pas bnfici du programme?

Impact: qu'est-ce que c'est?TempsRsultat principalImpactContrefactuelInterventionImpact: qu'est-ce que c'est?TempsRsultat principalImpactIntervention

ContrefactuelImpact: qu'est-ce que c'est?Impact=

Au rsultat au mme moment prcis si le programme n'avait pas t lanc (le contrefactuel)

Le rsultat quelques temps aprs le lancement du programme

compar

valuations d'impactMAIS Nous ne pouvons pas observer le mme individu avec et sans le programme au mme moment prcis!

Comme le contrefactuel n'est pas observable, l'objectif principal de toutes les mthodes d'valuation d'impact est de construire ou d'imiter le contrefactuel

Il faut un groupe de comparaison adquatDes individus qui ressemblent beaucoup aux participants, mais qui n'ont pas bnfici du programme

Techniques:Avant/aprsUtilisation des non-bnficaires comme groupe tmoin

Avant/aprsAvant introduction de moustiquaires6cas de paludisme en 6moisAprs introduction de moustiquaires2cas de paludisme en 6mois

Avant/aprsLe programme de moustiquaires a-t-il t efficace pour rduire l'incidence du paludisme?

D'autres facteurs auraient-ils pu provoquer la rduction observe?

Des variations saisonniresUne hausse des revenus: les mnages investissent dans d'autres mesuresD'autres programmes

Avant/aprsImportant de contrler avant et aprs

Insuffisant de montrer l'impact du programme

De trop nombreux facteurs voluent au fil du temps

Contrefactuel: qu'est-ce qui se serait pass en l'absence du projet, si le reste tait pareil

Participants vs non-participantsComparer les bnficiaires du programme avecdes personnes qui n'taient pas ligibles au programmedes personnes qui ont choisi de ne pas participer au programme

Exemple: suite la distribution de moustiquaires, comparer les mnages qui en ont bnfici d'autres qui n'en ont pas bnfici

Impact des moustiquaires?Participants vs non-participantsQuels autres facteurs pourraient entrer en compte?

Les personnes qui ont choisir de recevoir les moustiquaires peuvent tre diffrents des autres

Diffrences observablesRevenuducation

Diffrences non observablesFacteurs de risquesAutres mesures prventives

Participants vs non-participantsIl est impossible de savoir dans quelle mesure la diffrence est due aux moustiquairesImpact des moustiquairesAutres facteursParticipants vs non-participantsLes non bnficiaires peuvent tre trs diffrents des bnficiairesLes programmes ciblent souvent des zones spcifiques (par ex. des zones plus pauvres, qui manquent de services spcifiques)Les individus sont souvent prslectionns pour participer au programmeLa dcision de participer est souvent volontaire

Ainsi, les non bnficiaires sont souvent un mauvais groupe de comparaison, du fait de diffrences prexistantes (biais de slection)

Le biais de slection disparat en cas de randomisation

LE MODLE EXPRIMENTAL ALATOIRE EST LA RGLE D'ORSlection alatoireIdentifier un groupe assez important d'individus tous susceptibles de bnficier d'un programme

Affectez-les de manire alatoire dans l'un des groupes suivants:le groupe exprimental: bnficiera du programme le groupe tmoin: non autoris participer au programme (au cours de la priode d'valuation)

Pour la slection alatoire, il faut que les caractristiques observables et non observables soient prsentes de manire statistiquement identique dans les groupes exprimental et tmoin.

Slection alatoireComme les membres de ces groupes (exprimental et tmoin) sont systmatiquement identiques au dbut de l'essai,

toute diffrence apparaissant entre eux peut tre attribue au programme (traitement) plutt qu' un autre facteur

Bien conues et menes, les expriences randomises sont la mthode la plus crdible pour estimer l'impact d'un programme

Slection alatoireLa randomisation ne fonctionne pas s'il y a seulement deux individus ou groupes

Groupe ou individu exprimental Groupe ou individu tmoin

Par contre, les diffrences se rsorbent si l'chantillon est vaste

Grandes diffrences entre le groupe ou l'individu exprimental et le groupe ou l'individu tmoinEn moyenne, mme nombre de rouges et de bleus dans les groupes exprimental et tmoinPeut-on randomiser?Randomiser ne veut pas dire refuser des gens de bnficier du projet

Gnralement, la mise en place du projet est soumise des contraintes pour permettre la randomisation

La randomisation est la faon la plus juste de rpartir le traitementComment introduire le caractre alatoire?Organiser un tirage au sort

Randomiser l'ordre d'introduction progressive du programme

Encourager de manire alatoire certains plus que d'autres

Plusieurs traitements

Introduction progressive d'un programmeRandomiser l'ordre dans lequel les cliniques reoivent le programmePuis comparer le groupe Jan 2014 au groupe Jan 2015 la fin de la premire anne

Jan 2014 Jan 2015Juil 2015Si plusieurs groupes doivent recevoir le programme Trs vulnrablesVulnrables Non vulnrables

Exemple: un programme destin aux enfants au KenyaLes enfants trs vulnrables (orphelins) doivent recevoir le programmeRandomiser parmi les enfants moins vulnrables

INSCRIRE

RANDOMISER

REFUSERVarier l'intensit et la nature du traitementIntensitRandomiser entre les communautsImpact supplmentaire des relances par SMSNatureRandomiser entre les communautsQuelle approche a le plus fort impact?Campagne d'information sur le VIH/sida

100villagesCampagne d'information sur le VIH/sida + relances par SMS100villagesCampagne d'information sur le VIH/sida (radio)

100villagesCampagne d'information sur le VIH/sida (journaux)

100villagesUnit de randomisation quel niveau dois-je randomiser?IndividuMnageCliniqueCommunaut

lments prendre en compteFaisabilit politique de la randomisation au niveau individuelRetombes entre les groupesCapacit de mise en uvre: une clinique administrant diffrents traitements

Unit de randomisationRandomisation individuelle630participants (315personnes dans le groupe exprimental, 315dans le groupe tmoin)Randomisation au niveau des cliniques

150cliniques (75dans le groupe exprimental, 75dans le groupe tmoin)3000personnesUnit plus grande= tude plus grande

Avantages des valuations alatoiresLes rsultats sont transparents et faciles partager

Difficiles manipuler ou contester

Plus susceptibles d'tre persuasives

LimitesNe peuvent pas toujours tres utilises (par ex. pour des raisons politiques ou thiques)

Problmes de validit interne: pouvoir, attrition, conformit, etc.

Problmes de validit externe: taille de l'chantillon, possibilit de gnralisation des rsultats la population vise

Ces mmes problmes se posent souvent pour la validit d'tudes non exprimentales

EXEMPLE1valuer les programmes pdagogiques sur le VIH mis en place dans les coles pour les j