Guide pratique d'©chantillonnage pour les ©valuations d'impact

  • View
    39

  • Download
    0

Embed Size (px)

DESCRIPTION

Matthias Rieger Graduate Institute, Geneva World Bank. Guide pratique d'échantillonnage pour les évaluations d'impact. Introduction. Comment construire un échantillon permettant de détecter de manière crédible un effet significatif ? - PowerPoint PPT Presentation

Text of Guide pratique d'©chantillonnage pour les ©valuations d'impact

Slide 1

Guide pratique d'chantillonnage pour les valuations d'impactMatthias RiegerGraduate Institute, Geneva World BankDIME FRAGILE STATESDUBAI, MAY 31 JUNE 41IntroductionComment construire un chantillon permettant de dtecter de manire crdible un effet significatif ?Quels groupes ou quelle population nous intressent et o les trouver ?Combien de communes, villages, mnages et personnes faut-il interviewer/observer dans cette population ? Quelles en sont les consquences sur le budget de l'valuation ?

Attention !Cette prsentation n'a pas la prtention de faire de vous un expert en chantillonnageElle ne cherche pas non plus vous compliquer la vie!Il s'agit plutt de rpondre la question gnrale : Comment les composantes de l'chantillonnage affectent-elles ce quune valuation d'impact peut nous apprendre?

2Plan de prsentationCadre d'chantillonnageQuels groupes ou quelles populations nous intressent ?Comment les trouve-t-on ?

Taille de l'chantillonPourquoi est-ce si important : crdibilit des rsultatsDterminants de la taille adquate dun chantillonAutres questionsExemples

BudgetsSample size: Will spend bulk of the presentation on this topicIn particular: (a) why it is so important to think about this and (b) how do we determine what is an appropriate sample size.3Cadre d'chantillonnageQui nous intresse ?Communes/quartiers (fonctionnaires des communes)Villages (chefs des villages)Mnages (chefs des mnages)IndividusEnfants, femmes

Garder l'esprit la validit externeLes conclusions tires d'une population peuvent-elles tre utiles pour prparer des mesures porte nationale ?

Il faut aussi garder l'esprit la faisabilit et ce que vous voulez apprendreIl peut ne pas tre possible ou souhaitable de piloter un programme ou une politique dont le champ dapplication est extrmement large

Cadre d'chantillonnage : Dterminer quelles sont les units qui nous intressent Fonction de la taille et du type d'exprienceSlection alatoire parmi les candidats Exemple : Programme de dvelopment communautaire (CDD) dans 100 communes rurales dun pays. Choix alatoire de 50 communes qui recevront le traitement Possibilit d'utiliser des units de traitement et de comparaison partir du pool de communesVillages/mnages: Il faut prendre un chantillon pour mesurer l'impactChangement de politiqueExemple : un changement du montant de la taxe de march dans un chantillon alatoire de communes ruralesPour mesurer l'impact sur les marchands, on ne peut pas chantillonner tous les marchands du march dans les communes de traitement et dans les communes de comparaison Il faudra prendre un chantillon de marchands au sein des communesInformations ncessaires avant de prendre un chantillonUne liste exhaustive de toutes les units d'observation disponibles pour l'chantillonnage dans chaque zone ou chaque groupe (liste des communes, villages et mnages)

Plan de prsentationCadre d'chantillonnageQuels groupes ou quelles populations nous intressent ?Comment les trouve-t-on ?

Taille de l'chantillonPourquoi est-ce si important : crdibilit des rsultatsDterminants de la taille adquate dun chantillonAutres questionsExemples

BudgetsSample size: Will spend bulk of the presentation on this topic b/c this is one of the most important things to consider when planning an IE. In particular: (a) why it is so important to think about this and (b) how do we determine what is an appropriate sample size.6Taille de l'chantillon et crdibilit des rsultatsCommencer par une question plus simple que l'impact du programme

Si par exemple nous voulons savoir quel est la moyenne de revenu agricole des mnages pour valuer un programme dengrais modernes Option 1 : Nous interrogeons cinq mnages et nous utilisons la moyenne de leurs rponsesOption 2 : Nous interrogeons 1000 mnages et nous utilisons la moyenne de leurs rponses

Quelle sera la moyenne la plus proche de la vraie moyenne ?Taille de l'chantillon et crdibilit des rsultatsCinq Mnages1000 Mnages

Numbers are completely made up. In what range do you think the average firm lies? Compare what you can say from the 5 firm case and the 1000 firm case. Which answer would you be more confident of?

Can also point out: 5 firm case has more varianceand because of the low number of observations, its difficult to separate the signal from the noise. 8Taille de l'chantillon et crdibilit des rsultatsDe manire similaire, quand on dtermine l'impact du programmeIl faut de nombreuses observations pour pouvoir dire avec certitude que le rsultat moyen du groupe de traitement est plus/moins lev que celui du groupe de comparaisonQuentend-on par certitude?Rduire au minimum l'erreur statistiqueTaille de l'chantillon et certitudeErreur de Type 1 : Trouver un impact du programme quand il n'y en a pas L'erreur peut tre minimise aprs la collecte des donnes, au cours de l'analyse statistiqueBesoin d'ajuster les niveaux de significativit des estimations d'impact (par ex. intervalles de confiance 99 % ou 95 %)Erreur de Type 2 : Ne pas pouvoir dtecter un effet alors quil y en a unEn jargon statistique: la puissance du test est faibleIl faut minimiser l'erreur avant la collecte des donnesMeilleur moyen d'y parvenir: s'assurer que vous disposez d'un chantillon suffisamment importantTout l'intrt d'une valuation d'impact est d'en apprendre quelque choseEx ante (a priori) : Nous ne savons pas quelle est l'importance de l'impact de ce programmeFaible puissance ex-post (a posteriori) : Ce programme pourrait avoir fait progresser les revenus agricoles des mnages de 50%, mais nous ne pouvons pas distinguer avec certitude une augmentation de 50% d'une augmentation nulle

Calcul de la taille de l'chantillonEn fait, il existe une formuleL'essentiel de ce qu'il faut avoir l'esprit :Taille de l'effet dtectableProbabilit d'erreurs de type 1 et 2Variance du/des rsultat(s)Units (communes/villages/mnages) par zone traite

Just showing you this formula so that you know it exists.Today I will discuss the main elements of this formula that you need to be aware of since they affect:What exactly we can learn from an impact evaluationHow much it will cost

We wont go over the last term today. Sometimes its not an issue, and its unlikely to be a major issue in PSD evaluations. 11Calcul de la taille de l'chantillonTaille de l'effet dtectableL'effet minimal recherch pour faire la distinction par rapport zroUne augmentation des revenus agricoles de 20 %, une amlioration de la sant des enfants (poids et taille-ge) de 10 %

chantillons plus larges des effets moindres sont plus faciles dtecter

Calcul de la taille de l'chantillonComment choisir la taille de l'effet dtectableL'effet minimal incitant la rponse dune intervention publiqueL'effet minimal qui vous permettra de dire qu'un programme n'a pas t un chec Ce programme a fait progresser de manire significative le poids/ge des enfants de 10 %Gnial - voyons comment nous pouvons rpliquer ceci plus grande chelle Ce programme a fait progresser de manire significative le poids/ge de 2 %Gnial...euh... voyons-voir : on a dpens tout a pour ne faire progresser les ventes que de si peu?

Calcul de la taille de l'chantillonErreurs de Type 1 et Type 2Type 1Niveau de significativit des estimations fix gnralement 1 % ou 5 %Probabilit de 1 % ou 5 % qu'il n'y ait pas d'effet, mais nous en trouvons unType 2Puissance gnralement fixe 80 % ou 90 %Probabilit de 20 % ou 10 % qu'il y ait un effet mais nous ne pouvons pas le dtecter chantillons plus larges puissance plus grande

Calcul de la taille de l'chantillonVariance des rsultatsMoins de variabilit sous-jacente diffrences plus faciles dtecter possibilit davoir un plus petit chantillon

15

Graphs from JPAL Executive Education course.

Low standard deviation: We can definitely tell these two groups apart.Medium standard deviation: Its a little harder to tell them apartHigh standard deviation: Can we say anything here?

Relationship between sample size and variance: Recall the 5 firm and 1000 firm cases. The 1000 firm case had much lower variance. 15Calcul de la taille de l'chantillonVariance des rsultatsComment la connatre avant de dcider de la taille de l'chantillon et avant de collecter nos donnes ?Idalement, donnes prexistantesSouvent...inexistantesPossibilit d'utiliser des donnes prexistantes provenant d'une population similaire Exemples : Enqutes des mnages/communes/villages

Relve plus de lexprience que des sciences exactes

Autres questionsGroupes de traitement multiplesRsultats dsagrgs par groupeParticipationQualit des donnesFour further issues that affect sample size. 17Autres questionsGroupes de traitement multiplesSimplicit de la comparaison de chaque traitement sparment au groupe de comparaisonIl faut de trs grands chantillons pour comparer les groupes de traitement Notamment si les traitements sont trs similaires, les diffrences entre les groupes de traitement seront moindresEn fait, c'est comme si l'on fixait une taille d'effet dtectable trs petite

Rsultats dsagrgs par groupeLes effets diffrent-ils entre hommes et femmes ? Pour les diffrents secteurs demploi du mnage ?Si les genres/secteurs ont tendance ragir de manire similaire, il faudra aussi des chantillons trs larges pour estimer les diffrences d'impact du traitementIn both of these cases, you may need very large sample sizes. It all depends on what you want to learn. 18Autres questionsRsultats dsagrgs par groupePour assurer un quilibre entre les groupes de traitement et les groupes de comparaison, il est recommand de diviser l'chantillon en strates avant l'assignation du traitement

StratesSous-populationsStrates courantes: espaces gographiques, sexe, secteurs, valeurs initiales de la variable de rsultatL'assignation au traitement (ou l'chantillonnage) se droule au sein de ces groupes

If you are interested in learnin