Upload
carney
View
42
Download
0
Embed Size (px)
DESCRIPTION
Matthias Rieger Graduate Institute, Geneva World Bank. Guide pratique d'échantillonnage pour les évaluations d'impact. Introduction. Comment construire un échantillon permettant de détecter de manière crédible un effet significatif ? - PowerPoint PPT Presentation
Citation preview
DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4
Guide pratique d'échantillonnage pour les évaluations d'impactMatthias RiegerGraduate Institute, Geneva World Bank
Introduction Comment construire un échantillon permettant de
détecter de manière crédible un effet significatif ? Quels groupes ou quelle population nous intéressent et où les
trouver ? Combien de communes, villages, ménages et personnes faut-il
interviewer/observer dans cette population ? Quelles en sont les conséquences sur le budget de l'évaluation ?
Attention ! Cette présentation n'a pas la prétention de faire de vous un
expert en échantillonnage Elle ne cherche pas non plus à vous compliquer la vie! Il s'agit plutôt de répondre à la question générale : Comment les
composantes de l'échantillonnage affectent-elles ce qu’une évaluation d'impact peut nous apprendre?
Plan de présentation
1. Cadre d'échantillonnage Quels groupes ou quelles populations nous
intéressent ? Comment les trouve-t-on ?
2. Taille de l'échantillon Pourquoi est-ce si important : crédibilité des résultats Déterminants de la taille adéquate d’un échantillon Autres questions Exemples
3. Budgets
Cadre d'échantillonnage Qui nous intéresse ?
a) Communes/quartiers (fonctionnaires des communes)b) Villages (chefs des villages)c) Ménages (chefs des ménages)d) Individuse) Enfants, femmes
Garder à l'esprit la validité externe Les conclusions tirées d'une population peuvent-elles être utiles pour
préparer des mesures à portée nationale ?
Il faut aussi garder à l'esprit la faisabilité et ce que vous voulez apprendre Il peut ne pas être possible ou souhaitable de piloter un programme
ou une politique dont le champ d’application est extrêmement large
Cadre d'échantillonnage : Déterminer quelles sont les unités qui nous intéressent
Fonction de la taille et du type d'expérience Sélection aléatoire parmi les candidats
Exemple : Programme de dévelopment communautaire (CDD) dans 100 communes rurales d’un pays. Choix aléatoire de 50 communes qui recevront le traitement
Possibilité d'utiliser des unités de traitement et de comparaison à partir du pool de communes
Villages/ménages: Il faut prendre un échantillon pour mesurer l'impact Changement de politique
Exemple : un changement du montant de la taxe de marché dans un échantillon aléatoire de communes rurales
Pour mesurer l'impact sur les marchands, on ne peut pas échantillonner tous les marchands du marché dans les communes de traitement et dans les communes de comparaison
Il faudra prendre un échantillon de marchands au sein des communes Informations nécessaires avant de prendre un échantillon
Une liste exhaustive de toutes les unités d'observation disponibles pour l'échantillonnage dans chaque zone ou chaque groupe (liste des communes, villages et ménages)
Plan de présentation
1. Cadre d'échantillonnage Quels groupes ou quelles populations nous intéressent ? Comment les trouve-t-on ?
2. Taille de l'échantillon Pourquoi est-ce si important : crédibilité des
résultats Déterminants de la taille adéquate d’un
échantillon Autres questions Exemples
3. Budgets
Taille de l'échantillon et crédibilité des résultats Commencer par une question plus simple que l'impact
du programme
Si par exemple nous voulons savoir quel est la moyenne de revenu agricole des ménages pour évaluer un programme d’engrais modernes… Option 1 : Nous interrogeons cinq ménages et nous utilisons la
moyenne de leurs réponses Option 2 : Nous interrogeons 1000 ménages et nous utilisons la
moyenne de leurs réponses
Quelle sera la moyenne la plus proche de la vraie moyenne ?
Taille de l'échantillon et crédibilité des résultats
Cinq Ménages1 000 MénagesRevenus Agricoles Ménages$0 - $10 1$ 10 -$50 2$50-100 1$100 - $150 0$150+ 1
Revenus Agricoles Ménages$0 - $10 70$ 10 -$50 150$50-100 650$100 - $150 125$150 + 5
Taille de l'échantillon et crédibilité des résultats De manière similaire, quand on détermine
l'impact du programme… Il faut de nombreuses observations pour
pouvoir dire avec certitude que le résultat moyen du groupe de traitement est plus/moins élevé que celui du groupe de comparaison
Qu’entend-on par certitude? Réduire au minimum l'erreur statistique
Taille de l'échantillon et certitude Erreur de Type 1 : Trouver un impact du programme
quand il n'y en a pas L'erreur peut être minimisée après la collecte des données, au cours de
l'analyse statistique Besoin d'ajuster les niveaux de significativité des estimations d'impact
(par ex. intervalles de confiance à 99 % ou 95 %) Erreur de Type 2 : Ne pas pouvoir détecter un effet alors
qu’il y en a un En jargon statistique: la puissance du test est faible Il faut minimiser l'erreur avant la collecte des données Meilleur moyen d'y parvenir : s'assurer que vous disposez d'un
échantillon suffisamment important Tout l'intérêt d'une évaluation d'impact est d'en apprendre
quelque chose Ex ante (a priori) : Nous ne savons pas quelle est l'importance de
l'impact de ce programme Faible puissance ex-post (a posteriori) : Ce programme pourrait avoir
fait progresser les revenus agricoles des ménages de 50%, mais nous ne pouvons pas distinguer avec certitude une augmentation de 50% d'une augmentation nulle
Calcul de la taille de l'échantillon En fait, il existe une formule… L'essentiel de ce qu'il faut avoir à
l'esprit :1. Taille de l'effet détectable2. Probabilité d'erreurs de type 1 et 23. Variance du/des résultat(s)4. Unités
(communes/villages/ménages) par zone traitée
Calcul de la taille de l'échantillon Taille de l'effet détectable
L'effet minimal recherché pour faire la distinction par rapport à zéro Une augmentation des revenus agricoles de 20 %, une amélioration
de la santé des enfants (poids et taille-âge) de 10 %
Échantillons plus larges des effets moindres sont plus faciles à détecter
Calcul de la taille de l'échantillon Comment choisir la taille de l'effet détectable
L'effet minimal incitant la réponse d’une intervention publique
L'effet minimal qui vous permettra de dire qu'un programme n'a pas été un échec Ce programme a fait progresser de manière significative
le poids/âge des enfants de 10 % Génial - voyons comment nous pouvons répliquer ceci à plus
grande échelle Ce programme a fait progresser de manière significative
le poids/âge de 2 % Génial...euh... voyons-voir : on a dépensé tout ça pour ne faire
progresser les ventes que de si peu?
Calcul de la taille de l'échantillon Erreurs de Type 1 et Type 2
Type 1 Niveau de significativité des estimations fixé
généralement à 1 % ou 5 % Probabilité de 1 % ou 5 % qu'il n'y ait pas d'effet,
mais nous en trouvons un Type 2
Puissance généralement fixée à 80 % ou 90 % Probabilité de 20 % ou 10 % qu'il y ait un effet
mais nous ne pouvons pas le détecter Échantillons plus larges puissance plus grande
Calcul de la taille de l'échantillon
Variance des résultats Moins de variabilité sous-jacente différences plus
faciles à détecter possibilité d’avoir un plus petit échantillon
15
Calcul de la taille de l'échantillon Variance des résultats Comment la connaître avant de décider de la
taille de l'échantillon et avant de collecter nos données ? Idéalement, données préexistantes
Souvent...inexistantes Possibilité d'utiliser des données préexistantes
provenant d'une population similaire Exemples : Enquêtes des ménages/communes/villages
Relève plus de l’expérience que des sciences exactes
Autres questions
1. Groupes de traitement multiples2. Résultats désagrégés par groupe3. Participation4. Qualité des données
Autres questions Groupes de traitement multiples
Simplicité de la comparaison de chaque traitement séparément au groupe de comparaison
Il faut de très grands échantillons pour comparer les groupes de traitement Notamment si les traitements sont très similaires, les différences entre
les groupes de traitement seront moindres En fait, c'est comme si l'on fixait une taille d'effet détectable très petite
Résultats désagrégés par groupe Les effets diffèrent-ils entre hommes et femmes ? Pour les
différents secteurs d’emploi du ménage ? Si les genres/secteurs ont tendance à réagir de manière
similaire, il faudra aussi des échantillons très larges pour estimer les différences d'impact du traitement
Autres questions Résultats désagrégés par groupe
Pour assurer un équilibre entre les groupes de traitement et les groupes de comparaison, il est recommandé de diviser l'échantillon en strates avant l'assignation du traitement
Strates Sous-populations Strates courantes: espaces géographiques, sexe,
secteurs, valeurs initiales de la variable de résultat L'assignation au traitement (ou l'échantillonnage) se
déroule au sein de ces groupes
Pourquoi faut-il des strates ?
Un exemple géographique Quel est l'impact dans une région particulière ? Parfois difficile à déterminer avec certitude = T = C
Pourquoi faut-il des strates ?
Assignation aléatoire à un traitement au sein
d' unités géographiques Dans chaque unité, une moitié sera du
groupe de traitement, l’autre du groupe de comparaison.
Même logique pour sexe, métier, taille de communes, etc.
Autres questions Participation
Une faible participation augmente la taille de l'effet détectable Un effet ne se détecte que s'il est vraiment important Réduit efficacement la taille de l'échantillon
Exemple : Offre d’engrais modernes aux ménages agricoles Offre à 5 000 ménages 50 utilisent les engrais modernes C’est seulement dans les cas où ces ménages auraient des
énormes augmentations de revenus après l’intervention que l’on pourra dire avec certitude qu'il y a un effet sur les revenus agricoles
Autres questions
Qualité des données Des données de qualité médiocre
augmentent sensiblement la taille requise de l'échantillon Observations manquantes Bruit accru
Peut être en parti résolu avec le coordonnateur de terrain dans le suivi de la collecte des données sur le terrain
Un exemple fictif Les calculs peuvent être faits à l'aide de nombreux logiciels de statistiques - par
exemple STATA, OD ou R-Cran
Exemple fictif: Programme de Dévelopment Agricole visant à accroître les revenus agricoles des ménages avec des engrais modernes
Revenu agricole par mois d’un ménage, valeur de référence 50$ par mois Données sur les revenus généralement bruitées, donc un coefficient de variation > 1 est fréquent
Exemple de code STATA pour détecter une augmentation de 10% des revenus 50$ -> 55$ : sampsi 50 55, p(0,8) pre(1) post(1) r1(0,5) sd1(50) sd2(50) Disponibilité de données de référence et de suivi aide à réduire la taille nécessaire pour
l’échantillon (pré et post)
Résultats Augmentation de 10% (de 50 à 55) : 1 178 ménages de chaque groupe Augmentation de 20% (de 50 à 60) : 295 ménages de chaque groupe Augmentation de 50% (de 50 à 75) : 48 ménages de chaque groupe (mais cette taille d'effet n'est
pas réaliste)
En bref
1. Cadre d'échantillonnage Quels groupes ou quelles populations nous
intéressent ? Comment les trouve-t-on ?
2. Taille de l'échantillon Pourquoi est-ce si important : crédibilité des résultats Déterminants de la taille adéquate d’un échantillon Autres questions Exemples
3. Budgets
Budgets Que faut-il prévoir ?
Formation des enquêteurs Pré-test/Pilotage Collecte des données
Société de sondages Saisie des données
Coordonnateur de terrain pour assurer que le traitement suive le protocole de randomisation et pour surveiller la collecte des données
Analyse des données
Budgets Combien tout ceci va-t-il coûter ?
Un éventail de coûts très large. Souvent fonction de… La durée de l'enquête La distribution spatiale des personnes à interroger Les problèmes de sécurité Matériel, prix de location des voitures, prix de l‘essence Capital humain requis par l'énumérateur Etc.
Données d'enquête sur les ménages: 40$+/ménage Coordonnateur de terrain: 800$-4000$/mois
Varie en fonction des possibilités de recrutement sur place
Synthèse La taille de l'échantillon de votre évaluation d'impact
déterminera la quantité d'information que vous pourrez tirer de votre expérience
Les calculs supposent une dose de jugement et de supposition mais il est important d'y consacrer du temps Si la taille de l'échantillon est trop faible : perte de temps et
d'argent car vous ne pourrez pas détecter un impact non nul avec certitude
Si la conception de l'échantillon et la collecte des données sont réalisées avec peu d'efforts : voir ci-dessus
Questions ?