Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
Luc BehaghelEcole d’Economie de Paris / INRA / J-PAL
22 -26 juin 2015Abidjan, Côte d’Ivoire
Atelier ivoirien sur l’évaluation d’impact pour la prise de décision dans les secteurs sociaux
ÉVALUATIONS ALÉATOIRES :
COMMENT TIRER AU SORT ?
PLAN DE LA SEMAINE
1. Théorie du changement et mesure
2. Pourquoi tirer au sort ?
3. Comment tirer au sort ?
4. Méthodes non expérimentales
5. Risques sur la validité
6. Intégrer une évaluation dans un projet
7. Une évaluation de A à Z
RAPPEL D’HIER
How
to
Ran
dom
ize,
Part
I - 3
2006
Revenus, par personne et
par mois, en roupies
1000
500
0Test Témoin
1457 1442
PROTOCOLE DE BASE DE L'ÉVALUATION
ALÉATOIRE
4
Population
ciblée
Non inclus
dans
l’évaluation
Echantillon
de
l’évaluation
Affectation
aléatoire
Groupe test
Groupe
témoin
Unité de randomisation
Groupe test et groupe témoin: extension
Différentes méthodes de randomisation
Contraintes de la vraie vie
PLAN DU COURS
• Vous avez besoin d’un cadre d’échantillonnage
• Vous tirez les noms d'un chapeau ou d'un sac
• Vous utilisez le générateur aléatoire d’un programme de feuille de calcul afin d’ordonner les observations de manière aléatoire
• Code de programmation Stata
• Que faire s'il n'y a pas de liste ?
LA MÉCANIQUE DU TIRAGE AU SORT
En général on peut randomiser à plusieurs niveaux
1. Tirer au sort au niveau de l'individu
2. Tirer au sort au niveau du groupe (évaluation en
grappes)
L'UNITÉ TIRÉE AU SORT
UNITÉ TIRÉE AU SORT : L'INDIVIDU ?
UNITÉ TIRÉE AU SORT : L'INDIVIDU
Par groupes d'individus: randomisation en grappe
L'UNITÉ TIRÉE AU SORT : LE GROUPE ?
L'UNITÉ TIRÉE AU SORT : LA CLASSE ?
L'UNITÉ TIRÉE AU SORT : LA CLASSE
L'UNITÉ TIRÉE AU SORT : L'ÉCOLE ?
L'UNITÉ TIRÉE AU SORT : L'ÉCOLE
Comment fait-on pour choisir l’unité de
randomisation ?
L'UNITÉ DE TIRAGE AU SORT : RÉFLEXIONS
Cela dépend de l’intervention : effet au niveau du
groupe ou au niveau individuel.
Certains programmes peuvent être exécutés
seulement à un certain niveau.
Il faut savoir
Quelle unité le programme vise-t-il ?
Classe, étudiant?
Quelle est l'unité d'analyse?
L'UNITÉ DE TIRAGE AU SORT : RÉFLEXIONS
Comment l’intervention est-elle administrée ?
Quelle est la zone d’intervention de chaque «unité»?
Quelle est la taille de l’impact potentiel ?
Quelle implication en termes de puissance statistique?
L'UNITÉ DE TIRAGE AU SORT : QUELLE CIBLE ?
CALCUL DE LA TAILLE D’ÉCHANTILLON: QUELQUES
PRINCIPES
Principaux points à prendre en
compte
Raison
Variance des principales variables
d’intérêt
Plus la variance est importante,
plus l’échantillon doit être grand
Taille de l’impact que vous voulez
pouvoir détecter
Plus l’impact qu’on veut pouvoir
détecter est petit, plus l’échantillon
doit être grand
Unité de randomisation Si l’unité est un groupe,
l’échantillon doit être plus grand
(surtout s’il y a peu de différences
entre individus au sein du groupe)
En pratique, le calcul de la taille d’échantillon (ou “calcul de
puissance”) est un calcul complexe que l’on fait avec un logiciel
Unité de de randomisation
Groupe test et groupe témoin: extension
Différentes méthodes de randomisation
Contraintes de la vraie vie
PLAN DU COURS
Parfois il est difficile de choisir parmi plusieurs
interventions possibles
Vous pouvez tirer ces programmes au sort
Est-ce que cela nous apprend quelque chose sur les
avantages de l’une ou l’autre intervention ?
Avez-vous un groupe témoin ?
TRAITEMENTS MULTIPLES
LA ROTATION
Programme 1
Programme 2
Programme 3
Modèle des programmes multiples
• Tester différentes composantes du programme
dans différentes combinaisons
• Tester pour voir si les composantes doivent
s'additionner ou s'exclure ?
• Quelle est la combinaison la plus efficace au
point de vue du coût ?
• Avantage : situation « gagnant-gagnant » pour les
organisations ; cela peut aider à répondre aux
questions qu’elles se posent, au-delà du simple
« impact » !
TRAITEMENTS CROISÉS
On veut pouvoir mesurer l’importance des externalités
Pas forcément un problème
Solution : double randomisation
1. On randomise l’intensité de traitement assignée à
chaque groupe
Par exemple école avec 10% de traité, écoles avec 20%,
50%,75%, etc…
2. On randomise à nouveau à l’intérieur des groupes
3. Pour mesurer les externalités : comparer les contrôles dans
le groupe avec beaucoup de traités et les contrôles avec peu
de traités
VARIER L‘INTENSITÉ D'UN PROGRAMME
Unité de randomisation
Groupe test et groupe témoin: extension
Méthodes de randomisation
Contraintes de la vraie vie
PLAN DU COURS
Loterie
Randomisation dans la bulle
Mise en place progressive
Encouragement
MÉTHODES DE RANDOMISATION
On prend 1000 personnes et on ne donne le
médicament qu’à la moitié d’entre elles.
Est-il possible d’appliquer cette approche aux
programmes sociaux ?
LA LOTERIE : LA RÉFÉRENCE DES ESSAIS
CLINIQUES
Les participants sont sélectionnés de manière aléatoire
à partir d’un ensemble de candidats
Les participants savent qui a « gagné » et qui a
« perdu »
La loterie de base est faisable lorsqu’il n’existe aucune
raison a priori de discriminer
Elle est perçue comme équitable et transparente
Souvent possible d’un point de vue politique
LA LOTERIE : UNE APPROCHE SIMPLE
• Envisagez des tirages au sort différents de la loterie
simple
• Développez les actions de communications
• Est-ce éthique ?
QUE FAIRE : 500 CANDIDATS POUR 500
PLACES ?
Supposons qu'il y ait 2000 candidats
Après sélection, il ne reste que 500 candidats valables
Or il y a 500 places
Un simple tirage au sort n'est donc pas possible
Quelles sont vos options ?
LES FAÇONS DE TIRER AU SORT
• Parfois certains partenaires ne souhaitent pas tirer au sort parmi les personnes éligibles
• Ils peuvent accepter le tirage au sort « dans la bulle »
• Les personnes qui sont « dans la bulle » sont celles qui sont en limite d’éligibilité– Juste au dessus du seuil limite non éligibles mais
presque
• Quel effet du traitement mesurons-nous ? Qu’est-ce que cela signifie en termes de validité externe ?
TIRER AU SORT DANS « LA BULLE »
Mettre la photo et graphique
RANDOMISATION DANS LA "BULLE"
Tirer au sort dans la bulle
Dans la
bulle,
comparer
Test et
Témoin
participantsNon-participants
Test
Témoin
À la fin, tout le monde bénéficiera du programme
C'est une approche naturelle lorsque l’on fait face
à des contraintes de moyens pour étendre le
programme
Comment déterminer quelles écoles, quelles
agences, etc. bénéficieront du traitement telle ou
telle année ?
LA MISE EN PLACE PROGRESSIVE
MISE EN PLACE PROGRESSIVE
Mise en place progressive
1ère phaseTest: 1/3
Témoin: 2/3
2ème phaseTest: 2/3
Témoin: 1/3
3ème phaseTest: 3/3
Témoin: 0 1
1
11
1
1
1
1
1
11
1
1
1
2
2
22
2
2
22
2
2
2
22
2
2
2
3
333
3
3
3
33
3
33
3
3
3 3
3
1ère phaseTest: 1/3
Témoin: 2/3
2ème phaseTest: 2/3
Témoin: 1/3
Fin de
l'évaluation
aléatoire
Fin de
l'évaluation
aléatoire
Avantages?
Inconvénients?
MISE EN PLACE PROGRESSIVE
Avantages
• À la fin, tout le monde obtient quelque chose
• Cette approche encourage à maintenir le contact
Inconvénients
• L’estimation des effets à long terme peut être plus compliquée
• Il faut être attentif aux « fenêtres » de mise en place
• Les attentes de changement futur ont-elles un impact sur les actes d'aujourd'hui ?
MISE EN PLACE PROGRESSIVE
Il est parfois impossible, pour des raisons pratiques ou
éthiques, de tirer au sort l’accès à un programme
Mais la plupart des programmes ont des niveaux
d’adoption inférieurs à 100 %
On tire au sort les candidats puis on encourage
certains d'entre eux à participer
L'ENCOURAGEMENT
Modèle de l'encouragement
encouragement
pas
d'encouragement
a participé
n'a pas participé
Conformité
Non conformité
Comparez
encouragés à non
encouragés
Ne pas comparer
participants à
non-participants
Ajustez la non conformité
en phase d'analyse
Ceci doit être corrélé
Un élément qui rend certaines personnes sont plus susceptibles de participer que d’autres
Il ne s’agit pas d’un programme en soi
Pour qui estimons-nous les effets du programme ?
Il faut réfléchir à qui va être sensible aux encouragements
Pourquoi ca marche?
QU’EST-CE QUE « L’ENCOURAGEMENT » ?
EXEMPLE ENCOURAGEMENT : ACCÈS À
L’EAU AU MAROC
Programme de branchement social à l’eau à Tanger au Maroc
Première idée : randomisation par quartiers
Difficultés techniques
Difficulté politiques : certains responsables de quartiers veulent avoir le branchement tout de suite
Impossible de randomiser au niveau du quartier
EX: ACCÈS À L’EAU AU MAROC
Solution: randomisation au niveau individuel
Mais offre de branchement disponible à tout le monde dans les quartiers éligibles
Randomisation par encouragement
Variation aléatoire du
niveau d’information
des ménages
Méthode
Ménages groupe “traitement”
Opération d’information personnalisée à domicile
Ménages groupe “contrôle”
Aucune information durant 12 mois
(mais accès technique si demande faite)
EX:ACCÈS À L’EAU AU MAROC
Encouragement : campagne d’information sur le
programme BSI (branchement social individuel) et
assistance administrative
Encouragement assigné aléatoirement
Ex:Accès à l’eau au Maroc
Ex:Accès à l’eau au Maroc
• Randomisation par cluster
Ex:Accès à l’eau au Maroc
• First stage : après 4 mois
Le tirage au sort simple
Le tirage au sort « dans la bulle »
La mise en place progressive aléatoire
L’ encouragement aléatoire
Nota : ces modèles ne s'excluent pas les uns les autres !
EN RÉSUMÉ : LES DIFFÉRENTS
MODÈLES
Approche
Tirage au sort simple
Inclusion progressive
Rotation
Encouragement
Utilité
Trop grand nombre de candidats
On peut accepter que certains candidats n’obtiennent rien
Extension du programme dans le temps
En bout de course, tout le monde bénéficie du programme
Tout le monde doit obtenir quelque chose à un moment ou à un autre mais les ressources ne sont pas suffisantes pour que tout le monde bénéficie du programme toute l’année
Le programme n’est pas accessible à tous les candidats
Lorsque le niveau d’adoption est bas mais qu’il peut facilement être impacté par des encouragements
Avantages
Approche connue
Facile à mettre en œuvre
Facile à comprendre
Approche qui peut être mise en œuvre dans le cadre de programme s’adressant au public en général
Approche simple à comprendre
Les contraintes sont faciles à expliquer
Le groupe témoin va se comporter comme on s’y attend afin de bénéficier du programme plus tard
Plus grand nombre de point de données que pour l’inclusion progressive
Possibilité de randomiser au niveau individuel, même lorsque le programme n’est pas randomisé à ce niveau
Inconvénients
Le groupe témoin peut ne pas coopérer
Attrition différentielle
Les attentes par rapport au traitement peuvent avoir un impact sur le comportement à court terme
L’impact à long terme est difficile à mesurer
Difficulté pour mesurer l’impact à long terme
Mesure l’impact sur les personnes sensibles aux encouragements
L’encouragement doit être suffisant pour induire un changement au niveau de l’adoption du programme
L’encouragement peut avoir un effet direct
MÉTHODES DE RANDOMISATION : RÉSUMÉ
Unité de randomisation
Groupe test et groupe témoin: extension
Méthodes de randomisation
Contraintes de la vraie vie
PLAN DU COURS
QUESTIONS ETHIQUES
Plus rares et moins graves qu’on ne le dit ou craint
généralement
Quand les moyens du programme limitent le nombre
de bénéficiaires, le tirage au sort est perçu comme plus
juste: Pas de favoritisme
Facile à mettre en oeuvre
Pas de “premier arrivé, premier servi”, etc.
Importance du contrôle éthique et du respect des
personnes
=> s’assurer que l’expérimentation ne nuit à personne
CONTRAINTES POLITIQUES
Une politique éducative où l’on tire au sort…
…au niveau de l’élève au sein des classes
…ou au niveau des classes au sein des écoles
…ou au niveau des communautés…
…peut être dur à accepter pour l’enseignant, les
parents, le directeur d’école ou le chef de village,
etc.
=> l’acceptation politique est une étape
indispensable pour toute évaluation réussie
COÛT DES ÉVALUATIONS
Les évaluations d’impact coûtent cher, principalement
en raison du coût lié à la collecte des données (vrai
pour toutes les méthodes)
L’investissement peut en valoir la peine et doit être
jugé en fonction:
- Du coût du programme évalué
- De la possibilité de lever des fonds additionnels pour
l’évaluation
- De l’importance et de la portée générale des résultats
obtenus
CONTRAINTES LOGISTIQUES
Contraintes liées à la mise en œuvre: les agents
peuvent se tromper et ne pas respecter le plan de
randomisation
Contraintes liées aux enquêtes: la collecte des données
doit être possible à un coût raisonnable
=> Ces contraintes doivent être prises en compte dès la
phase de design de l’évaluation