Upload
trinhhuong
View
216
Download
0
Embed Size (px)
Citation preview
povertyactionlab.org
Comment randomiser ?
Pascaline Dupas
Aperçu des cours d’aujourd’hui• Thème général: en pratique, comment on fait pour
randomiser?• Ce matin
– Différents moyens de randomiser– Convaincre/Comment obtenir le soutien des partenaires pour
une évaluation randomisée• Cet après-midi
– Unités de randomisation et d’observation– Etude de cas, exemple
• Projet d’enseignant supplémentaire (ETP)– Stratification– Comment randomiser en pratique ? – Planification d’une évaluation
povertyactionlab.org
Les différents moyens de randomiser
povertyactionlab.org
Randomisation simple• Pensez à un essai clinique• Une companie pharmaceutique recruite 1 000
personnes et administre le médicament à la moitié d'entre elles– Les autres recoivent un placebo
• Est-ce que les essais cliniques sont nécessaires?– Oui, car important de nous assurer que le médicament ne fait
pas (trop) de mal, avant le mettre sur le marché...– Important de nous assurer que le médicament fait effet, avant
de faire payer les gens• Pouvons-nous appliquer cette méthode aux
programmes sociaux ?– Pas si simplement…
povertyactionlab.org
Quelles sont les contraintes liées à la randomisation dans les
situations sociales ?
Principales contraintes• Ne doit pas être perçu comme inéquitable• Doit être éthique
– Si le programme ne présente aucun risque pour les bénéficiaires, est-ce nécessaire d’avoir un groupe placébo?
– Si on est sur qu’un programme marche, est-ce éthique d’avoir un groupe placébo?
• Doit être politiquement faisable– Est-ce que les autorités acceptent l’idée de
l’assignation aléatoire?
Dans quels cas est-il acceptable de randomiser?
• Ressources limitées: vous n’avez pas assez de ressources pour « traiter » tous les gens qui ont besoin du programme– Exemple:
• Il y a 500 écoles primaires qui ont fait une demande pour un instituteur supplémentaire
• Vous ne pouvez payer que 250 salaires d’instituteur
• Comment choisir les 250 bénéficiaires parmi les 500 écoles?
Modèle de la loterie
• Faire une liste des toutes les personnes/ écoles/ villages éligibles pour le programme
• Choisir les bénéficiaires au hasard parmi la liste• A utiliser lorsqu'il n'existe pas de bonne raison de choisir
un sous-ensemble de « super » éligibles• La loterie est alors jugée équitable• Souvent plus équitable que d’autres méthodes...
– Favoritisme politique– Facilité d’implementation– Etc.
• Doit-on informer les participants? – La transparence est souvent utile, mais pas toujours
povertyactionlab.org
Faisabilité politique
• Comment s’assurer que les gens du groupe acceptent de coopérer?– (on a besoin de leur coopération pour
collecter les données de suivi!)• Pouvons-nous apporter quelque chose
aux sites de contrôle ?– Tester A par rapport à B, et non A par rapport
à rien? Traitement multiples
povertyactionlab.org
Loterie plus facile à faire “avaler”: Traitements multiples
• Vous n’êtes pas toujours certain de l'intervention à mettre en place
• Vous pouvez alors randomiser différentes interventions – Tout le monde est bénéficiaire, mais tout le monde ne bénéficie
pas de la même chose…• Ceci nous renseigne-t-il sur l’effet d'une intervention
donnée ? – Non, mais l’on apprend quelle intervention marche le mieux (ou
le moins mal...)• Avantage : un effet gagnant-gagnant, peut aider à
répondre aux questions que se posent les acteurs
Autre modèle de loterie plus facile à faire “avaler”:Randomisation dans la « bulle »
• Randomiser les cas-limites• La “bulle”: les gens qui sont juste au
dessus du seuil d’éligilibité– Par ex., Les écoles avec entre 35 et 40
élèves par instituteur• Donner le programme à toutes les ecoles
avec plus de 40 élèves par instituteur• Randomiser le programme parmi les
écoles dans la bulle
povertyactionlab.org
Que faire si le programme dispose de 500 candidats pour
environ 500 postes ?Ou moins ?
Un modèle de loterie moins évident
• Une astuce : promouvoir le programme et augmenter fortement le nombre de candidats– Informer toutes les écoles du fait qu’elles
peuvent faire une demande pour un instituteur supplémentaire
– La loterie devient applicable si le nombre d’ écoles qui ont fait un demande dépasse 500
• Est-ce éthique ?
povertyactionlab.org
Dans quels cas la loterie est-elle impossible ?
povertyactionlab.org
Lorsque la loterie est infaisable
• Supposons une situation avec 2 000 candidats.
• La sélection des demandes/besoins donne 500 candidats « valables »
• Il existe 500 postes• La loterie est infaisable
povertyactionlab.org
Que faire dans ce cas ?
Solution possible• De nombreuses parties d'une règle de sélection ont pour seul
but d'écarter des candidats• Aider votre partenaire à réfléchir la règle de sélection existante
– Quel est l’objet de la sélection ? – Quels sont les éléments essentiels ?– Quels sont les éléments arbitraires ?– Peut-on changer la règle pour permettre la randomisation?
• Exemple : allocation d’un instituteur supplémentaire– 2 000 écoles candidatent– 1 000 répondent au critère de taille (plus de 40 élèves par
instituteur)– Un critère supplémentaire imposé par le gouvernement: que l’école
ait une salle de classe disponible pour le nouvel instituteur• Seulement 500 répondent a ce critère
– Ce second critère fait-il sens? Peut-on convaincre le gouvernment de l’éliminer?
povertyactionlab.org
Autres types de modèle aléatoire
Trouver le moment opportun
• Les programmes ont des durées de vie• Ils ont des étapes initiales• Ils se développent• Certaines étapes sont plus propices à la
randomisation que d’autres
Modèle de mise en place progressive
• Dans ce modèle, tout le monde bénéficiera du programme dans le long-terme, mais dans l’immédiat seulement un sous-groupe participe
• Exemple: progamme de dé-parasitage au Kenya, fait par ONG.– 3 groupes de 25 écoles chacun: groupes 1,2,3
• 1998: écoles du groupe 1 recoivent le traitement• 1999, 2000: écoles des groupes 1 et 2 recoivent le traitement• 2001: toutes les écoles recoivent le traitement
– Comment mesurer l’impact de 1 an de deparasitage? • Comparer groupe 1 au groupes 2 et 3 fin 1998
– Comment mesurer l’impact de 2 ans de deparasitage? • Comparer groupe 1 au groupe 3 fin 1999
Modèle de mise en place progressive
• Est-ce éthique? • Oui, si contraintes logistiques lors de l’extension du
projet: – Par exemple :
• En 5 ans, 500 écoles seront concernées, mais l’ONG n’a la capacité de mettre en place le programme que dans 100 écoles par an
• Comment déterminer les écoles ou les quartiers qui seront traités telle ou telle année ?
– Certains choix peuvent être basés sur les besoins, sur un impact potentiel, etc.
– Certains choix sont nettement arbitraires– Nous pouvons donc choisir très tôt, de manière aléatoire, qui
bénéficiera du programme au début et qui bénéficiera à la fin• Procédez ainsi sur une population pour laquelle les choix sont
arbitraires
Autre modèle:Modèle de rotation
• Les groupes reçoivent le traitement tour à tour
• Un groupe reçoit le traitement durant la première période
• L’autre groupe reçoit le traitement durant la second période
• Quels sont les avantages?• Quels sont les inconvénients?
Le cas du “pilote”
• Souvent quand on commence un programme on n’est pas trop sur de comment le faire
• Il y a souvent une phase pilote• C’est souvent un bon moment pour
randomiser– Choisissez de façon aléatoire la population
pour le pilote
povertyactionlab.org
Autres modèles
Modèle d'encouragement• Dans ce modèle, tout le monde peut bénéficier
immédiatement du programme. • Mais tout le monde n’est pas au courant du
programme– Certaines écoles ne savent pas qu’elles peuvent faire
une demande pour un instituteur supplémentaire• Choisissez certaines personnes/écoles au hasard
et encouragez-les à candidater• Utilisez les autres comme contrôle / témoin• Est-ce éthique ?
Encouragement• Qu'est-ce qu'un « encouragement » ?
– Un élément qui rend certaines personnes (groupe de traitement) plus susceptibles de participer que d'autres (groupe de contrôle)
• Principaux critères :– Ne doit pas être, en soi, un « traitement »
• Mauvaise idée : programme de formation intense à l'entrepreunariat, comme encouragement au crédit
• Bonne idée : marketing ciblé vers certains, mais pas tous ; s'assurer que le marketing n'est pas trop informatif
• Réfléchissez à ceux qui répondent à l'encouragement. Sont-ils différents ?– Mauvaise idée : fête avec de l'alcool
Modèle d'encouragement : Pourquoi cela fonctionne-t-il ?
Encouragé« Traitement »
Non encouragé« Contrôle »
Traité 100 % 0 %
Non traité 0 % 100 %
Tout d'abord, un exemple extrême : acceptation parfaite de ceux qui sont traités, non-acceptation de ceux qui ne sont pas traités :
Modèle d'encouragement : Pourquoi cela fonctionne-t-il ?
Encouragé« Traitement »
Non encouragé« Contrôle »
Traité 50 % 0 %
Non traité 50 % 100 %
Exemple plus réaliste:
Modèle d'encouragement : Pourquoi cela fonctionne-t-il ?
Encouragé« Traitement »
Non encouragé« Contrôle »
Traité 50 % 25 %
Non traité 50 % 75 %
Encore plus réaliste...
povertyactionlab.org
En résumé:Modèles de randomisation
• Modèle de la loterie (transparent ou non)• Traitements multiples• Modèle de randomisation dans la bulle • Modèle de mise en place progressive • Modèle de rotation• Modèle d'encouragement
Note : ces modèles ne sont pas incompatibles.
Groupe TraitementGroupe Temoin
Eligibilité
Traitement
Encouragement
Groupe TraitementGroupe Temoin
Groupe TraitementGroupe Temoin
Groupe TraitementGroupe Temoin
Loterie
Encouragement
Introduction Progressive
Rotation
Enquete initiale
Enquete de suivi
Enquete initiale
Enquete de suivi
Enquete initiale
Enquete de suivi
Enquete initiale
Enquete de suivi
Comment convaincre les partenaires de randomiser?
Avant de pouvoir vous lancer, qui devez-vous convaincre?
• Vos supérieurs• Le ministre• Les autorités locales• Vos collègues et partenaires (ceux qui
vont mettre en place le programme)• (Le comité d’éthique)• Les gens du groupe témoin
Convaincre les praticiens
• Trois éléments essentiels :– Connaître l'identité des principaux acteurs et
leurs points de vue.– Ecouter. Trouver des manières de répondre
aux questions opérationnelles tout en effectuant la recherche.
– Importance de la culture• Il est parfois difficile d'être en désaccord en
personne. Y a-t-il une véritable acceptation ?
Quels sont leurs arguments?
• « Mais je connais déjà la réponse... »– (Entre les lignes) : Je ne veux pas risquer
d'apprendre que nous n'avons aucun impact.•••••
povertyactionlab.org
Convaincre les praticiens
• Préoccupations spécifiques ordinaires :– Le risque de « diffusion»– L’ équité– Le coût– Les politiques de ressources humaines – La durée de l'étude – L'éthique de l’expérimentation
povertyactionlab.org
Convaincre les praticiens
• Le risque de « diffusion »– Dans certains cas, la diffusion est une bonne chose:
vous traitez 50% des gens et tout le monde bénéficie!– Dans ces cas-là, important de mesurer l’importance
de ces effets indirects (de diffusion); ca fait partie de l’impact!
– Important de convevoir l'étude de telle sore que vous mesuriez les effets directs ET indirects
– Plus sur ce sujet dans le cours de Jeudi
Convaincre les praticiens• L'équité
– Les situations de ressources illimitées sont rares.– En cas de ressources limitées, présenter les choses de cette
façon:• Randomisation = Offrir à tous une probabilité à 50 % de recevoir le
traitement• Sans randomisation = Fournir à ceux qui se présentent en premier
100 % de chances de recevoir le traitement et aux autres 0 % de chances.
• Qu’est ce qui est le plus équitable?– La randomisation permet d'en savoir plus sur les participants
idéaux. Si l'on utilise une méthode de ciblage non aléatoire, il serait possible de faire une erreur dans le cibalge, donc de ne pas optimiser l'impact.
Convaincre les praticiens
• Le coût– « La collecte des données coûte cher … »– Réponses?
• Ce serait le même coût pour une évaluation non-randomisée!
• Pensez aux bénéfices:– Si l’ évaluation montre que le programme ne marche pas,
alors on économise beaucoup de sous en évitant de prolonger un programme qui ne marche pas!
– Si l’ évaluation montre que le programme marche très bien, alors c’est plus facile de convaincre les bailleurs de fonds de le financer
povertyactionlab.org
Convaincre les praticiens
• Les politiques de ressources humaines– Les politiques de RH interviennent souvent si le
salaire est conditionnel aux performances. • Si le traitement influence les performances, des
problèmes apparaissent. • Le traitement pourrait aussi présenter une alternative
qui menace l’emploi !– Réponses?
povertyactionlab.org
Convaincre les praticiens
• La duree de l’étude– « Il faut attendre un an ou plus pour savoir si ca
marche... »• La vie des gouvernements est souvent plus courte
que ca ...• Les ONG ont besoin de montrer des resultats plus
rapidement que ca pour ramasser des fonds– Réponses?
povertyactionlab.org
Convaincre les praticiens
• Éthique de l’expérimentation : – « les personnes ne doivent pas être traitées comme des
rats de laboratoire. Si vous pensez que cela fonctionne, vous avez tort de ne pas traiter tout le monde. »
– Réponses :• Pourquoi les prescriptions de médicaments sont-elles
différentes ?• Toutes les initiatives limitées sont en quelque sorte une
« expérimentation ». La différence ici, c'est que nous contrôlons l'expérience pour apprendre.
• Ressources limitées. L'allocation des ressources doit avoir lieu d'une manière ou d'une autre. Pourquoi ne pas apprendre pendant que nous agissons ? Créer le bien public pour les prochaines générations.
Une bonne évaluation
• Répond non seulement à la question « Est-ce que le programme marche ? »
• Mais aussi aux questions « Pourquoi ca marche (ou pas) et comment pourrait-il marcher mieux ? »
• Pour que votre évaluation soit acceptable et utile, il est important:– D’identifier les questions que se posent les
acteurs/partenaires– De vous assurer que l’ évaluation y réponde