51
Luc Behaghel Ecole d’Economie de Paris / INRA / J-PAL 22 -26 juin 2015 Abidjan, Côte d’Ivoire Atelier ivoirien sur l’évaluation d’impact pour la prise de décision dans les secteurs sociaux ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORT ?

ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

  • Upload
    others

  • View
    7

  • Download
    0

Embed Size (px)

Citation preview

Page 1: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Luc BehaghelEcole d’Economie de Paris / INRA / J-PAL

22 -26 juin 2015Abidjan, Côte d’Ivoire

Atelier ivoirien sur l’évaluation d’impact pour la prise de décision dans les secteurs sociaux

ÉVALUATIONS ALÉATOIRES :

COMMENT TIRER AU SORT ?

Page 2: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

PLAN DE LA SEMAINE

1. Théorie du changement et mesure

2. Pourquoi tirer au sort ?

3. Comment tirer au sort ?

4. Méthodes non expérimentales

5. Risques sur la validité

6. Intégrer une évaluation dans un projet

7. Une évaluation de A à Z

Page 3: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

RAPPEL D’HIER

How

to

Ran

dom

ize,

Part

I - 3

2006

Revenus, par personne et

par mois, en roupies

1000

500

0Test Témoin

1457 1442

Page 4: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

PROTOCOLE DE BASE DE L'ÉVALUATION

ALÉATOIRE

4

Population

ciblée

Non inclus

dans

l’évaluation

Echantillon

de

l’évaluation

Affectation

aléatoire

Groupe test

Groupe

témoin

Page 5: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Unité de randomisation

Groupe test et groupe témoin: extension

Différentes méthodes de randomisation

Contraintes de la vraie vie

PLAN DU COURS

Page 6: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

• Vous avez besoin d’un cadre d’échantillonnage

• Vous tirez les noms d'un chapeau ou d'un sac

• Vous utilisez le générateur aléatoire d’un programme de feuille de calcul afin d’ordonner les observations de manière aléatoire

• Code de programmation Stata

• Que faire s'il n'y a pas de liste ?

LA MÉCANIQUE DU TIRAGE AU SORT

Page 7: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

En général on peut randomiser à plusieurs niveaux

1. Tirer au sort au niveau de l'individu

2. Tirer au sort au niveau du groupe (évaluation en

grappes)

L'UNITÉ TIRÉE AU SORT

Page 8: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

UNITÉ TIRÉE AU SORT : L'INDIVIDU ?

Page 9: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

UNITÉ TIRÉE AU SORT : L'INDIVIDU

Page 10: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Par groupes d'individus: randomisation en grappe

L'UNITÉ TIRÉE AU SORT : LE GROUPE ?

Page 11: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

L'UNITÉ TIRÉE AU SORT : LA CLASSE ?

Page 12: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

L'UNITÉ TIRÉE AU SORT : LA CLASSE

Page 13: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

L'UNITÉ TIRÉE AU SORT : L'ÉCOLE ?

Page 14: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

L'UNITÉ TIRÉE AU SORT : L'ÉCOLE

Page 15: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Comment fait-on pour choisir l’unité de

randomisation ?

L'UNITÉ DE TIRAGE AU SORT : RÉFLEXIONS

Page 16: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Cela dépend de l’intervention : effet au niveau du

groupe ou au niveau individuel.

Certains programmes peuvent être exécutés

seulement à un certain niveau.

Il faut savoir

Quelle unité le programme vise-t-il ?

Classe, étudiant?

Quelle est l'unité d'analyse?

L'UNITÉ DE TIRAGE AU SORT : RÉFLEXIONS

Page 17: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Comment l’intervention est-elle administrée ?

Quelle est la zone d’intervention de chaque «unité»?

Quelle est la taille de l’impact potentiel ?

Quelle implication en termes de puissance statistique?

L'UNITÉ DE TIRAGE AU SORT : QUELLE CIBLE ?

Page 18: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

CALCUL DE LA TAILLE D’ÉCHANTILLON: QUELQUES

PRINCIPES

Principaux points à prendre en

compte

Raison

Variance des principales variables

d’intérêt

Plus la variance est importante,

plus l’échantillon doit être grand

Taille de l’impact que vous voulez

pouvoir détecter

Plus l’impact qu’on veut pouvoir

détecter est petit, plus l’échantillon

doit être grand

Unité de randomisation Si l’unité est un groupe,

l’échantillon doit être plus grand

(surtout s’il y a peu de différences

entre individus au sein du groupe)

En pratique, le calcul de la taille d’échantillon (ou “calcul de

puissance”) est un calcul complexe que l’on fait avec un logiciel

Page 19: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Unité de de randomisation

Groupe test et groupe témoin: extension

Différentes méthodes de randomisation

Contraintes de la vraie vie

PLAN DU COURS

Page 20: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Parfois il est difficile de choisir parmi plusieurs

interventions possibles

Vous pouvez tirer ces programmes au sort

Est-ce que cela nous apprend quelque chose sur les

avantages de l’une ou l’autre intervention ?

Avez-vous un groupe témoin ?

TRAITEMENTS MULTIPLES

Page 21: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

LA ROTATION

Programme 1

Programme 2

Programme 3

Modèle des programmes multiples

Page 22: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

• Tester différentes composantes du programme

dans différentes combinaisons

• Tester pour voir si les composantes doivent

s'additionner ou s'exclure ?

• Quelle est la combinaison la plus efficace au

point de vue du coût ?

• Avantage : situation « gagnant-gagnant » pour les

organisations ; cela peut aider à répondre aux

questions qu’elles se posent, au-delà du simple

« impact » !

TRAITEMENTS CROISÉS

Page 23: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

On veut pouvoir mesurer l’importance des externalités

Pas forcément un problème

Solution : double randomisation

1. On randomise l’intensité de traitement assignée à

chaque groupe

Par exemple école avec 10% de traité, écoles avec 20%,

50%,75%, etc…

2. On randomise à nouveau à l’intérieur des groupes

3. Pour mesurer les externalités : comparer les contrôles dans

le groupe avec beaucoup de traités et les contrôles avec peu

de traités

VARIER L‘INTENSITÉ D'UN PROGRAMME

Page 24: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Unité de randomisation

Groupe test et groupe témoin: extension

Méthodes de randomisation

Contraintes de la vraie vie

PLAN DU COURS

Page 25: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Loterie

Randomisation dans la bulle

Mise en place progressive

Encouragement

MÉTHODES DE RANDOMISATION

Page 26: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

On prend 1000 personnes et on ne donne le

médicament qu’à la moitié d’entre elles.

Est-il possible d’appliquer cette approche aux

programmes sociaux ?

LA LOTERIE : LA RÉFÉRENCE DES ESSAIS

CLINIQUES

Page 27: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Les participants sont sélectionnés de manière aléatoire

à partir d’un ensemble de candidats

Les participants savent qui a « gagné » et qui a

« perdu »

La loterie de base est faisable lorsqu’il n’existe aucune

raison a priori de discriminer

Elle est perçue comme équitable et transparente

Souvent possible d’un point de vue politique

LA LOTERIE : UNE APPROCHE SIMPLE

Page 28: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

• Envisagez des tirages au sort différents de la loterie

simple

• Développez les actions de communications

• Est-ce éthique ?

QUE FAIRE : 500 CANDIDATS POUR 500

PLACES ?

Page 29: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Supposons qu'il y ait 2000 candidats

Après sélection, il ne reste que 500 candidats valables

Or il y a 500 places

Un simple tirage au sort n'est donc pas possible

Quelles sont vos options ?

LES FAÇONS DE TIRER AU SORT

Page 30: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

• Parfois certains partenaires ne souhaitent pas tirer au sort parmi les personnes éligibles

• Ils peuvent accepter le tirage au sort « dans la bulle »

• Les personnes qui sont « dans la bulle » sont celles qui sont en limite d’éligibilité– Juste au dessus du seuil limite non éligibles mais

presque

• Quel effet du traitement mesurons-nous ? Qu’est-ce que cela signifie en termes de validité externe ?

TIRER AU SORT DANS « LA BULLE »

Page 31: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Mettre la photo et graphique

RANDOMISATION DANS LA "BULLE"

Tirer au sort dans la bulle

Dans la

bulle,

comparer

Test et

Témoin

participantsNon-participants

Test

Témoin

Page 32: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

À la fin, tout le monde bénéficiera du programme

C'est une approche naturelle lorsque l’on fait face

à des contraintes de moyens pour étendre le

programme

Comment déterminer quelles écoles, quelles

agences, etc. bénéficieront du traitement telle ou

telle année ?

LA MISE EN PLACE PROGRESSIVE

Page 33: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

MISE EN PLACE PROGRESSIVE

Mise en place progressive

1ère phaseTest: 1/3

Témoin: 2/3

2ème phaseTest: 2/3

Témoin: 1/3

3ème phaseTest: 3/3

Témoin: 0 1

1

11

1

1

1

1

1

11

1

1

1

2

2

22

2

2

22

2

2

2

22

2

2

2

3

333

3

3

3

33

3

33

3

3

3 3

3

1ère phaseTest: 1/3

Témoin: 2/3

2ème phaseTest: 2/3

Témoin: 1/3

Fin de

l'évaluation

aléatoire

Fin de

l'évaluation

aléatoire

Page 34: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Avantages?

Inconvénients?

MISE EN PLACE PROGRESSIVE

Page 35: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Avantages

• À la fin, tout le monde obtient quelque chose

• Cette approche encourage à maintenir le contact

Inconvénients

• L’estimation des effets à long terme peut être plus compliquée

• Il faut être attentif aux « fenêtres » de mise en place

• Les attentes de changement futur ont-elles un impact sur les actes d'aujourd'hui ?

MISE EN PLACE PROGRESSIVE

Page 36: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Il est parfois impossible, pour des raisons pratiques ou

éthiques, de tirer au sort l’accès à un programme

Mais la plupart des programmes ont des niveaux

d’adoption inférieurs à 100 %

On tire au sort les candidats puis on encourage

certains d'entre eux à participer

L'ENCOURAGEMENT

Page 37: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Modèle de l'encouragement

encouragement

pas

d'encouragement

a participé

n'a pas participé

Conformité

Non conformité

Comparez

encouragés à non

encouragés

Ne pas comparer

participants à

non-participants

Ajustez la non conformité

en phase d'analyse

Ceci doit être corrélé

Page 38: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Un élément qui rend certaines personnes sont plus susceptibles de participer que d’autres

Il ne s’agit pas d’un programme en soi

Pour qui estimons-nous les effets du programme ?

Il faut réfléchir à qui va être sensible aux encouragements

Pourquoi ca marche?

QU’EST-CE QUE « L’ENCOURAGEMENT » ?

Page 39: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

EXEMPLE ENCOURAGEMENT : ACCÈS À

L’EAU AU MAROC

Programme de branchement social à l’eau à Tanger au Maroc

Première idée : randomisation par quartiers

Difficultés techniques

Difficulté politiques : certains responsables de quartiers veulent avoir le branchement tout de suite

Impossible de randomiser au niveau du quartier

Page 40: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

EX: ACCÈS À L’EAU AU MAROC

Solution: randomisation au niveau individuel

Mais offre de branchement disponible à tout le monde dans les quartiers éligibles

Randomisation par encouragement

Page 41: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Variation aléatoire du

niveau d’information

des ménages

Méthode

Ménages groupe “traitement”

Opération d’information personnalisée à domicile

Ménages groupe “contrôle”

Aucune information durant 12 mois

(mais accès technique si demande faite)

EX:ACCÈS À L’EAU AU MAROC

Page 42: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Encouragement : campagne d’information sur le

programme BSI (branchement social individuel) et

assistance administrative

Encouragement assigné aléatoirement

Ex:Accès à l’eau au Maroc

Page 43: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Ex:Accès à l’eau au Maroc

• Randomisation par cluster

Page 44: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Ex:Accès à l’eau au Maroc

• First stage : après 4 mois

Page 45: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Le tirage au sort simple

Le tirage au sort « dans la bulle »

La mise en place progressive aléatoire

L’ encouragement aléatoire

Nota : ces modèles ne s'excluent pas les uns les autres !

EN RÉSUMÉ : LES DIFFÉRENTS

MODÈLES

Page 46: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Approche

Tirage au sort simple

Inclusion progressive

Rotation

Encouragement

Utilité

Trop grand nombre de candidats

On peut accepter que certains candidats n’obtiennent rien

Extension du programme dans le temps

En bout de course, tout le monde bénéficie du programme

Tout le monde doit obtenir quelque chose à un moment ou à un autre mais les ressources ne sont pas suffisantes pour que tout le monde bénéficie du programme toute l’année

Le programme n’est pas accessible à tous les candidats

Lorsque le niveau d’adoption est bas mais qu’il peut facilement être impacté par des encouragements

Avantages

Approche connue

Facile à mettre en œuvre

Facile à comprendre

Approche qui peut être mise en œuvre dans le cadre de programme s’adressant au public en général

Approche simple à comprendre

Les contraintes sont faciles à expliquer

Le groupe témoin va se comporter comme on s’y attend afin de bénéficier du programme plus tard

Plus grand nombre de point de données que pour l’inclusion progressive

Possibilité de randomiser au niveau individuel, même lorsque le programme n’est pas randomisé à ce niveau

Inconvénients

Le groupe témoin peut ne pas coopérer

Attrition différentielle

Les attentes par rapport au traitement peuvent avoir un impact sur le comportement à court terme

L’impact à long terme est difficile à mesurer

Difficulté pour mesurer l’impact à long terme

Mesure l’impact sur les personnes sensibles aux encouragements

L’encouragement doit être suffisant pour induire un changement au niveau de l’adoption du programme

L’encouragement peut avoir un effet direct

MÉTHODES DE RANDOMISATION : RÉSUMÉ

Page 47: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

Unité de randomisation

Groupe test et groupe témoin: extension

Méthodes de randomisation

Contraintes de la vraie vie

PLAN DU COURS

Page 48: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

QUESTIONS ETHIQUES

Plus rares et moins graves qu’on ne le dit ou craint

généralement

Quand les moyens du programme limitent le nombre

de bénéficiaires, le tirage au sort est perçu comme plus

juste: Pas de favoritisme

Facile à mettre en oeuvre

Pas de “premier arrivé, premier servi”, etc.

Importance du contrôle éthique et du respect des

personnes

=> s’assurer que l’expérimentation ne nuit à personne

Page 49: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

CONTRAINTES POLITIQUES

Une politique éducative où l’on tire au sort…

…au niveau de l’élève au sein des classes

…ou au niveau des classes au sein des écoles

…ou au niveau des communautés…

…peut être dur à accepter pour l’enseignant, les

parents, le directeur d’école ou le chef de village,

etc.

=> l’acceptation politique est une étape

indispensable pour toute évaluation réussie

Page 50: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

COÛT DES ÉVALUATIONS

Les évaluations d’impact coûtent cher, principalement

en raison du coût lié à la collecte des données (vrai

pour toutes les méthodes)

L’investissement peut en valoir la peine et doit être

jugé en fonction:

- Du coût du programme évalué

- De la possibilité de lever des fonds additionnels pour

l’évaluation

- De l’importance et de la portée générale des résultats

obtenus

Page 51: ÉVALUATIONS ALÉATOIRES : COMMENT TIRER AU SORTpubdocs.worldbank.org/pubdocs/publicdoc/2015/8/... · Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2

CONTRAINTES LOGISTIQUES

Contraintes liées à la mise en œuvre: les agents

peuvent se tromper et ne pas respecter le plan de

randomisation

Contraintes liées aux enquêtes: la collecte des données

doit être possible à un coût raisonnable

=> Ces contraintes doivent être prises en compte dès la

phase de design de l’évaluation