L'évaluation d'impact

povertyactionlab.org

TRADUIRE LA RECHERCHE EN ACTION

Qu'est ce qu'une évaluation?

Evaluation du processus

Evaluation des besoins

Evaluation d'impact

TRADUIRE LA RECHERCHE EN ACTION

Evaluation des besoins

• Quelle est la population visée?– indispensable d'en avoir une définition claire

• Quelle est la question?– connaitre précisément le problème à résoudre, les besoins auxquels le

programme va répondre• Dans quel contexte s'insère le programme?

– Est-ce la façon la plus efficace, la meilleure et la plus économique de répondre aux besoins?

– Quels sont les différents avantages apportés par le programme?

TRADUIRE LA RECHERCHE EN ACTION

Évaluation du processus

• L’intervention atteint-elle la population ciblée ?– Les tâches de base sont-elles mises en œuvre?

• Les services prévus sont-ils rendus?– Logistique, nombre de bénéficiaires, …– Peut-on les améliorer?

• Comment se passe la communication entre les différentes instances?

• L’intervention est-elle bien menée et donne t’elle satisfaction aux bénéficiaires ?

• Le budget est-il respecté?

TRADUIRE LA RECHERCHE EN ACTION

Evaluation de l'impact

• Question centrale: Y a-t-il eu un impact?

• Questions auxiliaires:– Quel est la nature de l'impact? – Le programme a t’il changé la vie des personnes ? Comment?– le programme a-t-il eu plus d'effets sur certains que sur d'autres?

TRADUIRE LA RECHERCHE EN ACTION

Processus et impact

• Pour répondre à une question portant sur le processus:,– il faut décrire ce qui s’est passé.

• Pour répondre à une question portant sur l’impact:– il faut comparer ce qui s’est passé à ce qui se serait passé

sans le programme.

TRADUIRE LA RECHERCHE EN ACTION

L'analyse Coût-Efficacité

AnalyseCoût-Efficacité

Evaluationdu

processusEvaluationd’impact

Evaluation des besoins

TRADUIRE LA RECHERCHE EN ACTION

L'analyse Coût-Efficacité

• Pourquoi les 3 éléments sont-ils nécessaires pour l’analyse coût-efficacité?

– L’évaluation des besoins donne le coût d’opportunité de la dépense

– L’évaluation du processus permet une quantification minutieuse des coûts

– L’évaluation d’impact permet de quantifier les bénéfices

• On peut ensuite comparer différents programmes entre eux

TRADUIRE LA RECHERCHE EN ACTION

La qualité d'une évaluation, c'est:

• Poser les bonnes questions• Donner des réponses précises

– En lien avec les objectifs de départ– Savoir précisément ce qu'on a appris– Savoir ce qui pourra être généralisé

• Une bonne évaluation permet de tirer des enseignements généraux:– Exemple: l'adoption des engrais au Kenya

TRADUIRE LA RECHERCHE EN ACTION

II. Pourquoi utiliser l’assignation aléatoire

TRADUIRE LA RECHERCHE EN ACTION

Comment mesurer l'impact?

• L'impact, c'est ce qu'il se serait passé en l’absence du programme

• C'est donc la différence entre

ce qui s’est passé (avec le programme)– ce qui se serait passé (sans le programme)____________________________________ = IMPACT du programme

TRADUIRE LA RECHERCHE EN ACTION

tempst = 0

2

3

t = 1PROGRAMME

Le programme a-t-il apporté un changement?

Accouchement encadré

3 - 2 = 1

= impact?

TRADUIRE LA RECHERCHE EN ACTION

tempst = 0

2

3

t = 1PROGRAMME

Que se serait-il passé en l'absence du programme?

(Observé)

(Observé)

Accouchement encadré

Impact= 3 - X

X (Non-Observable)

TRADUIRE LA RECHERCHE EN ACTION

La difficulté de l'évaluation d’impact

• On veut savoir ce qui ce serait passé en l’absence du programme: le Contrefactuel

• Mais comment savoir ce qui se serait passé sans le programme?

• Une évaluation d’impact n’est correcte que si l’estimation de X est correcte

• Tout l'art de l’évaluation d’impact est de reconstruire X correctement

TRADUIRE LA RECHERCHE EN ACTION

Comment reconstruire X ?

• Souvent, on construit le contrefactuel en sélectionnant un groupe de personnes ne bénéficiant pas du programme, le groupe Témoin

• Deux méthodes:– Non aléatoire: on considère simplement qu'un groupe

donné, non touché par le programme, imite le contrefactuel

– Aléatoire: on affecte le programme de manière aléatoire pour créer un groupe Témoin qui imite réellement le contrefactuel

TRADUIRE LA RECHERCHE EN ACTION

tempst = 0

2

3

t = 1PROGRAMME

Reconstruire X à l’aide d’un groupe témoin

(Observé parmi les bénéficiaires)

Accouchement encadré

Impact= 3 – 2,4

2,4 (Observé parmi les non-bénéficiaires)

“Groupe test”

“Groupe témoin”

TRADUIRE LA RECHERCHE EN ACTION

Comment choisir le groupe témoin?

• Il est possible que les non-bénéficiaires soient assez différents des bénéficiaires. Pourquoi?

– Les programmes ciblent souvent certaines population selon un ou plusieurs critères bien définis (pauvreté, niveau initial, etc.)

– Les gens choisissent ou non de participer aux programme (Ceux qui choisissent de participer sont-ils plus motivés en général ?)

• Des différences subtiles, difficiles à observer (la motivation, l’accès à l'information)

• Si les non-bénéficiairessont différents, ils ne peuvent pas représenter un bon contrefactuel

• La comparaison sera biaisée par le fait qu’il y a eu sélection des bénéficiaires (Biais de sélection)

TRADUIRE LA RECHERCHE EN ACTION

tempst = 0 t = 1

Graphiquement: le biais de sélection

Groupe Témoin

Groupe Test

Accouchement encadré

TRADUIRE LA RECHERCHE EN ACTION

Comment s’assurer que le groupe témoin est un bon contrefactuel?

• Situation idéale: l'Assignation aléatoire

• Répartir de façon aléatoire les sujets entre les deux groupes • Identifier un ensemble de personnes qui satisfont toutes aux

critères de sélection établis pour le nouveau programme• Aléatoirement choisir la moitié des personnes qui participera au

programme (le groupe Test); • L’autre moitié (le groupe Témoin)ne participe pas au programme

et sert de point de comparaison

• L’assignation aléatoire permet d’avoir un groupe Témoin vraiment similaire au groupe Test

• Élimine tous les biais de sélection• Pourquoi?

TRADUIRE LA RECHERCHE EN ACTION

La méthode aléatoire (“randomisée”)

• Repose sur la loi des grands nombres…– Prenez 1000 personnes dans la rue, et divisez-les en deux

groupes aléatoirement– En moyenne

• les gens dans le groupe 1 auront la même taille que les gens dans le groupe 2

• ils auront même poids moyen• il y aura autant d’enfants dans chaque groupe• etc…

– Note: cela serait-il vrai si on divisait 20 personnes en deux groupes?

TRADUIRE LA RECHERCHE EN ACTION

Avantage principal des évaluations aléatoires

• Les groupes Test et Témoin:– ont au départ de l'évaluation exactement les mêmes

caractéristiques, observables et inobservables– sont susceptibles de subir des trajectoires comparables,

hormis le traitement• ainsi :

– si l’on voit une différence entre les deux groupes à l'issue du programme, on peut attribuer cette différence au programme

TRADUIRE LA RECHERCHE EN ACTION

• Graphique de l’affectation aléatoire

Qu’est-ce que la randomisation ?Échantillon aléatoire

TRADUIRE LA RECHERCHE EN ACTION

Assignationaléatoire en groupetestOutémoin

Assignation aléatoire des deux groupes

2006

Revenus par personne, par mois, en CFA

1000

500

0Test Témoin

1457 1442

TRADUIRE LA RECHERCHE EN ACTION

Assignation non aléatoire des deux groupes

HQ

2006

Revenus par personne, par mois, en CFA

1000

500

0Test Témoin

1457

947

TRADUIRE LA RECHERCHE EN ACTION

Protocole de base de l'évaluation aléatoire

25

Population

ciblée

Non inclus dans

l’évaluation

Echantillon de

l’évaluation

Affectation aléatoire

Groupe test

Groupe témoin