H E A LT H R E S U LT S I N N O VAT I O N T R U S T F U N D

Évalua&on  d'impact                                                et  HRITF  

Atelier  FBR,  1er  avril  2014  

Les étapes clés, les outils et ce qui est requis

Table  des  ma&ères  

•  Etapes  clés  –  Portefeuille  d'évalua&on  du  HRITF  –  Etapes  clés,  financement  et  résultats  aGendus  

•  Ou&ls  et  sou&en  – Guide  pra&que  pour  l'évalua&on  d'impact  – Atelier  annuel  consacré  à  l’évalua&on  d’impact  

•  Ce  qui  est  requis  – Approba&on  par  la  Banque  mondiale  des  publica&ons  et  ar&cles  

– Disponibilité  des  données  –  Poli&que  de  reproduc&on  

Portefeuille  d'évalua&on  du  HRITF  Type  d’évalua-on                                                    et  montant    maximal  

Nombre  d'évalua-ons  CPG  

Nombre  d'évalua-ons  séparées  

Nombre  total  d'évalua-ons  

Évalua&ons  de  l'impact    (maximum  USD  1,5  millions)  

26   6   32  

Évalua&ons  du  processus    (maximum  USD    400  000)  

3   -­‐   3  

Évalua&ons  de  programme  améliorées  (maximum  USD  400  000)  

-­‐   1   1  

Évalua&ons  qualita&ves    (maximum  USD  250  000)  

4   -­‐   4  

Évalua&ons  de  programme    (maximum  USD  75  000)  

-­‐   5   5  

Total   34   12   45  

La  somme  de  51  millions  de  dollars,  soit  environ  10  %  du  financement  HRITF,  est  engagée  pour  45  évalua&ons,  soit  32  évalua&ons  d'impact  et  13  études  plus  pe&tes.    

Etapes  clés,  financement  et  résultats  aGendus  

• 5  %  soit  75  000  dollars  pour  élaborer  la  note  conceptuelle  

Approba&on  de  la  note  conceptuelle  

• 40  %  soit  600  000  dollars    pour  collecter  les  données  de  référence  

Collecte  et  téléchargement  des  données  de  

référence     • 5  %  soit  75  000  dollars    pour  élaborer  le  rapport  de  référence  

Présenta&on  du  rapport  de  référence  

• 45  %  soit  675  000  dollars  pour  la  collecte  de  données  de  fin  d'enquête  et  le  rapport  

Collecte  et  téléchargement  des  données  de  fin  d'enquête  

•   5  %  soit  75  000  dollars  à  &tre  de  paiement  final  après  la  présenta&on  du  rapport  final  

Présenta&on  du  rapport  final  

Calendrier  de  l'évalua-on  d'impact  Total  du  financement:  1,5  million  de  dollars  du  début  à  la  fin    

Période  d'exécu&on  du  projet  Les  données  de  l’enquête  de  base  sont  collectées  

avant  le  début  du  projet  

Les  données  de  l’enquête  finale  sont  collectées  après  

l'achèvement  du  projet  

Concep&on  du  projet  

Guide  pra&que  d’Evalua&on  d’Impact  sur  Internet  (Impact  Evalua&on  Toolkit)  

Sources  d'aide  sur  l'évalua&on  d'impact  

 Manuel  :  pourquoi,  quoi  et  comment  ?  

Guide  pra&que  

Guide  pra&que  (Toolkit)  

• Élaboré  dans  le  cadre  du  Fonds  fiduciaire  pour  l'innova&on  en  ma&ère  de  résultats  dans  la  santé  (HRITF)  – Appuie  les  approches  de  financement  basé  sur  les  résultats    

– Donne  la  priorité  aux  OMD  de  santé  (1c,  4  et  5)  – Renforce  les  connaissances  sur  le  financement  basé  sur  les  résultats  

– -­‐>  dans  le  cadre  de  l'évalua&on  de  l'impact  – -­‐>  dans  le  cadre  d'autres  types  d'évalua&ons    

Évalua&on  de  l'impact  dans  le  HRITF  

•  Prospec&ve  :  évalua&on  intégrée  dans  la  concep&on  du  programme  

•  Solide  :  groupe  de  traitement  et  groupe  témoin  •  Appar&ent  aux  équipes-­‐pays  •  Mis  à  l'échelle  :  36  évalua&ons  d'impact  à  différents  

stades  –  2  évalua&ons  d’impact  achevées    –  17  en  cours    –  17  au  stade  de  la  concep&on  (6  à  un  stade  avancé  et  11  à  un  

stade  ini&al)  

•  Guide  pra&que  conçu  pour  soutenir  les  équipes  –  Mais  peut  être  u&le  à  quiconque  s'intéresse  à  l'évalua&on  

d'impact  8  

Propre  au  FBR  25  %  

Générique  75  %  

Teneur  du  guide  pra-que  

www.worldbank.org/health/impactevalua&ontoolkit  

Module  2:  Cons&tuer  l'équipe  d'évalua&on  d'impact  

•  «  Le  responsable  de  l'évalua&on  a  décidé  que  les  enquêtes  ne  produisaient  pas  de  résultats  crédibles  ».  

•  «  Nous  avons  engagé  sur  place  des  consultants  (recommandés  par  des  collègues)  qui  n'étaient  pas  à  la  hauteur  de  la  tâche  ».    

•  «  Mon  assistant  de  recherche  a  pris  des  raccourcis  excessifs  ».  

Module  3  :  Concep&on                                                                      de  l'évalua&on  de  l'impact  

•  «  L'interven&on  a  été  affectée  au  niveau  du  groupe,  mais  les  données  ont  été  collectées  au  niveau  individuel.  Dans  nos  calculs,  nous  avons  omis  de  prendre  en  compte  ce  regroupement  d’individus  dans  le  groupe  de  traitement  –  nous  avons  fini  par  u&liser  trop  peu  d’individus».  

Module  6/7  :  Données  –  stockage,  accès  et  analyse  

•  Que  se  passe  t-­‐il  si  votre  ordinateur  cesse  de  fonc&onner  ?  Toutes  les  données  sont-­‐elles  perdues  ?  

•  Que  se  passe  t-­‐il  si  votre  assistant(e)  de  recherche  part  ?  Toute  la  documenta&on  est-­‐elle  sur  son  Macbook?  Quelqu'un  sera  t-­‐il  en  mesure  de  reproduire  son  analyse  ?  

Module  8:  Suivi  et  documenta&on                              des  programmes  du  FBR  

•  «  Nous  avons  une  assigna&on  aléatoire,  mais  nous  ne  sommes  pas  restés  en  communica&on  suffisamment  étroite  avec  le  gouvernement.  L'interven&on  a  été  répar&e  de  manière  non  aléatoire  à  notre  insu.»  

•  «  Nous  avions  une  concep&on  parfaitement  solide  (et  aléatoire  !)  des  incita&ons.  Et  puis,  notre  partenaire  d'exécu&on  a  commencé  à  proposer  de  l'argent  aux  par&cipants  pour  qu'ils  acceptent  le  traitement  !  »  

Ce  guide  pra-que  s'adresse  à  vous...  Chercheurs  

Cabinets  d’étude  

Homologues  gouvernementaux  et  équipe  d'évalua&on  d’impact  locale  

Responsables  de  projets  

Un  ou-l  évolu-f  

Publica&on  du  guide  pra&que  

U&lisa&on  des  direc&ves  et  

ou&ls  

Commentaires    des  u&lisateurs  

Mises  à  jour  des  direc&ves  et/ou  ou&ls  

Contactez-­‐nous  

Ce qui est requis : Approbation par la Banque mondiale des publications et articles

•  Les  publica&ons  (textes  des&nés  aux  journaux  spécialisés  et  documents  de  travail)  doivent  être  soumises  à  l'approba&on  de  la  Banque  mondiale.  

•  Approba&on  du  directeur  des  opéra&ons  de  la  Banque  mondiale  si  le  document  est  propre  à  un  pays  ou  au  HNP  s'il  est  de  portée  générale  

•  S'applique  à  toutes  les  ac&vités  du  personnel  ou  des  consultants  de  la  Banque  +  tout  document  des  membres  de  l'équipe  d’évalua&on  d’impact  se  rapportant  à  l'évalua&on  d'impact  financée  par  le  HRITF  

Publica&ons  

•  La  Banque  mondiale  a  une  poli&que  de  libre  accès  aux  données  encourageant  le  libre  accès  aux  publica&ons  des  équipes  liées  à  la  Banque  mondiale  

•  Cela  permet  une  large  diffusion  des  résultats.  

•  Les  publica&ons  de  la  Banque  mondiale,  comme  les  documents  de  travail,  sont  aussi  consultées  et  diffusées  à  grande  échelle  

Ce  qui  est  requis  :  Disponibilité  des  données  

•  Toutes  les  données  de  l'évalua&on  de  l'impact  devront  être  téléchargées  (cadre  du  processus)  

•  À  terme,  les  données  devront  être  mises  à  la  disposi&on  de  l'ensemble  de  la  communauté  de  recherche.  

•  Les  données  sont  disponibles  2  ans  après  leur  collecte  ou  6  mois  après  la  publica&on  du  document  de  travail  

•  On  encourage  à  publier  ou  transmeGre  les  données  plus  tôt  encore  aux  fins  d'une  analyse  compara&ve  entre  pays.  

Ce  qui  est  requis  :  Poli&que  de  reproduc&on  

•  Avec  leurs  données,  les  équipes  d’évalua&on  d’impact  devraient  fournir  des  fichiers-­‐do  complets  et  bien  documentés  permeGant  la  reproduc&on  de  leurs  résultats.  

•  Ces  fichiers  devraient  permeGre  de  passer  des  données  brutes  aux  résultats  dans  le  rapport.  

•  En  principe,  les  résultats  devraient  être  régulièrement  reproduits,  par  l'équipe  du  HRITF  par  exemple.  

Des  ques&ons  ?  Des  commentaires  ?  

Merci  !