Upload
builien
View
217
Download
0
Embed Size (px)
Citation preview
Présentation du Guide Zewo pour projets et programmes 1
Fondation Zewo
efficacitéLa mesure de l’efficacité dans la coopération au développement Présentation du Guide Zewo pour projets et programmes
La présente brochure offre un aperçu du Guide Zewo sur la mesure de l’efficacité pour projets et programmes dans la coopération au développement, publié en ligne et disponible sur www.zewo.ch. © Publication de la fondation Zewo Zurich 2011
La fondation Zewo est le service suisse de certifica-tion pour les organisations d’utilité publique qui ré- coltent des dons. Son but est d’assurer la transpa-rence et la loyauté sur le marché des dons en Suisse, en contrôlant les organisa-tions d’utilité publique sous l’angle de leur utilisation conscien cieuse des mon-tants ré coltés. Les œuvre d’entraide qui remplissent les exigences posées re - çoivent le label de qualité Zewo.
Les dons et les contribu-tions des pouvoirs publics doivent produire un effet tangible. C’est ce que re- cherchent les œuvres d’entraide, au même titre
que l’ensemble des donat-rices et donateurs. C’est pourquoi, une approche axée sur l’efficacité doit être adoptée dans le cadre de la planification, de la mise en oeuvre et de l’éva- luation des projets et programmes. Par ailleurs, mesurer l’effet atteint permet à une organisation de tirer un enseignement des actions qu’elle réalise et de s’améliorer en perma-nence. Les œuvres d’en-traide peuvent alors mobiliser leurs forces là où elles sont le plus utiles et le plus performantes. Avec son Guide sur la mesure de l’efficacité, la Zewo aide les œuvres d’entraide à suivre une approche axée sur l’efficacité.
Présentation du Guide Zewo pour projets et programmes 3
4 | Les œuvres d’entraide sont assistées
5 | En 6 étapes
6 | La mesure de l’efficacité
8 | Etape 1 : Définir les objectifs du projet
10 | Etape 2 : Elaborer un modèle d’efficacité
12 | Etape 3 : Planifier la mesure de l’efficacité
14 | Etape 4 : Recenser les données
16 | Etape 5 : Evaluer l’efficacité
18 | Etape 6 : Utiliser les constats
20 | Aides et ressources
21 | Bonne pratique
22 | Le Guide en ligne
23 | Institutions ayant contribué au Guide
SOMMAIRE
4 La mesure de l’efficacité dans la coopération au développement
Les œuvres d’entraides sont assistées dans l’analyse de l’effet généré par leurs projets et programmes. Elles peuvent développer et mettre en oeuvre un système de mesure de l’efficacité adapté à leur organisation.
Les constats recueillis répondent à des questions fondamentales :
■ Faisonsnous ce qu’il faut ?
■ Le faisonsnous comme il faut ?
■ Comment pouvonsnous nous améliorer ?
Présentation du Guide Zewo pour projets et programmes 5
En étapes la mesure de l’efficacité est intégrée dans le cycle de gestion de projet. Des jalons importants interviennent déjà au stade de la planification. Au cours d’un projet, les diverses phases peuvent se répéter plusieurs fois. Le Guide s’appuie sur l’approche du cadre logique. Il s’agit d’une norme de planification de projet largement répandue dans la coopération au développement. Différents passages du Guide examinent des approches et procédés alternatifs.
6
La structure modulaire facilite la compréhension.
6 La mesure de l’efficacité dans la coopération au développement
Input
Savoir, concepts, finances
Construction d’écoles et formation d’enseignants
Ecoles érigées, enseignants formés
Les enfants reçoiventune formation
L’instruction et le bien-être s’accroissent
Activités Output Outcome Impact
Evaluation des processus Mesure de la prestation
Travaux planifiés Résultats visés
Mesure de l’efficacité
La mesure de l’efficacité se penche tout d’abord sur les effets déclenchés auprès des destinataires par les œuvres d’entraide, à travers leurs prestations, mais aussi sur les effets à plus long terme, qui transcendent le groupe cible.
Les concepts principaux sont clairment expliqués.
InputMoyens financiers, humains et matériels utilisés pour l’action de développement.
ActivitésActions entreprises ou travaux menés en vue de produire des réalisations spécifiques. L’activité mobilise des ressources telles que des fonds, une assistance technique et d’autres types de moyens.
Output ( prestations, produits )Biens, équipements ou services qui résultent de l’action de développement. Le terme peut s’appliquer à des changements induits par l’action qui peuvent conduire à des effets directs.
Outcome ( effets directs, réalisation )Les effets que l’action doit accomplir ou a accompli à court ou à moyen terme à travers des outputs d’une mesure.
ImpactEffets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non.
Source : OCDE/CAD
8 La mesure de l’efficacité dans la coopération au développement
Etape 1 : Définir les objectifs du projetCe qui doit tout d’abord être clair, c’est ce qu’un projet est censé générer. Pour ce faire, les problèmes, leurs causes et les besoins doivent être analysés de concert avec le groupe cible. Le Guide montre quelles méthodes sont envisageables, comment des objectifs d’efficacité peuvent être formulés et à quoi il convient de faire particulièrement attention.
Children contract malaria
Lack of effectivemedicine
Children are inadequately protected from infection
Medical treatment is bad
Mothers use unclean drinking water
Vaccine is too expensive
Research into effective medicine halted
Mothers know too little about the links
Clean water is too far away
Clinics are too far away
Lack of medicine
Children contractdiarrhoea
High child mortality in region x, y, z
Les enfantssouffrent depaludisme
Les médica-ments efficacesmanquent
Les enfants nesont pas assezprotégés de lacontamination
Les traitementsmédicaux sontmédiocres
Les mères utilisent de l’eaupotable nonsalubre
Vaccin trop cherRecherche pourmédicamentsplus efficacessuspendue
Les mères neconnaissent passuffisammentles liens de causeà effet
L’eau proprese trouve à unetrop grandedistance
Les relaismédicaux sonttrop éloignés
Les médica-ments font défaut
Les enfantssouffrent dediarrhée
Taux de mortalitéinfantile élevédans la régionx, y, z
L’arbre à problèmes est utilisé pour identifier les problèmes et leurs causes.
Présentation du Guide Zewo pour projets et programmes 9
L’objectif de projet décrit les effets souhaités, directs, à court et moyen terme, que le projet doit générer auprès du groupe cible. La finalité décrit les effets à long terme qui seront ( co )déclenchés par le projet. Elle établit le lien entre le projet et les objectifs supérieurs, propres et extérieurs à l’organisation. Le Guide montre comment formuler correctement des objectifs et les harmoniser, de sorte à pouvoir les transposer à terme en autant d’indicateurs mesurables.
Les objectifs et indicateurs sont définis et utilisés dans la variante présentée en exemple. Le Guide contient par ailleurs l’ensemble des variantes rencontrées dans la pratique, qui ne doivent toutefois pas être mélangées.
Variant 1 ( e.g. EU )
Objectif Indicateur
Niveau Impact Moins d’enfants meurent de diarrhée dans la région x
Mortalité infantile à < 5% ( d’ici 2015 )
Niveau outcome Meilleur accès à l’eau potable
Distance jusqu’au prochain puits < 15 min pour 90% des ménages à x ( d’ici 2015 )
Niveau output Construire des puits 100 puits en exploitation
10 La mesure de l’efficacité dans la coopération au développement
Etape 2 : Elaborer un modèle d’efficacitéAfin de pouvoir mesurer et vérifier l’efficacité d’un projet, il convient d’établir clairement la manière dont l’effet visé doit être atteint. Le Guide montre comment identifier les solutions possibles, choisir les stratégies d’intervention et élaborer les modèles d’efficacité.
Moins d’enfantssouffrent depaludisme
Des médicamentsefficaces sontdisponibles
Les enfants sontmieux protégésde la contamin-ation
Les traitementsmédicaux sontmeilleurs
Plus de mèresutilisent del’eau potablesalubre
La recherchereprend
Les mères com-prennent mieuxcertains liensde cause à effet
La populationjouit d’unmeilleur accèsà l’eau salubre
Plus d’enfantspeuvent êtretraités en tempsvoulu
Plus d’enfants reçoivent lesmédicamentsappropriés
Organiser des cours sur l’hygiène pour les mères
Construiredes puits
Mettre sur pieddes dispensairesmobiles
Distribuer desmédicaments
Moins d’enfantssouffrent de diarrhée
Le taux de mor- talité infantilebaisse dans larégion x,y,z
Les enfants sontvaccinésgratuitement
Stratégie retenueEffet secondaire souhaitéPas d’intervention
L’arbre à objectifs est utilisé pour développer différentes solutions.
Présentation du Guide Zewo pour projets et programmes 11
Le modèle logique est une méthode simple et largement répandue, qui permet de cartographier le lien entre cause et effet et de révéler le mode d’action d’un projet. Le Guide montre dans quels cas il est indiqué et quelles méthodes alternatives peuvent être adoptées.
Exemple projet cours sur l’hygiène et la santé
Exemple d’un modèle logique simple.
CHF 2 mio. pour la formation
Donner lescours
Les mères sont allées aux cours
Davantage demères compren-nent les liens de cause à effet
Les mères utili-sent plus sou-vent de l’eau potable salubre
Input Activitiés Output Outcome Impact
12 La mesure de l’efficacité dans la coopération au développement
Etape 3 : Planifier la mesure de l’efficacitéAvant même la mise en oeuvre du projet, il convient de planifier la manière dont l’efficacité de ce dernier sera plus tard mesurée et évaluée. Des objectifs d’efficacité doivent être transposés en indicateurs mesurables et le recensement des données, de même que l’analyse de ces dernières doivent être prédéfinis. Le Guide montre comment définir des indicateurs, quelles méthodes qualitatives et quantitatives peuvent être utilisées, quelles comparaisons sont indiquées et par rapport à quoi, tout comme les précautions à prendre dans le cadre de l’évaluation de l’efficacité.
Dans le cas d’une comparaison Avant/Après avec groupe de contrôle, l’on va comparer l’évolution intervenue au sein du groupe cible avec celle d’un groupe de contrôle n’ayant pas bénéficié des prestations du projet. Ainsi, tout facteur d’influence extérieure est exclu et il de vient possible d’établir ce qui se serait passé sans le projet. Ce procédé est toutefois laborieux et exigeant du point de vue méthodologique. Le Guide montre quelles sont les méthodes alternatives envisageables.
Début Mi-parcours Fin
Groupe cible
Groupe de contrôle
Présentation du Guide Zewo pour projets et programmes 13
Les pièges, les obstacles et sources d’erreur les plus fréquents sont présentés et ce dont il faut particulièrement tenir compte est mis en évidence.
ATTENTIONDans la pratique, on accorde parfois trop peu d’attention aux sources, et, à terme, les données se révèlent souvent ne pas être disponibles, ce qui rend caduque l’indicateur. Un indicateur sans source de données authentique ne peut être mesuré et ne pourra donc pas servir à la mesure de l’efficacité.
IMPORTANTUn bon indicateur devrait être SMART :•Specific: l’indicateur doit être clair et univoque.•Measurable: l’indicateur doit pouvoir être mesuré à un coût approprié.•Achievable: le seuil donné par l’indicateur doit pouvoir être atteint.•Relevant: l’information que revêt l’indicateur doit être un repère significatif pour le chef
de projet.•Time-bound: l’indicateur doit mentionner d’ici à quand l’objectif devrait être atteint.
Source : Commission européenne, Guide PCM
14 La mesure de l’efficacité dans la coopération au développement
Etape 4 : Recenser les donnéesIdéalement, les données nécessaires à la mesure de l’efficacité doivent être collectées pendant la phase de mise en oeuvre du projet. Le Guide montre comment intégrer les indicateurs de l’efficacité dans le monitoring du projet, ce à quoi il faut prêter attention, au moment du recensement des données, et comment les dérives peuvent être détectées de manière précoce et rectifiées à temps.
Programme Santé de l’enfant
Le cadre logique est un tableau standardisé, qui résume le mode d’action d’un projet et son système de monitoring et d’évaluation.
Stratégie d’intervention Indicateur Source 2009 2010 2011 2012
Impact Contribue à un meilleur état de santé des enfants: la mortalité infantile recule
Mortalité infantile dans les régions x, y, z réduite de 10% à 2%
Statistiquenationale
x :10%y :10%z :10%
x :5%y :7%z :12%
Outcome Les mères connaissent le lien Les participantes du cours peuvent mettre en pratique le contenu du cours dans un jeu de rôle
Vidéo, appréciation par les responsables
bonne suffisante
Les enfants qui tombent malades peuvent être traités avec succès
95% des traitements d’enfants avec la diarrhée sont un succès
Etudes de cas 89% 80%
Meilleur accès à l’eau potable salubre
Marche jusqu’au prochain puits < 15 minutes pour 80% des ménages
Observation 50% 60%
Output Cours 100 cours organisés Rapport de projet 23 42
Traitements 1000 traitements/an Statistique de traitements
955 1112
Puits 50 nouveaux puits dans la région
Rapport de projet 12
Activités Organiser des cours
Mettre sur pied des dispensaires mobiles
Construire des puits
Présentation du Guide Zewo pour projets et programmes 15
Evaluation intermédiaire projet Cours
L’exemple illustre comment procéder en vue d’une évaluation intermédiaire.
Objectif Indicateur Devrait être Etre Ecart Commentaire Mesures opérationnelles
Conséquences sur l’efficacité
E1 Application dans un jeu de rôle
au min. bonne
Bonne – Evaluation aisée
aucune
P1 Nbre cours 1 ( Pilote ) 1 ( Pilote ) – aucune
P2 Nbre participantes
35 45 + 30% Demande élevée
Cours plus étendus
Groupe cible plus grand que prévu
Coûts 10 000 15 000 + 5 000 Nbre participantes plus élevé, cours plus chers
Economie par jour de cours à vérifier, Demander hausse de budget
Mise en œuvre potentiellement moins efficiente.
Délai Mai 09 Juin 09 1 mois de retard
Recherche de conférenciers plus ardue que prévu
Formation de conférenciers suppl. requise
Objectifs d’efficacité moins vite atteints que prévu, vu la formation de conférenciers nécessaire.
Legend for colour code
RESULTAT MESURE Réjouissant Planifier renforcement et assise de la réussite
Critique Introduire des rectificatifs
Encore incertain Continuer à observer
Comme prévu Pas nécessaire
16 La mesure de l’efficacité dans la coopération au développement
Etape 5 : Evaluer l’efficacitéLe Guide assiste les responsables, tout au long de la synthèse et de l’interprétation des données qualitatives et quantitatives. Il montre dans quels cas un effet peut être attribué à un projet et comment agréger les effets de projets différents.
Le résumé du chapitre condense les éléments les plus importants, étape par étape.
Comment procéder
Activités Les responsables du projet ou expertes et experts externes procèdent aux comparaisons et en déduisent l’effet du projet à l’aide des données disponibles. Il s’agit ici de suivre les normes d’évaluation en vigueur. Les résultats sont généralement fixés par écrit et documentés.
Questions On commence la 5ème étape de la mesure de l’efficacité en répondant aux questions suivantes.•Toutes les données requises sontelles disponibles sous la forme
appropriée?•Qu’estce qui a changé ou a été induit auprès du groupe cible?•Qu’estce qui aurait changé pour le groupe cibles sans le projet?•Quels sont les motifs d’écarts éventuels par rapport aux objectifs du
projet?•Quelles affirmations et hypothèses se sont avérées, lesquelles étaient
erronées?•Quels ont été les effets secondaires intentionnels ou non?•Estil plausible que le projet ait contribué à quelque objectif supérieur?•Quels effets peuvent être attribués au projet de façon univoque?•Quelles recommandations sont nécessaires?
Résultats Un rapport ou une présentation de l’efficacité du projet ou programme a été dressé(e).
Présentation du Guide Zewo pour projets et programmes 17
Les résultats de la mesure de l’efficacité devraient être communiqués sous une forme appropriée – indépendamment qu’ils soient tels qu’attendus, inattendus, positifs ou négatifs. Souvent, un rapport écrit est dressé à cette fin. Le Guide montre comment s’articule d’habitude un tel rapport et quelles formes de communication alternatives sont envisageables.
Les modèles présentés facilitent le travail des utilisatrices et utilisateurs.
Modèled’aménagement d’un rapport sur la mesure de l’efficacité
I Synthèse
II Les bases1. Objectif et finalité ( motifs, intention )2. Ampleur de la mesure de l’efficacité ( scope )3. Questions de la mesure de l’efficacité 3.1 Question a 3.2 Question b4. Contexte de la mesure de l’efficacité5. Equipe
III Procédé1. Discussion méthodologique, sources d’information
et qualité des données2. Implication des principales parties prenantes
IV Constats1. Question a 1.1 Constations 1.2 Evaluations et conclusions2. Question b 2.1 Constatations 2.2 Evaluations et conclusions
V Appréciation générale et recommandations
18 La mesure de l’efficacité dans la coopération au développement
Etape 6 : Utiliser les constatsLes constats peuvent servir à développer le savoir au sein d’une organisation et à en tirer un enseignement pour l’avenir, afin d’orienter les activités sur l’efficience ou encore afin d’informer les donateurs, les organisations partenaires et groupes cibles au sujet de l’effet généré par les projets et programmes.
Légitimer
Diriger
Apprendre
Présentation du Guide Zewo pour projets et programmes 19
Le Guide montre ce qu’implique un processus d’apprentissage réussi, comment les constats peuvent servir de base décisionnelle et comment ils peuvent être intégrés dans le rapport de performance d’une organisation. Les principes d’une bonne mesure de l’efficacité sont exposés clairement et dévoilent ce que doit coûter une mesure de l’efficacité.
Un modèle et des exemples concrets informent sur la manière dont les résultats de la mesure de l’efficacité peuvent être intégrés dans le rapport de performance.
20 La mesure de l’efficacité dans la coopération au développement
Aides et ressourcesLes principales approches et méthodes de mesure de l’efficacité sont présentés sous forme synthétique mais exhaustive. De plus, un compendium pratique et bien structuré englobe les liens et documents à télécharger sur le thème de la mesure de l’efficacité.
Approches et méthodes
■ L’approche du cadre logique – La norme en matière de planification de projet axée sur les résultats dans la coopération au développement.
■ Outcome Mapping ( La cartographie des incidences ) – Approche alternative pour mettre au point un système d’analyse de l’efficacité.
■ Theory of Change – Une approche de planification de projet axée sur les résultats, qui repose sur un modèle d’efficacité un peu plus ouvert que celui de l’approche du cadre logique.
■ Most Significant Change – Une technique qualitative et participative très spécifique pour évaluer les effets de projets et programmes. Cette technique repose sur une évaluation systématique des expériences individuelles, totalement indépendante d’indicateurs ou de chiffres.
■ MAPP ( Méthode d’appréciation de l’impact de projets et programmes ) – Un procédé participatif très spécifique pour évaluer les effets de projets et programmes. Ce procédé s’appuie sur des discussions de groupe, par lesquelles les effets et évolutions sont analysés de manière rétrospective en suivant une procédure fixe.
Liens
■ Survols de méthodes ■ Guides de suivi et d’évaluation ■ Boîteàoutils ■ Comptesrendus d’expériences
Présentation du Guide Zewo pour projets et programmes 21
Bonne pratiqueLe système suprême de la mesure de l’efficacité n’existe pas. Chaque organisation doit mettre au point un concept adapté à ses propres contingences. Pour y parvenir, le Guide Zewo montre ce que l’on entend par bonne pratique en matière de mesure de l’efficacité, par le biais de quelques principes clairs définissant ce qu’est une mesure de qualité, la publication des résultats et leur communication.
La fondation Zewo entend promouvoir la diffusion d’une mesure systématique de l’efficacité dans la pratique et aider les œuvres d’entraide à développer et à mettre en œuvre des systèmes de mesure de l’efficacité conformes à leurs contingences et à l’esprit de cette bonne pratique.
22 La mesure de l’efficacité dans la coopération au développement
Le Guide en ligneLe site www.zewo.ch/impact/fr vous donne accès au Guide électronique. Celuici peut aussi être téléchargé sous un format de fichier PDF.
Présentation du Guide Zewo pour projets et programmes 23
Institutions ayant contribué au GuideLa Direction du développement et de la coopération ( DDC ) est l’agence vouée à la coopération internationale du Département fédéral des affaires étrangères ( DFAE ). Elle a contribué au développement du Guide, qu’elle a considérablement favorisé par son soutien.
La Société suisse d’évaluation ( Seval ) encourage le dialogue et les échanges d’expériences en matière d’évaluation. Elle s’engage activement pour la promotion de la qualité des évaluations et de leur diffusion. Elle soutient le lancement de ce Guide en qualité de partenaire de communication.
Les études postgrade pour les pays en développement ( Nadel ) de l’EPF de Zurich forment les experts et la relève de demain du monde de la coopération au développement. Dans leur cursus des méthodes de planification et d’analyse axées sur les résultats, ainsi que le Guide Zewo sur la mesure de l’efficacité sont exposés, entre autres.
Nous remercions les membres du groupe de travail chargé de développer ce Guide : Bernard Du Pasquier ( EPER ), Diether Grünenfelder ( EcoSolidar ), Maya Natarajan ( IAMANEH Suisse ), Constanze Bunzemeier ( Enfants du monde ), Peter Schmidt ( Helvetas ), Gerhard Siegfried ( DDC ) et Christian Varga ( Caritas Suisse ), ainsi qu’Oliver Bieri et Stefan Rieder d’Interface Etudes politiques Recherche Conseil.
Fondation ZewoLägernstrasse 278037 ZürichTéléphone +41 ( 0 )44 366 99 55Fax +41 ( 0 )44 366 99 [email protected]