De l’efficacité des évaluations

Synthèse de l’étude commanditée par le F3E

I L’étude

II Ses principales conclusions

III Des axes de réflexions pour le F3E ?

L’étude Ses points de départs La méthode Les limites

Le point de départ de l’étude Une interrogation sur « l ’efficacité » des

évaluations face au sentiment de leur

banalisation

un premier rendu attendu : un document

didactique destiné aux Osi

Un deuxième rendu attendu : un document

destiné aux administrateurs du F3E

Ce power point résume ce 2ème document

La méthode

Une enquête épistolaire

Deux ateliers (personnes ressources, évalués /

évaluateurs)

Des contributions

Des « enquêtes rapides » d ’une douzaine

d ’évaluation,et des entretiens de personnes-

ressources

Les limites Un travail sur l ’évaluation « made in F3E » et

non « en général »

La diversité des Osi et des évaluations, diversité

constatée, mais impossible à prendre

complètement en compte

Pour ce 2ème document : Un point de vue

particulier et incomplet pour nourrir une « vraie

réflexion stratégique »

Entre questions d ’orientations et propositions

concrètes

Les principales conclusions Un outils apprécié, mais pas toujours adapté L ’efficacité des évaluations se jouent aussi en dehors d ’elles Deux moteurs : Le regard externe, l’appropriation Des exercices trop centrés au Nord Des exercices insuffisamment valorisés

Un outil apprécié mais pas toujours adapté Un outil globalement apprécié

Mais parfois jugé trop lourd

un jugement globalement positif sur

l ’accompagnement du F3E (tiers-médiateurs exigeant,

aide au TDR et mise en relation avec des évaluateurs

Mais des délais bien long, une procédure également

jugée trop lourde

L ’ambiguïté de la double commande « bailleur /Osi »  

L’efficacité se joue aussi en dehors d’elle

Une question de « culture »

La maîtrise des outils

Le contexte de l ’évaluation

Les dispositif de suivi-évaluation

L ’insertion dans des cycles d ’ajustement ou de

changement  

Premier moteur, le regard extérieur

D ’abord parce qu’il permet « une prise de recul »

Ensuite parce qu ’il peut suggérer des

« recommandations » plus ou moins concrètes

Un exercice souvent « violent »… Mais opposition

n ’est pas toujours synonyme d’inefficacité (elle

peut l’être)  

Deuxième moteur, l’appropriation

Une évidence

Pour s ’approprier les conclusions d ’une

évaluation : être informé, être concerné, comprendre,

débattre, pouvoir déformer…

Un enjeu pour un exercice interculturel en

partenariat,  

Les trois temps de l’appropriation Avant : l ’expression des attentes… et leur synthèse

Pendant : comprendre le cheminement qui aboutit

aux conclusions, le comportement des évaluateurs

Après : l’information, le débat, la prise en compte des

conclusions du débat  

Des exercices trop centrés au Nord Les acteurs du Sud sont peu associés à la

préparation des évaluations

Les rendus des évaluations sont rarement accessibles aux acteurs du Sud

La présence d ’évaluateur du Sud ne suffit pas à inverser cet état de fait

Des exercices insuffisamment valorisés

Des rendus sous la forme de « gros rapports » ne sont pas accessibles à tous.

Les conclusions des évaluations sont inégalement partagées

Les Osi n’ont pas toujours la capacité de tirer partie de celles des conclusions des évaluations qu’elles valident

Question de moyens, mais aussi « d’accompagnement au changement »

L ’accompagnement (et les exigences) du F3E s’arrête à la validation du rapport final

Des axes de réflexions pour le F3E ?

Aborder plus globalement la question de qualité au sein des Osi

. 1 Diversifier la gamme des outils qualités dont le F3E assure la promotion

2 Améliorer l’accompagnement des évaluations

3 Mieux faire vivre l’espace mutuel

... La qualité au sein des Osi Une préoccupation ancienne au F3E qui propose

déjà des prestations diversifiées Une approche désormais partagée par de

nombreux acteurs Des enjeux réels (Cf. le processus de Palerme) Une réflexion utile qui peut être utile « sur le

fond » Considérer l ’évaluation comme un outil et non

comme un moyen Aborder plus globalement ces questions de

« qualité »

... La qualité au sein des Osi

Concrètement : Animer une réflexion interne - Participer aux débats sur la question - Diversifier la gamme - Elargir le rôle du « lieu mutuel »

Question ? Est-ce la vocation du F3E ? Un risque de concurrence avec les autres

collectifs qui se sont déjà emparés de cette question ?

Risque de dispersion pour une institutions aux moyens limités»

... Diversifier la gamme des outils

Pourquoi ? Répondre aux demandes mal satisfaites par le modèle actuel d ’évaluation (Cf reproche de lourdeur)

Et éviter que l’évaluation ne soit utilisée comme « bonne à tout faire ».

 Améliorer l’efficacité des évaluations (des dispositifs plus cohérents, le développement progressif d ’une culture, des outils d ’accompagnement…)

Des outils plus facile à recentrer au Sud Essayer de désaccoupler plus souvent « démarches

liées aux bailleurs », démarches plus internes »

... Diversifier la gamme des outils Exemple : « appui conseil au dispositif de suivi »

- « mise en débat accompagnée » - appréciation de l’impact  - « capitalisation d ’expérience »...)

Promotion n ’est pas automatiquement « co financement »… qui restera nécessaire pour les outils les plus lourd

Mais aussi : diffusion mise au point d ’outils, valorisation d ’expériences, lobbying…

Une expérience : Les FEP appuyés par la Fondation de France au Mali, au Maroc et à Madagascar

… Diversifier la gamme des outils Question ? Risque de dispersion - Une évolution

probable du rôle du secrétariat technique (et des compétences ?) Une démarche assez lourde, et...

… La question du financement ? Une hypothèse, un financement plus systématique des évaluations par les budgets projets. Elle n ’est pas sans inconvénient

Concrètement : Aborder cette démarche comme un projet, travailler d ’abord sur les objectifs et les critères de choix avant choisir les outils possibles, puis de mettre au point l ’accompagnement

Améliorer : … l’accompagnement Améliorer la connaissance de la diversité des

membres Améliorer le suivi « ex post » des évaluations et

de leurs suites

Mieux communiquer sur le rôle du FE3 dans le processus d ’évaluation

Limiter les comités de pilotages trop lourd ce qui nécessite sans doute d ’imaginer des alternatives

Les procédures actuelles peuvent-elles, doivent-elles être simplifiée, raccourcie ?

Le F3E doit il se donner la possibilité d’accompagner l’après évaluation ?

Améliorer : … diversifier le concept

Accompagner également des auto-évaluations assistées ?

Des évaluations institutionnelles (de l ’Osi, d ’un partenariat) ?

Des évaluations plus étalées dans le temps ?

Améliorer : … Plus au Sud Une exigence difficile à traduire en mesure

systématiques : exigences supplémentaires = plus de contraintes - Une diversité difficilement conciliable avec des normes - les centres de décision des Osi, du F3E, du MAE sont encore au Nord

CF diversifier la gamme et élargir la prestation « aide à la préparation » des TDR

CF des exigences sur les rendus

Réfléchir à des alliances institutionnelles au Sud (exemple les FEP)

Améliorer : … La post- évaluation Ajouter des exigences en terme de

communications ? Ajouter des exigence en terme d’explicitation

des conclusions tirées et des décisions adoptées suite à une évaluation ?

Accepter d’inclure dans le budget des évaluations des actions de communication et de mise en débat ?

Accepter de financer de démarches « post évaluations » destinées à optimiser leurs conclusions ? (Les quelles ? Comment ?)

Mieux faire vivre...

Une question d ’ambition et de cohérence de positionnement :

Entre la gestion d’un fond mutuel ciblé sur trois outils principaux,

ou un lieu mutuel de débat et d ’action sur la question de la qualité au sein des Osi ? (une question entre « politique et technique »)

Un question d ’articulation entre le F3E et les autres collectifs dont CO² Sud.

Mieux faire vivre...

Mieux connaître la diversité des membres pour mieux répondre à leurs attentes et favoriser les synergies

Développer (plus encore) des fonctions de centre de ressources

Perfectionner l’approche « capitalisation / échanges / valorisation »

Mieux assurer une fonction plus « politique » de participation aux débats publics

Étapes suivantes ?