Méthodologies d’évaluation des résultatset de l’impact territorial de programmes publics

Conférence Observatoire National du Développement Humain. Rabat. Maroc. Juin 2009

1

Maurice Baslé, économiste, CREM-CNRS-Université Rennes 1.Président d’honneur de la société française d’évaluation.

• Méthodologies et questions d’indicateurs synthétiques

• Ne pas être trop ambitieux

Intéresser les différentes parties prenantes aux différents

PréalablesDiagrammes logiques d’impact

2

• Intéresser les différentes parties prenantes aux différentstypes de résultats

• Ne pas se précipiter dans l’usage d’indicateurs tropsynthétiques d’impact

PréalablesRappel des outils du couplage du monitoring (suivi) et del’évaluation des politiques publiques et des programmes

• Tout politique ou tout programme doit avoir des orientations

stratégiques

• Objectif : volonté ou priorité

o La notion d’objectif correspond à une ligne directrice à observer en

3

o La notion d’objectif correspond à une ligne directrice à observer en

tendant vers la réalisation d’une valeur ou utilité socio-économique

o Il faut considérer plusieurs objectifs en même temps

• Arbre des Objectifs : l’arbre des priorités (entre types d’objectifs)

o Structuration hiérarchisée d’objectifs, sous forme arborescente

d’objectifs stratégiques, intermédiaires et opérationnels.

o Cible de résultats des programmes sur les différents objectifs

Méta-objectif stratégique ou conditionnalité

• Les valeurs ultimes

• Perception visionnaire pour la collectivité ou le gouvernement national,

son rôle, son utilité sociétale

Objectif stratégique

• Les volontés ou

• Orientations générales élaborées en réponse à des enjeux, des questions

non résolues après un diagnostic,

4

non résolues après un diagnostic,

Objectif intermédiaire

• Les priorités dans la réalisation des programmes publics.

• Grandes lignes identifiées comme prioritaires, guidant l’activité des

responsables de programmes

Objectif opérationnel (Mis à l’agenda politique)

Déclinaison opérationnelle guidant les acteurs du programme dans

l’exercice de leurs fonctions managériales

Deuxième outil : « la fabrique des résultats »

Le diagramme logique d’impact

• Ou chaîne des intentions, réalisations, résultats sur les cibles d’objectifsintermédiaires ou même opérationnels et impact potentiel sur lesorientations stratégiques : Le DLI ou Logigramme est l’outil dumanagement basé sur les activités. Il permet de formaliser la manièrepar laquelle la volonté des acteurs se traduit sur le terrain.

5

par laquelle la volonté des acteurs se traduit sur le terrain.

• On pose la convention de causalité, c’est-à-dire qu’on décrit la fabriquedes résultats observés.

• Les réalisations, codées par objectif, produisent des effets sur lesbénéficiaires directs ou indirects,

• et à plus ou moins long terme, les résultats probables les plus généraux etles impacts potentiels plus systémiques.

DLI o Logigramme

6

Supprimer lienNouveau lien

Diagramme logique d’impact

Action/Sous-action (A) ◄► Réalisations (RO) ◄► Résultats (RA) ◄► Impacts (I) ◄►

A

Exemple : politique universitaire

7

●● Organisation decontrôles préventifs dansles écoles et universités

RO3.1 ●●

●● Campagne d’information RO3.2 ●●

●● Actions de sensibilisationdans les soirées

étudiantes

RO3.3 ●●

●● Amélioration dudépistage préventif demaladie infectieuses

RA3.1 ●●

●● Amélioration de l’écoutedes jeunes

RA3.2 ●●

●● Diminution du ratio desdépenses de santé parétudiant mesuré sur labase des chiffres fournispar les mutuellesétudiantes

RA3.3 ●●

●● Meilleure santé desétudiants et universitaires.

IM01

Action/Sous-action (A) ◄► Réalisations (RO) ◄► Résultats (RA) ◄► Impacts (I) ◄►

Aides directes A01 ●●Aides indirectes A02 ●●

Santé des étudiants etactivités associatives,culturelles et sportives

A03 ●●

Pilotage et animation duprogramme

A04 ●●

Autre exemple : impact sur le développement économique local

8

9

Méthodes et questions d’indicateurs synthétiques

• L'indicateur composite ou synthétique d’impact désigne « une synthèsede résultats »: un indicateur synthétique est construit en agrégeant desindicateurs de résultats.

• C’est difficile et cela suppose du suivi des chaînes logiques. on doit semettre d’accord, au moins un moment sur les conventions suivantes :

10

o Comment la volonté se traduit-elle en réalisations ? Les intentions d’actionsse traduisent-elles en réalisations effectives?

o Peut-on et comment imputer les résultats aux réalisations effectives ?Hypothèses de causalité.

o Est-il probable que tel ou tel résultat ou ensemble de résultats finisse paravoir tel ou tel impact.

o Spécification supplémentaire : Ici on s’intéresse à des impacts potentiels surdes territoires (ancrage territorial de populations, d’entreprises etc..)

Distinguer indicateurs synthétiques d’impact et statistiques decontextes socio-économiques locaux

La plupart des indicateurs utilisés pour mesurer l'impact général ou territorial depolitiques publiques ne sont pas des indicateurs d’évaluation d’impact mais desstatistiques de contextes utilisées comme des approximations des « impacts »potentiels (bien sur, le contexte dépend des politiques publiques et desprogrammes mais …pas seulement…).

11

C'est le cas du PIB national ou régional (Produit Intérieur Brut) et des principauxindicateurs de développement (l'IDH (Indice du Développement Humain) définipar le PNUD ; l'ISEW (Index of Sustainable Economic Welfare) ; le GPI (GenuineProgress Indicator) ; le MDP (Measure of Domestic Progress)...).

Ces indices sont des statistiques, des données d’observatoires nationaux,régionaux ou même locaux mais pas des résultats d’évaluations menées au plusprès des résultats des programmes.

Exemple

• Cas des indicateurs territoriaux européens ESPON, Europeanspatial planning operational network.

• La méthode d’évaluation des effets reste un peu « boîte noire » au planpédagogique. La première faiblesse fondamentale réside dans le fait que lesindicateurs ne sont accrochés ni à des arbres des objectifs ni à deslogigrammes. On est plus proche d’indicateurs d’évolution des contextessocio-économiques. Une deuxième faiblesse fondamentale est dans laquestion de la pédagogie des indicateurs : une annexe méthodologique

12

question de la pédagogie des indicateurs : une annexe méthodologiquedéfinit des matrices d’interactions qualitatives. La méthode des effetssuppose des tableaux régionaux d’input-output avec des conventions decausalité entre réalisations et premiers résultats. On ne décrit pas sur lemode probabiliste les liens entre résultats et impact synthétique? Laméthodologie proposée dite STEMA (Sustainable Territorial EnvironmentalManagement Approach) porte bien sur la reconnaissance des effetspotentiels générés par des actions politiques mais n’est pas entièrementconvaincante.

• Quels sont les indicateurs clés des dynamiques et de la cohésionterritoriales ?

• Comment se situent les régions françaises, dans Quels zonages et

13

• Comment se situent les régions françaises, dans Quels zonages etpérimètres associés aux politiques d’aménagement du territoire ?

• A quels zonages appartient ma commune ?

• Quelles spécificités des territoires littoraux ?

• Quelles évolutions marquantes dans les domaines de ladémographie, de l’urbanisme, des activités économiques(agricoles, touristiques, industrielles…), de la protection des espacesnaturels ?

• l’Union européenne ?

Les difficultés de conception des Indicateurs d’impact

• Les indicateurs (en valeur absolue ou en valeur comparée aux cibles visées) sont poséssur les réalisations, sur les résultats.

• Quand ils sont posés sur les cibles d’objectifs synthétiques (indicateurs d’impactterritoriaux).

• Attention, les premiers sont « certains », les suivants ne valent que par les conventionsd’imputabilité. Les derniers, les plus synthétiques ne sont que des présomptions depreuve d’efficacité ou d’impact.

14

• On a ainsi différents indicateurs, plus ou moins fiables, avec un degré de confiance plusou moins élevé :

o Les plus fiables si il y a un bon suivi de gestion sont les Indicateurs de simplesréalisations, les réalisations étant codées par rapport aux objectifs opérationnels.On peut leur associer des Indicateurs de coûts humains et budgétaires desréalisations.

o Les Indicateurs de résultats ne valent que ce que vaut l’hypothèse d’ imputabilitéo Les Indicateurs synthétiques d’impact potentiel sont plus ou moins fiables!

Conseil : commencer par le moins ambitieux : les résultats directement

imputables à des réalisations effectives,

15

imputables à des réalisations effectives,

puis les familles de résultats,

établir alors des profils de résultats par territoire,

comparer les profils de résultats selon quatre ou cinq critères de résultats,

ensuite comparer les évolutions de ces profils sur un même territoire,

ne construire une évolution d’indice synthétique d’impact qu’en dernier

recours!

Pour les résultats, des innovations existent.

Voici des propositions pour l’évaluation des résultats chemin

faisant :

16

faisant :

• évaluation quasi-expérimentale, on considère des groupes de

bénéficiaires avant et après le programme sur un territoire

• évaluation expérimentale, on considère une population

bénéficiaire tirée au hasard et on compare à un groupe témoin

(contrefactuel)

suivre des résultats dans plusieurs dimensions de résultats à

l ’échelle du territoire : ceci est l’esprit aujourd’hui des PPP en

développement durable.

Ces PPP DD sont expérimentés en situation de risque,

17

d’incertitude et quelquefois par application du simple

principe de précaution.

Il y a plusieurs objectifs (donc 5 critères de valorisation des résultats):

contribution à la modération du changement climatique, à l’économie des

ressources et à la protection des milieux, à la réduction des circuits de

production et de consommation, assurer une meilleure gouvernance

territoriale, développer l’humain.

Indicateursimple

Indicateurcomposite

Informations

disponibles

Informations

disponibles

RRééalisationsalisations RRéésultatssultats ImpactsImpacts

18

TableauTableau

de bordde bord

CritCritèère uniquere uniquede synthde synthèèsese

• Une grande majorité des indices actuellement utiliséssont non seulement des données de contexte choisiescomme « proxies » d’indicateurs de résultats despolitiques publiques et des programmes mais sontconstruits sur la base d'une moyenne arithmétiquepondérée des indicateurs de base.

• Il existe cependant d’autres manières de faire desindicateurs de synthèse. Voir par exemple, les indices

19

indicateurs de synthèse. Voir par exemple, les indicessynthétiques de « bonne gouvernance » de la Banquemondiale. Tout cela concourt ensuite à des classements!

Daniel, Kaufmann, Kraay Aart, and Mastruzzi Massimo.“Governance Matters VII: Aggregate and IndividualGovernance Indicators.” World Bank Policy ResearchWorking Paper, no. 4654 (2008).<http://ssrn.com/abstract=1148386>

DDééveloppementveloppementHumainHumain

1/31/3

1/31/31/31/3

Arbre des valeursArbre des valeurs

20

EducationDurée de vie Niveau de vie

Espérance devie à la

naissance

Taux descolarisationdes adultes

Tauxd’alphabétisation PIB

1/31/3 1/31/32/32/3 1/31/3IndicateursIndicateurs

• On se situe dans la dimension des objectifs stratégiques, mais c’est un impact ou uneutilité qui peut résulter d’un effet-système (avec beaucoup de causes entremêlées).

• C’est l’indicateur le plus compliqué à produire, attention à ne pas prendre ses désirspour des réalités ; on peut cependant se contenter d’approximations à condition derecouper les « proxies ».

Reconnaître les difficultés d’obtenir un Indicateursynthétique d’impact et d’utilité

21

• Exemple 1 : l’effet-emploi d’un ensemble de programmes locaux dans un quartier surplusieurs année : il y a plusieurs causes, des synergies entre les causes, des effets quise compensent et donc des programmes sans effet net global (notion d’intégralefloue, cf. intégrale de Choquet).

• Exemple 2 : l’utilité sociale a besoin d’être précisée au niveau fin, utilité pourqui, utilité en quel sens, dans quelle dimension exacte (bien être, réduction desinégalités, acquisitions de droits, développement des domaines de libertés d’action)

Indicateur d’impactdes actions ainsi mises en œuvre

AgrAgréégation de diffgation de difféérentesrentesththéématiques, dimensionsmatiques, dimensions

de la durabilitde la durabilitéé

Indicateur composite

Objectif stratObjectif stratéégiquegique

Loi de composition de lLoi de composition de l’’indice compositeindice composite

22

Indicateurs simplesIssus des réalisations et résultats

AgrAgréégationgationdes variablesdes variablespour formerpour formerun indicateurun indicateur

AgrAgréégation degation demodulesmodules

dd’é’évaluationvaluationpour unepour une

ththéématiquematique

Indicateur composite

Objectifintermédiaire 1

Objectifintermédiaire 2

Objectifintermédiaire 3

Objectifopérationnel 1

Objectifopérationnel 2

Objectifopérationnel 3

… … Objectifopérationnel k

Loi de composition de lLoi de composition de l’’indice compositeindice composite

Loi de composition de lLoi de composition de l’’indice compositeindice composite

Indicateursimple

Indicateurcomposite

Informations

disponibles

Informations

disponibles

RRééalisationsalisations RRéésultatssultats ImpactsImpacts

23

simple composite

TableauTableau

de bordde bord

CritCritèère uniquere uniquede synthde synthèèsese

D’où l’idée d’être moins ambitieux : de dialoguer sur des grappes derésultats plus « locaux », moins systémiques mais en phase avec un indiceplus systémique (par exemple, convergence de résultats dans les cinqdimensions du développement durable).

24

Exemple : Conseil général du Finistère.

Agenda 21 orientation stratégique développement durable.

Enjeu des indices composites(ou synthétiques)

Indicateurs de réalisations

Indicateurs derésultats utilisablessoit en évoluion dansle temps soit pour

Objectifs intermédiaires

Objectifs stratégiques

Problématique - Enjeux

Objectifs opérationnels

Objectifs intermédiaires

Objectifs stratégiques

Problématique - Enjeux

Plan d’actions 1

Plan d’actions 3

Plan d’actions 2

Gouvernance

ClimatEnvironnement

NotationExtrafinancière

Bilan carboneEmpreinte écolo.

Ou

tils

de

su

ivi

-évalu

ati

on

25

Tableaux de bord

Mesure desrésultats etimpacts desobjectifs etactions de l’A21

Indicateurs d’impactsPlan d’actions 4

Plan d’actions n

Baromètre del’impact del’action durable duCG

Indices composites

Education etSocial

Economie

Indice d’accèset d’équitésociale

Quels résultats?

II-

Ou

tils

de

su

ivi

Savoir faire des comparaisonsde profils de résultats dans le temps

26

• Choisir un territoire, ses enjeux, ses politiques et ses programmes,

• Continuer à développer les observatoires et à faire les meilleuresstatistiques de données locales et régionales de contexte

• Installer le management stratégique des programmes et le suivi desréalisations-premiers résultats imputables

En résumé

27

réalisations-premiers résultats imputables

• Poser les moyens d’aller plus loin : évaluation des résultats, desgroupes de résultats, travailler sur les profils de résultats et leurévolution, ne pas se précipiter trop tôt sur les conventions d’indicessynthétiques d’impact territorial…

• Ne pas mettre les territoires en compétition!

André S., Roy B. (2006), « Conception et mise en place d’un outil d’évaluation de la performance environnementale »,Journal of Decision Systems, Volume ?? –

André S., Roy B. (2006), « Evaluation de la performance environnementale de sites industriels : démarche de concertationpour la mise en place d’un outil d’aide multicritère à la décision », cahier du LAMSADE

Baslé, Maurice, Huaulmé, Maud (2008). How to get and analyze Impact composite indexes for European programs andpublic policy monitoring and evaluations, in International seminar on impact evaluation of structural funds, Madrid 2008Session one, New theoretical issues on Impact Evaluation.

Baslé, Maurice (2008), Economie, Conseil et Gestion publique. Suivi et évaluation de politiques publiques et deprogrammes. Economica, 2008.

Gadrey J. (2002), « De la croissance au développement : à la recherche d’indicateurs alternatifs »

Grabisch M. (2006), « L’utilisation de l’intégrale de Choquet en aide multicritère à la décision », European Working GroupMultiple Decision Aiding, Séries 3, n°14

Daniel, Kaufmann, Kraay Aart, and Mastruzzi Massimo. “Governance Matters VII: Aggregate and Individual GovernanceIndicators.” World Bank Policy Research Working Paper, no. 4654 (2008). <http://ssrn.com/abstract=1148386>

Sandhu-Rojon R. (2003), « Selecting indicators for impact evaluation », PNUD, Partners in Development Evaluation, Paris(http://www.minefi.gouv.fr/fonds_documentaire/TRESOR/cicid/atelier/contrib/29.pdf)

European Commission (2005), « Impact Assessment Guidelines », SEC (2005) 791.

28

Maurice Baslé

CREM CNRS Université Rennes 1

European Commission (2005), « Impact Assessment Guidelines », SEC (2005) 791.(http://ec.europa.eu/governance/impact/docs/SEC2005_791_IA%20guidelines_annexes.pdf)

European Commission (2008), « Impact Assessment Guidelines », XXXX 2008, Revised annexes – draft version 27 May2008, p. 59 (http://ec.europa.eu/governance/impact/consultation/docs/ia_guidelines_draft_annexes_final_en.pdf)

ONU (Organisation des Nations-Unis), Action 21, Chapitre 28, « Initiatives des collectivités locales a l'appui d'action 21 »(http://www.un.org/french/ga/special/sids/agenda21/action28.htm)