Vermeulen Frank, Cadrage de l'evaluation des politiques publiques 2013

© FVA Management 11/04/2013 – CNFPT - Collectivité Territoriale Corse / Evaluation des politiques publiques t

Page 1

Cadrage de l’évaluation des politiques publiques locales

Frank VERMEULEN Hôtel de la Collectivité Territoriale de Corse

Ajaccio, 11 Avril 2013

Ce support pédagogique est la propriété exclusive de FVA Management. Il ne saurait refléter tous les éléments exposés sans les explications verbales appropriées Toute reproduction à usage commercial est strictement interdite.

© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques

Cadrage de l’évaluation des politiques publiques

Quoi ? Pourquoi ? Quelles attentes? Quels bénéfices?

Quelques repères historiques de l’évaluation des politiques publiques

Les critères d’évaluation de la performance de l’action publique (efficacité, pertinence, efficience, cohérence, ...)

Comment concevoir, suivre et valoriser les retombées de l’évaluation des politiques publiques ?

L’arbre des objectifs… ou la « forêt des performances » ?

L’avenir de l’évaluation en France : bilan et perspectives

2


Page 2


Qu’est-ce qu’une politique publique ?

Un système complexe ensemble de mesures concrètes, d’actions coordonnées,

mises en œuvre par des administrations, institutions publiques / privées

poursuivant des objectifs, buts,… finalités (enjeux de société)   Formation   Sécurité   Transport   Solidarité et cohésion sociale   …

Un public (des ressortissants) territorial / sectoriel

décisions de nature plus ou moins autoritaire, explicite (justice, police) ou latente, incitative (aides, subventions,…) pour modifier une situation

des ressources / moyens : Impôts, Dotations budgétaires, Taxes dédiées, ETP

un cadre général (référentiel), ou théorie d’action (approches cognitives)

3


Le cheminement linéaire d’une politique publique

C 1 : Identification du problème de société (politisation)

C 2 : Développement de la politique du programme, des actions et/ou des dispositifs de l’action publique, décision correspondante

C 3 : Mise en œuvre (test, expérimentation, déploiement)

C 4 : Suivi, Pilotage, Evaluation

C 5 : Terminaison (situation souhaitée, problème de société résolu)

C 1 Situation insatisfaisante Problème à résoudre

C 2 Idées/Solutions Conception Développement Décision

C 3 Test Expérimentation Mise en œuvre

C 4 Suivi Pilotage Evaluation

C 5 Situation souhaitée Problème résolu

Figure 1 : Représentation du cheminement séquentiel ou linéaire d’une politique publique (d’après Jones, 1975)

4


Page 3

© FVA Management 11/04/2013 – Collectivité Territoriale de Corse – Cadrage de l’évaluation des politiques publiques 5

Evaluer l’action publique : quelques définitions

« Reconnaître et mesurer les effets propres d’une action publique » (rapport Deleau, Plan 1985)

« Former un jugement sur sa valeur » (Patrick Viveret, 1989; 1991)

« Évaluer une politique publique consiste dans le fait d'apprécier les effets attribuables à une intervention gouvernementale dans un domaine spécifique de la vie sociale et de l'environnement physique. » (Meny & Thoenig, 1989)

« Evaluer les politiques publiques consiste à mesurer les effets qu’elles engendrent et à rechercher si les moyens juridiques, administratifs ou financiers produisent les effets attendus de cette politique et d'atteindre les objectifs qui lui sont fixés (décret n°90-82 du 22 janvier 1990)

L’évaluation doit se préoccuper de « l’utilité, de la mise en œuvre, de l’efficacité et de l’efficience des mesures qui ont pour but d’améliorer le sort des membres de la société » (Freeman et Rossi)


L’évaluation : LA solution à tous les défis ?

Mieux rendre compte (transparence)

Juger la valeur, l’utilité de l’action publique

Eclairer les choix (ajustement et aide à la prise de décision)

Elever le niveau de connaissances sur l’action publique (cognitif)

Objectiver le processus de mise en œuvre de l’action publique

Créer et entretenir l’esprit d’équipe

Renforcer les partenariats

Améliorer la compréhension réciproque par le dialogue

Accroître la visibilité de l’action (faire connaître au public)

Innover par de nouvelles pratiques de management

Développer la culture du résultat (efficacité, efficience,…)

Intelligence politique et démocratie participative


Page 4


4 attentes majeures vis-à-vis de l’évaluation (1/2)

1 - Mesurer « objectivement » …les résultats par rapport aux objectifs prédéfinis, le degré d’efficacité des pratiques, la pertinence d’un dispositif décidé par plusieurs partenaires, l’impact des actions sur les territoires en fonction des moyens humains et financiers alloués, la satisfaction des bénéficiaires, la performance, etc.

2 - Améliorer les performances de l’action publique …apprécier les mesures correctives nécessaires, les processus ou les actions nouvelles à créer, permettre d’ajuster certaines actions à partir d’une photographie de ce qui fonctionne ou non, pour orienter la décision, adapter l’action en permanence, obliger les financeurs à mieux définir les objectifs (souvent trop vagues, trop floues) et permettre ainsi de mieux mobiliser les ressources, améliorer l’économie des moyens d’une politique / action publique, mettre en œuvre, en cas d’écart, des actions correctives, voire anticiper le changement, etc.

7


4 attentes majeures vis-à-vis de l’évaluation (2/2)

3 - Comprendre, fédérer, utiliser un langage commun …utiliser les mêmes mots, au service des acteurs et partenaires de l’action publique, mettre en commun nos réflexions sur la manière de conduire les actions, utiliser un vocabulaire commun avec les termes usuels en matière d’évaluation et de pilotage de l’action publique, connaître la réalité du terrain, mettre en parallèle les actions avec la politique (nationale, régionale, départementale, communale,…) dans une démarche partenariale et de concertation avec les différents acteurs, connaissance opérationnelle de la politique publique, porter un regard différent sur les actions de la collectivité, etc.

4 - Sens, déontologie, éthique de l’action publique …répondre de façon « juste » au public final, savoir…à quoi sert l’action, à quoi je sers? apporter des éléments de preuve, savoir quelle solidarité il s’agit de développer, prendre en compte la dimension « humaine », rendre compte, assurer la conformité entre l’action publique et le(s) discours politique


Page 5


L’espace évaluatif selon les pratiques

Information incomplète, connaissances limitées,

prise en compte des stratégies d’acteurs

tout au long du cycle de vie des politiques publiques

PLURALISTE

MANAGERIALE GESTIONNAIRE

ÉCONOMÉTRIQUE

Usage Externe

Usage Interne

Information complète totalement maîtrisée Capacité de calcul illimitée au service

d’un décideur unique

Figure 2 : L’espace de l’évaluation d’une politique publique selon les types de méthodes 9









10


Page 6


Les origines scientifiques de l’évaluation

Naissance des méthodes de gestion scientifiques (OST) dans l’industrie au début du XXème siècle

  Rationalisation du travail et production de masse (Fayol, Taylor)   Standardisation en réponse aux exigences d’un mode de production universel   Application méthodique d’un savoir scientifique et technique en pleine expansion

Mesure (statistique) des variations (défauts) dans le temps et leur classement selon leur profil de distribution (diagramme de Pareto)

Dans cette perspective positiviste, évaluer c’est mesurer scientifiquement l’effet d’une politique en observant l’évolution des variables d’impact pour deux échantillons statistiquement comparables : bénéficiaires / non bénéficiaires (expérimentation)


La filiation anglo-saxonne des pratiques évaluatives

La première vague démocrate des années d’après-guerre (1960 – 1970) Trente Glorieuses : lutte contre la pauvreté, aide sociale, etc….et l’évaluation comme moyen d’y remédier en attribuant les ressources aux programmes jugés les plus pertinents

La seconde vague conservatrice (à partir des années 1980) L’arrivée au pouvoir de R. REAGAN et M. TATCHER : Crise fiscale, budgétaire, révolution libérale conservatrice qui inversent l’usage de l’évaluation pratiquée sous L. JOHNSON Accountability (imputabilité, redevabilité,…rendu de compte), Value for money (New Public Management au Royaume-Uni)

Les facteurs culturels favorables à l’évaluation aux USA Concurrence entre le pouvoir législatif et exécutif => Congrès / Président Rivalité permanente entre pouvoirs => espace pour un marché de l’évaluation Faible légitimité de l’action publique exigeant d’apporter => la preuve de l’efficacité Orientation behaviouriste des sciences sociales => modélisation Recherche systématique d’avantages tangibles => techniques quantitatives ++

PPBS (Planning Programing Budgeting System) Outil de contrôle et d’optimisation des dépenses publiques (Guerre du Vietnam) adopté en France (années 1970) sous l’acronyme de Rationalisation des Choix Budgétaires (RCB)


Page 7


Rationalisation des choix budgétaires (1970 – 1984)

Objectifs Plans stratégiques

Budgets Programmes

Plans opérationnels

Spécifications opérationnelles

Actions

P l a

n i

f i c

a t

i o n

C o

n t

r ô l

e

13


L’évaluation : avatar de la planification ? *

La RCB ou la rationalisation des choix budgétaires (1970-1984)

Développer la planification budgétaire et l’évaluation ex-ante

Fonder les décisions sur une prévision des impacts socio-économiques

Déclin de la planification après le 7ème plan (Rapport du groupe Delau)

Rapport Viveret : « Evaluation des politiques et des actions publiques »

Le « Renouveau du service public » lancé par le gouvernement Rocard

Décret du 22 janvier 1990, instaurant l’évaluation interministérielle des politiques dans le but de « Faire de l’évaluation un élément central de la prise de décision gouvernementale et du débat démocratique »

Trépied de l’institutionnalisation du dispositif

  Comité interministériel de l’évaluation (CIME)

  Commissariat général du Plan (CGP)

  Conseil scientifique de l’évaluation (CSE)

Fonds national de développement de l’évaluation (FNDE)

* cf. « L’évaluation des politiques publiques, avatar de la planification » Thèse de Vincent SPENLEHAUER, 8 décembre 1998


Page 8


Les initiatives institutionnelles successives

Nouveau décret en 1998 (n°98-1048) relatif à l'évaluation des politiques publiques suite aux difficultés du CIME soulignées par le CNE et le Sénat

La difficulté pour les ministres de passer d’une simple intention d’évaluer à une véritable projet d’évaluation (…) soulevant la question du niveau de «culture de l’évaluation des administrations» La réticence des administrations de se rendre transparentes

Un petit nombre d’évaluations, des travaux sans enjeux ? Sans publics ? Sans moyens? Sans sanctions ?

La LOLF (votée en 2001, entrée en application depuis 2006) Rendre l’analyse du PLF plus facile pour l’AN : Mission, Programme(s), Action(s), Indicateur(s) Mais des indicateurs souvent «hors sol» par manque de réflexion stratégique en amont du PLF

Décret du 6 juillet 2008, abrogeant le décret de 1998 Article 1 - L'évaluation d'une politique publique, au sens du présent décret, a pour objet d'apprécier, dans un cadre interministériel, l'efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre.

Secrétariat d’État à l’évaluation, à la prospective et à l’économie numérique (Eric Besson, 2007)

Décret du 30 octobre 2012 donnant naissance au SGMAP (MAP, CIMAP), une nouvelle tentative d’institutionnalisation de l’évaluation ?


L’influence des institutions internationales

La Commission européenne Évaluation des programmes de recherche dès 1960

Création en 1983 d’une unité spécialisée dans l’évaluation à la DG 12

Politiques de développement régional et fonds structurels (FEDER, FEOGA, FSE)

Directive de juillet 1993 prévoyant l’obligation de l’évaluation (ex-ante; ex-post)

La Banque mondiale et l’aide au pays en développement Mc Namara (facteur ∏) : mise en place de la fonction évaluation en 1970 - OED (Opérations Evaluation Department) sous l’autorité d’un directeur général

Evaluation de projets, programmes-pays, politiques au niveau mondial ou régional

Les évolutions des modes et critères d’évaluation Vers l’association des bénéficiaires d’une politique, programme, dispositif à son évaluation

Place croissante de nouvelles dimensions à prendre en compte :   sociales

  environnementales   institutionnelles   culturelles…(capital social, situation hommes/ femmes, diversité,…)

Les indicateurs alternatifs au PIB (PNUD, WWF, HPI, IDH,…)


Page 9


Freins et résistances à l’évaluation en France

Les pouvoirs publics constitutionnels Le rôle du Parlement, malgré la dernière réforme constitutionnelle

Les politiques contractuelles et les fonds structurels européens

Le rôle de la Cour des Comptes et du ministère du Budget

La LOLF, culture du résultat ou culte des indicateurs ?

Les défaillances de l’organisation administrative et du marché Une activité spécifique ou généraliste ?

Un champ professionnel éclaté

Une qualité méthodologique inégale

Des rapports ambiguës entre évaluateurs et évaluation (évalués ?)

Une activité à la recherche d’une identité

Le poids de la «science étatique» et les facteurs culturels Les grands corps incompatibles avec l’esprit d’évaluation?

Un regard citoyen insuffisamment critique à l’égard du « bien commun »

Un manque d’intérêt des français pour la gestion des dépenses publiques

La polémique sur les indicateurs d’activité des parlementaires au moment de la loi Hadopi

Une faible confiance interpersonnelle et dans les institutions


Confiance interpersonnelle et dans les institutions


Page 10


Tolérance à l’égard des comportements de fraude









20


Page 11


Les critères d’évaluation d’une politique publique

l’efficacité les résultats sont-ils conformes aux objectifs fixés ?

la pertinence les objectifs sont-ils adaptés aux enjeux (problèmes) de société identifiés, aux buts poursuivis, aux orientations et à la finalité de l’action publique?

l’efficience les ressources sont-elles bien utilisées? les résultats sont-ils à la hauteur des moyens prévus / effectifs ?

la cohérence les moyens sont-ils adaptés aux objectifs fixés? Les différents objectifs sont-ils cohérents entre eux ? les différentes actions sont-elles cohérentes entre-elles ?

l’impact les conséquences (médiates) de l’action publique sont-elles bénéfiques au point d’avoir modifié la situation (insatisfaisante) initiale?


Le modèle de base de l’efficacité

OBJECTIF(S)

Figure 3 : Le modèle de base de la mesure de l’efficacité ou « goal model »

Evaluation

RÉSULTAT(S)

Impacts Effets

Réalisations Politique / Projet / Programme / Action

EFFICACITÉ

Enjeux de société

PROBLÈMES IDENTIFIÉS,….FINALITÉ(S) ?


Page 12


Qu’est-ce qu’un objectif ?

Un objectif = résultat à atteindre, traduit en termes SMART (spécifique, mesurable, acceptable/accepté, réaliste, temporalisé), par exemple:

Enjeu : retour à l’emploi difficile pour les bénéficiaires du RMI/RSA

Objectif(s) : assurer 550 retours à l’emploi personnes / an

Actions: - mettre en place une équipe d’aide au retour à l’emploi

- ateliers de redynamisation des personnes les plus éloignées de l’emploi

- etc.

Résultat(s) : nb de personnes placées (objectif 550/an / taux de placement

RMIstes/Jeunes, taux de maintien en emploi, etc.) = permet de « mesurer » si

l’objectif est atteint

Indicateur : un abrégé de la réalité (par convention = accepté) Quantitatif (indicateurs de réalisations, résultats, coûts/délais, effets/impacts )

Qualitatif (critères et registres de jugement)

Horizon temporel (immédiat / médiat)


Problématique des travailleurs pauvres

Retour à l’emploi difficile pour les bénéficiaires du RMI/RSA

Un accompagnement inopérant car non adapté

Prendre en compte les besoins des employeurs

Remobiliser les bénéficiaires les plus éloignés de l’emploi

Mise en place d’une équipe emploi

Accompagnement personnalisée ent.

Ateliers de redynamisation

Clauses d’insertion

Définition de trois parcours d’insertion

Evaluation

Mettre en œuvre le RSA

Organiser les parcours d’insertion

Former les bénéficiaires du RMI

Redéfinir les pratiques

professionnelles

Exemple d’une politique d’aide à l’insertion

Figure 4 : Extrait de la carte des objectifs d’une politique d’aide à l’insertion

Enjeux politiques Objectif(s) Action(s) Evaluation

24

nb de personnes placées (objectif 550/an / taux de placement

Assurer 550 retours à l’emploi parmi les

bénéficiaires les plus proches de l’emploi


Page 13


La direction par objectif (D.P.O. et D.P.P.O.)

Les objectifs : une réalité objective (fixées par un acteur unique) ou un construit collectif, où convergent pressions internes et externes ?

« Objectifs officiels », « objectifs stratégiques », « objectifs spécifiques », « objectifs effectivement poursuivis , « objectifs opérationnels » (Perrow, 1961)

Les objectifs évoluent avec le temps : interactions avec l’environnement, changements internes, pressions indirectes (conjoncture, technologies, législation…crises et mutations)

Comparer les résultats à des objectifs : un « objectif très difficile » Relativité sociale des objectifs <=> diversité et caractère contradictoire des objectifs / critères

A quel horizon temporel ? Court terme <=> Long terme ?

Effets propres <=> effets externes (événements, acteurs, autres politiques)

Quels usages / utilités de la Direction (participative) par objectifs ? Inciter les membres de l’organisation à préciser les objectifs, buts, enjeux, …finalités Guider les membres de l’organisation dans l’aide à la décision et le pilotage

Fournir des critères d’évaluation / réajuster l’action

Qui juge en dernier ressort de l’efficacité par rapport à quels objectifs ?


Le système de prospective, pilotage et évaluation

Figure 5 : Les interactions entre prospective, pilotage et évaluation des politiques publiques

26


Page 14









27


Objectifs

Diagnostic"Scénarios

Impact"

Figure 6 : Description fonctionnelle du cycle de vie des politiques publiques

Baromètre"

28


Page 15


Exemples de pratiques voisines de l’évaluation

Audit / Diagnostic Consiste à vérifier objectivement et de manière indépendante le degré de maîtrise des risques des opérations ; le plus souvent ponctuel dans les CT, sur un service, un aspect de la politique, un projet, sur un partenaire, comme une société d’économie mixte; les CRC sont les auditeurs externes de l’audit des comptes

Prospective Démarche qui vise à anticiper l’avenir en élaborant des scénarios sur la base de l'analyse des données disponibles : états des lieux, tendances lourdes, phénomènes émergents, analyses rétrospectives et observatoires qui tendent à se multiplier dans les domaines les plus variés (économiques, sociaux, environnementaux, humains,…).

Contrôle interne A la différence de l’audit, le contrôle interne n’est pas un service mais un ensemble de dispositifs permanents pour assurer la conformité, la régularité,…et plus généralement la qualité des services au meilleur coût

Contrôle de gestion Peut être défini comme un système de pilotage mis en œuvre par un responsable de service (programme,…) en vue d’atteindre les objectifs préalablement fixés. Il permet de mesurer la performance des services internes comme ceux rendus dans le cadre de partenariats, par exemple dans le cas du suivi d’une délégation de service public.

29


Distinctions entre l’évaluation et ses figures voisines

Fonctionnement d'une Organisation

Action de changement

Système d'information périodique

Investigations ponctuelles

Etudes ad hoc

(I) Système formel

de contrôle de gestion

(II) Contrôle de projet,

monitorage de programme

(III) Audit managerial

ou organisationnel ou évaluation

d'une structure

(IV) Evaluation

de politique ou de programme

Figure 7 : L’évaluation et ses figures voisines (Patrick Gibert, 2005)

30


Page 16


Distinctions entre le suivi et l’évaluation

SUIVI PHYSIQUE ET FINANCIER

Périodique, régulier

Implique justesse des programmes, projets, actions…et indicateurs

Suit les progrès réalisés par rapport à

un nombre limité d’objectifs ou

d’indicateurs (réalisation, résultat,..)

Généralement quantitatif

Alimenté par des données régulièrement et/ou facilement collectées

N’indique pas les causes

Difficile à utiliser pour évaluer l’impact

Généralement interne

EVALUATION

Episodique (diachronique)

Peut aborder une large gamme de problèmes/ questions posés par une politique, un programme un projet, une action

Identifie ce qui s’est passé à la suite d’une intervention et fournit des conseils pour les actions futures

S’intéresse aux questions du type « pourquoi » et « comment »

Grande variété de méthodes de recherches quantitatives et qualitatives

Peut utiliser des données provenant de différentes sources

Cherche à identifier les impacts et les effets prévus / imprévus

Généralement externe (tiers évaluateur)


Cycle de vie et moments d’évaluation d’une politique

Ex-ante Feasibility Evaluation

Programme Design

Policy Formulation

Ongoing / Mid term Evaluation

Programme Implementation

Policy Delivery

Figure 8 : Policy, programme and evaluation cycles (The Guide, Tavistock Institute, 2003)

Ex-post /Results Evaluations

Programme Conclusions

Policy Review

32


Page 17


Conception, suivi et évaluation d’une politique

CONCEPTION ET DEMARRAGE

DU PROGRA M M E

SUIVI PHYSIQUE ET FINANCIER

EVALUATION

Temps de la

conception

Temps de l’action Etape 1 Etape 2 Etape 3 Etape 4

Référentiel

Mise en place des

indicateurs

Réalisation Résultat Effets

intermédiaires

Impact final

Arbr e des

Objectifs

Théorie d’action

Définit ion des

indicateurs

Nature des

interventions

Actions mises en

œuvre sous le

contrôle direct du

gestionnaire

Effets directs

immédiatement

perceptibles par le

gestionnaire

Effets sectoriels ou

spécifiques

visibles à moyen

terme

Impacts globaux à

long terme,

justifient le

programme

Renseignement des indicateurs

Tableau 1 : Conception, suivi et évaluation d’une politique publique (IGAS, D. Rigaud, 2006)


Choisir entre l’évaluation formative ou sommative ?

Au cœur de l’évaluation de l’efficacité ( R. Hall) Evaluer l’efficacité organisationnelle implique de reconnaître la pluralité des acteurs, des points de vue, des contraintes, des contradictions.

Aspects centraux de l’évaluation de l’action publique (E. Monnier) Quel(s) usage(s) de l’évaluation ?

Conditions d’appropriation par les acteurs ?

Dimension « cognitive » ou « formative », non pas tant entre l’expert « évaluateur » et les différents acteurs, qu’entre les acteurs eux-mêmes (rôle de « maïeutique » et « médiateur » animant un jeu politique), visant à :

  Produire des compromis acceptables en matière de jugements

  Assurer la légitimité des conclusions

Antagonisme entre ces deux approches d’évaluation (Scriven) Évaluation formative (obligation de résultat) : une évaluation « démocratique » dont les acteurs et la décision seraient aussi informés et formés que possible

Évaluation sommative : voisine de la « sociologie critique », pouvant induire qu’aucun compromis n’est possible entre certains critères et certaines valeurs concurrentes


Page 18


Les méthodes d’évaluation

Discerner et agir de manière éclairée Quelles sont les questions posées (par le commanditaire, sponsor, situation, changement,…?)

Quelles sont les informations crédibles, disponibles et compréhensibles

Comment nourrir des jugements fondés sur des arguments (légitimes)

Deux niveaux de méthodes   Les principes méthodologiques et déontologiques de la démarche relatifs

  au « management politique et organisationnel »

  à l'élaboration et la conduite du projet d'évaluation, cadre conceptuel dans lequel devra s'inscrire le travail de rassemblement des données, leur analyse et leur interprétation

  Les méthodes de recherche en sciences humaines applicables à l'étude et l’évaluation des politiques publiques à l’aide de l'ensemble de la « boite à outils »

  du statisticien

  de l'économiste

  du juriste

  du sociologue

  du géographe

  du politologue

  voire du psychologue, psychosociologue, de l'anthropologue, l'historien…


Exemples de questions préalables à l’évaluation

A quoi servira l’évaluation ?   Avant même la mise en place d’une démarche d’évaluation ou de choisir des indicateurs, il

convient de réaliser un travail de clarification de l’objet et des finalités de l’évaluation.

A qui est-elle destinée ?   Les acteurs concernés, selon leur rôle, leurs responsabilités n’ont pas nécessairement tous

les mêmes attentes à l’égard de l’évaluation. Quels sont les objectifs ? Lesquels retenir ?

Que souhaite-t-on évaluer, selon quels critères ?   Efficacité   Efficience   Cohérence   Pertinence   Impact   …

Quelle démarche d’évaluation ?   l’évaluation formative : aider les acteurs à analyser les changements intervenus ou

souhaités pour améliorer le processus de pilotage stratégique

  l’évaluation sommative : mesurer dans quelle mesure les résultats atteints sont conformes aux résultats escomptés, sans gommer les divergences / conflits éventuels


Page 19


Projet, mandat, cahier des charges

Le projet d'évaluation L'ensemble des réflexions (émergence du besoin, demande, acteurs,…) qui précèdent la phase de collecte et de traitement des informations pour l’évaluation proprement dite.

Le mandat d'évaluation Document par lequel le commanditaire confie officiellement (lettre de mission) la responsabilité de l'évaluation à un évaluateur (individu ou organisme), ou à une instance d'évaluation (en la personne de son président).

Le cahier des charges (aussi nommé CCTP) Parfois employée pour désigner le projet ou le mandat. Il vaudrait mieux lui conserver son sens précis de document servant de base à une relation contractuelle entre le commanditaire d'une étude spécifique et un opérateur (conseil, formation, expertise en accompagnement de la démarche d’évaluation).


Phase 1 : projet d’évaluation

Identifier les acteurs de l’évaluation   Qui demande l’évaluation ?   Qui décide de l’évaluation ?   Qui finance l’évaluation ?   Qui effectue l’évaluation ?   Qui valide les étapes et les conclusions ?

Sociogramme des parties prenantes de la politique

Formaliser le référentiel   Définir la finalité et les contours de la politique (programme, action, dispositif)   Préciser la finalité de l’évaluation   Déterminer les hypothèses de départ (arbre des objectifs, théorie d’action)   Choisir les normes/critères de référence de l’évaluation   Choisir les modes de communication autour de l’évaluation

Rédiger les questions évaluatives


Page 20


Exemple : aide régionale à l’apprentissage (THR)

Quelle est l’efficacité du dispositif THR?

Quelles sont les inégalités dans l’attribution de l’aide à la mobilité des apprentis, leurs causes et les manières d’y remédier ?

Quelle est la lisibilité dans l’utilisation de l’aide apportée par la Région ?

Quelle est la visibilité de la Région dans l’attribution de l’aide apportée auprès des apprentis et du grand public?

Quels sont les trois scénarii d’évolution envisageables pour remédier aux problèmes identifiées? Selon quelle démarche et avec quel plan d’action ?


Exemple : Développement durable et Agenda 21*

Le projet territorial permet-il d’approfondir la connaissance en matière de cohésion sociale et de solidarités sur le territoire ?

Le projet territorial favorise-t-il la cohérence des politiques publiques au service de la cohésion sociale et territoriale ?

Le projet territorial vise-t-il à renforcer le lien social entre les habitants ?

Le projet territorial intègre-t-il une stratégie volontariste en terme de lutte contre les précarités ?

La stratégie territoriale intègre-t-elle une ambition en termes de coopération entre territoires au service de la cohésion sociale et des solidarités ?

* D’après le référentiel national d’évaluation des projets territoriaux de développement durable et Agenda 21 locaux


Page 21


Exemple : APA à domicile

Quelle est l’efficacité du dispositif?

Quelle est sa pertinence pour la politique de maintien à domicile?

Quelle est la contribution de ce dispositif à l’emploi dans ce secteur?

Quelle est la cohérence entre les différentes politiques publiques concomitantes (habitat, transport, emploi,…)?


Phase 2 : collecte et traitement des données

Approches quantitatives   Indicateurs de contexte (pertinence de l’action)   Indicateurs de moyens physiques et financiers (cohérence et efficience)   Indicateurs de résultats (efficacité)   Indicateurs d’impacts (effets)

Approches qualitatives   Études de cas   Monographies   Entretiens ouverts et semi-directifs   Enquêtes de satisfaction   Méthode Delphi

Approches participatives   Focus group   Conférence citoyens   Jury citoyens   Ateliers / Workshop   Sondages   Groupes de discussion, Groupes de parole, d’expression


Page 22


La phase 3 : synthèse et recommandations

Elaborer un jugement de valeur   Sur la base des données recueillies

  Au regard des questions évaluatives posées au démarrage (efficacité, pertinence, cohérence, efficience,…)

Formuler des recommandations   Que faut-il changer, remettre en cause ?

  Quel(s) scénarii ?

  Comment conduire les changements proposés ?

Diffuser et exploiter les résultats de l’évaluation   Validation par les élus et les services

  Rôle du comité de pilotage

  Public ?




Eléments historiques de l’évaluation des politiques publiques





44


Page 23


La performance désigne la réalisation, le résultat

Substantif féminin apparu à la fin du XVe siècle dérivée du terme anglais to perform « réaliser, accomplir », issu de l'ancien français parformer, verbe d’action dérivé de former

empruntée à l’ancien français parformance, dont l’usage est attesté en 1571 dans une lettre de Marie Stuart

Depuis le début du XVIIIe siècle, la performance est synonyme de « accomplissement, réalisation, résultats » « l’exécution d'une œuvre littéraire ou artistique », par extension « exécution en public, représentation, spectacle »

« Résultats, actions accomplies par un athlète ou une équipe » (La Revue des Sports, 23 déc. 1876) ; employé également pour un cheval de course » (J. des Haras, XXIII, 191 ds BONN., 1839, p. 105); 1872 sing. (PEARSON, Dict. du sport fr. ds PETIOT); [Terme de Turf.]


Evaluation et critères de jugement de la valeur

Evaluer c’est « mesurer » et « juger la valeur » donc en référence implicite (ou explicite) à des « registres de valeurs », dans lesquels on peut distinguer différentes « familles de critères » et « indicateurs » (Boltanski, Thévenot, 1995, Chiapello, 1999)

  industriel et technique : volumes, opérations techniques élémentaires

  économique et financier : monétaires et financières, concurrence marchande

  domestique : relations interpersonnelles, l’empathie, liens de confiance

  civique : relations sociales fondées sur la légalité, l’égalité, l’équité et la justice

  communication : croyances, opinion publique, notoriété

  Innovation : conception, création, nouveauté et l’introduction de projets innovants

  projet : la flexibilité, l’adaptation, le travail en réseau

A chacun de ces « mondes » ou « registres de valeur » on peut associer des « produits » (résultats) génériques différents, et donc des critères à prendre en compte pour évaluer (l’efficacité, l’efficience,…) la politique publique selon des conceptions différentes de la valeur


Page 24


Exemple d’évaluation d’une aide à l’apprentissage

OBJECTIF(S)

Figure 9 : Application du modèle de base de la mesure de l’efficacité ou « goal model

Evaluation

RÉSULTAT(S)

Impacts Effets

Réalisations

Politique d’aide aux apprentis (THR)

EFFICACITÉ

Faciliter la mobilité des apprentis Assurer une égalité (équité) de traitement Valoriser l’action menée par la Région (visibilité)

Enjeux de société

ENJEUX DE L’APPRENTISSAGE,….FINALITÉ(S) ?


Exemple d’évaluation d’une aide à l’apprentissage

Registres de valeurs

Acteurs

Industriel et technique

Economique et financier

Domestique et relationnel

Règles légales et civiques

Opinion publique

Conseil Régional

Lisibilité ; Facilité et coût de gestion (standardisation et (automatisation)

Maîtrise budgétaire Equilibre financier des CFA

Egalité de traitement

Visibilité de l’aide régionale

Apprentis Caractéristiques des services Accessibilité au service (existence)

Coût de la mobilité vs type prestation Fréquence de paiement de l’indemnité

Liberté de choix de l’usage de l’aide à la mobilité Autonomie

Egalité des droits Visibilité de l’apprentissage Aide à la réussite (insertion professionnelle)

CFA Facilité de gestion (déléguée ou non) Marges de manœuvre en fonction de la taille du CFA

Budget global Financement de la prestation

Adéquation de l’usage de l’aide à la situation locale Vocation CFA, rôle socio-éducatif

Application des règles Sens de l’équité

Visibilité de la promotion des centres d’apprentissage (CFA vs. Lycées ou Niveaux 2 et 1)

Comptabilité Publique

Respect des règles (traçabilité)

Critères d’efficacité

Productivité (coût / résultat)

Compétitivité (qualité / prix)

Proximité (individualisation)

Conformité (égalité / équité?)

Notoriété (renommée)

Tableau 2 : Critères d’efficacité selon les registres de valeur et le point de vue des différents acteurs (F. Vermeulen, 2003)


Page 25


Exemple d’évaluation de (in)satisfaction (EHPAD)

Critères

Acteurs

Techniques L’objet de soins

Marchands L’agent

économique

Domestiques Le sujet

Bénéficiaire - / + Patient (Soins de suite, CS)

- - /+ +

Corrélé aux moyens et en fonction du degré de participation aux dépenses

+ + Résident sensible aux relations

Famille + + Technique Cadre de vie Suivi médical

- -/+ Sentiment de culpabilité

Tutelle ++ Très sensible au registre légal (normes, accréditation, obligations légales, …)

Prescripteurs -/+ Moyens

-/+ Rapports sociaux

Prestataire + + Soignants

+ + Management

- - / + + Selon sensibilité

Tableau 3 : Critères de satisfaction dans un EPHAD selon les différents acteurs et valeurs ( Vermeulen, 2004)


Les conflits dans les objectifs de performances ?

Performance technique

Performance civique

Performance d’innovation

Performance économique

Performance relationnelle

Figure 10 : La foret des performances (Gallouj, F., 2002)


Page 26









51


Bilan de l’évaluation en France

Développement quantitatif (700 évaluations recensées en 2008 ; 1500 en 2012) et qualitatif des pratiques évaluatives en France au niveau national, régional (CPER) et local (Agenda 21)

Professionnalisation de la commande publique et des évaluateurs

Des pratiques voisines, susceptibles de fournir des informations utiles; mais aussi sources de confusion:

l’audit interne / externe

l’inspection générale

le contrôle de gestion

l’audit qualité

le benchmarking, notations

Un thème récurrent dans le discours politique sur l’(in)soutenabilité des finances publiques, créant plus que jamais un climat porteur pour l'évaluation des politiques publiques ?


Page 27


Développer une culture de l’évaluation

Stade 1 Respect des normes et obligations réglementaires / légales

Stade 2 Initiation, apprentissage (concepts, guides méthodologiques, outils) Mise en place d’un chargé d’évaluation et/ou d’une équipe en appui aux services

Stade 3 Décentralisation de l’évaluation dans les unités de collectivité Elévation du niveau de contribution des évaluations à la conception, au pilotage et au réajustement des actions publiques de l’unité

Stade 4 Processus stratégique / programmation pluriannuelle Pilotage stratégique (de la conception au suivi et à l’évaluation)


Quels freins / leviers à la réussite d’une évaluation ?

Mettre en place un dispositif / recourir à une démarche d’évaluation implique que les acteurs et utilisateurs cibles soient sensibilisés à son intérêt, car l’action est a priori plus valorisante que l’évaluation de l’action.

Les utilisateurs potentiels pourraient également être rebutés par une démarche avec laquelle ils ne sont pas familiers.

Enfin, toute évaluation peut être comprise, même si ce n’est pas le but, comme une évaluation des personnes et dès lors susciter des résistances.

Afin de surmonter ces freins - particulièrement prégnants dans le cadre de la mise en place d’un système de pilotage de l’action publique, il est important que les indicateurs soient simples, faciles à utiliser et développés en étroite collaboration avec les personnes concernées par les actions qu’il s’agit d’évaluer


Page 28


Des problématiques persistantes

Le débat sur ce qu'est l'évaluation, et ce qu'elle n'est pas est récurrent car le terme peut être employé de manière très extensive.

Tendance à confondre l'évaluation et la culture du résultat, voire le culte de l’indicateur

Il existe des malentendus : on parle d'évaluation, mais on met en place des mesures qui relèvent du contrôle de l'administration, de la gestion de projet, du monitoring de programmes, de dispositifs de dialogue de gestion

Faire de l'évaluation un outil d'éclairage du débat public (décret 1990) : les bénéficiaires sont-ils en fait les grands exclus des politiques publiques?

Le défi de la zone d'autonomie de l'évaluation ou la nécessité de trouver des points de consensus. Pour les 35 H par exemple, il n'y a jamais eu aucune évaluation même s'il existe beaucoup de données socio-économiques.


Quel avenir pour l’évaluation ?

Une activité en quête d’identité qui hésite entre différents modèles le modèle de la discipline scientifique le modèle de la profession d’évaluateur le modèle institutionnel le modèle de support interne (technostructure, planification et contrôle)

Une grande diversité de disciplines et de statuts une démarche qui favorise la pluridisciplinarité la diversité des parcours des évaluateurs le développement des activités / rôle d’évaluateur – médiateur

Une complexité qui fait aussi l’intérêt de l’évaluation la multiplicité, diversité des thèmes abordés une identité hybride mais attractive

« L’évaluation représente plus qu’un instrument au service d’une gestion publique plus performante. C’est une démarche politique qui permettra de renouveler le mode de gouvernance de notre pays si elle est réellement indépendante, pluraliste, transparente et efficace. » (Rapport Sénat, 2004)


Page 29


Questions?

http://www.fva-management.com

http://www.ecole.org

Government & Nonprofit

Vermeulen Frank, Cadrage de l'evaluation des politiques publiques 2013