47

guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

  • Upload
    phambao

  • View
    222

  • Download
    3

Embed Size (px)

Citation preview

Page 1: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)
Page 2: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

GUIDE SUR LESINDICATEURS

Page 3: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

RE M E R C I E M E N T SEn 2000-2001, un groupe de travail, composé de représentantes et de représentants de ministères,d’organismes et de divers regroupements et associations issus du milieu gouvernemental, a mené uneréflexion visant à orienter la portée et le contenu d’un guide gouvernemental sur les indicateurs. Noustenons à remercier les personnes qui ont accepté de partager leur expertise, contribuant ainsi àenrichir le contenu du présent document. Le ministère ou l’organisme de provenance des personnesest celui où elles travaillaient au moment des travaux.

Mesdames

Mishèle Bérubé Service des politiques budgétaires et financières, Secrétariat du Conseil du trésor

Julie Désy Service des orientations stratégiques, ministère des TransportsLouise Milhomme Sous-secrétariat à la modernisation de la gestion publique,

Secrétariat du Conseil du trésor Marie-José Péan Secrétariat du Comité des priorités, ministère du Conseil exécutifLucie Roy Comité des responsables de la vérification interne et

Secrétariat du Conseil du trésorMarie-Renée Roy Direction de la recherche, de l’évaluation et de la statistique,

ministère de l’Emploi et de la Solidarité sociale

Messieurs

Christian Beaudet Service des politiques et de soutien à la gestion, Secrétariat du Conseil du trésor

Yvan Giroux Direction des mandats spéciaux, Bureau du Contrôleur des financesBun Luk Khuong Direction de la performance, Régie des rentes du QuébecMichel Lagueux Bureau du vice-président,

Commission administrative des régimes de retraite et d’assurancesMarc Lecours Secrétariat du Comité des priorités, ministère du Conseil exécutifAlain Saucier Service du développement de l’information,

ministère de la Santé et des Services sociauxJean Tremblay Direction des ressources financières, ministère de l’ÉducationMichel Turner Service des politiques budgétaires et financières,

Secrétariat du Conseil du trésorAndré Viel Groupe des responsables en analyse et en évaluation de programme,

Direction de l’évaluation, ministère de la Recherche, de la Science et de la Technologie

Roland Villeneuve Groupe en planification stratégique et Direction de l’action stratégique,ministère de la Culture et des Communications

RÉALISATION DU GUIDESecrétariat du Conseil du trésor, Sous-secrétariat à la modernisation de la gestion publiqueDirection de la modernisation et des agencesConception Chantal d’Auteuil en collaboration avec Claude BonneauRédaction Chantal d’Auteuil

POUR TOUT RENSEIGNEMENT CONCERNANT CE GUIDE, VOUS POUVEZ VOUS ADRESSER

AU SOUS-SECRÉTARIAT À LA MODERNISATION DE LA GESTION PUBLIQUE PAR TÉLÉPHONE, AU NUMÉRO (418) 643-0805, OU PAR COURRIEL [[email protected]].

Février 2003

Dépôt légalBibliothèque nationale du Québec Bibliothèque nationale du Canada

ISBN 2-550-40513-7

Page 4: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

PARTIE 1L’indicateur, un outil essentiel à la gestion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.1 Une définition de l’indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.2 La contribution des indicateurs à la gestion axée sur les résultats . . . . . . . . . . . . . . . . . . . . 7

PARTIE 2

Les concepts de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.1 La triade Objectif – Indicateur – Cible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.1.1 L’objectif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.1.2 L’indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.1.3 La cible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.2 Les caractéristiques d’un bon indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.2.1 La pertinence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.2.2 La validité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.3 La faisabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.4 La convivialité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.5 La fiabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.6 La comparabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.3 La hiérarchisation des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.3.1 Les indicateurs externes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.3.2 Les indicateurs internes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

PARTIE 3

La sélection et l’élaboration des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.1 Connaître son univers et sa zone de contribution : le point de départ . . . . . . . . . . . . . . . . . 17

3.2 Définir les composantes du résultat attendu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.2.1 La finalité, l’intention (objectif) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.2.2 La définition et l’énoncé de l’indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.2.3 Les données disponibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.2.4 L’échéance et la fréquence de la mesure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.2.5 L’unité responsable (sectorielle, locale, régionale, centrale, externe) . . . . . . . . . . . . . 21

3.2.6 La durée de vie de l’indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2.7 Les possibilités d’étalonnage (benchmarking) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.3 L’établissement de la cible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.3.1 La mesure de la situation de départ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.3.2 La méthode d’établissement de la cible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.3.3 La détermination du niveau de la cible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.3.4 La détermination des écarts admissibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

TA B L E D E S M AT I È R E S

G u i d e s u r l e s i n d i c a t e u r s

Page 5: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

3.4 L’interprétation de l’indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.4.1 Les utilisations possibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.4.2 Les mises en garde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.4.3 Les indicateurs de comparaison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.5 L’évolution des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.5.1 Facteurs internes au ministère ou à l’organisme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.5.2 Facteurs externes au ministère ou à l’organisme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

PARTIE 4La gestion des indicateurs et les outils utiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.1 Le système d’information de gestion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.1.1 Les composantes possibles d’un système d’information de gestion . . . . . . . . . . . . . . 28

4.1.2 À propos des tableaux de bord . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.2 Les outils de gestion des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.2.1 La fiche-indicateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.2.2 Le registre des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.2.3 La catégorisation des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.2.4 La fiabilité des données : le diagnostic et le plan d’amélioration . . . . . . . . . . . . . . . . 30

4.2.5 La démarche intégrée de contrôle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4.2.6 La vérification interne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Annexe 1 Loi sur l’administration publique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Annexe 2 Lexique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Annexe 3 Exemples de typologies des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Annexe 4 Exemple des niveaux ou zones critiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Annexe 5 Exemples de fiches-indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Références utiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

SCHÉMAS

Schéma 1 Contribution des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Schéma 2 Sélection et élaboration des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Schéma 3 Gestion des indicateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4 G u i d e s u r l e s i n d i c a t e u r s

Page 6: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

IN T R O D U C T I O N

5G u i d e s u r l e s i n d i c a t e u r s

La notion d’indicateur n’est pas nouvelledans le domaine de l’administration pu-blique. Depuis plus d’une dizaine d’années,la plupart des gouvernements des paysmembres de l’Organisation de coopérationet de développement économiques (OCDE)utilisent des indicateurs pour mesurerl’atteinte des objectifs et d’autres dimen-sions de la gestion afin d’apprécier leurperformance. En effet, dans un cadre degestion axée sur les résultats, l’appréciationde la performance des organisations gou-vernementales et de leurs composantes sefait désormais en fonction des résultatsprojetés et ces résultats sont mesurés àl’aide d’indicateurs.

Les indicateurs peuvent servir à différentspaliers de l’organisation et à diversesétapes du cycle de gestion et des processusde production à la fois pour mesurer l’im-pact des services rendus sur la populationet apprécier les efforts requis pour parvenirà ces résultats.

Le présent guide intéressera donc les ges-tionnaires de tous les niveaux de l’orga-nisation gouvernementale ainsi que lesmembres du personnel associés au suivi età l’appréciation des résultats. Il a pourobjectifs principaux de :

• faire partager une compréhension etun vocabulaire communs quant auxconcepts de base concernant les indi-cateurs utilisés en milieu gouverne-mental ;

• soutenir les ministères et organismesdans l’élaboration des indicateurs ;

• favoriser l’appropriation et la respon-sabilisation des gestionnaires parrapport à l’utilisation des indicateurs à tous les niveaux de l’organisation – incluant les activités réalisées par lesunités de type conseil, les unités desoutien aux opérations et les unitésopérationnelles – et par rapport à lareddition de comptes, tant internequ’externe.

Ce guide présente les principales étapes etoutils utiles à l’élaboration, à l’utilisation età la révision des indicateurs et ne prétendpas être exhaustif. Son contenu a été éla-boré en tenant compte des autres guidespréparés pour l’implantation de la moder-nisation et pourra y faire référence aubesoin. Il vise à susciter l’émergence d’uneculture dans le domaine de la mesure desrésultats, domaine fort diversifié, dyna-mique et en constante évolution. Soncontenu, tout comme le sujet dont il traite,pourra évoluer et être mis à jour périodi-quement.

Bien qu’ils s’inspirent d’indicateurs réelsprovenant de divers ministères et orga-nismes du secteur public ou parapublic, il est important de signaler que les exemplesutilisés dans le guide sont fictifs, maisdemeurent néanmoins plausibles.

Page 7: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

1.1 UNE DÉFINITION DE L’INDICATEUR

Il existe un grand nombre de définitions del’indicateur. La définition élaborée par legroupe de travail émane d’un consensusqui tient compte du nouveau cadre degestion axée sur les résultats. Cette défi-nition ne contredit pas celles qu’on peuttrouver dans les autres guides publiés dansle contexte de l’implantation de la gestionaxée sur les résultats ; elle se veut seule-ment plus précise.

INDICATEUR

Toute mesure significative, relative ounon, utilisée pour apprécier les résul-tats obtenus, l’utilisation des res-sources, l’état d’avancement destravaux ou le contexte externe.

Une mesure…Par la mesure, on établit une grandeur, unequantité, un indice, un état de situation ouun degré de réalisation par rapport à uneétape donnée.

… significative…La mesure a un sens et elle est liée à unepréoccupation, à l’objectif à atteindre. Ellepermet de scruter un aspect, une dimen-sion d’un phénomène ou d’une activité etd’en comprendre la portée ou la finalité.

… relative ou non…L’indicateur peut exprimer une mesuresimple (nombre) en présentant une seulevariable. Il peut aussi mettre en relationdeux ou plusieurs variables (pourcentage,ratio). L’indicateur peut être mis en rela-tion avec une cible, avec un indicateurrattaché à d’autres objectifs ou un indi-cateur similaire d’une autre organisation.

… pour apprécier…La mesure permet d’évaluer, de juger, decomparer, de suivre la progression, de véri-fier, de contrôler.

L’ I N D I C AT E U R, U N O U T I L E S S E N T I E L

À L A G E S T I O N

PARTIE

1

6 G u i d e s u r l e s i n d i c a t e u r s

… les résultats obtenus…Les résultats obtenus représentent d’abordles divers bénéfices obtenus par les clien-tèles lorsqu’elles se prévalent des produitset services offerts par le ministère ou l’orga-nisme ; ces bénéfices, aussi appelés effetsou impacts, peuvent être obtenus immé-diatement ou à plus long terme et sont de nature sociale, économique, environ-nementale, etc. Les résultats d’impactdécoulent généralement du plan straté-gique, mais peuvent aussi se retrouver dansun plan d’action d’agence. Le résultat peutaussi présenter un caractère plus opéra-tionnel lorsqu’il représente les effortsrequis pour procurer des bénéfices auxclientèles. Le degré de satisfaction desclientèles sur des aspects particuliers de laprestation des services fait aussi partie desrésultats. Enfin, le résultat obtenu peutaussi s’appliquer à des produits plusintangibles générés par les unités chargéesd’orienter l’action des ministères et orga-nismes (recherche, évaluation, conseil).

… l’utilisation des ressources…Dans le contexte de la gestion axée sur lesrésultats, l’offre de service s’appuie sur les attentes exprimées par les citoyens,mais aussi sur le respect des ressourcesdisponibles. Les indicateurs permettentainsi de suivre l’évolution des revenus etdes dépenses, de vérifier si les budgetsalloués sont respectés et si la gestion desressources est efficiente (par exemple, lecoût de revient d’un service ou d’uneactivité). Certains éléments qui composentle plan d’amélioration des services ratta-chés à la déclaration de services auxcitoyens peuvent aussi être considérés pourmesurer l’utilisation des ressources.

… l’état d’avancement des travaux…Les résultats d’une organisation n’étant pastous quantifiables, la mesure peut aussi êtreune information ponctuelle, un rapportd’étape sur une mise en œuvre, le degréd’évolution ou de livraison d’un dossier,

Page 8: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

7G u i d e s u r l e s i n d i c a t e u r s

d’une implantation, d’une recherche ou,encore, une date limite, une échéance.

… le contexte (l’environnement)Les organisations gouvernementalesagissent et évoluent dans des domaines oùelles ne sont pas les seuls acteurs, que cesoit sur le plan social, économique oupolitique. Pour connaître les différentsfacteurs qui ont une influence sur leursactivités, elles doivent se doter d’un certainnombre d’indicateurs qui permettent demieux connaître le contexte externe danslequel ils évoluent et aussi de comparerleurs résultats à ceux d’autres gouverne-ments ou organisations. Ces données sontcollectées et compilées pour connaître lesclientèles et leurs attentes et elles s’avèrenttrès utiles lorsqu’il faut déterminer la cibleà atteindre pour chacun des indicateurs oucirconscrire sa « zone de contribution »(voir la section 3.1).

1.2 LA CONTRIBUTION DES INDICATEURSÀ LA GESTION AXÉE SUR LES RÉSULTATS1

Étant associés aux différentes phases de lagestion axée sur les résultats et du cycle degestion, les indicateurs peuvent êtreutilisés à des fins multiples. Les plus impor-tantes demeurent toutefois la mesure et lesuivi des résultats, ainsi que l’appréciationde la performance dans le contexte de lareddition de comptes.

Le schéma 1 donne un aperçu des diffé-rentes contributions des indicateurs. Aucentre, dans l’encadré pointillé, sont nom-més les principaux documents où l’ontrouve des indicateurs ; les documents pres-crits par la Loi sur l’administration publique(L.R.Q., c. A-6.01) figurent dans les boîtesgrises. Les différentes contributions desindicateurs figurent autour de l’encadré

pointillé et font aussi référence à certainesétapes du cycle de gestion.

L’élaboration et la révision du planstratégique et des plans d’actionLes résultats obtenus (ou connus), mesurésà l’aide des indicateurs, et l’appréciation dela performance servent directement à laphase de planification, qu’elle soit straté-gique ou opérationnelle. L’indicateur estun outil privilégié pour déterminer, pré-ciser ou réviser les objectifs et les résultatsattendus.

L’amélioration des services et desmodalités de prestation des servicesL’appréciation des résultats peut conduire àl’ajout, à la modification ou à la suppres-sion de programmes d’activités ou deservices et faire évoluer la façon dont onrend les services afin de mieux répondreaux attentes exprimées par les clientèles.

L’évolution de l’organisationLes résultats obtenus et mesurés par lesindicateurs peuvent amener l’organisationà mieux circonscrire sa mission, ses mandatset sa zone de contribution ainsi qu’à ajus-ter sa structure et ses capacités organisa-tionnelles en conséquence.

La répartition des ressourcesEn lien avec le plan stratégique, le planannuel de gestion des dépenses et les plansd’action, les résultats mesurés avec lesindicateurs peuvent influer sur les choixd’action et, par ricochet, sur la répartitiondes ressources humaines, financières, maté-rielles et informationnelles. Ils servent éga-lement à effectuer le suivi de l’utilisationdes ressources et peuvent éventuellementfournir des renseignements essentiels à lapréparation et à la négociation des ententesde gestion.

1 Pour connaître les fondements et la démarche de la gestion axée sur les résultats, consulter leGuide sur la gestion axée sur les résultats publié en juin 2002 par le Secrétariat du Conseil du trésor.

Page 9: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

8 G u i d e s u r l e s i n d i c a t e u r s

Élaboration ou révision des plans

Amélioration des services/modalités

de service

Évolution de l’organisation

Répartition des

ressources

Mesure et suivi des résultats

Prise de décisions

Reddition de comptes

interne/externe

Appréciation de la

performance

Plan stratégique

Plan annuel de gestion des dépenses

Plan d’action

Déclaration de services

Plan d’amélioration

des services

CPI Ententes

de gestion

Plans d’actionagences

Rapports annuels de gestion ministères,organismes et agences

➪➪

Schéma 1 Contribution des indicateurs

Page 10: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

9G u i d e s u r l e s i n d i c a t e u r s

La mesure et le suivi des résultatsL’indicateur est le moyen privilégié pourexprimer concrètement, quantifier ou qua-lifier le résultat attendu et obtenu. Il esthabituellement relié à un objectif straté-gique ou opérationnel et la mesure se faità une fréquence régulière en comparant lerésultat obtenu au résultat attendu.

La prise de décisionsLes indicateurs servent à connaître lasituation, à effectuer le suivi des activités età apprécier les résultats à différentes étapesdu cycle de gestion et des processus deproduction. Ils permettent ainsi de décelerles zones critiques et d’apporter les ajus-tements requis pour s’assurer de l’atteintedes résultats attendus.

L’appréciation de la performance et la reddition de comptesEn examinant l’ensemble des résultatsobtenus et en faisant les liens pertinentsentre les indicateurs, on peut apprécier laperformance globale de l’organisation etde ses diverses composantes. La perfor-mance globale permet de mesurer l’impactdes produits et des services rendus à lapopulation et les efforts requis pourfournir les produits et les services. Lesdifférentes composantes de l’organisationfont état de leur contribution à l’atteintedes objectifs stratégiques et opérationnelspar la reddition de comptes interne. Leministère ou l’organisme et les unités sousconvention de performance et d’impu-tabilité (CPI) font état de l’impact de leuraction sur la clientèle en fonction d’ob-jectifs préétablis (les résultats attendus) parla reddition de comptes externe.

Page 11: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

2.1 LA TRIADE OBJECTIF – INDICATEUR ¬– CIBLE

Ces trois éléments sont à la base de lamesure des résultats. C’est par la combi-naison de l’objectif, de l’indicateur et de lacible qu’on exprime le résultat attendu.

Il est à noter que la plupart des exemplesutilisés sont fictifs, mais demeurent néan-moins plausibles.

2.1.1 L’objectif

L’objectif exprime l’intention, l’engage-ment, ce qu’on veut réaliser et produire,bref le but poursuivi par les services et lesprogrammes offerts. Habituellement, l’ob-jectif vise un effet, un bénéfice pour laclientèle ou contribue à la concrétisationd’un tel bénéfice. Le libellé de l’objectif estparfois très précis, parfois plus général.

Très précis, il comprend l’intention (aug-menter, diminuer, maintenir, améliorer) etprécise les objets, les champs et les clien-tèles sur lesquels on veut agir ; l’indicateuret la cible sont aussi inclus dans le libellé.

Réduire de 10 % le nombre de décèssur les routes impliquant des véhiculeslourds.

Plus général, l’objectif exprime l’intentionet précise le champ et la clientèle, ou seule-ment un des deux, visés par le résultat,mais il ne comprend pas explicitementl’indicateur et la cible.

Réduire le nombre de décès sur lesroutes.

Il est toujours préférable de formuler unobjectif de façon plus générale lorsque lerésultat souhaité comporte plusieurs fa-cettes et que celles-ci requièrent plusieurs

LE S C O N C E P T S D E B A S EPARTIE

2

10 G u i d e s u r l e s i n d i c a t e u r s

indicateurs, donc plusieurs cibles dis-tinctes. C’est notamment le cas lorsqu’ondoit mesurer le résultat d’activités oud’interventions qui ne peuvent être fusion-nées pour la mesure ou encore si plusieursministères et organismes interviennentdans un dossier et peuvent contribuer àl’atteinte d’un même objectif. L’indicateurse limite alors à la stricte contribution dechacun.

Augmenter la participation des jeunesaux programmes favorisant leur auto-nomie sociale et économique. Cet indicateur pourrait mettre à con-tribution plusieurs ministères et orga-nismes dont le ministère de l’Emploiet de la Solidarité sociale (MESS), leministère de la Santé et des Servicessociaux (MSSS) et le ministère desFinances, de l’Économie et de laRecherche (MFER) ainsi que des parte-naires (ressources communautaires,employeurs, etc.).

Il arrive également que l’objectif soit éva-lué avec différents types de mesures, commedes résultats quantitatifs et des résultatsqualitatifs.

Améliorer le degré de satisfaction desutilisateurs du service. L’atteinte de cet objectif pourrait êtremesurée par le nombre de plaintesreçues ou par l’intermédiaire degroupes de discussion composés d’uti-lisateurs représentatifs.

Sous un autre aspect, certains objectifs nesont pas énoncés de façon explicite, maissont plutôt compris dans les obligationsadministratives ou réglementaires duministère ou de l’organisme. Pensons, parexemple, au respect des enveloppes budgé-taires annuelles, qui lui permet de témoi-gner d’une saine gestion des fonds publics.

Page 12: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

11G u i d e s u r l e s i n d i c a t e u r s

Assurer l’équilibre budgétaire duministère ou de l’organisme.

Il en est de même pour la mesure du volumedes activités ou la mesure de certainsfacteurs sur lesquels on n’a pas pleincontrôle. On pourra ainsi suivre le nombreréel de personnes ayant reçu un service oule total des sommes versées, ce qui permet,entre autres, de vérifier si les ressourcesallouées sont suffisantes ou non pourl’année en cours. Enfin, certains renseigne-ments utilisés pour les besoins de la gestionopérationnelle prennent la forme d’uneprévision ou d’une estimation d’achalan-dage ou d’une demande estimée de servicesavec laquelle on compare la demande réelleafin d’ajuster les ressources ou de limiterles dépassements.

2.1.2 L’indicateur

L’indicateur est plus précis et souvent plusrestrictif que l’objectif, car il décrit le typede mesure (nombre, ratio, pourcentage,bien livrable) ainsi que les différentséléments qui seront considérés dans lecalcul ou le suivi (par exemple les activités,les groupes de clients, les coûts, etc.).Comme l’indicateur ne mesure qu’un seulaspect ou une seule dimension d’unphénomène, il peut y avoir plusieurs indi-cateurs pour mesurer l’atteinte d’un mêmeobjectif. L’indicateur doit représenter lemeilleur choix possible pour mesurer lerésultat attendu ou un de ses aspects.

Les indicateurs chiffrés s’expriment ennombre (la quantité, le coût, le temps), enpourcentage ou sous forme de ratio etdonnent une mesure du résultat considé-rée comme plus objective. Le suivi desrésultats est plus simple, car l’évaluationdes écarts entre la situation de départ et lacible peut se faire de façon mathématique.L’utilisation d’indicateurs chiffrés faciliteaussi les comparaisons des résultats avec

ceux d’autres organisations similaires.L’indicateur chiffré peut fournir tant unrésultat quantitatif…

Nombre d’infractions solutionnéespar région.Pourcentage d’infractions solution-nées par rapport aux infractionsdéclarées par région.

… qu’un résultat qualitatif.

Taux des personnes interrogées qui sedéclarent très satisfaites ou satisfaitesdes explications reçues.

Lorsque les données sont disponibles etque l’indicateur peut être élaboré adé-quatement et mesuré périodiquement, il demeure préférable d’utiliser des indi-cateurs chiffrés, car ils sont en général plusstables et plus durables.

Les indicateurs non chiffrés sont utiliséslorsque les objectifs ne peuvent êtrequantifiés ou qu’il s’agit d’objets ou derésultats « intangibles » (par exemple, ledépôt d’une politique, la préparation d’unplan d’action, la réalisation d’une évalua-tion ou d’une recherche, le plan de coor-dination d’activités, l’implantation d’unnouveau programme, etc.).

Date d’entrée en vigueur du nouveauprogramme.

Dans ces cas, l’indicateur devrait décrire lanature et le contenu du bien livrable.Toutefois, le détail des éléments souhaitéspermet souvent d’exprimer une partie del’indicateur de façon chiffrée (par exemple,le nombre de biens livrables, le pourcen-tage d’organismes ayant adhéré à la poli-tique ou l’ayant implantée, le pourcentagedes éléments de concordance entre les

Page 13: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

mesures adoptées et les recommandationsformulées). L’indicateur chiffré demeuretoujours un excellent outil de mesure.

Nombre de formulaires adaptés auxnouvelles technologies et déposésdans le portail ministériel.

2.1.3 La cible

La cible exprime le niveau, la « hauteur »du résultat attendu par rapport à une unitéde mesure, l’« étalon » de l’indicateurchoisi. La mesure étalon correspond à unemesure de référence qui sert de base decomparaison pour le résultat obtenu. Cettemesure étalon peut être une valeur connueet agréée comme telle par les spécialistesd’un secteur donné…

Indicateur : Taux de mortalité infantile. Mesure étalon : Taux moyen de mor-talité infantile dans les pays de l’OCDEoccupant les 10 premiers rangs en2000 : 3,5 %.Situation de départ : 5,3 % en 1999.Cible : 4,5 % d’ici à 5 ans (cible fictive).

… ou représenter une amélioration, unchangement ou une variation par rapport àune situation antérieure (voir la section 3.3 –Mesure de la situation de départ).

Indicateur : Nombre de demandes derévision traitées en dehors des délaislégaux en 2001-2002.Cible : Diminuer de 10 % par rapportau nombre de ces demandes en 2000-2001.

La cible donne un sens à la variationdésirée et, s’il s’agit d’un indicateur chiffré,peut se présenter sous forme de pourcen-tage, de nombre, de ratio.

12 G u i d e s u r l e s i n d i c a t e u r s

Maintien à 0,9/1000 dossiers traités leratio des dossiers comportant deserreurs dans les montants versés.

Dans le cas d’un indicateur non chiffré, onnommera le bien livrable (plan d’action,implantation, mise en œuvre), le délai delivraison ou l’échéance de l’action à poser.

Nouvelle politique implantée au plustard le 31 décembre 2002.

La mesure de l’indicateur permet d’illustrerle résultat obtenu à intervalles réguliers. La comparaison entre le résultat obtenu etle résultat attendu sert à apprécier le degréd’atteinte de la cible au cours d’une périodedonnée ou permet de juger de l’impor-tance de l’écart (positif, nul ou négatif)entre les deux.

2.2 LES CARACTÉRISTIQUES D’UN BON INDICATEUR

La qualité de l’indicateur repose sur uncertain nombre de critères objectifs quidoivent, en principe, être respectés lorsqu’onl’élabore. Ces critères constituent en quelquesorte les exigences minimales auxquellesl’indicateur doit répondre pour pouvoirêtre conservé pendant un temps raison-nable (par exemple, la durée du plan stra-tégique), sans être constamment remis enquestion et sans subir de modificationsimportantes. Afin de simplifier la démarche,seulement six critères ont été retenus.

2.2.1 La pertinence

L’indicateur correspond à une préoccupa-tion, une attente, un engagement en lienavec l’objectif dont il contribue à mesurerl’atteinte ; il illustre concrètement, en toutou en partie, le résultat, le phénomène oul’objet qu’on veut mesurer ; il renseigne

Page 14: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

13G u i d e s u r l e s i n d i c a t e u r s

bien sur les effets des activités et est utilepour apprécier les résultats obtenus.

Objectif : Limiter le taux d’abandondes appels à 5 %.Indicateur : Taux d’abandon desappels mis en attente.

2.2.2 La validité

L’indicateur mesure réellement ce qu’il doitmesurer en fonction de ce qui est visé ; il permet de faire état de la situation de lafaçon la plus juste possible. Pour vérifier sil’indicateur est valide, il suffit souvent de le comparer avec d’autres indicateurs pos-sibles pour mesurer le même phénomène.

Indicateur : Coût moyen d’une partici-pation au programme.Cet indicateur pourrait ne pas êtrevalide si certains coûts étaient exclusdu calcul ou si certaines catégories departicipations n’étaient pas compta-bilisées.

2.2.3 La faisabilité

L’indicateur doit être relativement facile àobtenir et à produire. Les données sontaccessibles au moment opportun et lesopérations nécessaires pour les collecter et les traiter présentent un rapport coût-avantage raisonnable (voir aussi section3.2.3 – Les données disponibles).

2.2.4 La convivialité

L’indicateur est simple, clair, facile àcomprendre et à présenter. Son inter-prétation est la même pour tous, communeet partagée. Il n’existe qu’une seule défi-nition et les limites de l’indicateur sontconnues (voir section 3.4 – Limites d’inter-prétation de l’indicateur).

2.2.5 La fiabilité

Les résultats mesurés par l’indicateurdoivent être constants chaque fois qu’unemesure est prise dans des conditionsidentiques. Cela implique que le résultatest conforme à la réalité, ne comporte pasd’erreur et est intégral. La notion defiabilité comprend aussi les notions desensibilité et de robustesse de l’indicateur,c’est-à-dire qu’il doit faire ressortir lesvariations significatives tout en demeurantassez stable pour assurer une mesureconstante dans le temps. La fiabilitéglobale de l’indicateur est par ailleurslargement tributaire de la fiabilité desdonnées (voir section 4.2 – Fiabilité desdonnées : diagnostic et plan d’amé-lioration).

2.2.6 La comparabilité

Lorsque c’est possible, on choisira unindicateur standardisé, utilisé par plusieursorganisations et reconnu officiellement(variables, méthode de calcul et fréquencede mesure correspondant à des normes ouà des conventions). Cette caractéristiquen’est pas obligatoire, mais elle est trèssouhaitable, car elle améliore la crédibilitéde l’indicateur (voir section 3.4.3 – Lesindicateurs de comparaison).

2.3 LA HIÉRARCHISATION DES INDICATEURS

En principe, les différents paliers de l’orga-nisation et les personnes qui y travaillentcontribuent, de façon directe ou indirecte,à l’atteinte des résultats, c’est-à-dire à laproduction de bénéfices (effets ou impacts)pour la clientèle du ministère ou de l’orga-nisme. Chaque membre de l’organisation,peu importe son statut ou son niveauhiérarchique, est responsable de l’atteintede certains résultats qui découlent desactivités sous la responsabilité de son unitéadministrative ou de son groupe de travail.

Page 15: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Cette unité administrative participe à laréalisation du plan d’action de la directionet ainsi de suite, jusqu’aux plus hautesautorités responsables de l’atteinte desrésultats annoncés dans le plan stratégiquedu ministère ou de l’organisme. Les diffé-rents paliers de l’organisation peuventaussi être liés par des engagements parti-culiers, inscrits à la déclaration de servicesaux citoyens, dans la CPI ou dans l’ententede gestion.

Par ailleurs, la contribution des unités cen-trales et des unités qui ne sont pas en ser-vice direct à la clientèle permet aussi desoutenir la mission, l’orientation de l’actionet les activités du ministère ou de l’orga-nisme. Les résultats recherchés dans lagestion de ces activités sont parfoisimplicites (une saine gestion, l’équilibrebudgétaire) ou souvent encadrés par desdirectives, normes ou règlements (rému-nération des employés, nombre d’emploisETC autorisé, pourcentage du budgetalloué à la formation, plan d’affaires ou degestion des technologies de l’information,etc.).

Bien qu’il existe plusieurs catégoriesd’indicateurs, deux grands groupes d’indi-cateurs se démarquent, soit les indicateursexternes, qui mesurent surtout les effets del’action du ministère ou de l’organisme sursa clientèle, et les indicateurs internes, quiservent plutôt pour l’orientation, l’évalua-tion et la gestion des activités, des pro-cessus et des ressources.

2.3.1 Les indicateurs externes

Les indicateurs externes correspondent engénéral aux indicateurs d’impact et sontdavantage rattachés aux objectifs straté-giques et aux objectifs d’amélioration de laqualité des services aux citoyens. Ilspeuvent aussi se rapporter à certainsindicateurs opérationnels lorsque les acti-

14 G u i d e s u r l e s i n d i c a t e u r s

vités mesurées contribuent à l’atteinte desrésultats liés à la mission du ministère oude l’organisme et permettent de répondreaux attentes des clientèles. Par exemple,l’indicateur qui mesure le nombre departicipants concerne les opérations, mais aune valeur contributive sur le résultatd’impact car, s’il n’y a pas suffisamment de participants, l’objectif ne pourra êtreatteint. Les indicateurs qui permettent desuivre les éléments du contexte externe etl’évolution du profil de la clientèle fontaussi partie des indicateurs externes.

En général, les indicateurs externes sontconsignés dans les plans stratégiques, leplan annuel de gestion des dépenses et leplan d’action des agences. Ils peuvent cor-respondre à certains éléments de l’ententede gestion ou aux engagements contenusdans la déclaration de services aux citoyens.Ce sont eux qui font l’objet de la redditionde comptes publique. Ils expriment habi-tuellement la mesure de l’efficacité (l’im-pact sur la clientèle visée) et de l’efficience(par exemple, le nombre de personnesayant complété le programme par rapportau nombre total de personnes l’ayantentrepris).

2.3.2 Les indicateurs internes

Les indicateurs internes s’appliquent surtoutà la gestion des opérations, au suivi budgé-taire, au contrôle des ressources (humaines,financières, matérielles et information-nelles) et à l’administration des processus.Ils englobent autant l’action des unitéscentrales et les activités de soutien auxopérations que les activités rattachées auxfonctions d’orientation, d’évaluation etd’élaboration des politique et des pro-grammes. Ils s’expriment souvent par lamesure du volume d’activité (le nombre dedossiers traités) et de l’efficience ( le coûtmoyen d’un service).

Page 16: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

15G u i d e s u r l e s i n d i c a t e u r s

Les indicateurs internes s’inscrivent defaçon formelle dans le plan d’action etparfois dans l’entente de gestion (parexemple, les conditions à respecter ou lesobjectifs à atteindre pour bénéficier d’as-souplissements administratifs). Ils consti-tuent la matière première de la redditionde comptes interne.

Page 17: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Tous les gestionnaires et, le cas échéant,plusieurs autres membres du personnel sontsusceptibles de collaborer à l’élaborationdes indicateurs ou des cibles. Ils pourrontaussi être appelés à suivre les résultats et àparticiper à la révision des indicateurs deleur unité administrative.

LA S É L E C T I O N E T L ’ É L A B O R AT I O N

D E S I N D I C AT E U R S

PARTIE

3

16 G u i d e s u r l e s i n d i c a t e u r s

La plupart des résultats d’une organisationsont liés, de près ou de loin, à sa mission.Or, le succès ou le degré de réalisation de lamission d’une organisation se mesure prin-cipalement par une combinaison d’effica-cité et d’efficience, soit, d’une part, l’atteintedes objectifs et l’obtention de résultatsconformes aux attentes des clientèles, et,d’autre part, une utilisation rationnelle etcohérente des ressources allouées.

Schéma 2 Sélection et élaboration des indicateurs

Univers et zone de contribution

Section 3.1

• Mission et mandats du ministère ou de l’organisme• Contexte interne et externe• Clientèles (profil, caractéristiques, besoins, attentes)• Objectifs définis à d’autres niveaux du ministère ou

de l’organisme• Activités et processus couverts par l’unité administrative par

rapport aux autres unités du ministère ou de l’organisme• Ressources disponibles (humaines, financières, matérielles,

informationnelles)

Composantes du résultat attendu

(objectif-indicateur)Section 3.2

• Finalité/intention (objectif)• Définition/énoncé de l’indicateur

• Données disponibles• Échéance/fréquence de mesure• Unité administrative responsable• Durée de vie de l’indicateur • Possibilités d’étalonnage (benchmarking)

Établissement de la cibleSection 3.3

• Mesure de la situation de départ• Méthode d’établissement de la cible• Détermination du niveau de la cible• Détermination des écarts admissibles

Interprétation de l’indicateur

Section 3.4

• Utilisations possibles• Mises en garde• Indicateurs de comparaison

Paramètres du résultatLiens entre paramètresType de mesure

Évolution de l’indicateurSection 3.5

• Facteurs d’influence internes et externes

Page 18: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

17G u i d e s u r l e s i n d i c a t e u r s

3.1 CONNAÎTRE SON UNIVERS ET SA ZONE DE CONTRIBUTION :LE POINT DE DÉPART

Pour définir correctement les résultatsattendus de son unité ou de son groupe detravail, il faut connaître :

• le ministère ou l’organisme : sa mission,ses mandats et le contexte externe ;

• les clientèles et leurs attentes ;• les objectifs définis aux autres niveaux

de l’organisation (plan stratégique,plan d’action ministériel ou plansd’agence inférieurs et latéraux, pland’amélioration des services, etc.) ;

• les activités et les processus dont l’unitéest responsable (pour bien délimiter sazone de contribution) ;

• les ressources disponibles (humaines,financières, matérielles, information-nelles).

L’information relative au ministère ou àl’organisme, à ses clientèles et à soncontexte se trouve généralement dansplusieurs documents (la loi constitutive duministère ou de l’organisme et les autreslois administrées, les rapports annuelsantérieurs, le plan stratégique, le planannuel de gestion des dépenses, le pland’amélioration des services aux citoyens, lespolitiques et les programmes, les rapportsd’évaluation de programmes, etc.).

La détermination des objectifs passe essen-tiellement par la recension des activités etdes processus assumés par l’unité et qui setraduiront en deux catégories de produitset services, soit ceux qui sont destinés auxclientèles externes et ceux qui soutiennent le fonctionnement interne de l’organisa-tion. La démarche de coût de revient estsouvent recommandée pour déterminer lesactivités et les produits et, par ricochet, lesrésultats visés. On peut également seréférer au Document de référence sur laplanification stratégique et au Guide sur laconvention de performance et d’impu-tabilité. Par la suite, il est plus facile pourl’unité concernée de bien circonscrire sa zone de contribution à l’atteinte desobjectifs du ministère ou de l’organisme.L’exemple qui suit illustre bien les diffé-rents niveaux de contribution selon lepalier de gestion où l’unité administrativese trouve.

Objectif stratégique du ministère del’Éducation : Diminuer la proportionde décrocheurs parmi les sortants dusecondaire (actuellement 25 % ;atteindre 15 % d’ici à 5 ans).Commission scolaire : Élaborer unplan stratégique qui prévoit le soutiennécessaire aux écoles et éventuel-lement l’affectation des ressourceshumaines et financières.École secondaire : Fixer un objectif cibléà atteindre en fonction de l’objectifnational, de sa situation actuelle et descaractéristiques socio-économiques deses élèves (par exemple, repérer 15 dé-crocheurs potentiels par année et leuroffrir un soutien psychopédagogique).

Lorsque le résultat attendu met à contri-bution plus d’une entité administrative oud’un groupe de travail, il n’est pas toujourssouhaitable de morceler la mesure del’indicateur, à moins que les objets àmesurer ne soient vraiment incompatibles.

Univers etzone de

contribution

• Mission et mandats du ministèreou de l’organisme

• Contexte interne et externe• Clientèles (profil, caractéristiques,

besoins, attentes)• Objectifs définis à d’autres niveaux

du ministère ou de l’organisme• Activités et processus couverts par

l’unité administrative par rapport aux autres unités du ministère ou de l’organisme

• Ressources disponibles (humaines,financières, matérielles,informationnelles)

Page 19: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Les résultats qui concernent le fonction-nement interne couvrent habituellement lesactivités des unités d’orientation, des unitésde soutien aux opérations et des unitésopérationnelles et portent sur la gestiondes ressources. Le lien avec la mission duministère ou de l’organisme n’est pastoujours évident. Certaines activités sontplus faciles à associer à un service à laclientèle (par exemple, les activités demessagerie liées à la correspondance avecla clientèle, la téléphonie). D’autres relèventdavantage d’obligations de saine gestiondes fonds publics (l’efficacité, l’efficience).Cette démarche est cependant importanteet rejoint une autre préoccupation, celle derelier l’utilisation des ressources et lesactivités aux objectifs de résultats (planannuel de gestion des dépenses).

3.2 DÉFINIR LES COMPOSANTES DU RÉSULTAT ATTENDU

Lorsque le résultat attendu est établi enfonction de la zone de contribution del’unité administrative, il est nécessaire d’endéfinir les différentes composantes pourdéterminer le profil de l’indicateur le plusapproprié. Les principales composantes durésultat sont les suivantes.

18 G u i d e s u r l e s i n d i c a t e u r s

mesure, la nature de l’indicateur et le chan-gement qu’on souhaite obtenir par l’action(diminuer, augmenter, maintenir, modifier,élaborer, développer…). Cette informationest habituellement inscrite dans l’énoncéde l’objectif. Il faut aussi se demander si lamesure apporte un élément utile à la prisede décision.

Diminuer… la proportion de décro-cheurs…

3.2.2 La définition et l’énoncé de l’indicateur

L’examen des paramètres du résultat, lapossibilité de choisir entre différents typesde mesures et l’établissement des liensentre les différents paramètres constituentles trois étapes principales qui vont menerà la formulation des indicateurs.

Les paramètres du résultat Il s’agit ici de déterminer les différentséléments qui sont compris dans le résultatrecherché : une clientèle ou une partie decette clientèle, les caractéristiques particu-lières de la clientèle touchée ; le produit oule service visés ; les ressources utilisées (hu-maines, financières, etc.) ; les délais, le tempsde traitement, la durée de l’intervention, lapériode de référence ; etc.

Proportion en pourcentage de décro-cheurs parmi les sortants du secon-daire en 2001-2002Parmi l’ensemble des sortants dusecondaire de 2001-2002, pourcen-tage de ceux qui sortent sans diplôme.Les sortants comprennent les sortantssans diplôme (décrocheurs) et lesélèves diplômés. Les sortants sansdiplôme sont les élèves qui n’ont pasobtenu un diplôme en 2001-2002 et ceux qui ne sont pas inscrits nulle part au Québec, l’année suivante

Composantesdu résultat

attendu(objectif-

indicateur)

• Finalité/intention (objectif)• Définition/énoncé de

l’indicateur

• Données disponibles• Échéance/fréquence de mesure• Unité administrative responsable• Durée de vie de l’indicateur • Possibilités d’étalonnage

(benchmarking)

Paramètres du résultatLiens entre paramètresType de mesure

3.2.1 La finalité, l’intention (objectif)

La finalité, ou l’intention, qui est à la basedu résultat attendu doit être claire : aug-menter, diminuer, maintenir, améliorer,élaborer, mettre en application, etc. C’estcette finalité qui détermine le sens de la

Page 20: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

19G u i d e s u r l e s i n d i c a t e u r s

(2002-2003), que ce soit en formationgénérale (jeunes ou adultes), en for-mation professionnelle ou aux étudescollégiales.Période de référence : année 2001-2002par rapport à l’année précédente.

Une fois ces paramètres déterminés, il fautaussi établir si on les contrôle, en totalitéou en partie, et quels facteurs limitent cecontrôle. Ces éléments seront précisés dansla définition de l’indicateur.

La mesure souhaitée ou souhaitableOn vérifie d’abord s’il est possible d’obtenirun indicateur chiffré. Ensuite, si la mesuresouhaitée est relativement simple, on tentede limiter le nombre d’indicateurs. Enrevanche, si le phénomène est complexe(par exemple, la satisfaction de la clien-tèle), on peut en retenir plusieurs.

Par ailleurs, il faut choisir une méthode decalcul qui sera stable et fiable tout au longde la période de référence. On pourrachoisir la méthode qui est utilisée pour desindicateurs standardisés ou respecter lesrègles de l’art propres au domaine del’indicateur (par exemple, les statistiques,les finances, la démographie).

Diminuer, pour l’ensemble du Québec,de 2 points de pourcentage par annéependant 5 ans, la proportion de décro-cheurs parmi les sortants du secon-daire.Mesure souhaitée : suivre l’évolutionde la proportion de décrocheurs en lacomparant d’une année à l’autre.Méthode de calcul : proportion (pour-centage).Pour l’année 2000-2001, nombre desortants du secondaire sans diplômedivisé par le nombre total des sortantsdu secondaire, multiplié par 100.

Pour l’année 2001-2002, refaire le cal-cul avec les données applicables.Résultat de 2001-2002 MOINS résultat2000-2001 = écartComparer l’écart obtenu avec la cibleannuelle (- 2 points de pourcentage).

Les liens à établir entre les différentsparamètres utiles à la mesurePour mesurer un effet, un impact sur laclientèle (ou la variation, dans le cas d’ob-jectifs plus opérationnels), on peut effectuerune mesure simple, c’est-à-dire compre-nant une seule variable que l’on suivrapériodiquement. La mesure peut aussiassocier deux variables ou plus. Dans cescas, on obtiendra un ratio ou un pourcen-tage qui met en relation des élémentsdistincts donnant ainsi une perspectivedifférente de la mesure simple.

Proportion de décrocheurs parmi lessortants du secondaire en 2001-2002par rapport à 2000-2001.

Lorsque la mesure compare des ressourcesutilisées avec les effets du programme, elleconcourt alors à l’efficience et sera utilepour apprécier le résultat en fonction de lagestion.

Coût moyen d’une participation auxprogrammes offerts par le ministèreou l’organisme.

On peut aussi mettre en relation deuxmesures composites, ce qui fournira de pré-cieux renseignements pour l’améliorationde la prestation des services (par exemple,le pourcentage d’écart entre le coût moyend’une participation amorcée et le coûtmoyen d’une participation complétée).

Page 21: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

3.2.3 Les données disponibles

Le choix de l’indicateur dépend largementdes données disponibles ou encore de ceque le ministère ou l’organisme veut oupeut investir pour les produire. Ces don-nées peuvent provenir de sources internesou externes. La plupart du temps, elles seprésentent à l’état brut et il peut êtrenécessaire de procéder à plusieurs opéra-tions de traitement pour obtenir la mesuresouhaitée. Les résultats stratégiques seprésenteront dans un format très agrégéalors que les résultats opérationnels pour-ront être comptabilisés pour des activitésséparées ou des unités administratives pluspetites (sectorielles, locales, régionales). Il importe aussi de savoir si ces donnéesexistent depuis longtemps (données histo-riques) et si elles peuvent être considéréescomme fiables pour permettre des compa-raisons et faciliter l’établissement de la cible.

Lorsqu’on pense adopter un nouvel indi-cateur pour lequel les données n’existentpas encore, il est important de déterminercombien il en coûtera pour les développer,en tenant compte de l’augmentation de lacharge de travail à la saisie des données etde la mise au point des systèmes de collecteet de traitement de ces données. Les rensei-gnements obtenus, mis en lien avec la duréede vie espérée de l’indicateur, permettentau responsable d’apprécier la valeur ajoutéedu nouvel indicateur en fonction de l’effortet des investissements requis pour le déve-lopper. Plusieurs ministères et organismesprofitent d’ailleurs de la refonte de leurssystèmes informatiques pour améliorer lesdonnées disponibles. Enfin, les efforts desimplification administrative auxquels ilssont astreints font en sorte qu’ils tendentde plus en plus à limiter la quantité dedonnées recueillies auprès de la clientèleaux données strictement utiles au traite-ment des demandes, et à recourir àd’autres modes de collecte des donnéesrequises pour la mesure des résultats (parexemple, les sondages, les groupes dediscussion, etc.).

20 G u i d e s u r l e s i n d i c a t e u r s

3.2.4 L’échéance et la fréquence de la mesure

En général, tout indicateur considérécomme essentiel au suivi des résultats oudes activités, qu’il soit de nature institu-tionnelle ou opérationnelle et, plus parti-culièrement, s’il figure dans un tableau debord, devrait être mesuré régulièrement,de préférence, plus d’une fois par année.En effet, l’organisation qui veut « être encontrôle » et le demeurer doit être infor-mée de façon continue de l’état et de laprogression de ses résultats, surtout si cetteinformation sert à apporter des correctifsen cours d’année ou avant l’échéance fixéepour l’atteinte de la cible.

Cependant, il arrive que des indicateurs nepuissent être mesurés qu’une fois ou deuxpar an (ou parfois plus) compte tenu dutype de collecte de données (compilationsmanuelles, sondages auprès du personnelou des clientèles).

Par ailleurs, l’interprétation de l’évolutionde certains phénomènes fait parfois ensorte que les résultats à court terme nesont pas significatifs, car ils ne permettentpas de tenir compte de certaines situationsconjoncturelles ou de les neutraliser. Desmesures intermédiaires (assorties de ciblesintermédiaires) peuvent cependant êtreprises régulièrement afin d’assurer le suiviet le monitorage d’un programme ou d’unservice ou, à tout le moins, pour s’ajusterau cycle de production (souvent annuel ou,parfois, pluriannuel).

La fréquence de la mesure dépend beau-coup de la « sensibilité » de l’indicateur, àdeux points de vue. La sensibilité de l’indi-cateur se rapporte d’abord à sa capacitéintrinsèque de varier, et de varier de façonsignificative. Ainsi, un nombre cumulatifprésente en général un potentiel de varia-tion plus grand que certains indicateursexprimés en pourcentage ou en ratio. Lesecond aspect de la sensibilité touche la

Page 22: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

21G u i d e s u r l e s i n d i c a t e u r s

nature même du phénomène mesuré parl’indicateur. Par exemple, l’entrée envigueur d’un nouveau programme peutjustifier que la mesure soit effectuée à desintervalles plus courts. En effet, elle per-mettra de repérer rapidement les écartsnon souhaités et d’apporter les correctifsau cours de la phase d’implantation.

3.2.5 L’unité responsable (sectorielle,locale, régionale, centrale, externe)

En principe, chaque indicateur est lapropriété d’au moins une unité adminis-trative clairement désignée. Il s’agit habi-tuellement de l’unité qui est responsabledu résultat, c’est-à-dire de la production duproduit ou du service. Le propriétaire del’indicateur peut dans certains cas en êtreaussi le « producteur » (compilation desdonnées ou calculs), mais, la plupart dutemps, il s’en distingue. Il est important dene pas confondre ces deux fonctions, car leproducteur de l’indicateur n’intervienthabituellement que peu ou pas pourproduire le bien ou le service.

Certains résultats du plan stratégique sontpar exemple sous la responsabilité d’unedirection générale, mais représentent lasomme de l’action produite par plusieursunités (par exemple, des unités régionalesou locales, des services, des équipes detravail). Le résultat peut aussi impliquer despartenaires externes. Lorsque c’est le cas, il importe de s’assurer que la mesure esteffectuée de la même façon partout afinde garantir la validité et la fiabilité desrésultats.

Ainsi, la méthode de calcul, les paramètres,la fréquence de mesure et la période deréférence doivent être uniformes à tous lespaliers de l’organisation. Les comparaisonsentre les unités en seront d’autant plusfacilitées, de même que l’agrégation desrésultats d’un niveau à l’autre. À l’inverse,l’uniformité de la mesure permettra éga-lement de meilleures possibilités de forage

à partir d’un résultat très agrégé, c’est-à-dire de repérer les variations qui peuventsurvenir aux différents niveaux où lamesure est effectuée (secteur, produits).

3.2.6 La durée de vie de l’indicateur

La durée de vie d’un indicateur est unenotion importante, car elle assure qu’onpourra effectuer la mesure sur une périodesuffisamment longue, de préférencequelques années, et suivre l’évolution duphénomène, en gardant la même base decomparaison. Un indicateur standardisédans le domaine ciblé et qui est reconnucomme tel à l’échelle nationale ouinternationale a de bonnes chances detenir la route plusieurs années. Dans tousles cas, on essaiera de choisir des indica-teurs qui demeureront viables à moyenterme, soit sur une période de 3 à 5 ans.Pour assurer une certaine longévité auxindicateurs, il est important (quand c’estpossible) de bien vérifier leur compor-tement avant de les mettre en vigueurcomme outils de mesure officiels.

La durabilité de l’indicateur est aussi liée au type d’objectif pour lequel il a été sélec-tionné. Les indicateurs non chiffrés liés àdes biens livrables, tels que les plansd’action, les politiques ou la mise en œuvred’un programme, ont souvent une duréede vie très réduite. Si l’objectif est de natureplus générale, certains programmes peuventdisparaître ou s’ajouter sans affecter l’in-dicateur en soi ; il suffit alors de préciserque certains changements ont été apportésen ce sens. Les changements apportés à lamission et aux responsabilités du ministèreou de l’organisme ainsi qu’au plan straté-gique viennent aussi influencer la viabilitédes indicateurs.

3.2.7 Les possibilités d’étalonnage(benchmarking)

Le choix d’un indicateur devrait égalementêtre examiné par rapport aux possibilités

Page 23: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

qu’il offre de comparer les résultats obtenusavec ceux d’autres organisations similairesou d’autres gouvernements. En effet,lorsque l’indicateur peut être comparé, lacrédibilité et la validité des résultats sontencore mieux perçues, tant par les auto-rités ministérielles que par les décideursgouvernementaux et les parlementaireschargés d’apprécier la performance d’unministère ou d’un organisme.

EN SUPPLÉMENT…Le processus d’élaboration d’un indicateurn’est pas nécessairement linéaire et lesdifférentes étapes pour y parvenir peuventêtre entreprises une à la fois ou de façonsimultanée. Il est aussi possible de reveniren arrière pour valider à nouveau certainsparamètres ou remettre en questioncertains choix.

Quand on décide de retenir tel indicateurau lieu de tel autre, cela veut aussi direqu’on peut vivre avec ses imperfections oufaire certains compromis. L’indicateur choisireprésente néanmoins la meilleure optionen tenant compte de l’objet ou du phéno-mène à mesurer, des données disponibleset de l’effort requis pour l’obtenir.

3.3 L’ÉTABLISSEMENT DE LA CIBLE

Une fois que l’indicateur est élaboré, onpeut procéder à l’établissement de la cible. La cible permet d’anticiper la « hauteur »ou le niveau du résultat que l’on veutatteindre au terme de la période de réfé-rence. La détermination de la cible dépendde plusieurs facteurs tant objectifs que sub-jectifs. On distingue généralement quatreétapes utiles à l’établissement de la cible.

22 G u i d e s u r l e s i n d i c a t e u r s

3.3.1 La mesure de la situation de départ

La situation de départ constitue souvent lamesure « étalon » avec laquelle le résultatobtenu sera comparé tout au long de lapériode de référence. L’établissement dela situation de départ est relativementsimple quand les données existent déjà ouque l’indicateur est déjà utilisé. Habituel-lement, on mesure le résultat effectifenregistré à la fin d’une année budgétaireou d’une période de référence donnée. Lesrésultats comparables des années anté-rieures sont aussi utiles pour documenter le mieux possible le comportement del’indicateur.

Il est très important de déterminer si lasituation actuelle est véritablement nor-male et si elle a été exposée à des facteurssusceptibles de l’avoir faussée. Lorsquec’est le cas, il faut pondérer ce résultat(moyenne, médiane, etc.), car les mesuresultérieures pourraient montrer des écartsimportants.

Pour un nouvel indicateur, on aura prissoin d’effectuer des tests pour en vérifier lavalidité et la fiabilité, au moins sur quelquesmois, sinon sur une année complète. Lorsde l’implantation d’un nouveau programme,on peut se servir d’estimations ou, encore,extrapoler à partir des résultats de pro-grammes similaires qui existent ou ontexisté.

3.3.2 La méthode d’établissement de la cible

Lorsque les données existent, la méthoded’établissement de la cible pourra davan-tage être fondée sur l’évolution historiqueet les variations enregistrées au cours desannées antérieures. De même, il est utilede connaître le comportement habituel oule profil de la clientèle cible ainsi que l’im-portance des ressources consacrées auxprogrammes et aux services qui permettentd’atteindre l’objectif.

Établis-sement

de la cible

• Mesure de la situation de départ• Méthode d’établissement

de la cible• Détermination du niveau

de la cible• Détermination des écarts

admissibles

Page 24: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

23G u i d e s u r l e s i n d i c a t e u r s

ver la valeur normalisée comme base decomparaison ou mesure étalon.

Pour un nouvel indicateur ou si on amorceun processus de gestion par résultats, la prudence est toujours de rigueur dansl’établissement du niveau de la cible.

3.3.4 La détermination des écartsadmissibles

Même si la cible est réaliste et que lesmoyens mis en œuvre pour l’atteindre sontconsidérés comme adéquats, il est impor-tant, quand cela est possible, d’essayer deprévoir les comportements possibles del’indicateur afin de permettre à l’organisa-tion de réagir en temps opportun. Les écartsadmissibles, établis à l’avance, permettrontainsi au ministère ou à l’organisme d’entre-prendre, au bon moment, un questionne-ment ou des actions de redressement.

L’évolution normale ou anticipée desrésultats, incluant les variations cycliques,peut être définie en fonction de la fré-quence prédéterminée de la mesure. Il fautaussi déterminer les différentes variationsqui permettront de gérer en fonction durésultat obtenu. Certains ministères etorganismes auront recours à des écartsuniformes pour tous les indicateurs ; cesécarts sont exprimés en pourcentage parrapport à une progression dans le temps(par exemple, 25 % du résultat atteintaprès le premier trimestre et variation deplus ou moins 5 %). Ces niveaux ou zonescritiques sont clairement définis à l’avanceainsi que les actions à poser correspon-dantes. Un exemple des niveaux critiquesest fourni à l’annexe 4.

Pour un nouveau programme, la gradationdes niveaux critiques peut être différenteet tenir compte, par exemple, d’une pro-gression plus lente au cours des premiersmois de son application.

Quand il s’agit d’un nouvel indicateur etque les données ne sont disponibles quepour une courte période, l’exercice restethéorique et la projection plus aléatoire.Plusieurs organisations vont préférer seservir de l’indicateur pendant quelques moisou une première année complète et ainsidisposer de données réelles et validéesavant de déterminer la cible annuelle oupluriannuelle.

Dans les deux cas, d’autres facteurs entrenten jeu pour le calcul de la cible. En effet, leniveau de la cible est aussi déterminé enfonction des objectifs du ministère ou del’organisme et de la priorité qui a étéaccordée à un objectif particulier. Il estimportant de rappeler que les ressourcesqu’on veut ou peut consentir pour la miseen œuvre des programmes et des servicesainsi que les éléments du contexte sontsusceptibles d’influer sur les résultats ou lesvariables. Ces facteurs servent à pondérerles données plus factuelles et à obtenir unecible qui soit la plus réaliste possible.

3.3.3 La détermination du niveau de la cible

Il est très important que la cible qu’on sefixe demeure réaliste, c’est-à-dire qu’ellene doit être ni trop prudente ni trop ambi-tieuse. Elle sera fonction des objectifs duministère ou de l’organisme ou de cer-taines attentes que le gouvernement aurafixées. Plus on contrôle les intrants et lesprocessus, plus le comportement de l’indi-cateur est familier et plus la cible devientprécise et réaliste.

La cible peut aussi être établie selon unevaleur normalisée (par exemple, le tauxmoyen ou la médiane dans l’ensemble despays de l’OCDE) lorsqu’il s’agit d’un indi-cateur standardisé. Dans ce cas, il importede bien mesurer l’écart qui sépare la situa-tion actuelle du ministère ou de l’orgnismede la cible normalisée. Il vaut parfois mieuxopter pour une cible intermédiaire et conser-

Page 25: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

3.4 L’INTERPRÉTATION DE L’INDICATEUR

L’interprétation de l’indicateur est unélément primordial d’appréciation de laperformance et elle peut avoir un impactmajeur sur les décisions du ministère ou del’organisme. Le sens et la portée de l’indi-cateur comportent des particularités. Il estdonc important que ces particularitéssoient précisées et connues de toutes lespersonnes qui auront à suivre ou à inter-préter les résultats liés à cet indicateur.Outre les écarts admissibles convenus (voirsection 3.3.4) pour apprécier l’évolution durésultat obtenu par rapport à la cible, onpeut aussi préciser, pour chacun desindicateurs, les éléments qui suivent.

24 G u i d e s u r l e s i n d i c a t e u r s

ment du contexte externe et ils permettentde relativiser les écarts ou de mieux circons-crire l’apport véritable du ministère ou del’organisme au résultat obtenu.

3.4.2 Les mises en garde

La description des limites et des particu-larités de l’indicateur et de ses paramètresassure une compréhension et une interpré-tation uniformes chez toutes les personnesqui ont à l’utiliser. On peut signaler, parexemple, que certaines données sontincomplètes, des particularités quant à ladurée d’application des programmes (éta-lement sur deux années financières), undélai de validation des données officielles,l’exclusion de certaines clientèles, la modi-fication de certains paramètres dans letemps, des inexactitudes possibles généréespar les activités de saisie ou de traitementdes données.

3.4.3 Les indicateurs de comparaison

Il importe tout autant de préciser sil’indicateur peut être comparé avec desmesures étalons ou avec des indicateurssimilaires provenant d’autres organisa-tions. Comme on l’a précisé auparavant, onrecourt de plus en plus à l’étalonnage desrésultats pour améliorer la crédibilité et lafiabilité de l’indicateur choisi. Les indi-cateurs de comparaison permettent demieux situer les objectifs et les efforts duministère ou de l’organisme et de justifierles stratégies privilégiées pour atteindre lesrésultats. Des études réalisées par le minis-tère ou l’organisme ou encore des rapportsd’évaluation de programme peuvent aussiêtre utilisés pour valider ou corrélercertains résultats en regard de résultats deprogrammes similaires ou visant une mêmeclientèle.

3.5 L’ÉVOLUTION DES INDICATEURS

Il faut d’abord rappeler que les indicateursdemeurent en continuité et en concor-dance avec les objectifs de toute nature

Interpré-tation de

l’indicateur

• Utilisations possibles• Mises en garde• Indicateurs de comparaison

Les fiches-indicateurs de l’annexe 5 four-nissent quelques exemples pratiques dessujets abordés dans la présente section.

3.4.1 Les utilisations possibles

La description des utilisations possiblespermet de s’assurer que l’indicateur serteffectivement les fins pour lesquelles il aété conçu. Elle permet de préciser ce quesignifie l’indicateur, ce qu’il permet demesurer, ce qu’on peut comprendre sur lephénomène étudié. De plus, il importe ded’indiquer ce que l’indicateur permet desavoir ou de conclure quand il est considéréseul et comment il peut être interprété s’il est mis en relation avec d’autres indi-cateurs. Ces indicateurs peuvent êtrerattachés au même objectif ou à d’autresobjectifs liés au même axe d’interventionou à la même grande orientation.

La description permet également de déter-miner les facteurs qui influent sur les résul-tats mesurés par l’indicateur. Ces facteurs,dits de contingence, proviennent habituelle-

Page 26: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

25G u i d e s u r l e s i n d i c a t e u r s

poursuivis par le ministère ou l’organismeet généralement inscrits dans le planstratégique, les différents plans d’action etautres documents de planification adminis-trative. En conséquence, ils sont appelés àévoluer lorsque les plans sont modifiés.

L’indicateur n’est donc pas statique et, touten visant une certaine stabilité, la gestiondes indicateurs devrait s’inscrire dans unprocessus d’amélioration continue. Lesindicateurs peuvent ainsi être améliorés,modifiés ou abandonnés. De nouveauxindicateurs seront élaborés pour mieuxmesurer l’objectif ou pour répondre à denouveaux besoins d’information. Voici unaperçu des événements ou circonstancesqui peuvent avoir un impact sur les indi-cateurs.

• Amélioration du système d’informationde gestion

• Problèmes liés à la collecte ou au traite-ment des données internes (fiabilité)

3.5.2 Facteurs externes au ministère ou à l’organisme

• Évolution des orientations gouverne-mentales

• Changements significatifs du profil desclientèles

• Évolution du contexte externe, desattentes des clientèles

• Meilleure disponibilité des données(GIRES)

• Problèmes liés à la collecte ou au traite-ment des données externes (fiabilité)

• Importance des ressources allouées etdes marges de manœuvre (allégementsadministratifs et réglementaires)

EN SUPPLÉMENT…– Quelques indicateurs choisis minutieu-

sement sont suffisants pour assurer lesuivi et apprécier la performance avecjustesse. La qualité devrait toujoursl’emporter sur la quantité, surtout si ontient compte des coûts relatifs à laproduction des indicateurs et à lagestion des tableaux de bord.

– Attention aux solutions de facilité : si ladisponibilité des données limite lechoix des indicateurs, on peut quandmême déterminer quels seraient lesmeilleurs indicateurs et voir, à moyenterme, comment on pourrait obtenirles données manquantes.

– L’objectif et l’indicateur sont souventproches parents : on y retrouve lesmêmes mots, concepts ou descripteurs.Si on a de la difficulté à définir l’indi-cateur, le problème peut être lié àl’énoncé de l’objectif.

– Aucun indicateur n’est parfait : l’indi-cateur choisi constitue le meilleur choixou compromis parmi les indicateurs(nombreux ou rares) possibles, mais il ases limites propres.

Évolution de l’indicateur

• Facteurs d’influence internes etexternes

3.5.1 Facteurs internes au ministère ou à l’organisme

• Évolution de la mission, des mandats etdes responsabilités du ministère ou del’organisme

• Modification des enjeux stratégiques,des orientations, des axes et des ob-jectifs du plan stratégique, des plansd’action ou d’autres documents com-portant des engagements envers lesclientèles

• Évolution des programmes, des serviceset de l’activité du ministère ou del’organisme

• Amélioration ou modification des pro-cessus de prestation des services(incluant le recours à la prestationélectronique des services)

• Évolution des capacités organisation-nelles du ministère ou de l’organisme

• Redistribution des ressources en fonc-tion des priorités modifiées

• Atteinte des objectifs et des cibles aucours de la période de référence

Page 27: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

– Lorsque l’indicateur se raccroche direc-tement à des activités connues dupersonnel qui aura à le suivre et à enrendre compte, l’appropriation se faitplus facilement. Si en plus on lui apermis de collaborer à l’établissementde la cible, la responsabilisation quantau résultat devrait suivre.

– Avant d’adopter un indicateur, ildemeure préférable, quand c’est pos-sible, d’avoir effectué des tests sur unepériode suffisante pour en vérifier lafiabilité et y détecter les anomalies lorsde la mesure.

26 G u i d e s u r l e s i n d i c a t e u r s

– Il demeure important d’évaluer la zonede confort des personnes qui auront àl’utiliser quant à la compréhension et à l’interprétation, ainsi qu’à l’utilité del’indicateur dans la prise de décision.Un indicateur qui ne permet pas desavoir où et quand il faut agir et qui nefournit pas les signes voulus pourinciter à l’action est un indicateur quin’a pas sa raison d’être.

Page 28: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

27G u i d e s u r l e s i n d i c a t e u r s

L’utilisation croissante des indicateurs à desfins diverses et aux différents paliers duministère ou de l’organisme commande unerationalisation de la gestion de ces instru-ments essentiels à la mesure des résultats

4.1 LE SYSTÈME D’INFORMATION DE GESTION

Pour appuyer les processus de planificationstratégique et opérationnelle, de prise dedécision, d’allocation des ressources et dereddition de comptes, les organisationsgouvernementales s’alimentent auprès demultiples sources d’information et utilisentdes moyens d’analyse du contexte interneet externe qui, considérés dans leurensemble, constituent ce qu’il convientd’appeler le système d’information degestion du ministère ou de l’organisme.L’interprétation du contexte externe etinterne fait effectivement appel à un grandnombre d’activités qui sont propres àl’organisation ou qui sont intégrées à sesopérations courantes et aux activités dedéveloppement et de vigie.

LA G E S T I O N D E S I N D I C AT E U R S E T

L E S O U T I L S U T I L E S

PARTIE

4

Schéma 3 – Gestion des indicateurs

Système d’informationde gestionSection 4.1

• Systèmes informatisés internes• Tableaux de bord et information de gestion sur

les opérations• Statistiques officielles sur les clientèles• Enquêtes et sondages• Évaluation de programmes• Études, analyses et recherches• Veille stratégique et gouverne

Outils de gestiondes indicateurs

Section 4.2

• Fiche-indicateur• Registre des indicateurs• Catégorisation des indicateurs• Fiabilité des données (diagnostic et plan d’amélioration)• Programme de contrôle de gestion• Vérification interne

Les meilleurs indicateurs sont souvent ceuxque développe l’organisation, en fonctionde sa culture et de ses particularités. Lesystème d’information de gestion devraitgénéralement contenir la plupart desdonnées et des renseignements quipermettent de choisir et d’élaborer lesindicateurs utiles. Le ministère ou l’orga-nisme a donc la responsabilité de se doterdes outils adéquats de suivi continu des résultats. En effet, les résultats luipermettent non seulement de vérifierl’atteinte des objectifs stratégiques etd’apprécier le degré de qualité de sesservices, mais aussi « d’établir des liensentre les résultats et les ressources »(Ct 197800, 5 mars 2002, Concernant lesorientations du Conseil du trésor sur lapréparation par les ministères et orga-nismes du rapport annuel de gestion pourl’exercice financier 2001-2002 et les exer-cices financiers subséquents). La pratiquedémontre, cependant, que les systèmes

ainsi que la mise en place de différentsoutils pour s’assurer que le portefeuilled’indicateurs est développé de façon cohé-rente et pourra évoluer en fonction desbesoins véritables de l’organisation.

Page 29: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

d’information de gestion actuels des minis-tères et des organismes sont généralementmal adaptés à la sélection et au suivi desindicateurs et qu’il est long de mettre enplace ou de modifier ces systèmes pour lesbesoins de la reddition de comptes.

Pour donner une idée de l’étendue de l’in-formation qui peut être utilisée, voici unaperçu des différentes composantes d’unsystème type d’information qui concourentà la gestion et à la gouverne d’un ministèreou d’un organisme.

4.1.1 Les composantes possibles d’unsystème d’information de gestion

SYSTÈMES INFORMATISÉS INTERNES– Dossiers clients et opérations (centraux,

dédiés)– Soutien à la tâche– Budget et comptabilité (SYGBEC)– Gestion des ressources humaines (SAGIP)– Gestion des ressources matérielles – GIRES (en développement)

TABLEAUX DE BORD ET INFORMATION DE GESTION SURLES OPÉRATIONS– Tableau de bord stratégique– Tableaux de bord sectoriels des unités

conventionnées (agences) ou autresunités opérationnelles

– Systèmes et rapports d’information degestion

– Opérations des ressources externes (s’ily a lieu)

STATISTIQUES OFFICIELLES SUR LES CLIENTÈLES ET LESOPÉRATIONS– Profil des clientèles en lien avec les

programmes et les activités

ENQUÊTES ET SONDAGES– Réalisés par le ministère ou l’organisme– Commandés à des firmes spécialisées

sous la supervision du ministère ou del’organisme

28 G u i d e s u r l e s i n d i c a t e u r s

ÉVALUATION DE PROGRAMMES– Impact des programmes, des services et

des activités – Analyse de processus (d’implantation,

de fonctionnement, ou autre)

ÉTUDES, ANALYSES ET RAPPORTS DE RECHERCHERÉALISÉS PAR LE MINISTÈRE OU L’ORGANISME– Clientèles et problématiques particu-

lières– Processus internes

VEILLE STRATÉGIQUE ET GOUVERNE– Statistiques provenant d’autres orga-

nisations– Études et recherches conduites par

d’autres organisations– Pratiques administratives, pratiques de

gestion et gouverne

4.1.2 À propos des tableaux de bord

Compte tenu de l’ampleur du sujet, letableau de bord n’est pas abordé en détaildans le présent guide. Il importe néanmoinsde rappeler son importance et son utilité,notamment pour le suivi des résultats etl’appréciation de la performance duministère ou de l’organisme.

Le tableau de bord permet de sélectionnerles indicateurs les plus significatifs d’uneorganisation et d’en suivre l’évolution parrapport aux différents engagements derésultats envers la clientèle et à la gestiondes ressources qui lui sont allouées. Letableau de bord stratégique du ministèreou de l’organisme regroupe habituelle-ment l’ensemble des indicateurs inscrits auplan stratégique de même que certainsindicateurs essentiels à la bonne marche del’organisation (par exemple, évolution dubudget, de la demande de services, etc.).L’information qu’il contient et la fréquencede sa mise à jour servent à renseigner lesdécideurs quant à l’évolution de la situa-tion et à leur permettre de réagir en tempsopportun. Le tableau de bord sert aussi à lareddition de comptes publique annuelle.

Page 30: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

29G u i d e s u r l e s i n d i c a t e u r s

Certaines unités administratives peuventaussi se doter d’un tableau de bord. Il existeainsi des tableaux de bord liés aux activitésdes agences et d’autres qui permettent decontrôler certaines fonctions de l’adminis-tration (suivis budgétaires, suivis de laclientèle, suivis d’activités, etc.).

La documentation sur les tableaux de bordest abondante et variée. Les personnesintéressées y trouveront l’information rela-tive aux différents types de tableaux debord, à leur calibrage et à leur utilité.

4.2 LES OUTILS DE GESTION DES INDICATEURS

L’instauration d’un cadre de gestion axéesur les résultats exige également la mise enplace d’un certain nombre d’outils etd’instruments qui permettent d’assurer laqualité, la cohérence et la pérennité de sonportefeuille d’indicateurs. Ces outils serontd’autant plus importants que l’organi-sation est vaste et comporte plusieursniveaux de gestion. Il est en effet très facilede tomber dans l’excès sous prétexte qu’onpeut ou qu’on veut tout mesurer.

4.2.1 La fiche-indicateur

La fiche-indicateur comprend habituelle-ment une partie descriptive qui permet deconsigner tous les éléments d’informationpertinents en ce qui a trait aux différentsparamètres de l’indicateur : nom, documentde référence, définition, méthode de calcul,périodicité de production, source des don-nées, propriétaire des données et produc-teur de l’indicateur, historique, cible, écartsadmissibles pour mesurer l’atteinte de lacible, utilisations possibles de l’indicateur,mises en garde et date d’élaboration ou demise à jour (voir à l’annexe 5 des exemplesde fiches-indicateurs).

La fiche-indicateur peut aussi présenterune seconde partie qui sert à valider l’indica-

teur au regard de la fiabilité des données.Cette section passe en revue les activitéstouchant la collecte et la saisie des don-nées, la création des dépôts information-nels et le traitement des données pour laproduction de l’indicateur. Elle permet deposer un diagnostic assez précis sur lafiabilité des données et de l’indicateur etde documenter les actions à poser pour lesaméliorer.

4.2.2 Le registre des indicateurs

Une fois complétées, les fiches-indicateurspeuvent être rassemblées dans un registredes indicateurs. Le registre est un outil d’in-formation précieux qui favorise la com-préhension commune des indicateurs etpermet de conserver un historique desindicateurs et de leur évolution. La mise aupoint d’un tel registre est très utile, notam-ment, pour la standardisation de certainsindicateurs utilisés à différents niveaux del’organisation.

On recommande que le registre officiel soitgéré et mis à jour au niveau central, avec lacollaboration des unités administrativesvisées. De plus, pour les besoins de la red-dition externe de comptes, le registre peutcomprendre uniquement les indicateursqui sont visés par des engagements publics(plan stratégique, plan d’action, déclara-tion de services aux citoyens, entente degestion, etc.). D’autres répertoires peuventêtre constitués pour les besoins sectoriels àdifférents paliers de l’organisation, chaqueentité administrative pouvant décider de lapertinence de recenser l’ensemble desindicateurs, de toute nature, en usage dansson secteur. Ces sous-répertoires serviront àla reddition de comptes interne.

4.2.3 La catégorisation des indicateurs

Comme il existe différentes catégoriesd’indicateurs, plusieurs ministères ou orga-nismes estiment qu’il est nécessaire de lesclasser ou de les regrouper par catégorie.

Page 31: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

L’utilisation d’une classification facilite lagestion des indicateurs, tant pour leurélaboration que pour leur utilisation. Laclassification peut varier selon leur nature,leur portée ou leur utilisation. Certainsindicateurs peuvent figurer dans plusieurscatégories à la fois. La typologie des indi-cateurs est surtout utilisée lorsqu’un minis-tère ou un organisme souhaite se doterd’une approche structurée pour élaborerson portefeuille d’indicateurs ou poser undiagnostic sur la qualité ou l’équilibred’ensemble des indicateurs en usage à diffé-rents niveaux de l’organisation. L’adoptiond’une telle typologie peut aussi faciliter ledéveloppement d’un vocabulaire uniformeet d’une compréhension commune de dif-férents types de mesures faites au moyendes indicateurs. L’annexe 3 fournit une listenon exhaustive de typologies.

4.2.4 La fiabilité des données :le diagnostic et le pland’amélioration

La fiabilité des données qui servent àproduire les indicateurs est d’une impor-tance capitale pour toute organisationdont la gestion, les décisions et l’évolutionse fondent sur des résultats. Le ministèreou l’organisme doit donc établir un dia-gnostic sur la fiabilité des données et, sic’est nécessaire, mettre en œuvre un pland’amélioration afin de garantir que cesdonnées sont raisonnablement exemptesd’erreurs et que les autorités pourront enrépondre publiquement. Le plan d’amélio-ration fait normalement partie ou s’inscritdans la démarche intégrée de contrôle etde gestion des risques d’un ministère oud’un organisme.

4.2.5 La démarche intégrée de contrôle

La démarche intégrée de contrôle a notam-ment pour but d’assurer que l’organisationdispose d’une information crédible tout aulong du cycle de gestion. Au regard desindicateurs, la démarche de contrôle portesur deux éléments principaux, soit :

30 G u i d e s u r l e s i n d i c a t e u r s

– la responsabilisation de l’ensemble dupersonnel quant aux résultats àatteindre et à la prise en charge descontrôles qui en découlent, notam-ment en ce qui a trait à la saisie, à lacollecte, au traitement et à la valida-tion des données ;

– la mise au point et le maintien de sys-tèmes d’information de gestion commesoutiens à la prise de décision et aucontrôle de gestion.

Le contrôle de l’indicateur et de ses para-mètres facilite le repérage rapide des ano-malies qui peuvent survenir chaque foisqu’il est mesuré. Il faut se donner lesmoyens de retracer la source ou les causesde ces anomalies, qu’elles se trouvent dansles données mêmes, dans leur traitementou dans le contexte interne ou externe duministère ou de l’organisme.

4.2.6 La vérification interne

L’apport de la vérification interne enmatière d’indicateurs touche surtoutl’attestation de la fiabilité de l’informationet des données qui servent à produire lesindicateurs et la validation des contrôlesqui permettent d’assurer leur caractèreplausible. Lors de la vérification, desrecherches destinées à valider les procé-dures de sélection et d’élaboration desindicateurs peuvent aussi être effectuées.

EN SUPPLÉMENT…– La meilleure mémoire de l’organisation

sur les origines et l’évolution desindicateurs et des cibles réside surtoutdans la documentation produite etconservée à cette fin.

– Les activités de collecte, de saisie, detraitement et de validation des don-nées exercent une influence détermi-nante sur la qualité et la fiabilité desdonnées : le personnel qui accomplitces tâches doit être régulièrementsensibilisé à leur importance et à leurimpact sur les résultats.

Page 32: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

L’indicateur doit devenir l’outil de base pourassurer le suivi des résultats et apprécier la performance en vue de rendre comptede l’atteinte des résultats. Ce faisant, ilconcourt également à l’amélioration desproduits et des services offerts aux clien-tèles et de la gestion des ressources. Le succèsde l’implantation d’un système de mesuredes résultats repose sur la compréhensionet l’appréciation des avantages d’un telsystème par les gestionnaires et le per-sonnel. Lorsque tous comprennent que lesindicateurs servent véritablement à la prisede décision et qu’ils ont une utilité réellepuisqu’ils permettent d’apporter une meil-leure réponse aux attentes des citoyens, ilest plus facile d’anticiper et de vaincre lesrésistances et d’atténuer l’aspect menaçantde la mesure des résultats.

Il importe également d’impliquer le per-sonnel et de lui donner systématiquementaccès à l’information utile, que ce soit aumoment du choix et de l’élaboration desindicateurs, de l’établissement des cibles,du suivi ou de l’appréciation des résultats.Le partage de l’information fait partie inté-grante du processus d’apprentissage conti-nu et conduit à une gestion plus ouverte,plus transparente et plus responsabilisante.La mesure des résultats s’intègre ainsi auxautres préoccupations de gestion et devientun moteur pour la motivation et la mobi-lisation du personnel et des gestionnaires.

CO N C L U S I O N

31G u i d e s u r l e s i n d i c a t e u r s

Page 33: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Art. 2 Le cadre de gestion gouvernemen-tale concourt plus particulièrement :

2º à l’atteinte de résultats en fonctiond’objectifs préalablement établis ;

5º à une reddition de comptes quiporte sur la performance dansl’atteinte des résultats ;

6º à une utilisation optimale des res-sources de l’Administration gouver-nementale.

Art. 9 Un plan stratégique doit comporter :

4º les résultats visés au terme de lapériode couverte par le plan ;

5º les indicateurs de performance uti-lisés pour mesurer l’atteinte desrésultats.

Art. 13 Une convention de performance etd’imputabilité doit contenir leséléments suivants :

3º les principaux indicateurs qui per-mettront de rendre compte desrésultats atteints ;

4º un engagement à produire, à la finde chaque année, un rapport degestion sur l’atteinte des résultatset, dans la mesure du possible, lacomparaison de ces résultats avecceux d’organismes semblables.

AN N E X E 1LO I S U R L ’A D M I N I S T R AT I O N P U B L I Q U EArticles relatifs aux indicateurs de résultats

32 G u i d e s u r l e s i n d i c a t e u r s

Page 34: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

AN N E X E 2LE X I Q U E

33G u i d e s u r l e s i n d i c a t e u r s

Termes Définitions retenues

Activité Procédé ou opération qui concourt à la transformation de ressourcesen produits et en services.

Cible Énoncé de ce qu’une organisation prévoit atteindre dans unepériode donnée. Une cible est précise et normalement quantifiable.Elle est élaborée sur la base d’un indicateur retenu dans laformulation de l’objectif auquel elle se réfère.

Coût de revient Ensemble des coûts pour concevoir, produire et mettre à la disposi-tion du client un produit ou un service.

Efficacité Mesure du rapport entre les résultats obtenus et les cibles déter-minées.

Efficience Mesure du rapport entre les biens produits ou les services livrés et lesressources utilisées. Ce rapport est établi en fonction du niveau deservices requis (qualité des services).

Indicateur Toute mesure significative, relative ou non, utilisée pour apprécierles résultats obtenus, l’utilisation des ressources, l’état d’avancementdes travaux ou le contexte (environnement).

Objectif Énoncé de ce qu’une organisation entend réaliser au cours d’unepériode définie avec quantification et ordre de priorité. Y sontaccolés un ou plusieurs indicateurs sur lesquels seront établies lescibles.

Performance Degré d’atteinte des cibles d’une organisation.

Ressources Ensemble des moyens comprenant les personnes, le matériel, lebudget, l’information, le savoir-faire et autres, utilisés pour laproduction de biens et de services ou pour réaliser des interventions.

Résultats Réalisations constatées* à la fin d’une période précise et comparéesà des cibles énoncées** au début de ladite période.

* Les réalisations constatées équivalent aux résultats obtenus ; ** les cibles énoncées équivalent aux résultats attendus.

Note : Toutes les définitions, à l’exception de celles de l’indicateur et du coût de revient,proviennent du Guide sur la gestion axée sur les résultats (Secrétariat du Conseil dutrésor).La définition de l’indicateur a été élaborée par le groupe de travail sur les indicateursen 2000-2001.La définition du coût de revient est extraite du Sommaire de la démarche pour lecalcul du coût de revient pour les ministères et organismes, Contrôleur des finances,ministère des Finances du Québec, octobre 1999.

Page 35: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

AN N E X E 3EX E M P L E S D E T Y P O L O G I E S D E S I N D I C AT E U R S

34 G u i d e s u r l e s i n d i c a t e u r s

Secteurs d’activité

SocialSociosanitaireÉconomiqueEnvironnementalAutre

Niveauorganisationnel

StratégiqueOpérationnelDe gestionDe résultatsDe qualitéD’influenceD’activités

Composantesorganisationnelles

ProgrammesRessourcesFinances et budgetCoûtsEfficienceEfficacité

Niveau de détail

Générique(universel)ParticulierSynthétiqueCompositeSynoptiquePrécurseur

Portée de la mesure

InterneExterne

Types dequantification

Quantitatif Qualitatif Descriptif

Diagnostic etdéveloppement

ContexteMise en œuvreSuivi

Autres typologies

OpinionPerceptionObservation

Ce tableau a été élaboré par le groupe de travail sur les indicateurs en 2000-2001 sur la basede multiples sources d’information dont la plupart sont citées à l’annexe 6.

Page 36: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

AN N E X E 4EX E M P L E D E S N I V E A U X O U Z O N E S C R I T I Q U E S

35G u i d e s u r l e s i n d i c a t e u r s

LE NIVEAU « CONFORT »La progression dépasse les prévisions etlaisse présager que la cible sera atteintesans problème. Attention : si le dépasse-ment est véritablement important, il estpeut-être opportun de voir ce qui se passedans l’organisation ou le contexte externe.Il faut aussi se demander si la cible n’étaitpas trop prudente.

LE NIVEAU SATISFAISANT

La progression suit le cours prévu ou nes’en éloigne pas trop. La cible intermédiaireest atteinte ou le résultat est légèrementinférieur.

LE NIVEAU « HAUTE SURVEILLANCE »L’évolution du résultat est assez en dessousdu résultat attendu, mais certains facteursnon prévisibles permettent d’expliquer cetécart et d’autres permettent d’espérer unrattrapage. Les gestionnaires et le personneldoivent se poser des questions et chercherles causes de l’écart. Certaines actions deredressement peuvent aussi être entreprisespour éviter une détérioration plus grande.Il est important de vérifier si la cible n’étaitpas trop ambitieuse.

LE NIVEAU CRITIQUE

Le résultat est très nettement inférieur aurésultat attendu à l’étape mesurée et com-mande un redressement énergique pourprogresser vers la cible ou en atteindre unepartie satisfaisante à la fin de la période deréférence. Une organisation vigilante auranormalement commencé à réagir au pas-sage du niveau « haute surveillance » afind’éviter que la situation se détériore, à moinsqu’il ne s’agisse d’un nouveau programmeou service dont la progression est difficile àprévoir.

Page 37: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Documents de référence (✓copier et coller le crochet à la hauteur du document visé ; on peut cocher plus d’un document)

✓ Plan stratégique ✓ CPIDéclaration de services aux citoyens Entente de gestion (nom de l’agence)Plan annuel de gestion des dépenses ✓ Plan d’action

✓ Rapport annuel de gestion ✓ Rapport annuel de gestionministériel Autres (spécifier)

DéfinitionPourcentage des personnes en emploi après avoir bénéficié d’une interventiond’Emploi-Québec, sur le nombre d’individus ayant terminé une intervention.

Méthode de calculNumérateur : Somme de tous les individus distincts* pour lesquels un retour en emploi a été enregistré au cours des 12 derniers mois.Dénominateur : Somme des individus distincts* qui ont terminé une interventiond’Emploi-Québec au cours des 12 derniers mois.

*Un individu ayant plus d’un retour en emploi ou ayant participé à plus d’uneintervention est comptabilisé une seule fois.

Périodicité de productionMensuelle

Sources des donnéesInterne : InfocentrePropriétaire des données : Direction générale des opérations / Direction des mesures d’emploi et des services aux individus (DMESI)Producteur de l’indicateur : Direction du développement et de la continuité – emploi(DDCE) / Direction de la planification et de l’information sur le marché du travail (DPIMT)Personne ressource pour information sur l’indicateur :

Historique2000-2001 : L’indicateur a été implanté au cours de l’exercice financier 2000-2001.2001-2002 : Aucun changement.

CibleAnalyse des résultats historiques, de la conjoncture et des orientations stratégiques.

Écarts admissibles pour mesurer l’atteinte de la cibleNous analysons les résultats mensuellement et établissons des projections d’atteinte defin d’année à compter de septembre.Aucun seuil d’atteinte n’a été établi pour un indicateur seulement. Il s’agit davantage d’une performance globale.

UtilisationsIndicateur d’efficacité des interventions complémentaire au nombre de personnes en emploi.

Mises en gardeLes taux d’emploi sont des estimations.

Date de la dernière révisionMars 2002

* Ce modèle de fiche-indicateur a été développé par le ministère de l’Emploi et de la Soli-darité sociale et comprend aux pages suivantes les éléments requis pour valider la fiabilitédes données.

AN N E X E 5EX E M P L E S D E F I C H E S- I N D I C AT E U R SMinistère de l’Emploi et de la Solidarité sociale*

36 G u i d e s u r l e s i n d i c a t e u r s

Page 38: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Indicateurs (6, 7, 8, 9,10, 14, 16, 27, 30) :

Nombre d’emplois et taux d’emploi totaux/PAE/FP/ autre que FP/monoparental, moins de 30 ans/Ressources externes

Étapes Moyens de contrôle ✔ Détails de la fiabilité (ou ne s’applique pas – nsp)

Collecte Protocoles et et saisie procédures de saisie des bien définis et données documentés

Manuels de procédures ✔ Approche d’intervention pour ce qui est de la relance effectuée par les agents. Les autres éléments sont automatisés à partir de données primaires saisies dans divers dossiers.

Descriptifs des ✔panoramas d’écran

Champs obligatoires ✔et facultatifs précisés

Directives ✔ Au cours de l’année 2001-2002.

Normes

Méthode de saisie ✔ Régionale

Documentation nsp sur méthodologie de

sondage ou d’enquête

Application de la nsp méthodologie de

sondage ou d’enquête

Exigences de saisie Les ententes peuvent prévoir précisées pour que la ressource externe effectue

ressources externes la relance, mais l’information est saisie par E-Q.

Autres

Formation du personnel

À l’entrée en fonction ✔

Lors de changements ✔

Formation continue ✔

Sensibilisation à l’importance de

la qualité de la saisie

Autres

EX E M P L E S D E F I C H E S- I N D I C AT E U R SMinistère de l’Emploi et de la Solidarité sociale (suite)Grille diagnostique sur la fiabilité des données

37G u i d e s u r l e s i n d i c a t e u r s

Étapes Moyens de contrôle ✔

Détails de la fiabilité (ou ne s’applique pas – nsp)

Page 39: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Étapes Moyens de contrôle ✔

Détails de la fiabilité (ou ne s’applique pas – nsp)

Contrôle et validation des activités de saisie

Contrôle des ✔ Liste de relances en retardopérations de saisie (région)

Mécanismes automatisés de

validation des données

Comparaison des dossier physique et informatique

Activités de conformité

Autres

Indicateurs non chiffrés nsp Caractère officiel

des sources

Protocoles et procédures de création bien définis et documentés

Manuels de procédure ✔

Directives ✔

Responsable de ✔système désigné

Formation du personnel

Lors de l’entrée ✔en fonction

Lors de changements ✔

Formation continue ✔

Contrôle et validation Fichier de travail constitué par la des activités de création DDCE à partir des diverses sourcesdes dépôts (Processus (voir Diane Giroux)d’assurance qualité) Voir également annexe INFOCENTRE

Contrôles ✔de production

Règles de validation ✔

Équations de ✔contrôle

Suivi des générations ✔de fichiers

Durées d’exécution ✔

38 G u i d e s u r l e s i n d i c a t e u r s

Création des dépôtsinforma-tionnels

No fichierinterne à PEQ àpartir defichiersDGSR,DRHC etapproched’inter-ventionDS531

Page 40: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Étapes Moyens de contrôle ✔

Détails de la fiabilité (ou ne s’applique pas – nsp)

39G u i d e s u r l e s i n d i c a t e u r s

Contrôles d’intégrité ✔et d’intégralité

Rapports de conformité ✔ou d’anomalies

automatisés

Signalement et ✔correction des anomalies

Autres

Traite- Identification du ✔ 4 DDCE / DPIMT (PEQ) ment producteurdes infor- Documentation ✔ Dossier fonctionnel mations des méthodes et

étapes de traitement

Contrôle et validation ✔des opérations de traitement

Application des Divers essais (intégré, fonctionnel, procédures de validation acceptation)

Comparaison des ✔ Ad hocrésultats enregistrés

entre les périodes de référence

Procédure de ✔signalement

des anomalies

Corrélation des résultats ✔ Comparaison avec données avec ceux d’autres d’évaluation de la DRES

méthodes de calcul

Autres

Appréciation des moyens de contrôle de la fiabilité en place :(i.e. relatif au degré de fiabilité attendu et de risque associé)

Les moyens de contrôle de la fiabilité apparaissent relativement adéquats dans la mesure où la personne en emploi, telle que définie, couvre un large éventail de situations sans imposer de durée de l’emploi. Quant aux différents taux, il s’agit d’estimations obtenues à partir d’une méthodologie adéquate pour des résultats globaux. Cependant, la marged’erreur implicite ne permet pas d’analyser en profondeur la performance relative. Quant à l’indicateur relatif aux ressources externes, le fait de combiner plusieursmesures de nature différente comporte un biais.

Page 41: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Priorités ministériellesServices d’urgence

Fiche no 1.1.1

Nom de l’indicateurPOURCENTAGE DE SÉJOURS DE 24 HEURES OU PLUS À L’URGENCE

DÉFINITION Pourcentage de la clientèle reçue sur des civières au cours d’une période et dont le séjour est égal ou plus grand que 24 heures.

UTILISATION/ Par rapport à un objectif de séjour de 8 à 12 heures INTERPRÉTATION sur des civières dans les salles d’urgence, le séjour

de 24 heures représente un dépassement qu’il est nécessaire de surveiller.

Mise en garde Cet indicateur s’applique à presque tous les servicesd’urgence des centres hospitaliers (CH) de la province.Quelques CH de moins de 100 lits ne sont pas inscritsdans le Registre de la salle d’urgence (J56).

MÉTHODE DE CALCUL Séjours excessifs = (N 24 heures / N) * 100

N = nombre total de personnes qui ont occupé une civière.N 24 heures = nombre de personnes qui ont occupéune civière à l’urgence pendant 24 heures ou plus.

VENTILATION(S) Par période et par année financière. Par région de soins et par installation.D’autres ventilations sont également disponibles.

SOURCE D’INFORMATION Registre de la salle d’urgence (J56)

PÉRIODICITÉ DE RECUEIL Indicateur produit par période (13 par année) DES DONNÉES et par année financière. Il est habituellement disponible

environ six semaines après la fin de la période.Données disponibles Les établissements ont adhéré graduellement depuis au Registre depuis mars 1987.

PÉRIODE COUVERTE Année financière 1999-2000

ATTENTES SIGNIFIÉES Le pourcentage de séjours de 24 heures ou plus de la clientèle reçue sur des civières ne devrait pasexcéder 15 %.

RESPONSABLESAlimentation Établissements

Production et analyseIndicateur (conception)

EX E M P L E S D E F I C H E S- I N D I C AT E U R SMinistère de la Santé et des Services sociaux

40 G u i d e s u r l e s i n d i c a t e u r s

Page 42: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

RÉ F É R E N C E S U T I L E S

41G u i d e s u r l e s i n d i c a t e u r s

GUIDES

Ministère de l’Éducation (en coll. avec Marie-Hélène Jobin). La gestion par résultats – Documentde référence, mai 2001.

Ministère des Relations avec les citoyens et de l’Immigration. Aide-mémoire pour l’élabo-ration du plan d’amélioration des services aux citoyens, novembre 2002.

Secrétariat du Comité des priorités et Secrétariat du Conseil du trésor. Planificationstratégique – Document de référence 2001, septembre 2000.

Secrétariat du Conseil du trésor. Plan annuel de gestion des dépenses 2001-2002 – Documentde référence, décembre 2000.

Secrétariat du Conseil du trésor. Guide sur la convention de performance et d’imputabilitéet sur l’entente de gestion, novembre 2000.

Secrétariat du Conseil du trésor. Guide sur la déclaration de services aux citoyens, octobre 2000.

Brunelle, Yvon, et Alain Saucier. Les indicateurs et le système de soins, ministère de la Santé et des Services sociaux, coll. « Méthodologie et instrumentation », février 1999.

Brunelle, Yvon, et Alain Saucier. Les indicateurs et la gestion par résultats, ministère de laSanté et des Services sociaux, coll. « Méthodologie et instrumentation », août 1995.

Secrétariat du Conseil du trésor. L’évaluation de programme – Document destiné auxdirigeantes et dirigeants des ministères et des organismes, 2002.

Gagnon, Jacques. Quels devraient être nos indicateurs ?, Bureau du sous-ministre associéaux mines, ministère des Ressources naturelles, Atelier de formation et d’échanges de laSQEP, 26 janvier 1996.

OUVRAGES DE RÉFÉRENCE

Voyer, Pierre. Tableaux de bord de gestion et indicateurs de performance, Québec, Pressesde l’Université du Québec, 2e édition, 1999.

CCAF-FCVI. Principes guidant la publication de l’information sur la performance – Documentde travail, Ottawa, CCAF-FCVI, juillet 1999.

Morin, Estelle M., Michel Guindon et Émilio Boulianne. Les indicateurs de performance,Montréal, Ordre des comptables généraux licenciés du Québec, Guérin éditeur 1tée, 1996.

Institut canadien des comptables agréés. Indicateurs de l’état des finances des gouverne-ments, Rapport de recherche, 1997.

Centre de formation et de consultation (C.F.C.). La direction participative par objectifs, 2e édition, Québec, Les Presses de l’Université Laval, 1979.

Page 43: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

Cérutti, Olivier, et Bruno Gattino. Indicateurs et tableaux de bord, 3e tirage, Paris, AFNORgestion, 1997.

Leclerc, Guy, et autres. Reddition de comptes, rapports sur la performance et vérificationintégrée, Ottawa, CCAF-FCVI, 1996.

DOCUMENTATION DE FORMATION

Voyer, Pierre. Les indicateurs de résultats, Secrétariat du Comité des priorités, ENAP, 7 décembre 1999.

École nationale d’administration publique. Le plan stratégique, automne 2000.

Voyer, Pierre. Les indicateurs : leur utilisation convergente pour l’évaluation, la planificationet la gestion, Société québécoise d’évaluation de programme, ENAP, 22 au 29 mars 2001.

AUTRES GOUVERNEMENTS

Government of Alberta. 1999/2000 Annual Report.

Oregon Progress Board. Achieving the Oregon Shine Vision : The 1999 BenchmarkPerformance Report HIGHLIGHTS, Report to the Legislative Assembly, mars 1999.

State of Louisiana. MANAGEWARE – A Practical Guide to Managing for Results, janvier 1996.

Commission européenne. Indicateurs et repères de qualité relatifs à l’éducation scolaire,2e rapport intérimaire, octobre 1999.

Commission européenne. Rapport européen sur la qualité de l’éducation scolaire – Seizeindicateurs de qualité, mai 2000.

SITES INTERNET

ENAP

Liens TBG. Sites de fournisseurs de systèmes de TBG informatisés. Sites généraux sur lamesure de la performance. Liens par secteur d’activité : gouvernement et fonction publique,technologies de l’information. Sites français, américains.

http://www.enap.uquebec.ca/tbord/liens.htm

MINISTÈRE DE LA SANTÉ ET DES SERVICES SOCIAUX

Collection « Planification stratégique et évaluation ».Bulletin no 8 : Les indicateurs et la gestion par résultats.Bulletin no 13 : Les indicateurs et les systèmes de soins.

http://www.msss.gouv.qc.ca/f/documentation/index.htm

42 G u i d e s u r l e s i n d i c a t e u r s

Page 44: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

43G u i d e s u r l e s i n d i c a t e u r s

SOUS-SECRÉTARIAT À LA MODERNISATION DE L’ADMINISTRATION PUBLIQUE

Divers renseignements sur le nouveau cadre de gestion et le soutien offert par l’équipe dela modernisation.

http://www.tresor.gouv.qc.ca/ministre/modernisation/index.htm

ASSEMBLÉE NATIONALE, COMMISSION DE L’ADMINISTRATION PUBLIQUE

Rapports, document de réflexion et colloque – Rapports sur l’imputabilité des sous-ministreset des dirigeants d’organismes publics :

Premier rapport – 3 juin 1997Deuxième rapport – 25 novembre 1997Troisième rapport – 2 juin 1998Quatrième rapport – 16 juin 1999Cinquième rapport – 17 décembre 1999Sixième rapport – 15 juin 2000Septième rapport – 15 décembre 2000

http://www.assnat.qc.ca/fra/publications/index.html#rapportshttp://www.assnat.qc.ca/archives-35leg2se/fra/Publications/index.html#rapports

GOUVERNEMENT DE L’ONTARIO, MINISTÈRE DES AFFAIRES MUNICIPALES ET DU LOGEMENT

Le Programme de mesure de la performance des services municipaux, 8 décembre 2000.Le Programme de mesure de la performance des services municipaux, 3 octobre 2000.

http://www.mah.gov.on.ca/inthnews/releases/20001208-f.asphttp://www.mah.gov.on.ca/inthnews/backgrnd/20001003-2f.asphttp://www.ccr.gov.on.ca/mccr/francais/bienvenue.htm

GOUVERNEMENT DE L’ALBERTA

Accès à divers documents concernant la vérification des évaluations (measuring up).http://www.treas.gov.ab.ca/measuring/index.htmlhttp://www.treas.gov.ab.ca/index4.html

INSTITUT CANADIEN D’INFORMATION SUR LA SANTÉ

Indicateurs de la santé : publication électronique.

http://secure.cihi.ca/cihiweb/dispPage.jsp ?cw_page=indicators_f

GOUVERNEMENT DU CANADA

Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouver-nement du Canada.http://www.tbs-sct.gc.ca/res_can/siglist_f.html

Page 45: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

GOUVERNEMENT DU CANADA, BUREAU DU VÉRIFICATEUR GÉNÉRAL DU CANADA

Mise en œuvre de la gestion axée sur les résultats : leçons tirées de la documentation(mars 2000).

http://www.oag-bvg.gc.ca/domino/autres.nsf/html/00rbm_f.html

Autres publications.

http://www.oag-bvg.gc.ca/domino/autres.nsf/html/99pubm_f.htmlhttp://www.oag-bvg.gc.ca/domino/autres.nsf/html/99menu5f.html

La Commission européenne, EUROPA, Union européenne

INDICATEURS ET REPÈRES DE LA QUALITÉ RELATIFS À L’ÉDUCATION SCOLAIRE.

Conférence des ministres de l’Éducation des États membres de l’Union européenne, des paysd’Europe centrale et orientale, de Malte, de Chypre et de la Turquie (Budapest, 24-26 juin 1999).

http://europa.eu.int/comm/education/indic/rap1fr.htmlhttp://europa.eu.int/comm/index_fr.htmhttp://europa.eu.int/index-fr.htm

ORGANISATION MONDIALE DE LA SANTÉ

Rapport sur la santé dans le monde 2000. Accès aux anciens rapports.

http://www.who.int/whr/2000/fr/index-fr.html

OCDE

http://www.oecd.org/puma/index-fr.htmhttp://www.oecd.org/index-fr.htmhttp://www.observateurocde.org/http://www.oecd.org/publications/observer/217/f-toc.htmhttp://www.oecd.org/std/indksti.htm

OREGON, US

Rapport annuel 2000. Exemples de gestion par résultats et de reddition de comptes,benchmark, performance, etc.

http://www.econ.state.or.us/opb/

44 G u i d e s u r l e s i n d i c a t e u r s

Page 46: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)

45G u i d e s u r l e s i n d i c a t e u r s

CCAF-FCVI

Programme de recherche axé sur la publication de l’information sur la performance, Principesguidant la publication de l’information sur la performance.

http://www.ccaf-fcvi.com/french/principles_entry.htmlhttp://www.ccaf-fcvi.com/french/index.html

CICA-ICCA

CA magazine

http://www.camagazine.com/cica/camagazine.nsf/e2001-jan/Eyeswideshuthttp://www.camagazine.com/cica/camagazine.nsf/f2001-jan/Lesyeuxgrandsfermes

Eyes wide shut. Must directors be the last to know when something is really going wrongin an organization ? By William A. Bradshaw.

http://www.camagazine.com/cica/camagazine.nsf/public/Index_2000CA magazine – Index 2000.

http://www.camagazine.com/cica/camagazine.nsf/fArchive ?openview&count=1000CA magazine français – archives.

http://www.cica.ca/cica/cicawebsite.nsf/public/PageDAccueil

INSTITUTE FOR IMPROVEMENT IN QUALITY AND PRODUCTIVITY (IIQP), UNIVERSITY OF WATERLOO

http://www.math.uwaterloo.ca/IIQP/General.htmlhttp://www.iiqp.uwaterloo.ca/Reports/

INDUSTRIES CANADA, GOUVERNEMENT FÉDÉRAL

http://strategis.ic.gc.ca/SSGF/pr00016f.html

APQC – AMERICAN PRODUCTIVITY AND QUALITY CENTER

http://www.apqc.org/http://www.apqc.org/search/dispRelatedItems.cfm?ProductType=Publication&ProductID=1255

Publications à vendre.

Page 47: guide Sur Les Indicateurs - Tresor.gouv.qc.ca · Guide sur les indicateurs 7 d’une implantation, d’une recherche ou, encore, une date limite, une échéance. … le contexte (l’environnement)