Plan triennal d'évaluation 2007-2010

Annexe A : Politique d'évaluation des programmes du ministère de la Justice

Introduction

La Politique d'évaluation des programmes du ministère de la Justice est fondée sur les principes de la Politique fédérale d'évaluation (http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TBM_161/ep-pe_f.asp) (Secrétariat du Conseil du Trésor, 1er avril 2001). Conformément au nouveau cadre de gestion du Gouvernement du Canada, Des résultats pour les Canadiens et Canadiennes (http://www.tbs-sct.gc.ca/report/res_can/siglist_f.asp), cette politique reflète le point de vue selon lequel les gestionnaires de la fonction publique sont appelés à définir les résultats escomptés, à continuellement mettre l'accent sur l'atteinte de ces résultats, à mesurer le rendement de façon régulière et objective ainsi qu'à apprendre et à s'adapter de manière à améliorer l'efficacité.

Qu'est-ce que l'évaluation des programmes et à quoi sert-elle ?

L'évaluation des programmes[1] emploie une série d'outils de recherche appliquée qui permettent l'évaluation systématique et objective des éléments de rendement d'une politique ou d'un programme[2]. L'évaluation contribue à la prise de décision stratégique et collective, et aux méthodes d'innovation et de responsabilisation à tous les niveaux. Elle vise à fournir en temps opportun aux gestionnaires et à d'autres intéressés une information utile, crédible et objective sur la pertinence continue des politiques et des programmes fédéraux et ministériels, sur leurs incidences et sur les possibilités d'employer des outils d'intervention différents et plus rentables en matière de politiques et de programmes.

L'évaluation des programmes sert de moyen d'obtenir une rétroaction au sein du processus d'élaboration de politiques. Elle sert à vérifier la réussite ultime des politiques en déterminant si ces dernières ont eu l'effet voulu et, dans la négative, pourquoi ? L'évaluation procure aussi un soutien aux décideurs et aux gestionnaires hiérarchiques sur des questions comme l'identification des résultats attendus de politiques et de programmes, l'élaboration de cadres d'évaluation du rendement, la surveillance de la mise en application des programmes et des politiques, les mécanismes de compte rendu et l'établissement de normes de service axées sur le client.

L'évaluation des programmes renseigne par ailleurs à la mi-mandat des programmes (moment où les activités de ceux-ci prennent forme ou bien se déroulent), grâce à l'étude de divers processus notamment la prestation du programme, la qualité de sa mise en œuvre, l'évaluation du contexte organisationnel et les intrants du programme.

L'évaluation des programmes aide à promouvoir un apprentissage organisationnel dans l'administration fédérale, par exemple en communiquant des points de référence applicables à l'utilisation et à la gestion d'instruments de politiques et de mécanismes d'exécution de programmes.

Enfin, l'évaluation en tant qu'un élément de la fonction de contrôleur du Ministère, est dirigée en coopération et coordination avec d'autres processus d'examen, plus spécifiquement la vérification et les examens menés par les gestionnaires.

Le Glossaire des termes à la fin du présent document donne des renseignements plus détaillés sur les composantes et les concepts associés aux processus d'évaluation.

Objectif

La politique d'évaluation du ministère de la Justice a pour objectif de garantir que le Ministère obtient en temps opportun de l'information crédible, stratégiquement ciblée, objective et fondée sur des résultats en ce qui concerne le rendement de ses politiques et de ses programmes.

Énoncé

Le ministère de la Justice veut que ses politiques et programmes majeurs soient :

Les politiques et les programmes majeurs du Ministère sont ceux qui nécessitent des dépenses importantes ou présentent un degré de risque élevé, ceux pour lesquels le gouvernement ou le ministère ont besoin d'information stratégique ou ceux à l'égard desquels les organismes centraux, le Parlement ou le grand public ont exprimé un intérêt particulier.

Attributions

Sous-ministre

Le sous-ministre[3] est responsable de ce qui suit :

Comité de la vérification et de l'évaluation

Celui-ci se réunit régulièrement pour aider le sous-ministre à assumer ses responsabilités en ce qui concerne la vérification et l'évaluation. Il est à noter que, périodiquement, le président du Comité, à titre de membre du Conseil exécutif, informe ce dernier des activités du Comité de vérification et d'évaluation.

Dans son rôle lié aux activités d'évaluation, le Comité de la vérification et de l'évaluation (CVÉ) est responsable de ce qui suit :

Responsables de secteur et gestionnaires de programme et de politique

Les responsables de secteur et les gestionnaires de programme et de politique ont les attributions suivantes :

Directeur et personnel de la Division de l'évaluation

La Division de l'évaluation est responsable de ce qui suit :

Accès public

Une fois qu'ils sont terminés et approuvés, tous les rapports sont affichés sur les sites internet et intranet du ministère de la Justice dans les deux langues officielles, et ce, dans les 60 jours ouvrables suivant l'approbation du Comité de vérification et d'évaluation. Les citoyens ont accès aux rapports conformément à la Politique d'examen du Conseil du Trésor, à la Loi sur l'accès à l'information et à la Loi sur la protection des renseignements personnels.

Autres points à considérer

Lorsque l'on détermine la méthode d'évaluation et, plus particulièrement lorsque l'on prépare les questions pour l'évaluation de tout programme ou toute politique du Ministère, une attention spéciale est accordée à la pertinence et à l'inclusion des questions visant à examiner les répercussions différentielles des programmes et des politiques sur les groupes d'équité en matière d'emploi, les groupes linguistiques, les groupes touchés par le sexisme et tout autre groupe visé par la diversité.

Références

Renseignements

Les demandes de renseignements au sujet de la présente politique sont à adresser à :

Directeur - Division de l'évaluation
Bureau de la gestion de la planification stratégique et du rendement

Glossaire

Activité:
Action ou démarche exécutée à l'interne par une organisation et destinée à produire des extrants précis (p. ex., des produits ou services). Les activités font partie du premier chaînon de la progression vers l'atteinte des résultats.

But:
Vaste énoncé de haut niveau qui précise en termes généraux les résultats désirés à atteindre au cours d'une période indéterminée. Un but devrait être le reflet de la «mission» d'une organisation.

Modèle logique:
Illustration de la « théorie » du programme ou des « mesures » prises dans le cadre de celui-ci. Il s'agit d'un enchaînement logique de relations prémisse-conclusion ; l'énoncé « si x se produit, alors y se produira » montre les liens entre les activités au moyen de l'enchaînement des résultats.

Mission:
Énoncé des activités, de l'objet et de la raison d'être d'une organisation – éléments critiques dans le cadre desquels les buts, les objectifs et les normes devraient être établis.

Objectif:
Énoncé des résultats précis à atteindre au cours d'une période donnée. Les objectifs sont généralement de niveau inférieur et à plus court terme que les buts.

Résultat:
Incidence des extrants d'un programme sur un client ou des groupes visés. En d'autres termes, les résultats sont les changements qu'un programme ou une politique compte apporter. Les résultats mettent l'accent sur ce que le programme ou la politique permet de réaliser plutôt que ce sur ce qu'il (elle) fait (c'est-à-dire les résultats escomptés de l'initiative, et non pas le processus pour y arriver). Ils peuvent être définis comme immédiats, intermédiaires ou finaux, directs ou indirects, escomptés ou inattendus.

Extrant:
Unité de services ou de produits offerts, de personnes desservies par un programme ou une politique ou nombre de produits et de services exécutés.

Mesure du rendement:
Consiste à assurer le suivi du rendement d'un programme par rapport aux buts fixés sur une période donnée, afin de produire une évaluation du rendement du programme, notamment des mesures de la productivité, de l'efficacité, de la qualité et du caractère opportun. La mesure du rendement peut contribuer à fournir des perspectives objectives en vue de défendre ou d'élargir un programme, plutôt que de permettre qu'il fasse l'objet de décisions relativement arbitraires ou habituelles. Des systèmes de suivi continu, qui mettent l'accent sur les indicateurs et l'analyse associés à l'amélioration, peuvent contribuer à assurer le suivi des résultats et à les améliorer avec le temps, et peuvent également s'avérer une précieuse source d'information dans le cadre du processus officiel d'évaluation.

Évaluation des programmes:
Emploie une série d'outils de recherche appliquée qui permettent l'évaluation systématique et objective des éléments de rendement d'un programme. Elle vise à fournir en temps opportun aux gestionnaires et à d'autres intéressés une information utile, crédible et objective sur la pertinence continue des politiques et des programmes fédéraux et ministériels, sur leurs incidences et sur les possibilités d'employer des outils d'intervention différents et plus rentables en matière de politiques et de programmes. Selon le moment de l'évaluation, celle-ci peut prendre l'un des formes suivantes :
  • une évaluation formative, évaluation de la mise en œuvre ou évaluation à mi-mandat, qui permet de recueillir de l'information à mi-parcours de l'application d'un programme au moyen de l'examen des méthodes d'exécution du programme, de la qualité de sa mise en œuvre et de l'évaluation du contexte organisationnel, des procédures relatives au personnel et des opinions de celui-ci;
  • une évaluation sommative ou évaluation d'incidence qui détermine l'incidence globale d'un programme en examinant les répercussions ou les résultats des programmes.

Les évaluations mettent l'accent sur trois préoccupations principales :

  • la question de la pertinence, ou plus précisément, déterminer si les instruments des programmes ou des politiques, continuent ou non de répondre à des priorités stratégiques et à des besoins réels ; c'est-à-dire la mesure dans laquelle les objectifs et le mandat du programme ou de la politique sont encore pertinents et dans laquelle les activités et les extrants d'un programme ou d'une politique sont conformes au mandat et sont liés de façon plausible à la réalisation des objectifs établis et à l'atteinte des résultats escomptés ;
  • la question de la réussite, notamment la mesure dans laquelle les instruments du programme ou de la politique répondent aux objectifs établis (p. ex., répercussions), et ce, sans répercussions injustifiées ou indésirables ;
  • la question de la rentabilité, c'est-à-dire déterminer si les moyens les plus efficaces sont utilisés pour atteindre les objectifs relatifs aux mesures de rechange, et déterminer également si un autre palier d'administration pourrait assumer la responsabilité de la politique ou du programme.

Processus d'évaluation des programmes:
Comporte quatre étapes - planification et conception, collecte et analyse des données, établissement des rapports et suivi.
process.gif
[Description]

Cadre de Gestion et de Responsabilisation axé sur les Résultats (CGRR):
Plan détaillé visant à aider les gestionnaires à mesurer les résultats durant le cycle de vie d'une politique ou d'un programme et à en faire rapport. Les CGRR sont une exigence de la Politique du Conseil du Trésor sur les paiements de transfert http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TBM_142/ptp_f.asp et sont généralement exigés par le Conseil du Trésor (CT) dans le cadre du processus d'approbation des programmes qui sont nouveaux ou renouvelés. La politique du CT sur l'évaluation requière également l'élaboration d'un CGRR lorsqu'il facilite la mesure du rendement et la reddition de comptes. Les CGRR comprennent habituellement :

  • un énoncé précis des rôles et des responsabilités des principaux partenaires qui participent à la mise en œuvre de la politique ou du programme ;
  • une description claire des ressources à appliquer et des objectifs, des activités, des extrants et des principaux résultats à atteindre, ainsi que des liens existant entre eux (voir le Glossaire pour obtenir une description de chacun de ces termes) ;
  • un énoncé de la stratégie de mesure du rendement, notamment les coûts et l'information sur le rendement (principaux indicateurs) dont on assurera le suivi ;
  • le calendrier des principaux travaux d'évaluation à effectuer ;
  • un énoncé des dispositions relatives à l'établissement des rapports à l'intention des bénéficiaires de financement, et des dispositions pour le Ministère.

Le CGRR est un outil utile pour gérer les politiques ou les programmes importants, qu'ils soient élaborés conformément à une exigence fédérale « officielle » ou non. Cependant, lorsqu'un CGRR n'est pas précisément exigé par le CT et que le gestionnaire souhaite néanmoins avoir un cadre pour l'aider dans l'évaluation d'un programme ou d'une politique, cet outil est parfois appelé un cadre d'évaluation ou un plan d'évaluation. Ces termes sont essentiellement équivalents à un CGRR, mais les composantes bénéficient d'un peu plus de souplesse (parce qu'elles ne sont pas exigées par le CT).