Évaluation de la fonction d'élaboration des politiques en matière de droit pénal

3. Méthodologie

L’évaluation de la Section s’appuie sur quatre éléments de preuve, c’est‑à-dire un examen de documents et de données, des entrevues menées auprès de répondants clés qui sont des dirigeants du Ministère et d’autres interlocuteurs, de même qu’un examen de dossiers spécifiques à des projets. Dans cette section, nous fournissons davantage de détails sur chaque méthode de recherche.

La démarche méthodologique est en grande partie qualitative, étant donné que l’information et les activités associées à l’élaboration de politiques ne se prêtent pas à la quantification ou à l’établissement d’une structure rigide. Les méthodes qualitatives permettent une approche plus ouverte qui facilite la communication et permet la flexibilité dans l’élaboration de projets et la collecte d’information, ce qui a joué un rôle clé dans la présente évaluation, car il s’agit de la première évaluation importante d’une fonction d’élaboration de politiques au Ministère effectuée conformément à la Politique sur l’évaluation de 2009. L’assise de connaissances des évaluateurs a augmenté graduellement à chaque étape successive de collecte et d’analyse de données, ce qui a permis de poser des questions mieux éclairées et de clarifier des réponses en tenant compte des données déjà réunies.

La méthodologie a été mise au point en consultation avec le Groupe de travail de l’évaluation de la SPDP. Le groupe de travail a revu l’ensemble des méthodes et des instruments de collecte des données.

La matrice d’évaluation, qui comprend les questions d’évaluation, ainsi que des indicateurs et des éléments de preuve, et a aidé à répondre aux questions d’évaluation, guide l’étude. L’annexe A présente la matrice et les annexes B et C, les instruments de collecte des données créés pour y répondre.

3.1 Examen des documents

Les évaluateurs ont examiné des rapports et des documents administratifs pour comprendre le mandat, les activités et la pertinence de la Section. Ils ont examiné des documents internes comme le cahier d’orientation et la disposition des dossiers de la Section, des plans d’activité du Secteur des politiques, des ordres du jour et des comptes rendus de réunions, des mandats de groupes de travail, des notes aux avocats de la SPDP, ainsi que de l’information sur les ressources financières et humaines, de même que des renseignements publics comme des discours budgétaires, des discours du Trôle, des Rapports ministériels de rendement et des Rapports sur les plans et les priorités du ministère de la Justice, des documents sur le processus parlementaire et des guides sur l’élaboration de lois et de règlements fédéraux.

3.2 Données secondaires et administratives

L’évaluation a inclus un examen de données administratives tirées de la base de données iCase du Ministère pour les exercices 2010‑2011 à 2012‑2013, examen qui a produit de l’information descriptive sur les types de dossiers dont la Section est responsable et sur le niveau de l’effort (nombre d’heures) qui y a été consacré. iCase est le système intégré de gestion des dossiers, de comptabilisation du temps et de facturation, de gestion des documents et de production de rapports du Ministère. L’évaluation a aussi inclus un examen des résultats tirés du dernier Sondage auprès des fonctionnaires fédéraux (SAFF) (2011), qui a produit de l’information sur la demande de services, la capacité et l’efficience.

3.3 Entrevues avec les principaux intervenants

Les entrevues menées auprès des principaux intervenants ont produit des renseignements descriptifs et des opinions à propos à la fois de la pertinence et du rendement, mais l’information a porté principalement sur le rendement. Ces entrevues ont constitué un élément de preuve fondamental dans la collecte d’information sur l’efficacité des activités de la Section. Une liste des principaux intervenants potentiels a été dressée et des guides d’entrevue personnalisés en fonction de chaque groupe ont été développés, en consultation avec le Groupe de travail responsable de l’évaluation. Au total, 77 principaux intervenants ont participé à des entrevues. Sauf dans le cas de la SPDP, où les entrevues ont été réalisées auprès des membres principaux et subalternes du personnel, la plupart des entrevues ont été menées auprès de membres du personnel occupant des postes de gestion. Le tableau 3 ci-dessous présente une ventilation du nombre des principaux intervenants interviewés selon le groupe.

Tableau 3 : Principaux intervenants
Catégorie Nombre
SPDP
Gestionnaires 7
Autres membres du personnel 16
Total partiel 23
Clients/intervenants
Autres sections du ministère de la Justice 20
Services juridiques ministériels 6
Ministères ou organismes fédéraux 16
Représentants provinciaux/territoriaux 8
Organisations non gouvernementales et autres entités 4
Total partiel 54
Total 77

Les entrevues à phases multiples ont permis de réinvestir par la suite les connaissances et les perspectives acquises dans la conception d’instruments de collecte de données.

Les répondants potentiels ont reçu une invitation à participer à une entrevue. Ceux qui ont consenti à participer ont reçu une copie du guide d’entrevue (dans la langue officielle de leur choix) avant l’entrevue. Chaque entrevue s’est déroulée dans langue officielle du choix du répondant et l’on a garanti aux principaux intervenants que leurs réponses demeureraient anonymes. L’évaluation a comporté des entrevues téléphoniques et en personne. Afin d’en assurer l’exactitude, les notes d’entrevue ont été envoyées à chaque répondant pour qu’il les revoie une fois l’entrevue terminée.

3.4 Examen des dossiers

Les évaluateurs ont examiné six dossiers de projet afin de comprendre plus à fond la durée d’un dossier par rapport aux mesures de rendement de la SPDP. L’examen des dossiers a aussi permis aux évaluateurs de déterminer si les documents en dossier appuyaient l’information tirée des principaux intervenants au sujet de la façon dont la Section effectue son travail. L’échantillon qui a servi à l’examen des dossiers a été choisi en consultation avec le Groupe de travail chargé de l’évaluation et visait à illustrer la variété du travail de la Section. Les évaluateurs ont examiné deux dossiers législatifs (dont un a comporté une participation importante des provinces/territoires dans le contexte d’un exercice de consultation), deux dossiers de consultation juridique et deux dossiers internationaux.

Un examen minutieux du dossier de projet a été suivi dans la plupart des cas de discussions avec l’agent des politiques afin de compléter les documents au dossier. Ces discussions ont produit de l’information sur le contexte du travail et permis de comprendre plus à fond le dossier. Afin d’assurer que l’on tirait de l’information comparable de chaque dossier, l’examen des dossiers a reposé sur un modèle qui visait avant tout l’information factuelle disponible dans les dossiers. L’annexe C présente le modèle d’examen.

3.5 Limites méthodologiques

L’évaluation a fait face à quelques limites méthodologiques dont nous traitons ci-dessous en fonction des éléments de preuve.

Entrevues
Les entrevues menées auprès des principaux intervenants peuvent entraîner une déviation systématique des réponses autodéclarées, ce qui se produit lorsque des personnes décrivent leurs propres activités et peuvent donc vouloir se présenter sous un angle favorable. Il y a aussi la déviation systématique des résultats stratégiques qui fait que les participants répondent à des questions en souhaitant orienter les résultats.
Examen des dossiers
Les dossiers ont été choisis avec la contribution du Groupe de travail chargé de l’évaluation et l’on a jugé qu’ils représentaient bien la diversité du travail de la Section. Comme les dossiers n’ont pas été choisis au hasard et comme l’échantillon n’est pas volumineux, l’échantillon consacré à l’examen des dossiers n’est pas représentatif. L’examen des dossiers visait plutôt à illustrer seulement comment la Section aborde les différents types de travail.
Examen des données : iCase
iCase est le système de gestion des dossiers juridiques et de comptabilisation du temps du Ministère. La capacité d’utiliser iCase pour répondre aux questions d’évaluation est limitée de plusieurs façons, principalement à cause du volume limité de données accessibles pour la période d’évaluation. Comme iCase a été implanté à la SPDP en avril 2010, il existe seulement trois exercices complets de données pour la période d’évaluation. Étant donné qu’il s’agit de la première année de mise en œuvre, on a prévenu les évaluateurs d’utiliser les données de 2010‑2011 avec prudence parce que leur exactitude et leur intégralité pourraient être limitées. Comme deux années seulement de données plus fiables sont disponibles, les évaluateurs n’ont pas pu utiliser iCase pour dégager des tendances (p. ex., au niveau du volume de travail) au cours de la période de cinq ans visée par l’évaluation.

Il a aussi été difficile de déterminer, en utilisant iCase, le volume de travail stratégique effectué par rapport aux activités purement consultatives de la Section. Par exemple, un pourcentage important du travail de la Section sur le plan des consultations juridiques et de l’élaboration de politiques au niveau international est entré dans une seule rubrique, qui n’établit pas de distinction au niveau de la nature du service fourni. En outre, une partie des activités de consultation portant sur des dossiers stratégiques est incluse dans le dossier de politique en cause. Même si iCase contient des dossiers sur les activités purement consultatives de la SPDP, les évaluateurs ont eu de la difficulté à dégager la nature de ce travail. Le troisième type le plus courant de conseils recherchés par les clients est celui des conseils divers saisis dans iCase à la rubrique « Conseils par sujet », catégorie globale qui regroupe les conseils « ponctuels » demandés par les SJM pour le compte de leurs ministères clients.

3.5.1 Stratégie d’atténuation

La stratégie d’atténuation consistait à utiliser la méthode de la triangulation pour vérifier les constatations en fonction d’autres sources et points de vue, afin de dissiper ainsi les préoccupations soulevées par la possibilité que les résultats de l’étude découlent d’une seule méthode, proviennent d’une seule source ou des observations ou de l’interprétation d’un seul évaluateur.

Triangulation des sources de données qualitatives

Les évaluateurs ont comparé et vérifié l’uniformité de l’information réunie par différents moyens en comparant les points de vue de personnes à partir de points de vue différents. En cherchant à réunir de l’information de l’ensemble des interlocuteurs de la SPDP, les évaluateurs ont pu soumettre à la triangulation les opinions des membres du personnel de la SPDP, de ses clients, de ses partenaires et d’autres interlocuteurs et vérifier les entrevues par rapport à des documents de programme et d’autres éléments de preuve écrits en dossier qui permettent de corroborer les déclarations des répondants. Les évaluateurs ont constaté qu’il y avait constance dans les tendances globales des données provenant de sources différentes.

Triangulation avec observateurs et analystes multiples

L’évaluation a eu recours à de multiples observateurs et analystes plutôt qu’à un seul dans chaque cas. Le recours à plusieurs intervieweurs a aidé à réduire la déviation systématique possible qui pourrait découler du fait qu’une seule personne réunit toutes les données et à construire un autre moyen d’évaluer plus directement l’uniformité des données réunies. L’évaluation a aussi utilisé la stratégie de triangulation des analystes qui consiste à soumettre les analystes à la triangulation, c’est‑à-dire à demander à plus d’une personne d’analyser indépendamment les mêmes données qualitatives et à comparer leurs résultats. L’exercice a aidé les évaluateurs à mieux comprendre les enjeux et à maximiser leur confiance dans les constats de l’évaluation.

Examen par les participants

Les évaluateurs ont envoyé leur ébauche de notes d’entrevue à chacun des principaux intervenants pour qu’il les revoie. Cet exercice a aidé à assurer que les notes prises au cours de l’entrevue étaient exactes et complètes et à améliorer la validité globale des données tirées des entrevues.