Évaluation des services de contentieux

3. Méthode d’évaluation

Pour orienter l’évaluation, on a élaboré une méthodologie et une matrice d’évaluation qui tiennent compte de la souplesse de la Politique sur les résultats (2016) du CT. La portée de l’évaluation est axée sur le rendement (efficacité et efficience) et les principales questions d’intérêt pour la haute direction, comme l’incidence des changements apportés en 2016 à la fonction du contentieux. L’évaluation repose sur sept grandes questions relatives au rendement, résumées ci-dessous.

Efficacité

  1. Dans quelle mesure le Ministère offre-t-il des services de contentieux de grande qualité?
  2. Dans quelle mesure les changements apportés à la fonction du contentieux depuis le 1er avril 2016 ont-ils amélioré l’efficacité des services de contentieux?
  3. Dans quelle mesure le SNC (y compris la SCAC, les bureaux régionaux et le BNPESL) collabore-t-il efficacement avec le personnel du ministère de la Justice (portefeuilles, SJM et autres secteurs) dans la prestation des services de contentieux? Quels changements, le cas échéant, sont nécessaires?
  4. Le cadre de gestion du risque juridique s’applique-t-il efficacement à la fonction du contentieux?
  5. Dans quelle mesure les professionnels du droit du contentieux disposent-ils de l’expertise, des outils, des structures et des ressources nécessaires pour soutenir la prestation des services de contentieux?

Efficience

  1. Les services de contentieux sont-ils gérés et offerts avec efficience?
  2. Les services de contentieux parviennent-ils à régler les litiges de façon appropriée, en temps opportun et de façon rentable?

On a utilisé quatre sources de données pour répondre aux questions d’évaluation : un examen des documents de gestion et de programme, des entrevues auprès d’informateurs clés, un sondage auprès des avocats plaidants, et un examen des données administratives.

Les pages suivantes en font une brève description; tous les détails supplémentaires se trouvent à l’annexe C.

3.1 Examen des documents

L’examen des documents a permis d’obtenir des renseignements descriptifs sur les activités liées aux litiges, et des réponses à la plupart des questions d’évaluation. Il s’est poursuivi pendant toute la durée du projet et a porté sur les types de documents suivants :

  • documents administratifs et internes du programme;
  • documents ministériels et autres documents gouvernementaux mis à la disposition du public;
  • résultats obtenus aux questions pertinentes de l’Enquête sur la satisfaction des clients du ministère de la Justice Canada ;Footnote 11
  • résultats obtenus aux questions pertinentes du Sondage auprès des fonctionnaires fédéraux (SAFF) de 2017 .Footnote 12

3.2 Entrevues auprès d’informateurs clés

En tout, 49 entrevues en profondeur ont été réalisées auprès de 122 personnes représentant les groupes suivants :

  • personnel du SNC (23 entrevues auprès de 52 personnes; ces informateurs clés sont principalement des membres de la direction ou des avocats principaux siégeant à des comités régionaux du contentieux);
  • autres secteurs du ministère de la Justice offrant des services directs de contentieux (5 entrevues auprès de 16 personnes);
  • SJM (9 entrevues auprès de 27 personnes);
  • portefeuilles de la Justice (6 entrevues auprès de 13 personnes);
  • autres secteurs (6 entrevues auprès de 14 personnes).

3.3 Examen des données administratives

Les données administratives proviennent du Système d’analyse des activités du ministère de la Justice Canada (Explore). Elles ont été extraites de l’entrepôt de données d’Explore par Tableau, qui comprend des données d’iCase, du Système intégré des finances et du matériel (SIFM), et du Système de gestion des ressources humaines (SGRH). Extraites entre mars et juin 2019, les données ont été analysées à l’aide du logiciel statistique R et d’Excel.

L’examen des données a porté sur les dossiers de contentieux menée par le SNC ou l’une des autres unités de contentieux entre 2014-2015 et 2017-2018. Les données du SNC examinées concernaient le nombre de dossiers par type de client, les données sur les résultats, les notes accordées au risque juridique et à la complexité, et le niveau d’effort (en nombre d’heures).

Les données administratives obtenues des autres unités du contentieux sont plus ciblées et se limitent au nombre de dossiers de contentieux ouverts, fermés et activement gérés. Puisque les SJM de TC traitent peu de dossiers de litige et que les SJM du GLCSN traitent des dossiers de litige de nature délicate, ils n’ont pas été inclus dans l’examen des données administratives.

3.4 Enquête auprès du personnel du contentieux

Dans le cadre de l’évaluation, une enquête anonyme et confidentielle a été menée en ligne, dans les deux langues officielles, auprès des membres du personnel du contentieux en vue d’obtenir leur opinion sur l’efficacité et l’efficience des services de contentieux et sur les répercussions du SNC. L’enquête visait tout le personnel du contentieux (avocats, notaires, parajuristes et assistants juridiques) du SNC, ainsi que le personnel des autres unités du contentieux à l’extérieur du SNC faisant partie de l’évaluation.Footnote 13 Sur les 1 615 employés ayant reçu le questionnaire, 1 516 pouvaient prendre part à l’enquête selon les critères de sélection, et 530 employés du contentieux y ont répondu, soit un taux de réponse de 35 % .Footnote 14 Les résultats de l’enquête, exprimés en pourcentage, reposent sur le nombre total de répondants qui ont été en mesure de répondre à la question (c.-à-d. exception faite des réponses « je ne sais pas » et « sans objet »).

3.5 Limites, difficultés et stratégies d’atténuation

L’équipe d’évaluation s’est heurtée à quelques limites ou difficultés méthodologiques. Celles-ci sont brièvement expliquées ci-dessous, selon la source de données, et sont examinées plus en détail à l’annexe C.

Tableau 1 : Sommaire des limites, des difficultés et des stratégies d'atténuation
Sources de données Limite ou difficulté Stratégie d’atténuation
Entrevues auprès d’informateurs clés Partialité possible des réponses découlant de la méthode d’échantillonnage, de la participation volontaire à l’enquête, de l’auto-vérification des participants et d’un éventuel désir d’influer sur les résultats Utilisation de plusieurs sources de données et triangulation pour confirmer les résultats
Enquête auprès du personnel du contentieux Partialité possible des  réponses découlant de la méthode d’échantillonnage, de la participation volontaire à l’enquête, de l’auto-vérification des participants et d’un éventuel désir d’influer sur les résultats Technique du recensement (tout le personnel du contentieux a été invité à participer à l’enquête)

Utilisation de plusieurs sources de données et triangulation pour confirmer les résultats
Répondants comprenant plusieurs catégories d’employés (avocats, parajuristes, assistants juridiques, etc.) Utilisation d’un enchaînement logique complexe

Soutien reçu des membres des groupes de travail pour aider à déterminer les questions appropriées pour chaque groupe
Examen des données administratives Capacité d’effectuer une analyse préalable et postérieure avec les données de seulement deux ans avant et après la création du SNC, puisque de nombreux dossiers de litige peuvent prendre plusieurs années avant d’être réglés Utilisation limitée de ce type d’analyse pour les données quantitatives

Utilisation de méthodes qualitatives pour l’analyse préalable et postérieure
Changements apportés aux champs de données au cours de la période (de 2014-2015 à 2017-2018) Mise en correspondance des données précédentes avec les nouveaux champs

Collaboration avec le SNC pour veiller à la bonne interprétation des données
Conservation des données financières en fonction des unités du ministère de la Justice plutôt que par secteur d’activité jusqu’à l’exercice 2018-2019 (p. ex. litiges) Collaboration avec les Services de gestion financière pour obtenir des données financières pour toute la période d’évaluation pour les unités qui font maintenant partie du SNC, et établir les données financières pour les services de contentieux (SNC et autres unités) au fil du temps
Date de modification :