Évaluation des services de contentieux

• Page précédente
• Table des matières

Annexe C : Méthodologie

L’évaluation s’est fondée sur plusieurs sources de données, notamment un examen des documents, des entrevues avec des informateurs clés, un examen des données administratives, et une enquête menée auprès du personnel du contentieux. Chacune de ces méthodes est décrite ci-dessous.

Examen des documents

L’examen des documents a fourni des renseignements descriptifs sur les activités du contentieux, et des renseignements répondant à la plupart des questions d’évaluation. L’examen s’est poursuivi pendant toute la durée du projet et a porté sur les types de documents suivants :

• Documents de programme. Une grande variété de documents administratifs et internes touchant la fonction du SCN et la prestation de services de contentieux par le Ministère étaient disponibles pour l’évaluation.
• Documents ministériels et autres documents gouvernementaux accessibles au public. L’examen des documents comprenait l’examen des rapports ministériels sur le rendement et les résultats, des rapports sur les plans et les priorités, des rapports sur la Rétrospective annuelle sur les litiges, et d’autres documents accessibles au public contenant des renseignements pertinents sur les priorités fédérales en matière de contentieux.
• Résultats obtenus aux questions pertinentes de l’Enquête sur la satisfaction des clients du ministère de la Justice Canada. Ce questionnaire est distribué par la Division de la planification ministérielle, des rapports et des risques dans le cadre de son programme global de gestion du rendement. Il a pour but d’obtenir une rétroaction sur la mesure dans laquelle les services juridiques du ministère de la Justice répondent aux besoins des ministères et organismes fédéraux. Les questions visent à déterminer dans quelle mesure le Ministère respecte les normes de service énoncées dans les protocoles d’entente conclus avec les ministères et organismes clients. L’évaluation a tenu compte des résultats disponibles pour le cycle III (2016-2019) de l’enquête.
• Résultats obtenus aux questions pertinentes du Sondage auprès des fonctionnaires fédéraux (SAFF) de 2017. Le Bureau du dirigeant principal des ressources humaines du Conseil du Trésor du Canada mène le SAFF pour recueillir l’opinion des fonctionnaires fédéraux sur divers aspects de leur expérience de travail. Les résultats du SAFF de 2017 (propres à l’ensemble du SNC et aux bureaux régionaux du SNC) étaient disponibles pour l’évaluation.

Entrevues auprès d’informateurs clés

Des entrevues ont été menées auprès d’informateurs clés qui connaissent les services de contentieux du Ministère et le SNC en vue d’obtenir leurs opinions, leurs perceptions et leurs expériences. Les entrevues se sont déroulées auprès de divers groupes du ministère de la Justice, y compris le personnel du SNC, et de représentants d’autres secteurs du Ministère qui participent aux activités de contentieux, soit directement (par la prestation directe de services de contentieux) ou indirectement (par la prestation de soutien ou de conseils aux avocats plaidants du Ministère).

Les entrevues ont été menées à l’aide de guides d’entrevue structurés adaptés aux groupes particuliers et comportant des questions conçues pour répondre aux enjeux de l’évaluation. Des entrevues en petits groupes (et non des entrevues individuelles) ont été tenues dans le but de maximiser le nombre de groupes et de personnes rencontrés. Les cadres supérieurs ont été choisis parmi les secteurs du ministère de la Justice associés à la prestation des services de contentieux ou de soutien au contentieux et ont été invités à participer à ces entrevues en petits groupes avec d’autres cadres supérieurs de leur secteur. Au total, 49 entrevues ont été menées auprès de 122 personnes. D’une durée allant de 75 à 90 minutes, les entrevues ont été menées par téléphone ou en personne dans la langue officielle de choix des informateurs clés.

Le tableau 4 ci-dessous présente une ventilation plus détaillée des informateurs clés et des groupes qui ont participé aux entrevues.

L’échelle descriptive suivante a servi à rendre compte de certains aspects des entrevues avec les informateurs clés : le terme « quelques » désigne d’environ 10 % à 15 % ou moins des répondants, le terme « certains », plus de 15 % à environ 40 % des répondants, le terme « nombreux », plus de 40 % à environ 60 % des répondants, le terme « la plupart », plus de 60 % à environ 80 %, et le terme « presque tous » désigne plus de 80 % des répondants.

Examen des données administratives

Les données administratives proviennent du Système d’analyse des activités du ministère de la Justice Canada (Explore). Les données ont été extraites de l’entrepôt de données d’Explore par Tableau, qui comprend des données d’iCase, du SIFM et du SGRH. Les données ont été extraites entre mars et juin 2019.

L’examen des données a porté sur les dossiers de litiges gérés par le SNC ou par l’une des autres unités de contentieux entre les exercices 2014-2015 et 2017-2018. Les données administratives des autres unités du contentieux ont porté sur le nombre de dossiers de litige ouverts et fermés et activement gérés. TC, en raison du petit nombre de dossiers de contentieux traités, et le GLCSN, en raison de la nature délicate de ses dossiers de litige, n’ont pas été inclus dans l’examen des données administratives. L’examen des données pour le SNC était plus exhaustif et tenait également compte du volume par type de client, des données sur les résultats, des notes de risque juridique et de complexité, et du niveau d’effort (heures). L’examen des données pour les autres services de contentieux était plus limité et portait sur le nombre de dossiers de litige ouverts, fermés et activement gérés.

Dans la mesure du possible, l’examen des données administratives a tenu compte des tendances dans le temps, des diverses situations avant et après la création du SNC, et des tendances régionales, selon le cas et la pertinence. Toutefois, comme les données ont été fournies principalement sous forme agrégée (p. ex. résumées à l’échelon des unités du SNC), l’analyse statistique n’a généralement pas été possible en raison des degrés de liberté et de la puissance statistique moindres associés aux données sommaires. Les tendances ont donc été examinées graphiquement.

Enquête auprès du personnel du contentieux

Afin de recueillir les commentaires du personnel du contentieux, l’équipe d’évaluation a eu recours à un questionnaire anonyme et confidentiel bilingue sur le Web. La population sondée comprenait tout le personnel du contentieux (y compris les avocats, les parajuristes et les assistants juridiques) du SNC, ainsi que le personnel à l’extérieur du SNC qui fournit des services de contentieux.^{Footnote 49}

Avant de faire passer le sondage, la société PRA et la Direction de l’évaluation ont élaboré et mis à l’essai un questionnaire bilingue pour s’assurer du bon fonctionnement de l’enchaînement logique et de l’absence de problème technique. Des sauts de question ont été utilisés de manière à ce que seules les questions pertinentes soient posées à chaque répondant.

Le questionnaire a été en ligne pendant un peu plus de trois semaines, soit du 1^er au 20 mars 2019. Au cours de cette période, trois rappels ont été envoyés aux éventuels participants pour augmenter le taux de réponse. Des invitations à participer à l’enquête ont été envoyées à 1 615 personnes. De ce nombre, 99 répondants ont été exclus (parce qu’ils ne travaillaient pas dans un secteur ciblé du ministère de la Justice ou parce qu’ils n’étaient pas principalement concernés par le contentieux). Au total, 530 personnes ont répondu au questionnaire, ce qui donne un taux de réponse de 35 %.^{Footnote 50} Une fois l’enquête terminée, les questions ouvertes ont été codées, et les données de l’enquête ont été analysées à l’aide du progiciel statistique SPSS.

Le tableau 5 présente le profil des répondants au questionnaire. La grande majorité (93 %) des répondants proviennent du SNC plutôt que des SJM ou d’autres secteurs directement concernés par le contentieux (7 %).

Limites, difficultés et stratégies d’atténuation

Entrevues et enquête. Une limite importante était la possibilité d’introduire un biais en raison de l’approche d’échantillonnage utilisée pour l’enquête et les entrevues avec les informateurs clés, et de la nature volontaire de la participation à ces méthodes de collecte de données. Dans le cas de l’enquête auprès du personnel du contentieux (avocats et parajuristes), ce risque a été quelque peu atténué par l’adoption d’une méthode de recensement (tout le personnel du contentieux a été invité à participer). Bien que cette approche n’élimine pas toutes les formes de biais (plus particulièrement le biais d’autosélection parmi ceux qui choisissent de répondre à l’enquête), elle élimine la possibilité d’introduire un biais au stade de l’élaboration de l’échantillon. Les entrevues avec les informateurs clés et l’enquête auprès du personnel du contentieux risquaient également d’introduire un biais d’autosélection et un biais de réponse stratégique. Le biais d’autosélection se produit lorsque les personnes rendent compte de leurs propres activités et peuvent donc vouloir se présenter sous leur meilleur jour. Quant au biais de réponse stratégique, il se produit lorsque les participants répondent aux questions avec le désir d’influer sur les résultats.

Le risque de biais a été atténué par l’utilisation de plusieurs sources de données, notamment des sources de données objectives, comme des documents et des données administratives (dans la mesure de leur disponibilité), pour arriver à tirer des constatations générales de l’évaluation.

L’enquête a aussi été compliquée par la participation de plusieurs catégories de personnel (avocats, parajuristes, assistants juridiques) et secteurs du ministère de la Justice (bureaux régionaux, SCAC, BNPESL, BSPGA, autres unités du contentieux à l’extérieur de SNC). L’élaboration du questionnaire d’enquête visait à s’assurer que les personnes répondent à des questions qui seraient pertinentes pour elles. La rétroaction du groupe de travail sur l’évaluation et l’utilisation d’un enchaînement logique complexe ont permis d’orienter les répondants vers les questions appropriées.

Examen des données administratives. L’un des objectifs de l’évaluation était d’examiner les premières répercussions que le SNC avait eues sur l’efficacité et l’efficience des services de contentieux. La période d’évaluation couvrait deux ans avant la création du SNC (2014-2015 et 2015-2016) et deux ans après son lancement (2016-2017 et 2017-2018). La courte période qui s’est écoulée depuis la création du SNC a limité la capacité d’effectuer une analyse préalable et postérieure à l’aide de données administratives. Par conséquent, ce type de comparaison s’appuie en grande partie sur les données qualitatives recueillies lors des entrevues. En outre, comme un certain nombre de fichiers de données ont changé au cours de la période, certains n’étaient parfois pas disponibles avant ou même après les deux années suivant la création du SNC. L’évaluation s’est appuyée sur le SNC pour déterminer le moment où ce changement s’était produit et le moment où il était possible d’établir une correspondance entre les données antérieures et celles des nouveaux champs, ce qui a permis d’obtenir des résultats fiables.

Les données financières du ministère de la Justice Canada étaient auparavant tenues à jour en fonction des unités organisationnelles du Ministère, mais depuis l’exercice 2018-2019, elles sont conservées par secteur d’activité. Puisque la présente évaluation porte sur le secteur d’activité des services de contentieux, l’équipe d’évaluation a collaboré avec les Services de gestion financière à l’élaboration de données financières pour les services de contentieux. Le fait que le SNC n’existait pas pendant les deux premières années de l’évaluation, que toutes les unités du SNC n’ont pas été incluses dans l’évaluation, et que les unités du SNC participent à la fois aux litiges et à des activités de conseil est également venu compliquer la tâche.

Le coût des services juridiques par rapport à l’issue des dossiers est un indicateur de l’efficience des services de contentieux. Vu la difficulté d’obtenir des coûts exacts au fil du temps, l’évaluation s’est appuyée sur le niveau d’effort (heures consignées au dossier) pour évaluer les coûts.

• Page précédente
• Table des matières

Date de modification :

2020-05-08