3. Méthodologie de l’évaluation

L’équipe d’évaluation s’est servi d’une matrice d’évaluation (questions d’évaluation, indicateurs et sources de données) élaborée dans le cadre du processus de l’établissement de la portée et de la structure de l’évaluation. L’annexe A contient la liste des questions d’évaluation.

Un Groupe de travail sur l’évaluation (GTE), composé de représentants de Justice Canada, soit des membres de la DSL et des SJM des Finances, a formulé des conseils durant la conception et la mise en œuvre de l’évaluation. Il a coordonné l’accès aux documents et aux données, puis a offert une rétroaction sur les produits de l’évaluation (les questions et les indicateurs, les constatations préliminaires et l’ébauche du rapport d’évaluation).

Plusieurs sources d’éléments probants ont été utilisées pour répondre aux questions d’évaluation : un exercice de cartographie des processus, un examen des documents, un examen des données administratives, des entrevues avec des informateurs clés, et deux sondages par voie électronique.

3.1 Cartographie des processus

Pour s'assurer que l'évaluation repose sur une compréhension précise de la conception et de la prestation des services législatifs, des séances de schématisation des processus ont été organisées dans le cadre du processus de conception de la méthodologie. Ces séances ont réuni des représentants sélectionnés des sections de la DSL et des SJM des Finances.

Ces séances visaient à faire ressortir plus clairement les flux de travail et les processus sous-tendant les services législatifs. Les points de vue qui y ont été exprimés ainsi que la documentation actuellement disponible ont servi à créer des ébauches des schémas des processus et des descriptions afférentes qui, une fois finalisées, ont été utilisées pour orienter toutes les autres méthodes de collecte de données.

3.2 Examen des documents

L’examen des documents a commencé pendant la phase de conception et s’est poursuivi tout au long de l’évaluation, au fur et à mesure que des informations supplémentaires étaient disponibles. Il a fourni des informations descriptives sur les divers processus et outils utilisés par la DSL et les SJM des Finances pour fournir leurs services. Les documents consultés sont les suivants :

3.3 Examen des données administratives

L’examen des données administratives s’est fondé sur des renseignements qui proviennent du Système d’analyse des activités du Ministère (Explore). Les données ont été extraites de l’entrepôt de données d’Explore dans Tableau, qui comprenait des données provenant d’iCase, de LEX, du Système intégré des finances et du matériel (SIFM) et de PeopleSoft. Les données d’iCase et de LEX ont été extraites au cours de juillet 2022. L’examen des données a porté sur les dossiers dans lesquels les responsables de la comptabilisation du temps de la DSL et des SJM des Finances ont consigné du temps entre l’EF 2017-2018 et l’EF 2021-2022. L’examen des données a tenu compte du nombre d’heures que les responsables de la comptabilisation du temps de la DSL ont consignées selon le type de dossier, le nom du client, l’activité (p. ex. le perfectionnement professionnel), ainsi que le niveau de risque et la complexité. Pour les SJM des Finances, l’examen des données a porté sur le nombre d’heures que les responsables de la comptabilisation du temps au sein des SJM des Finances ont consignées par type de dossier, par nom de client et par niveau de risque et de complexitéNote de bas de page 10.

Les données administratives ont été examinées à partir du Site Web sur les lois en matière de justice entre les EF 2019-2020 et 2021-2022. L’examen des données était centré sur l’utilisation du site Web, notamment le nombre de visites et le temps passé par page durant un exercice financier.

3.4 Entrevues avec des informateurs clés

Des entrevues semi-structurées avec des informateurs clés ont permis d’acquérir une compréhension approfondie des services législatifs et de la contribution de la DSL et des SJM des Finances à ce processus. Au total, 51 entrevues ont été menées auprès de 109 personnes pour la DSL et les SJM des Finances. Il y a eu 20 entrevues individuelles et 31 entrevues de groupe. Une brève description des entrevues réalisées figure ci-dessous, et des détails supplémentaires sont fournis à l’annexe B. Les groupes suivants ont été consultés dans le cadre de ces entrevues :

3.5 Sondages par voie électronique

Deux sondages par voie électronique ont été menés dans le cadre de l’évaluationNote de bas de page 11 :

Pour chacun des deux sondages, un questionnaire a été élaboré en anglais et en français, à partir de questions et d’enjeux d’évaluation pertinents. Il y avait principalement des questions fermées et quelques questions ouvertes.

Le sondage auprès des représentants de la DSL s’est fondé sur un échantillon de 163 personnes qui ont reçu une invitation à participer. Au total, 107 personnes ont répondu au questionnaire, ce qui représente un taux de réponse de 66 %.

Le sondage auprès des représentants des ministères et organismes parrains a été réalisé sur la base d’un échantillon de 80 personnes invitées à participer. Au total, 47 personnes ont répondu au questionnaire, soit un taux de réponse de 59 %. Il s’agit de 25 répondants des ministères et organismes parrains, de 21 répondants des SJM et d’un répondant d’un secteur du Ministère.

3.6 Prise en compte de l’ACS Plus, de la diversité et de l’inclusion

Conformément à la Politique sur les résultats, l’évaluation a inclus des facteurs liés à l’analyse comparative entre les sexes (ACS) Plus. Ainsi, les enjeux et les questions d’évaluation, ainsi que le processus de collecte des données, ont exploré les questions liées à l’accessibilité des lois fédérales, couvrant à la fois l’approche de la rédaction du texte législatif (vocabulaire utilisé) et l’accessibilité du Site Web sur les lois en matière de justice.

3.7 Contraintes, limites et atténuation

Le tableau 2 décrit les principales limites de la méthodologie proposée et les stratégies d’atténuation qui ont été mises en œuvre. Dans l’ensemble, le processus d’évaluation ne s’est heurté à aucune contrainte ou limite qui ont pu l’empêcher d’aborder adéquatement tous les aspects et tous les enjeux de l’évaluation.

Tableau 2 : Sommaire des limites, des défis et des stratégies d’atténuation
Source d’éléments probants Limite ou défi Stratégie d’atténuation
Sondages par voie électronique La principale limite de l’évaluation avait trait à la procédure d’échantillonnage utilisée pour les entrevues et les sondages. Cette procédure peut avoir introduit un parti pris, découlant surtout de la nature volontaire de la participation à ces activités de collecte de données. Pour le sondage électronique effectué auprès des conseillers de la DSL, ce risque a été atténué grâce à une approche de recensement (l’invitation s’adressait à tous les avocats des catégories ciblées). Bien que cette approche n’ait pu éliminer toutes les formes de parti pris (plus particulièrement le biais d’auto-sélection chez ceux qui choisissent de répondre au sondage), elle a éliminé la possibilité d’introduire un biais au stade de l’élaboration de l’échantillon.
Entrevues auprès d’informateurs clés et sondages par voie électronique Les entrevues et les sondages par voie électronique pouvaient également introduire un biais d’auto-sélection et un biais de réponse stratégique. Le premier se produit lorsque les personnes rendent compte de leurs propres activités et peuvent donc vouloir se présenter sous leur meilleur jour. Le biais de réponse stratégique survient lorsque les participants répondent aux questions dans le but d’influer sur les résultats. Ce risque a été atténué par l’utilisation de plusieurs sources d’éléments probants en vue de tirer des conclusions générales, notamment des sources de données objectives comme des documents et des données administratives.
Examen des données administratives Les données du Site Web sur les lois en matière de justice n’étaient disponibles qu’à partir de novembre 2019 en raison de la migration vers un nouveau système. Nous avons utilisé les informations disponibles et les données provenant d’autres sources pour confirmer les résultats.