Direction des services législatifs évaluation

3. Méthodes d'évaluation

Conformément aux politiques d’évaluation du SCT, le ministère de la Justice adopte une démarche axée sur le risque pour planifier ses évaluations afin d’optimiser l’utilisation des ressources qu’il consacre à l’évaluation. La Division de l’évaluation du ministère de la Justice a évalué le niveau de risque (faible [F], moyen [M], ou élevé [E]) de l’évaluation de la DSL en tenant compte de six facteurs de risque :

La DSL a été l’un des premiers services juridiques à être évalué en raison de sa cote de risque globale élevée.

La méthode élaborée pour cette évaluation tient compte du niveau de risque puisqu’elle fait en sorte que plusieurs sources de données soutiennent les constatations. Une matrice d’évaluation (voir annexe A) dans laquelle on présente les questions de l’évaluation de même que les mesures, les indicateurs et les sources des données pour éclairer les questions de l’évaluation a été créée pour guider l’élaboration de la méthodologie et de l’évaluation. Cette matrice a d’ailleurs été essentielle à l’élaboration des outils et des activités de collecte de données. Elle a aussi servi de guide pour présenter les résultats de l’évaluation.

La DSL offre un service particulier et les compétences et connaissances de son personnel sont hautement spécialisées. Rares sont les conseillers juridiques de l’extérieur de la DSL qui ont le savoir nécessaire pour commenter l’exactitude des extrants de la DSL (c.-à-d. projets de loi et de règlement rédigés, conseils prodigués, harmonisation de lois et de règlements actuels, lois sur l’harmonisation). Par conséquent, la méthode d’évaluation a été conçue d’abord en fonction des protocoles, des processus, des ressources et des normes utilisés pour répondre aux demandes des clients et offrir des services législatifs adaptés et efficaces plutôt qu’une évaluation de la qualité des produits en soi. Le niveau de qualité et de rendement de la DSL a principalement été évalué selon le point de vue du personnel de la DSL, des clients et des partenaires qui collaborent de près avec la DSL. Les documents et les données administratives actuels ont servi de preuves de soutien à cette fin.

La pertinence de la DSL a été moins difficile à évaluer compte tenu de son rôle essentiel au sein du gouvernement fédéral. Un examen de documents et de données administratives a démontré ce rôle.

Les méthodes utilisées pour guider l’évaluation consistaient en un examen des documents, une analyse des données administratives et secondaires, une recension des écrits, un examen des dossiers, des études de cas, des sondages en ligne auprès du personnel de la DSL et des clients, et des entrevues avec les principaux intervenants. Ces méthodes sont décrites ci-après.

3.1 Examen des documents

Nous avons procédé à l’examen de plusieurs rapports et documents administratifs pour obtenir une idée du mandat, des activités et de la pertinence de la DSL. Les documents énumérés ci-dessous font partie de ceux examinés pour la période couverte par l’évaluation.

3.2 Données secondaires et administratives

Nous avons aussi utilisé les données quantitatives actuelles pour éclairer l’évaluation et produire de l’information sur demande pour les services, le rendement, la capacité et l’efficience. Les sources de données secondaires et administratives consultées pour l’évaluation sont les suivantes : données administratives (extraites de la base de données iCase du ministère de la Justice Note de bas de page 29 , résultats du plus récent Sondage auprès des fonctionnaires fédéraux (SAFF) de 2011, et statistiques Web pour le site Web de la législation (Justice) et le site Bijurilex.

3.3 Analyse et recension des écrits

Nous avons procédé à un examen des documents sur les services législatifs d’autres administrations, notamment le Royaume-Uni, l’Australie, la Nouvelle-Zélande et les États-Unis, pour explorer les similitudes et les différences par rapport à la DSL quant aux modèles de prestation de services et aux modèles financiers de prestation de services législatifs au gouvernement. Nous avons aussi étudié le soutien technologique de la fonction législative de ces pays lorsqu’il était possible d’obtenir l’information recherchée.

3.4 Examen des dossiers

Nous avons répertorié 37 dossiers achevés pendant la période d’évaluation pour les examiner. En tout, 8 dossiers de consultation et 29 dossiers de législation (13 projets de loi et 16 règlements) représentant un large éventail des types de demandes effectuées par les clients ont été retenus. Les dossiers examinés ont été choisis avec la collaboration du Groupe de travail sur l’évaluation de la DSL. L’examen des dossiers nous a renseignés sur les types de demandes de services présentées à la DSL et sur la capacité du personnel de la DSL d’y répondre, de même que les difficultés rencontrées pendant le traitement des dossiers. C’est le personnel de la Division de l’évaluation du ministère de la Justice qui a effectué l’examen des dossiers. Toutes les activités de sélection et d’examen des dossiers ont été menées avec minutie, question de protéger le secret professionnel de l’avocat, et nous n’avons recueilli ni présenté aucun renseignement susceptible d’identifier le ministère client ou les enjeux particuliers du dossier comme tel. L’annexe B contient les modèles d’examen des dossiers.

3.5 Études de cas

Nous avons procédé à cinq études de cas pour recueillir des renseignements supplémentaires et obtenir un peu de contexte concernant la réactivité, l’efficacité et l’efficience de la DSL. Les dossiers retenus pour les études de cas ont été choisis pendant le processus d’examen des dossiers et représentent des cas complexes et hautement prioritaires, de même qu’un ensemble de difficultés, de délais et de types de cas. Il y a eu 13 entrevues, soit avec des clients (n=4), des conseillers juridiques de la DSL (n=6) et d’autres juristes de Justice (n=3), associés aux dossiers choisis. Ces entrevues ont été menées soit de façon individuelle ou en petits groupes. Les études de cas ont été réalisées par le personnel de la Division de l’évaluation du ministère de la Justice. Comme pour l’examen des dossiers, tous les renseignements recueillis et présentés dans le cadre des études de cas tiennent compte du secret professionnel de l’avocat. Le modèle et les questions d’entrevue des études de cas se trouvent à l’annexe C.

3.6 Sondages auprès des employés et des clients de la DSL

Les employés de la DSL ont répondu à un sondage en ligne. Ce sondage avait pour but de recueillir des renseignements sur les perspectives et les expériences des employés et des cadres de la DSL qui ont pris part aux services de rédaction, de consultation et de révision Note de bas de page 30 . Le questionnaire du sondage auprès des employés se trouve à l’annexe D.

Au total, 93 personnes ont répondu au questionnaire en ligne, ce qui représente un taux de réponse de 58 % et une erreur d’échantillonnage de ±6,6 % (selon un total de 161 employés de la DSL admissibles). Le tableau 3.1 présente une répartition comparative des ressources humaines de la DSL et des répondants au sondage selon leur classification. Dans l’ensemble, l’échantillon de répondants est assez représentatif de la population de conseillers juridiques, de conseillers législatifs et de cadres de la DSL, puisque seuls les professionnels non juristes sont quelque peu sous-représentés.

Tableau 3.1 – Comparaison entre les employés de la DSL et les répondants au sondage selon la classification
Classification Employés de la DSL Survey Respondents
Nombre % du total Nombre % des répondants
Avocats ou conseillers législatifs
(LA-1 et LA-2A)		 90 56 % 56 60 %
Avocat-conseil, avocat général ou avocat général principal (LA-2B, LA-3) 23 14 % 18 19 %
Professionnels, non juristes (EC) 33 21 % 11 12 %
Cadres (LC) 15 9 % 8 9 %
Total 161 100 % 93 100 %

Source : Projection de l’attribution du budget de la DSL : 2012-2013, résultats du sondage auprès des employés

Les employés de la fonction publique qui auraient été clients de la DSL pendant la période couverte par l’évaluation ont également répondu à un sondage en ligne. L’objectif de ce sondage auprès des clients était de recueillir des commentaires sur les niveaux de satisfaction par rapport aux services offerts par la DSL. L’annexe E contient le questionnaire du sondage auprès des clients. Au total, 151 clients ont répondu au questionnaire en ligne, ce qui représente un taux de réponse de 65 % (d’après un échantillon valide de 233) Note de bas de page 31 1. La majorité (93 %) des répondants du sondage auprès des clients avaient reçu des services de la DSL dans l’année qui a précédé le sondage.

Le sondage auprès des employés et des clients mesure les niveaux de satisfaction ou d’accord selon une échelle de 10 points. Les résultats des questions sont présentés sous forme de moyennes/évaluations. Selon les normes du ministère de la Justice, une cote moyenne de 8 ou plus est acceptable. Les hauts niveaux d’accord ou de satisfaction sont également présentés et, à moins d’avis contraire, représentent les notes regroupées ou cumulatives de 8 à 10.

3.7 Entrevues avec les principaux intervenants

Les personnes issues de différents groupes d’intervenants ont été interviewées afin de recueillir leur opinion sur le rendement de la DSL et le situer en contexte. Les entrevues individuelles se sont déroulées par téléphone dans la langue officielle de préférence de la personne interviewée. Au total, 36 entrevues ont été menées avec des membres des groupes d’intervenants suivants :

L’annexe F contient les guides d’entrevue des principaux intervenants.

3.8 Limites méthodologiques

L’évaluation de la DSL comportait plusieurs difficultés. D’abord, il n’y avait jamais eu d’évaluation de la DSL, si bien que les résultats de cette évaluation ne peuvent être comparés à un rendement antérieur. Par conséquent, il n’a pas été possible de tirer des conclusions sur le rendement actuel de la DSL par rapport à une norme antérieure. Cependant, les conclusions de la présente évaluation pourront servir de comparaison à des évaluations futures ou aider à déterminer des cibles de rendement.

Le secret professionnel de l’avocat a posé des difficultés pour la collecte des données, car il fallait faire attention à la façon de les recueillir et des les analyser. Par souci d’uniformité de la collecte des données entre les dossiers, et pour faire en sorte qu’aucun renseignement protégé par le secret professionnel ne soit recueilli, nous avons créé un modèle d’examen des dossiers en collaboration avec un groupe de travail de la DSL. L’analyse se fondait sur les formulaires remplis.

Par ailleurs, les données administratives de certains indicateurs n’étaient pas aussi complètes que prévues à l’origine. Comme tous les projets de loi sont des dossiers secrets, ils ne sont pas consignés dans iCase sauf à des fins de comptabilisation du temps. De plus, la DSL ne suit pas de près le risque juridique ni la complexité Note de bas de page 32 des dossiers dans iCase. Elle mise toutefois sur un mécanisme qui permet de surveiller la progression et les niveaux de risque dans les dossiers à risque élevé. Cette information ne se prêtait pas facilement à une analyse de l’efficience et de l’économie puisqu’elle représente un pourcentage non significatif du nombre total de dossiers gérés par la DSL pendant la période d’évaluation. Il n’a donc pas été possible d’obtenir des détails sur les risques juridiques et la complexité des cas dans les dossiers de la DSL. Les tendances ont dû être établies par inférence à partir d’autres sources de données, comme des renseignements sur les caractéristiques des cas recueillis lors de l’examen des dossiers et de l’évaluation du personnel. De plus, le peu de renseignements sur la complexité des cas dans iCase rendait impossible l’évaluation de certaines mesures d’efficience et d’économie (p. ex., l’affectation des conseillers juridiques et des conseillers législatifs ayant l’expérience nécessaire selon le niveau de complexité ou de risque des dossiers).

Les renseignements qui ont servi à l’examen des dossiers juridictionnels se limitaient aux renseignements accessibles au grand public, principalement en ligne. L’évaluation n’a pas pu compter sur des ressources capables de s’entretenir directement avec les représentants de la justice des différents pays. Les renseignements sur les processus de rédaction législative n’étaient pas détaillés, mais nous avions suffisamment de données pour déterminer si la méthode choisie était une méthode centralisée, dévolue ou combinée, qui pouvait être comparée au modèle adopté au Canada.

Comme c’est le cas pour les sondages en général, les résultats subissent probablement l’effet du biais de l’auto-sélection, c’est-à-dire le biais fondé sur les personnes qui répondent par rapport à celles qui choisissent de ne pas répondre. Même si nous avons réalisé un test préliminaire pour confirmer la pertinence, la clarté et la facilité de réponse et n’avons pas ménagé les efforts pour obtenir un taux de réponse élevé, seulement 58 % des personnes sondées ont répondu au sondage. Une comparaison des répondants par rapport au complément total d’employés de la DSL démontre que les conseillers juridiques, les conseillers législatifs et les cadres de la DSL sont bien représentés dans l’échantillon, tandis que les professionnels non juristes sont quelque peu sous-représentés. Il faut donc faire preuve d’une certaine prudence en examinant les résultats du sondage, en particulier en ce qui concerne la représentation des perceptions et des expériences de l’ensemble des employés de la DSL. Le sondage auprès des clients a obtenu un taux de réponse légèrement supérieur. Toutefois, ses résultats sont assujettis au même biais de réponse fondé sur l’auto-sélection et doivent être interprétés avec une certaine prudence.

Pendant l’évaluation, la DSL a activement géré en moyenne plus de 2 000 dossiers par année. Pour obtenir un échantillon aléatoire dont le niveau d’erreur serait raisonnable, il aurait fallu examiner des centaines de dossiers, ce qui n’était pas possible. On a opté pour un échantillon de dossiers plus petit qui représentaient bien le travail du Groupe de travail sur l’évaluation de la DSL. Par conséquent, il ne faut pas considérer que les résultats de l’examen des dossiers sont (statistiquement) représentatifs de l’ensemble des dossiers (c.-à-d. les résultats de l’examen des dossiers ne peuvent être généralisés à l’ensemble des dossiers de la DSL).

La stratégie d’atténuation des limites inhérentes aux méthodes d’évaluation mentionnées ci-dessus consistait à utiliser de multiples sources de données, notamment des données quantitatives et qualitatives provenant d’un ensemble de sources pour répondre aux questions de l’évaluation. En se fondant sur la triangulation des résultats de ces sources différentes, les conclusions de l’évaluation ont pu être renforcées.