Gestion des risques juridiques au ministère de la justice, évaluation formative
3. MÉTHODOLOGIE
- 3.1. Examen de la documentation
- 3.2. Entrevues des répondants clés
- 3.3. Sondage auprès des avocats
- 3.4. Études de casv
- 3.5. Examen des dossiers fermés
- 3.6. Groupes de discussion
3. MÉTHODOLOGIE
L'évaluation comprenait six champs d'enquête et était orientée par un cadre d'évaluation. L'approche méthodologique et les outils ont été élaborés en consultation avec le Comité consultatif de l'évaluation (le Comité), qui comprenait des représentants de l'Administration centrale, des régions et des SJ et qui supervisait l'évaluation de la conception au rapport final. La présente section du rapport décrit chacun des champs d'enquête.
3.1. Examen de la documentation
L'examen de la documentation comprenait plusieurs types de documents et de données :
- Examen des documents de programme
-
Les principales sources d'information produites par la Direction de la gestion de la pratique du droit ont été examinées. La liste de ces documents comprenait des documents de présentation sur la GRJ; l'analyse de rentabilisation pour la GRJ; les documents sur la GRJ qui se trouvent dans l'Intranet ministériel; le CRSG de la GRJ; des documents ministériels internes (portefeuille/secteur/région/services juridiques) sur les pratiques en matière de GRJ; les documents de l'atelier de Vancouver 2007.
- Une analyse des rapports de données d'iCase
-
L'évaluation a utilisé les renseignements contenus dans iCase, un système national de gestion des dossiers et de comptabilisation du temps dans le Web élaboré par le Ministère. iCase comprend une page d'évaluation des risques qui saisit les renseignements sur les risques juridiques produits par les avocats. L'évaluation comprenait deux types de renseignements d'iCase :
-
-
Les résultats des vérifications d'iCase. Ces vérifications sont menées par l'Équipe de l'analyste national des applications d'affaires et portent sur l'observation des normes mises en place dans le Manuel d'affaires d'iCase de chacun des portefeuilles. L'évaluation a examiné les résultats des vérifications menées pendant les exercices 2005–2006 et 2006–2007 (trimestrielle) et 2007–2008 (trois cycles, dont deux ont été achevés). Les résultats ne comprennent que les dossiers du contentieux et les dossiers de consultation et examinent si les données d'iCase sont saisies pour les champs obligatoires de GRJ [10]. Les vérifications ne s'attardent pas à la fiabilité de l'information.
-
Un examen des dossiers fermés de 2005–2006 et 2006–2007. Cet examen était axé sur la question de savoir si les avocats avaient attribué un niveau numérique à l'évaluation des risques pour les dossiers.
-
- Résultats pour les questions pertinentes de l'Enquête sur la satisfaction des clients du ministère de la Justice.
-
L'Enquête sur la satisfaction des clients a été élaborée par le Bureau de la gestion de la planification stratégique et du rendement du Ministère en partenariat avec Statistique Canada. Les résultats pertinents de l'Enquête ont été transmis pour la présente évaluation. Cette enquête a été menée entre juillet 2006 et février 2008, portefeuille par portefeuille (à l'exception du droit fiscal). Les employés du niveau EX moins 1 et supérieurs étaient invités à participer à l'enquête. Le taux de réponse à l'enquête était de 31 %.
- Recension ciblée des écrits.
-
Il n'y a pas de document disponible au public sur la GRJ dans le secteur public outre ceux qui se trouvent dans les sites Web du Ministère et du Conseil du Trésor. C'est pourquoi l'évaluation était axée sur la recension des écrits sur les pratiques optimales en ce qui a trait aux pratiques et à la mise en œuvre de la gestion des risques dans le secteur public en général. Le nombre d'écrits sur les pratiques exemplaires est quand même limité.
3.2. Entrevues des répondants clés
Pendant les mois de février et mars 2008, un total de 48 représentants provenant de l'Administration centrale du Ministère (n=28), des bureaux régionaux (n=8) et des services juridiques (n=12) ont été interviewés[11]. Les entrevues ont été menées soit en personne, soit par téléphone dans la langue officielle de choix du répondant clé. Les répondants clés ont reçu un guide d'entrevue avant la tenue de l'entrevue elle-même. Un représentant de la DGPD ou de la Division de l'évaluation participait à la plupart des entrevues.
3.3. Sondage auprès des avocats
Le Ministère a mené un sondage auprès des avocats dans l'Intranet et l'ensemble des 2 182 avocats du ministère de la Justice ont été invités à participer au sondage. Le sondage était en ligne du 5 au 20 mars. Pour encourager les avocats à répondre, deux courriels de rappel leur ont été envoyés. Au total, 636 avocats ont rempli le sondage pour un taux de réponse de 29 %. Les données du sondage ont été analysées à l'aide du logiciel Statistical Package for the Social Sciences (SPSS). Le tableau 6 donne le profil des répondants du sondage et montre qu'en général, les répondants représentaient la population des avocats du ministère de la Justice, même si davantage d'avocats ayant moins d'une année d'expérience ont répondu au sondage.
Tableau 6 : Profil des répondants du sondage
| Caractéristiques | Population (%) | Répondants du sondage (%) |
|---|---|---|
| LA – 01 | 15 % | 15 % |
| LA – 2A | 55 % | 54 % |
| LA – 2B | 19 % | 20 % |
| LA – 3A | 8 % | 8 % |
| LA – 3B | 3 % | 2 % |
| LA – 3C | <1 % | <1 % |
| Gestionnaire supérieur (niveau LA-3C et niveaux supérieurs)* | <1 % | -- |
| Aucune réponse | -- | <1 % |
| Total | 101 % | 101 % |
| Caractéristiques | Population (%) | Répondants du sondage (%) |
|---|---|---|
| Il y a moins d'un an | 2 % | 8 % |
| Il y a entre 1 et 5 ans | 27 % | 22 % |
| Il y a entre 6 et 10 ans | 35 % | 33 % |
| Il y a plus de 10 ans | 36 % | 38 % |
| Total | 100 % | 101 % |
| Caractéristiques | Population (%) | Répondants du sondage (%) |
|---|---|---|
| Administration centrale | 26 % | 25 % |
| Bureau régional | 40 % | 40 % |
| SJ/Bureau satellite | 34 % | 35 % |
| Total | 100 % | 100 % |
| Caractéristiques | Population (%) | Répondants du sondage (%) |
|---|---|---|
| Oui | Non disponible | 15 % |
| Non | Non disponible | 85 % |
| Ne sais pas/Pas de réponse | Non disponible | <1 % |
| Total | Non disponible | >100 % |
Note : Les totaux n'atteignent pas 100 % en raison de l'arrondissement.
* Choix non offert dans le sondage.
Les avocats ont répondu aux questions du sondage qui concernaient le type de travail juridique qu'ils effectuent la plupart du temps et qui comprend la gestion des risques juridiques. Le type de travail juridique a été réparti selon les catégories suivantes (surtout en fonction des principales activités juridiques menées au Ministère) : contentieux; soutien aux contentieux (aider l'avocat plaidant et le client pour un dossier de contentieux, y compris la prestation de conseils juridiques); conseil juridique (prestation d'avis juridiques ou de conseil pour les questions non liées au contentieux lorsque le ministère ou l'organisme client le demande); élaboration de politiques et de programmes; services législatifs et réglementaires. Le cas échéant, les résultats sont présentés selon ces catégories.
3.4. Études de cas
L'évaluation comprenait quatre études de cas pour donner des détails utiles sur la façon dont la GRJ a été intégrée aux opérations à différents niveaux du Ministère. Parce que l'examen des dossiers (voir la Section 3.5) comprend une étude plus détaillée du contentieux et des dossiers de consultation/des dossiers législatifs, les études de cas ont une portée opérationnelle plus large et examinent comment la GRJ est intégrée aux différents contextes des régions/des portefeuilles/des SJ. Les études de cas ont été choisies en consultation avec le Comité.
- Deux SJ – le ministère des Pêches et des Océans du Canada (MPO) (GRJ plutôt bien développée qui comprend une analyse régionale et un client engagé) et le ministère du Patrimoine canadien (PCH) (un ministère qui a un processus de GRJ moins bien structuré)
- Deux bureaux régionaux – BRCB (processus de GRJ très développé) et Bureau régional de l'Ontario (BRO) (effectue la GRJ, mais dans un processus moins structuré que celui de la Colombie-Britannique).
Chacune des études de cas comprenait des entrevues et un examen des documents pertinents, comme les documents opérationnels pour appuyer la GRJ, dont des directives, des procédures ou des modèles. L'équipe de recherche a mené les entrevues principalement sur place pendant un ou deux jours. Quelques entrevues de suivi ont été menées par téléphone. Les entrevues comprenaient des entrevues individuelles et des entrevues en petits groupes. Les participants aux entrevues pour chacune des études de cas ont été choisis en consultation avec une personne clé qui était habituellement la personne responsable de la GRJ dans le SJ ou le bureau régional. Les personnes interviewées ont été informées à l'avance et ont reçu un guide de l'entrevue. Le nombre de personnes interviewées pour chacune des études de cas allait de 5 à 20 et, au total, 42 personnes ont été interviewées.
L'évaluation n'a pas été en mesure de faire une comparaison des coûts pour les activités de GRJ pour les études de cas, parce que ces coûts n'ont pas été suivis. Chaque avocat qui travaille aux dossiers à risque élevé consacre une partie de son temps à la GRJ et différents avocats participent à la GRJ dans le cadre de travaux en comité. L'évaluation est en mesure de donner certaines estimations du temps des avocats et du personnel qui effectuent beaucoup de travail lié à la GRJ. Ces personnes peuvent ne pas travailler exclusivement à la GRJ, mais certaines de leurs responsabilités comprennent le soutien continu à la structure de GRJ dans leur bureau. Le tableau 7 donne les estimations du temps consacré aux activités de GRJ qui ont été obtenues lors des entrevues des études de cas. Le tableau ne comprend pas le temps consacré à la GRJ par d'autres membres de comités de contentieux ou de risques ou par d'autres avocats qui travaillent au dossier.
| Bureaux régionaux | Pourcentage estimé du temps consacré à la GRJ |
|---|---|
| Coordonnateur de la GRJ et des politiques | 50 %-100 %, selon la charge de travail actuelle |
| Coordonnateur de la consultation et de l'accommodement | 50 %-100 %, selon la charge de travail actuelle |
| Président du Comité du contentieux et du droit du bureau régional | 25 % |
| Conseiller des communications | Présentement en congé |
| Parajuriste | 60 %-75 % |
| Adjoint juridique | 60 %-75 % |
| Bureaux régionaux | Pourcentage estimé du temps consacré à la GRJ |
|---|---|
| Conseiller spécial auprès du directeur régional principal | 20 %-40 % |
| Président du Comité de contentieux | 10 %-30 % |
| Parajuriste | 80 %-90 % |
| Bureaux régionaux | Pourcentage estimé du temps consacré à la GRJ |
|---|---|
| Avocat général principal | 10 %-20 % |
| Coordonnateur de la GRJ/avocats-conseils gestion des risques juridiques | <50 %, selon la charge de travail actuelle |
| Parajuriste | 90 % |
| Adjoint juridique | 50 % |
| Bureaux régionaux | Pourcentage estimé du temps consacré à la GRJ |
|---|---|
| Directeur et avocat général | 5 % |
| Parajuriste | 10 % |
3.5. Examen des dossiers fermés
L'examen des dossiers donne une analyse qualitative détaillée du processus de GRJ par l'étude d'une sélection de dossiers de contentieux, de consultation, de services législatifs et de services stratégiques fermés.
En tout, 69 dossiers fermés entre 2003 et 2008 ont été examinés : 51 dossiers de contentieux, 7 dossiers de rédaction des lois, 6 dossiers de consultation et 5 dossiers stratégiques[12]. Parmi les dossiers de contentieux, 15 dossiers concernaient des appels ou d'autres instances concernant 6 affaires distinctes. Les dossiers de contentieux ont été cernés à l'aide d'iCase et étaient surtout des dossiers à risque élevé (niveau de risque de 7 à 9), puisque l'évaluation était axée sur l'utilisation des processus et des outils dans les dossiers à risque élevé. Un nombre plus petit de dossiers de niveau de risque 6 étaient également inclus. Les dossiers qui ne concernaient pas le contentieux ont été principalement cernés avec l'aide des avocats. Les dossiers ont été choisis en vue de refléter les différentes régions, portefeuilles et échelons du système judiciaire (le cas échéant)[13]. D'autres facteurs ont également été examinés comme la complexité du dossier, le temps depuis son ouverture, le type de procédure et le résultat final pour l'État.
Les avocats du Ministère ont mené l'examen des dossiers à l'aide d'un modèle élaboré pour l'évaluation. Les données recueillies ont été saisies dans le logiciel Computer Assisted Telephone Interviewing (CATI), avant d'être transférées dans le SPSS pour l'analyse.
Le Tableau 8 montre la distribution des dossiers fermés par unité organisationnelle, portefeuille et secteur.
| Unité organisa-tionnelle | Portefeuilles | Secteur | Total | ||
|---|---|---|---|---|---|
| Autochtone | DADR | CISP | |||
| Colombie-Britannique | 3 contentieux 1 consultation |
4 contentieux 1 consultation |
8 contentieux 1 consultation |
15 contentieux 3 consultation |
|
| Prairies | 2 contentieux 1 consultation |
3 contentieux | 1 contentieux | 6 contentieux 1 consultation |
|
| Ontario | 1 contentieux | 5 contentieux | 6 contentieux | ||
| Québec | 3 contentieux | 7 contentieux | 7 contentieux 1 consultation |
17 contentieux 1 consultation |
|
| Atlantique | 1 contentieux | 1 consultation | 1 contentieux 1 consultation |
||
| Région de la capitale nationale – Contentieux civil | 2 contentieux | 4 contentieux | 6 contentieux | ||
| Secteur des politiques | 5 politiques | 5 politiques | |||
| Direction des services législatifs | 7 services législatifs | 7 services législatifs | |||
| Total | 51 contentieux 7 services législatifs 6 consultation 5 politiques |
||||
3.6. Groupes de discussion
Après l'achèvement des méthodes de collecte des données mentionnées ci‑dessus et l'analyse préliminaire des résultats, trois groupes de discussion avec les ministères et organismes clients ont été menés. Les groupes de discussion ont examiné les questions soulevées dans les résultats de l'évaluation et ont servi de processus de validation de certains des résultats. Pour veiller à ce que les participants aient amplement de temps pour aborder les questions, des ministères et organismes ont été choisis pour être invités à participer aux groupes. Ces ministères et organismes ont été choisis de façon à ce qu'un large éventail d'expériences ayant trait à la quantité de contentieux, aux questions juridiques et aux activités de gestion des risques soit inclus.
Les chefs des SJ ont apporté leur aide en choisissant une personne-ressource adéquate du client, qui a elle-même aidé l'évaluation en identifiant une personne de son ministère ou de son organisme pour participer aux groupes de discussion. Afin qu'il y ait une certaine homogénéité parmi les participants, les groupes ont été formés en fonction du niveau d'activité du ministère ou de l'organisme client en matière de gestion des risques juridiques.
Les groupes ont eu lieu les 28 et 29 mai 2008 et chacun d'eux durait environ une heure et demie. Au total, 13 ministères ou organismes clients ont participé. La répartition des gestionnaires et des employés parmi les participants était à peu près égale.
- Date de modification :