Direction du contentieux évaluation rapport final
3. Méthodologie
L’évaluation de la Direction du contentieux a eu recours à de nombreuses sources d’information pour tirer des conclusions solides. La méthodologie comprenait cinq sources principales : un examen des documents et des données, des entrevues avec les principaux intervenants, un examen des dossiers, des études de cas, et un sondage auprès des conseillers juridiques.
La matrice de l’évaluation (qui fait le lien entre les questions d’évaluation, les indicateurs et les éléments probants) et les instruments de collecte des données ont été élaborés avec l’aide du groupe de travail chargé de l’évaluation de la Direction du contentieux. La matrice de l’évaluation se trouve à l’annexe B, et les instruments de collecte des données sont à l’annexe C.
Chacune des méthodes utilisées est décrite de façon plus détaillée ci‑après. Cette section inclut aussi une brève analyse des défis méthodologiques.
3.1. Examen des documents et des données
L’examen des documents et des données a été effectué à la fois pour éclairer l’élaboration d’instruments de collecte des données et pour répondre à la majorité des questions de l’évaluation.
La documentation examinée a été obtenue de sources internes, externes et publiques. Les documents ministériels examinés sont les suivants : les rapports ministériels sur le rendement (RMR), les rapports sur les plans et les priorités, les résultats des sondages auprès des fonctionnaires fédéraux (SAFF Note de bas de page 7 , et les résultats des enquêtes sur la satisfaction des clients Note de bas de page 8 . Des documents internes de la Direction du contentieux ont également été examinés, ainsi que de l’information publique, comme les discours du budget et les discours du Trône.
Outre ces documents, les données d’iCase des exercices 2008‑2009 à 2013‑2014 ont également été examinées. iCase est le système intégré de gestion des dossiers, de comptabilisation du temps et de facturation, de gestion des documents et de production de rapports du Ministère. Compte tenu de leur petit nombre de dossiers, le CGPC, le Bureau national de la preuve électronique et de soutien aux litiges et le SPGA, Contentieux n’ont pas été inclus dans l’analyse des données d’iCase.
3.2. Entrevues avec les principaux intervenants
Les entrevues avec les principaux intervenants effectuées pour cette évaluation ont abordé la majorité des questions de l’évaluation, et ont constitué une source fondamentale d’information sur le besoin de la Direction du contentieux ainsi que sur l’efficacité de ses activités. Une liste des principaux intervenants possibles a été dressée, et des guides d’entrevue adaptés à chaque groupe d’intervenants ont été produits, en consultation avec le groupe de travail chargé de l’évaluation. Des entrevues ont été menées avec 58 principaux intervenants, qui représentaient la Direction du contentieux (n=24), les bureaux régionaux, dont les directeurs généraux régionaux, les présidents des comités régionaux du contentieux et les délégués régionaux du SEI (n=14), les représentants des portefeuilles et les USJM (n=14), et les ministères et organismes clients (n=6).
Nous nous sommes servis de l’échelle suivante pour faire état des résultats des entrevues :
3.3. Examen des dossiers
Les évaluateurs ont examiné certains dossiers fermés pour mieux comprendre la vie d’un dossier par rapport aux mesures de rendement de la Direction du contentieux. Cette méthode leur a aussi permis de déterminer si l’examen des dossiers choisis confirmait l’information obtenue auprès des principaux intervenants au sujet de la façon dont la Direction du contentieux effectue son travail.
L’examen des dossiers a porté sur les données d’iCase et, lorsqu’elle existait, sur la copie papier de 62 dossiers : 33 dossiers de la SCAC, dont 32 faisaient partie de six « suites » de dossiers connexes engagés à différents échelons du système judiciaire; cinq dossiers du GSN; cinq dossiers du SEI; six dossiers de l’UGRCLM; six dossiers du CGPC; et sept dossiers (dont cinq étaient liés) provenant des bureaux régionaux qui touchaient le Bureau du SPGA, Contentieux ou le CNC.
L’échantillon des dossiers a été choisi avec l’aide du groupe de travail chargé de l’évaluation et les évaluateurs ont jugé qu’il s’agissait d’une bonne sélection du large éventail des travaux de la Direction du contentieux, mais l’accent a été mis en particulier sur les dossiers délicats (complexes et qui comportent des risques). Comme les dossiers n’ont pas été choisis au hasard, et que l’échantillon est petit (compte tenu des milliers de dossiers auxquels ont travaillé les avocats de la Direction du contentieux pendant la période visée par l’évaluation), l’échantillon n’est pas à proprement parler représentatif. L’examen des dossiers visait plutôt à illustrer l’approche adoptée par la Direction du contentieux pour son travail.
Pour protéger la confidentialité de l’information, ainsi que le secret professionnel de l’avocat, le personnel de la Division de l’évaluation et, au besoin, des avocats de la Direction du contentieux, ont procédé à l’examen des dossiers Note de bas de page 9 . Pour que l’information recueillie dans les dossiers soit comparable, les avocats ont rempli le modèle d’examen des dossiers élaboré pour l’étude. Le modèle a recueilli l’information pour répondre à la matrice de l’évaluation et s’est appuyé sur l’information textuelle tirée des dossiers.
3.4. Études de cas
Trois études de cas de dossiers de contentieux visant à permettre une exploration des pratiques exemplaires et des leçons apprises ont été effectuées. Pour chacune, les modèles d’examen de dossiers (remplis au cours de l’examen des dossiers effectué pour l’évaluation) ont été examinés. De plus, des entrevues téléphoniques ont été menées pour compléter l’information documentaire, fournir le contexte pour le travail, et permettre une évaluation plus approfondie de la façon dont les dossiers sont traités et de l’efficacité de la relation de travail entre la Direction du contentieux, d’autres secteurs de Justice Canada (c.‑à‑d. les USJM, les bureaux régionaux et les sections spécialisées à l’administration centrale) et les représentants des clients. Ces entrevues ont été réalisées auprès des avocats de la Direction, d’autres avocats à Justice Canada, et des représentants des ministères et organismes clients ayant travaillé aux dossiers qui faisaient l’objet de l’étude de cas (représentants de l’administration centrale et représentants régionaux de chacune des organisations). Les entrevues ont été menées auprès de 11 intervenants.
3.5. Sondage auprès des conseillers juridiques et des parajuristes
Pour recueillir les commentaires de tous les avocats et parajuristes de la Direction du contentieux, l’évaluation comportait un sondage Web anonyme et confidentiel administré par Justice. Le sondage a été en ligne pendant trois semaines, du 17 juin au 9 juillet 2014. Des invitations ont été envoyées aux 138 avocats et parajuristes de la Direction. Un rappel a été envoyé aux participants pour augmenter le taux de réponse. Quatorze de ces participants n’étaient pas disponibles au moment où le sondage était en ligne. Au total, 79 répondants ont rempli le questionnaire, ce qui représente un taux de réponse de 64 % Note de bas de page 10 . Une fois le sondage terminé, les questions ouvertes ont été codées et les données du sondage ont été analysées à l’aide de SPSS, un progiciel statistique.
Le tableau 3 présente le profil des répondants au sondage et montre qu’ils représentaient, de façon générale, la population des avocats et des parajuristes de la Direction du contentieux.
Tableau 3 : Comparaison du profil des répondants au sondage et du profil du personnel de la Direction du contentieux
| Caractéristiques | Direction du contentieux (n=138) Note de bas de page 11 | Répondants au sondage (n=79) | ||
|---|---|---|---|---|
| Nombre | Pourcentage | Nombre | Pourcentage | |
| Parajuriste (EC) | 46 | 33% | 26 | 33% |
| Avocat: LP-01 | 22 | 16% | 13 | 16% |
| Avocat: LP-02 | 37 | 27% | 18 | 23% |
| Avocat: LP-03 | 15 | 11% | 9 | 11% |
| Avocat: LP-04 | 9 | 7% | 6 | 8% |
| Avocat: LP-05 | 4 | 3% | 3 | 4% |
| Avocat: LC-01 à 04 | 5 | 4% | 4 | 5% |
| Caractéristiques | Direction du contentieux (n=138) | Répondants au sondage (n=79) | ||
|---|---|---|---|---|
| Nombre | Pourcentage | Nombre | Pourcentage | |
| Il y a moins de 6 ans. | 33 | 24% | 17 | 22% |
| Il y a entre 6 et 10 ans. | 41 | 30% | 20 | 25% |
| Il y a plus de 10 ans. | 64 | 46% | 42 | 53% |
| Caractéristiques | Direction du contentieux (n=138) | Répondants au sondage (n=79) | ||
|---|---|---|---|---|
| Nombre | Pourcentage | Nombre | Pourcentage | |
| SCAC | 59 | 43% | 34 | 43% |
| UGRCLM | 10 | 7% | 4 | 5% |
| CGPC | 4 | 3% | 4 | 5% |
| GSN | 19 | 14% | 15 | 19% |
| SEI | 30 | 22% | 15 | 19% |
| Bureau national de la preuve électronique et de soutien aux litiges | 10 | 7% | 4 | 5% |
| Bureau du SPGA | 6 | 4% | 3 | 4% |
| Caractéristiques | Direction du contentieux (n=138) | Répondants au sondage (n=79) | ||
|---|---|---|---|---|
| Nombre | Pourcentage | Nombre | Pourcentage | |
| Contentieux | Non disponibles | Non disponibles | 54 | 68% |
| Consultation | 21 | 27% | ||
| Élaboration de politiques | 2 | 2% | ||
| Autre | 2 | 2% | ||
Nota : Comme les pourcentages ont été arrondis, il est possible que le total ne corresponde pas à 100 %.
3.6. Limites
L’évaluation a fait face à quelques limites méthodologiques. Elles sont présentées ci‑dessous, selon les sources d’information.
Examen des documents et des données : Données d’iCase
Dans l’ensemble, iCase a été une source d’information utile pour l’évaluation. Certaines modifications des politiques de Justice Canada ont toutefois eu une incidence sur ses données et, par conséquent, sur les données qui ont été évaluées. Les données sur le nombre de dossiers, le nombre d’heures, les questions juridiques et les résultats ont été utilisées pour toute la période visée par l’évaluation (2008‑2009 à 2013‑2014). Toutefois, les données d’iCase sur le risque juridique et la complexité n’ont pas été utilisées pour l’exercice 2013‑2014, pour deux raisons. Premièrement, la méthodologie d’évaluation du risque juridique a changé, de sorte que les niveaux de risque pour cet exercice ne sont pas comparables aux évaluations des exercices antérieurs Note de bas de page 12 . Deuxièmement, lorsque le 30 septembre 2013, la nouvelle façon de noter le risque est entrée en vigueur pour les dossiers de consultation et de rédaction législative, le risque associé à tous les dossiers ouverts appartenant à ces types a été fixé à « pas encore évalué » afin d’accroître l’exactitude et la fiabilité des données dans l’avenir. Cependant, selon les données antérieures, de nombreuses unités de la Direction du contentieux évaluaient déjà avant septembre 2013 le risque juridique pour leurs dossiers de consultation et de rédaction législative. Par conséquent, lorsqu’on a récupéré les données pour obtenir celles de 2013‑2014, ces évaluations des risques avaient maintenant disparues. La décision a donc été prise de se fier aux données de 2008‑2009 à 2012‑2013 pour le risque juridique et la complexité.
Plus tard au cours de l’évaluation, il a été découvert que les rapports d’iCase incluaient le temps consacré aux dossiers de la Direction du contentieux par du personnel n’appartenant pas à la Direction du contentieux. De plus, les rapports d’iCase n’incluaient pas les heures consacrées par le personnel de la Direction aux dossiers d’autres secteurs de Justice Canada. Cette situation ne modifie toutefois pas beaucoup les résultats dont il est fait état. En effet, bien au-delà de 90 % des heures consignées dans les dossiers des quatre unités de la Direction du contentieux qui travaillent le plus aux dossiers de consultation juridique et de contentieux l’ont été par du personnel de la Direction du contentieux. De plus, presque toutes les heures de services juridiques pour chacune des unités sont incluses dans les rapports d’iCase (voir le tableau 4). Puisque le Bureau du SPGA et le Bureau national de la preuve électronique et de soutien aux litiges consacrent beaucoup de temps à des dossiers qui ne sont pas ceux de la Direction du contentieux, ils n’ont pas été inclus dans l’analyse des heures d’iCase. Le CGPC, qui ne consigne pas les heures dans iCase, n’est pas inclus non plus.
| Unité de la Direction du contentieux | Pourcentage du temps total consigné par le personnel de l’Unité | Pourcentage du travail relatif aux services juridiques de l’Unité comptabilisé dans les données d’iCase |
|---|---|---|
| SCAC | 94,0% | 98,0% |
| UGRCLM | 95,0% | 96,0% |
| GSN | 99,6% | 99,7% |
| SEI | 97,3% | 99,9% |
Source : Données d’iCase.
Entrevues, études de cas et sondage
Les entrevues avec les principaux intervenants et les participants aux études de cas, ainsi que le sondage auprès du personnel de la Direction du contentieux, peuvent présenter une déviation systématique des réponses autodéclarées et une déviation systématique des résultats stratégiques. La déviation systématique des réponses autodéclarées se produit lorsque des gens décrivent leurs propres activités et peuvent donc vouloir se présenter sous un angle favorable. La déviation systématique des résultats stratégiques se produit lorsque les participants répondent à des questions en souhaitant orienter les résultats.
Examen des dossiers
Chaque année pendant la période visée par l’évaluation (2008‑2009 à 2013‑2014), la Direction du contentieux a activement géré plus de 3 000 dossiers. Il n’était pas possible d’obtenir un échantillon représentatif. Les évaluateurs se sont plutôt appuyés sur l’opinion des unités de la Direction du contentieux pour choisir des dossiers qui, selon elles, représentent raisonnablement bien leur travail.
Stratégie d’atténuation
La stratégie d’atténuation pour les limites méthodologiques mentionnées ci‑dessus a consisté à utiliser plusieurs sources d’information. L’évaluation a recueilli des renseignements auprès de la Direction du contentieux et de ceux qui utilisent ses services, des gestionnaires et du personnel de « première ligne », et grâce à un examen des dossiers et à un examen plus complet des données administratives (iCase). La stratégie d’atténuation a également eu recours à des méthodes de collecte de données quantitatives et qualitatives pour répondre aux questions de l’évaluation. Les conclusions de l’évaluation ont été renforcées par la triangulation des constatations de ces différentes sources.
- Date de modification :