Portefeuille du droit des affaires et du droit réglementaire évaluation

3. Méthodologie

L’évaluation de la Section s’appuie sur quatre sources de renseignements probants : l’examen des documents et des données, les entrevues avec les intervenants clés auprès des représentants du ministère et d’autres intervenants, le Sondage auprès des avocats, ainsi que les études de cas. La méthodologie a été mise au point en consultation avec le Comité consultatif de l’évaluation du PDADR, qui a aussi examiné tous les instruments de collecte des données.

La matrice d’évaluation, qui comprend les questions d’évaluation ainsi que les indicateurs et les sources d’éléments probants et qui a servi à orienter l’évaluation, se trouve à l’annexe A. Les instruments de collecte des données créés pour répondre à la matrice d’évaluation se trouvent à l’annexe C.

3.1. Examen des documents et des données

L’examen des documents et des données avait comme but à la fois de documenter l’élaboration d’instruments de collecte des données et de régler les questions d’évaluation. Des documents internes du Portefeuille ont été examinés (p. ex., plans des activités et bulletins de nouvelles), de même que des renseignements d’ordre public comme des exposés budgétaires, des discours du Trône, des rapports ministériels sur le rendement et des rapports sur les plans et les priorités.

Outre ces documents, les données iCase des exercices 2008‑2009 à 2013‑2014 ont également été examinées. iCase est le système intégré de gestion des dossiers, de comptabilisation du temps et de facturation, de gestion des documents et de production de rapports du Ministère.

3.2. Entrevues avec les principaux intervenants

Les entrevues menées auprès des principaux intervenants ont constitué une source de données essentielle dans la collecte d’information sur l’efficacité des activités du Portefeuille. Une liste des principaux intervenants possibles a été dressée et des guides d’entrevue adaptés à chaque groupe ont été produits en consultation avec le Comité consultatif de l’évaluation. Des entrevues ont été menées auprès de 90 principaux intervenants, dont la plupart occupent des postes de gestion. Le tableau 4 ci‑dessous présente la répartition par groupe des principaux intervenants reçus en entrevue et comprend ceux pour qui l’entrevue avait lieu dans le cadre des études de cas.

Tableau 4 : Principaux intervenants
Catégorie Nombre
PDADR
BSMA 5
SJM 34
Bureaux régionaux 10
SDC 2
Total partiel 51
Justice – autres secteurs 9
Total partiel 9
Autres ministères et organismes fédéraux
Ministères et organismes clients 27
Service des poursuites pénales du Canada 3
Total partiel 30
TOTAL 90

Les participants éventuels à une entrevue ont reçu une invitation. Ceux qui ont consenti à y participer ont reçu au préalable le guide d’entrevue (dans la langue officielle de leur choix). Chaque entrevue s’est déroulée dans langue officielle du choix du participant. L’évaluation a compris des entrevues par appel téléphonique et en personne. Les notes d’entrevue ont été envoyées à chaque répondant pour qu’il les revoie, une fois l’entrevue terminée. Cette mesure a permis de s’assurer que les notes prises au cours de l’entrevue étaient exactes et complètes et d’améliorer la validité globale des données tirées des entrevues. De plus, les entrevues ont été confiées à de multiples évaluateurs. Cette méthode a permis de restreindre la déviation qui aurait pu découler du regroupement de toutes les données par une seule personne, et d’établir une autre façon d’évaluer plus directement la cohérence des données obtenues.

3.3. Sondage auprès des avocats du Portefeuille du droit des affaires et du droit réglementaire

Pour obtenir l’apport des avocats en général, l’évaluation comprenait un sondage Web confidentiel. Ce sondage a été en ligne pendant trois semaines - du 8 mai au 29 mai 2015. Des invitations à participer ont été envoyées à la totalité des avocats des SJM et de la SDC et à la totalité des avocats des bureaux régionaux affectés aux dossiers du PDADR (n=622). Pour augmenter le taux de réponse, la SMA et le SMA délégué du PDADR ont fait parvenir un message aux avocats, les encourageant à participer au sondage. De plus, la Division de l’évaluation a fait un rappel une semaine avant la clôture du sondage. Au total, 262 avocats ont complété le questionnaire de sondage. Il s’agit d’un taux de réponse de 44 %Note de bas de la page 5. Dans l’ensemble, les répondants au sondage étaient bien répartis parmi les catégories du Portefeuille (p. ex., unité de travail, classification), SJM et bureaux régionaux compris, et étaient en grande partie représentatifs de la population générale.

3.4. Études de cas

Dans le cadre de l’évaluation, 15 études de cas ont été effectuées : une pour chacun des SJM du Portefeuille et une pour la SDC. Quatre des études de cas comprenaient un élément de contentieux auquel participaient des avocats des bureaux régionaux. Les études de cas avaient un double objectif. Premièrement, comprendre plus à fond la vie d’un dossier et le mode de fonctionnement du Portefeuille. Deuxièmement, faire en sorte que l’évaluation puisse déterminer si l’examen des dossiers choisis confirme l’information fournie par les principaux intervenants sur la façon d’exécuter le travail au sein du Portefeuille. Les dossiers ont été choisis en consultation avec les directeurs des SJM et la directrice de la SDC. Ils comprenaient non seulement les dossiers quotidiens habituels du Portefeuille, mais aussi des dossiers plus complexes touchant plusieurs ministères et nécessitant une approche et une coordination à l’échelle du Portefeuille. Les dossiers d’étude des cas étaient représentatifs en grande partie du pourcentage de chaque type de dossier (p. ex., consultation, contentieux et rédaction législative) géré par le Portefeuille. La Division de l’évaluation a fourni aux hauts dirigeants du PDADR des lignes directrices pour choisir les dossiers. Par exemple, le dossier devait avoir été ouvert et complété au cours de la période d’évaluation, sinon des travaux distincts devaient avoir été effectués et achevés durant ce temps. La disponibilité et le bon vouloir des avocats affectés au dossier ainsi que du client à participer à une entrevue, ainsi que le caractère complet de l’information au dossier ont aussi été pris en considération. Les études de cas comprenaient un examen du dossier et un examen des données iCase sur le dossier, suivi d’entrevues des principaux intervenants avec le conseiller juridique (des SJM ou des bureaux régionaux, selon le cas) et des clients concernés dans le dossier.

Afin de veiller à ce que l’information tirée de chaque dossier soit comparable, les évaluateurs ont rempli un modèle normalisé d’examen des dossiers qui avait été mis au point aux fins de l’évaluation (voir l’annexe C). Ce modèle permettait de tirer des dossiers l’information nécessaire pour répondre à la matrice d’évaluation et visait avant tout l’information factuelle disponible dans les dossiers et dans iCase.

3.5. Limites inhérentes aux méthodes d’évaluation et stratégie d’atténuation

Entrevues et études de cas

Les entrevues auprès des principaux intervenants peuvent entraîner un biais des réponses auto-déclarées, ce qui se produit lorsque des personnes décrivent leurs propres activités et peuvent vouloir se présenter sous un angle favorable. Il y a aussi la déviation systématique des résultats stratégiques, à savoir les participants qui répondent à des questions en souhaitant orienter les résultats. À cela s’ajoute le fait que l’échantillonnage des dossiers à étudier ne s’est pas fait au hasard et que l’échantillon n’est ni vaste, ni représentatif. Par contre, les dossiers choisis ont été jugés représentatifs de la diversité des tâches effectuées au Portefeuille et n’avaient pour but que d’illustrer la façon dont le Portefeuille aborde ses différents types de travaux. La sélection aussi bien des entrevues que des études de cas peut avoir été partiale, car les principaux intervenants chez les clients ainsi que les dossiers ont été choisis par les avocats du PDADR.

Afin d’atténuer ces limites, les évaluateurs ont eu recours à la triangulation pour vérifier les constatations par rapport à d’autres sources et points de vue. Ils ont comparé et contrevérifié la cohérence de l’information obtenue de différentes façons, en comparant les points de vue de gens aux perspectives différentes. En cherchant à obtenir de l’information de tout le cercle des intervenants du Portefeuille, les évaluateurs ont pu soumettre à la triangulation les opinions du personnel, des clients et des partenaires du Portefeuille, et vérifier les constatations issues des entrevues par rapport aux documents écrits au dossier, aux documents et rapports internes, et aux données secondaires (p. ex., les résultats du Sondage auprès des fonctionnaires fédéraux [SAFF] et de l’Enquête sur la satisfaction des clients), afin de corroborer les affirmations des répondants aux entrevues. Les évaluateurs ont constaté que les tendances globales des données provenant de sources différentes faisaient montre de cohérence.

Données iCase

Quoique les dossiers de consultation aient constitué la majorité (71 %) des dossiers gérés par le Portefeuille et la moitié des heures inscrites par les avocats du PDADR pendant la période visée par l’évaluation, 78 % en moyenne des dossiers de consultation activement gérés n’affichaient aucun taux de risque dans iCase, étant donné qu’il n’était pas obligatoire d’y inscrire de l’information sur l’importance du risque présenté par les dossiers de consultation avant septembre 2013. Il n’était pas davantage possible de se fier à la qualité des données contenues dans iCase sur les taux de risque et de complexité des dossiers de contentieux, étant donné que 33 % des dossiers de contentieux, en moyenne, ne signalaient aucun taux de risqueNote de bas de la page 6 et qu’en moyenne, 50 % des dossiers de contentieux n’affichaient aucun taux de complexité. Par suite de l’absence d’information sur le risque, il n’a pas été possible d’entreprendre des analyses en vue de déterminer si les avocats de niveau approprié étaient affectés aux dossiers juridiques en fonction de leur classification et du niveau de risque et de complexité du dossier (p. ex., à savoir si un plus grand nombre d’avocats-conseils travaillaient sur les dossiers plus risqués et complexes et, inversement, si un plus grand nombre d’avocats débutants travaillaient sur les dossiers moins risqués et complexes). En général, l’évaluation s’est donc concentrée sur la charge de travail (heures) selon la classification, sans tenir compte du niveau de risque ou de la complexité du dossier, et s’est fondée sur les résultats du Sondage auprès des avocats pour estimer si les dossiers leur étaient attribués en fonction du niveau et du nombre appropriés au risque juridique et au degré de complexité. Il est à prévoir que, par suite de la mise en œuvre du Protocole national de comptabilisation du temps, en 2015, les données sur le risque et la complexité seront suffisantes au moment de la prochaine évaluation.

L’Enquête de 2009 sur la satisfaction des clients

Le rapport d’évaluation se fonde en partie sur les constatations de la plus récente Enquête sur la satisfaction des clients du PDADR, effectuée en 2009. L’Enquête a permis d’obtenir un tableau valable du rendement du Portefeuille relativement aux normes de service du Ministère, étant donné le grand nombre de clients (n=3 032) qui y ont contribué. Par contre, comme les résultats de l’enquête étaient quelque peu désuets, l’évaluation s’est également fondée sur d’autres sources de renseignements pour connaître la perception qu’ont les clients de la qualité des services juridiques du PDADR par l’intermédiaire à la fois de l’étude de cas et des entrevues générales auprès des clients. Au total, 27 clients ont passé l’entrevue dans le cadre de l’évaluation. Pour les besoins de l’analyse, les évaluateurs ont comparé les résultats de l’Enquête sur la satisfaction des clients aux résultats des entrevues de l’évaluation et ont conclu qu’ils étaient cohérents.