Secteur du droit public évaluation

3. Méthodologie

Conformément aux politiques d’évaluation du Conseil du Trésor, le ministère de la Justice a utilisé une approche fondée sur le risque lors de la planification des évaluations afin d’optimiser l’utilisation des ressources de l’évaluation. La Division de l’évaluation du ministère de la Justice a évalué le niveau de risque (faible [F], moyen [M] ou élevé [E]) des évaluations planifiées en tenant compte de six facteurs de risque. La cote de risque du SDP pour chacun de ces facteurs est indiquée entre parenthèses : la nature aléatoire du financement du programme (E), la complexité du programme ou service (E), la matérialité (c.-à-d. le niveau de ressources prenant part à la prestation du programme) (M), les compétences et l’expertise (c.-à-d. les risques opérationnels auxquels s’expose le Ministère en matière de recrutement et de maintien en poste, et le besoin d’ensembles de compétences spécialisés) (E), le temps écoulé depuis la dernière évaluation (E), et les difficultés d’information (c. -- d. si les renseignements sur le programme existent et sont accessibles afin de bien soutenir une évaluation) (M). Le SDP a été retenu parmi les premières évaluations des services juridiques en raison de sa cote de risque généralement élevée. La méthodologie élaborée répondait au niveau de risque en prévoyant plusieurs éléments de preuve capables d’appuyer des constatations solides.

L’évaluation du SDP repose sur cinq éléments de preuve : un examen des documents et des données, des entrevues avec les principaux intervenants, un examen des dossiers, des études de cas, et des groupes de discussion. Chacune de ces méthodes est décrite en détail ci-après. La présente section contient également une brève analyse des difficultés méthodologiques.

La méthodologie a été élaborée avec le groupe de travail de l’évaluation du SDP. Les méthodes et instruments de collecte des données ont tous été examinés et approuvés par le groupe de travail.

La matrice d’évaluation, dans laquelle on trouve les questions d’évaluation, les indicateurs et les éléments de preuve, et qui sert de guide à l’étude, se trouve à l’annexe A. Les instruments de collecte des données conçus en réponse à la matrice d’évaluation se trouvent à l’annexe B.

3.1. Examen des documents et des données

L’examen des documents et des données visait à éclairer l’élaboration d’instruments de collecte des données et à répondre à la majorité des questions de l’évaluation.

Les documents examinés provenaient de sources internes, externes et publiques. Les documents du Ministère examinés étaient les suivants : Rapports ministériels sur le rendement, Rapports sur les plans et les priorités, rapports de vérification internes, résultats des sondages auprès des fonctionnaires fédéraux menés en 2005, 2008 et 2011 Note de bas de page 5 , et résultats de l’Enquête sur la satisfaction des clients de 2010 Note de bas de page 6 , Note de bas de page 7 . Les documents internes du SDP ont aussi été examinés, tout comme les renseignements de nature publique, comme les discours du budget et les discours du Trône.

En plus des documents, l’évaluation comportait un examen des données iCase pour les exercices 2007-2008 à 2011-2012. iCase est le système de gestion intégrée des dossiers, de comptabilisation du temps et de facturation, de gestion de documents et de production de rapport du Ministère.

3.2. Entrevues avec les principaux intervenants

Les entrevues menées avec les principaux intervenants pour cette évaluation portaient sur la majorité des questions d’évaluation et constituaient un élément de preuve clé dans la collecte de renseignements sur le besoin du SDP et l’efficacité de ses activités. Avec le groupe de travail de l’évaluation, on a établi une liste des principaux intervenants potentiels et des guides d’entrevue adaptés à chaque groupe d’intervenants. Un total de 46 entrevues (individuelles et en groupe) ont été menées avec 56 principaux intervenants représentant des juristes de Justice dans les SJM (n=19) et d’autres secteurs du ministère de la Justice (n=18), des employés du SDP (n=13) et des ministères et organismes clients (n=6).

Les personnes susceptibles d’être interrogées ont reçu une invitation à participer à une entrevue. Les principaux intervenants qui ont accepté d’y participer ont reçu une copie du guide d’entrevue (dans la langue officielle de leur choix) au préalable. Chaque entrevue s’est déroulée dans la langue officielle choisie par le répondant, et on a rappelé aux principaux intervenants que leurs réponses demeureraient confidentielles et anonymes. Il y a eu des entrevues par téléphone et en personne.

3.3. Examen des dossiers

On a procédé à un examen de certains dossiers fermés pour permettre une compréhension plus approfondie de la vie d’un dossier relativement aux mesures du rendement pour le SDP. Cette méthode a aussi permis d’explorer, dans le cadre de l’évaluation, si les renseignements obtenus auprès des principaux intervenants sur la façon dont le SDP travaillait étaient corroborés par un examen de certains dossiers.

L’examen des dossiers consistait à analyser les données iCase de 29 dossiers, dont la majorité étaient des dossiers de consultation démontrant le travail du Secteur en élaboration de politiques, en conseils juridiques stratégiques, en services consultatifs et en soutien au contentieux (où le SDP n’était pas responsable). Il pouvait y avoir plus d’un type de services juridiques dans un même dossier. Par conséquent, l’échantillon de l’examen des dossiers contenait des dossiers où le SDP avait donné des conseils juridiques (11 dossiers), du soutien au contentieux (11 dossiers), des conseils juridiques stratégiques (7 dossiers), de l’aide à la négociation (6 dossiers), et des conseils stratégiques (5 dossiers). Deux dossiers de contentieux (où les juristes du SDP étaient les avocats plaidants responsables) ont été inclus dans l’examen des dossiers; toutefois, étant donné que la majeure partie des travaux du SDP sont de nature consultative, l’examen des dossiers a porté plutôt sur les dossiers de consultation.

Les dossiers échantillonnés ont été choisis avec la collaboration du groupe de travail de l’évaluation parce qu’ils démontrent le spectre élargi des travaux réalisés par le SDP, et on a accordé une importance particulière aux dossiers délicats (risque juridique et complexité) qui touchaient plus d’une section du SDP. Comme les dossiers n’ont pas été choisis au hasard, et que l’échantillon n’était pas volumineux (compte tenu des milliers de dossiers sur lesquels se sont penchés les juristes du SDP pendant la période couverte par l’évaluation), l’échantillon retenu pour l’examen des dossiers n’est pas strictement représentatif. Il visait plutôt à illustrer l’approche de travail du Secteur. Les sept sections du SDP étaient représentées dans la sélection des dossiers. Le choix des dossiers a été pondéré approximativement selon la taille et le volume de travail de chaque section, mais on a aussi tenu compte de la variété et de la nature des travaux dans chaque dossier. Huit dossiers de la SDCAI, cinq de la SDP, cinq de la SDIPRP, quatre de la JLT, trois de la SDLO, deux de la SDPI et deux de la SAJCTA ont été examinés.

Question de protéger les renseignements confidentiels, de même que le secret professionnel de l’avocat, ce sont les juristes du SDP et les employés de la Division de l’évaluation qui se sont chargés de l’examen des dossiers. Pour veiller à ce que l’on puisse recueillir des renseignements comparables entre les dossiers, les juristes ont rempli le gabarit d’examen des dossiers créé pour l’étude (voir annexe B). Ce gabarit a permis de recueillir des renseignements qui répondaient à la matrice d’évaluation et qui portaient sur les détails factuels qui se trouvent dans les dossiers.

3.4. Études de cas

On a procédé à dix études de cas pour permettre d’explorer les pratiques exemplaires et l’approche nationale retenues par le SDP Note de bas de page 8 . Ainsi, les cas choisis étaient des dossiers délicats (c. -à-d. qui comportaient un niveau de complexité ou de risque moyen à élevé), et ceux qui nécessitaient un haut niveau de collaboration entre les sections du SDP et/ou entre les juristes du SDP et ceux des SJM ou les clients représentant les différents ministères ou organismes. Les cas ont été choisis parmi l’échantillon retenu pour l’examen des dossiers.

Pour chaque étude de cas, on a examiné les gabarits de l’examen des dossiers (remplis dans le cadre de l’examen des dossiers mené pour l’évaluation). De plus, on a procédé à des entrevues téléphoniques pour compléter les renseignements documentés, mettre le travail en contexte, et permettre une analyse approfondie du traitement du dossier et de l’efficacité de la relation de travail entre le SDP et les personnes ayant sollicité les services du SDP.

Un total de 25 entrevues ont été menées avec 38 intervenants. On a interrogé des juristes du SDP (n=20), des représentants de clients (n=9), et d’autres juristes de Justice ou avocats des SJM (n=9) qui avaient travaillé aux dossiers choisis pour les études de cas. Les personnes interrogées ont participé à une entrevue individuelle ou en petit groupe. L’approche retenue pour ordonnancer et réaliser les entrevues avec les personnes interrogées dans le cadre des études de cas est la même que l’approche (décrite précédemment) retenue pour ordonnancer et réaliser les entrevues avec les principaux intervenants.

3.5. Groupes de discussion

Les groupes de discussion sont le dernier élément de preuve utilisé dans cette évaluation. On a organisé quatre groupes de discussion (un groupe en français et un groupe en anglais avec des juristes du SDP et des avocats ou avocats plaidants des SJM) après avoir terminé le travail dans les autres éléments de preuve. Ces groupes de discussion ont pu servir de suivi sur les nouvelles constatations et ont permis d’obtenir d’autres détails et impressions sur les problèmes soulevés dans les autres éléments de preuve.

Le groupe de discussion en anglais du SDP comptait cinq participants, tandis que quatre personnes ont pris part à celui en français. Dans chaque groupe, les participants représentaient une section différente du SDP. Les avocats et avocats plaidants des SJM (six dans le groupe anglais et quatre dans le groupe français) qui ont pris part aux deux autres groupes de discussion étaient ceux qui connaissaient les différentes sections du SDP.

Toutes les discussions de groupe ont été enregistrées, pour assurer que les notes soient exactes, mais les participants ont été avisés que leurs réponses demeureraient confidentielles.

3.6. Limites

L’évaluation comportait quelques limites méthodologiques. Celles-ci sont énumérées ci-après et classées par élément de preuve.

Examen des documents et des données : limites de iCase

La capacité d’utiliser iCase pour répondre aux questions d’évaluation était limitée à plusieurs égards, principalement en raison des renseignements limités sur des variables clés comme le risque juridique et la complexité, qui sont conservées dans iCase pour les dossiers de consultation. Comme on l’observe dans l’évaluation de 2008 de la GRJ au ministère de la Justice, l’attribution de niveaux de risque juridique et de complexité aux dossiers de consultation s’accompagne de plusieurs difficultés conceptuelles, notamment le fait d’indiquer si les cotes de risque juridique ne s’appliquent que lorsqu’il y a un risque de litige et à quel moment évaluer le risque juridique. Le Ministère est toujours à l’œuvre, mais nous ne sommes pas encore au point où les données iCase peuvent être jugées fiables pour l’évaluation du risque juridique et de la complexité dans les dossiers de consultation. De 2006-2007 à 2011-2012, moins de 1 % des dossiers du SDP s’étaient vu attribuer un niveau de complexité, et les résultats sont les mêmes pour les niveaux de risque juridique. Ce phénomène limite l’analyse des tendances du niveau de risque juridique et de complexité des dossiers de consultation, une statistique qui permettrait de mieux comprendre la nature de la demande en matière de services juridiques du SDP. De plus, le manque de renseignements sur le risque juridique et la complexité signifie que l’évaluation ne peut définir l’efficience et l’économie à l’aide de mesures standard de gestion de la pratique du droit, comme l’attribution de dossiers plus risqués et plus complexes à des avocats d’expérience. La section 4.3.3 analyse davantage les questions dont il faut tenir compte lorsqu’on mène ce type d’analyse.

L’utilisation des données iCase pour comprendre la demande de services juridiques subit aussi les effets de l’absence d’une approche uniforme d’ouverture de dossiers de consultation. Les intervenants de l’évaluation ont indiqué que les données iCase sur le nombre de dossiers peuvent sous-estimer les activités consultatives du SDP dans les dossiers, puisque les juristes du SDP n’ouvrent pas tous leurs dossiers de la même façon; les juristes du SDP peuvent ouvrir ou non de nouveaux dossiers de consultation pour de brefs conseils ou des conseils informels. Puisque la décision d’ouvrir un dossier consultatif revient à chacun des avocats, un « dossier » ne constitue pas une unité uniforme d’analyse. De plus, le nombre de dossiers de consultation ne reflète pas avec précision le nombre de demandes de services du SDP puisqu’il peut y avoir plus d’une demande pour un seul dossier. Le SDP n’emploie actuellement pas de méthode standard de gestion des tâches ou de processus capable de saisir le nombre de demandes, et le nombre de dossiers risque de ne pas être une mesure fiable de la demande de services consultatifs.

Les données iCase sur les heures consacrées aux dossiers doivent être interprétées avec prudence. À l’occasion, les juristes du SDP et les clients s’entendent sur un nombre maximal d’heures à saisir dans iCase avant que le SDP termine son travail. Les juristes ont aussi un « budget » annuel d’heures (1 300), et selon les intervenants, ils ne tiennent peut-être pas un compte précis de leurs heures. Par conséquent, il se peut que les données iCase sur les heures n’expriment pas toujours avec précision le temps véritablement consacré par les juristes du SDP aux dossiers.

L’évaluation s’est appuyée sur les données iCase à de rares occasions, car on savait qu’il était impossible d’analyser la fiabilité des données. Le SDP pourrait entreprendre une analyse de la façon dont les avocats remplissent les champs iCase pour créer davantage d’uniformité, de sorte que les données soient plus utiles pour la haute direction et puissent plus tard produire des renseignements plus objectifs pour la prochaine évaluation du SDP.

Entrevues et groupes de discussion

Les entrevues et les groupes de discussion avec les principaux intervenants et les personnes interrogées dans le cadre des études de cas présentent des possibilités de biais dans les réponses, qui surviennent lorsque des personnes donnent elles-mêmes un compte rendu de leurs activités et risquent de parler d’elles sous leur meilleur jour, et de biais dans les réponses stratégiques, alors que les participants répondent aux questions dans le but d’influer sur les résultats.

Examen des dossiers

Au cours d’une année donnée pendant l’évaluation (de 2007-2008 à 2011-2012), le SDP en général a été consulté dans plus de 14 000 dossiers. Pour obtenir un échantillon aléatoire avec un niveau d’erreurs raisonnable, il faudrait examiner des centaines de dossiers, un processus irréaliste. L’évaluation s’est plutôt appuyée sur l’opinion du groupe de travail pour choisir les dossiers qui, selon les membres du groupe, représentaient raisonnablement le travail du SDP.

Stratégie d’atténuation

La stratégie d’atténuation des limites inhérentes aux méthodes d’évaluation dont on vient de parler consistait à utiliser plusieurs éléments de preuve pour obtenir des renseignements auprès du SDP et des personnes qui ont recours au SDP, ainsi que des cadres et du personnel de « première ligne », d’un examen des dossiers et d’un examen plus détaillé des données administratives (iCase). La stratégie d’atténuation consistait aussi à utiliser des méthodes de collecte de données quantitatives et qualitatives pour répondre aux questions d’évaluation. En effectuant la triangulation des constatations provenant de ces différentes sources, il a été possible de renforcer les conclusions de l’évaluation.