Portefeuille de la sécurité publique, de la défense et de l’immigration évaluation

3. Méthodologie

Cette section présente une brève description de la méthodologie utilisée pour l’évaluation du Portefeuille SPDI.

3.1. Approche de l’évaluation

L’approche de la collecte des données et de l’analyse des conclusions de l’évaluation reflète la nature des activités menées par le Portefeuille SPDI. Les services juridiques offerts par les conseillers juridiques travaillant dans le cadre opérationnel du Portefeuille sont appelés à soutenir la gestion et les opérations continues de divers ministères et organismes fédéraux. Contrairement à d’autres programmes ou initiatives plus typiques, ces services ne sont pas destinés à pallier une lacune ou un besoin déterminé, ni à modifier fondamentalement les conditions d’un groupe ciblé de personnes ou de collectivités. De fait, dans de nombreux scénarios, ces services ont pour objet de permettre aux ministères et organismes clients d’aller de l’avant avec des programmes et des initiatives visant à répondre aux besoins ou priorités définis du gouvernement fédéral. Dans ce sens, on pourrait faire valoir que les activités du PSPDI aident les ministères et organismes fédéraux à s’acquitter de leur mandat respectif.

Par conséquent, la collecte et l’analyse des données menées dans le cadre de l’évaluation servent à établir la mesure dans laquelle les ministères et organismes clients reçoivent l’aide dont ils ont besoin pour mener à bien leurs activités. Par exemple, la capacité du Portefeuille de répondre rapidement et de façon uniforme aux demandes des clients et sa capacité de communiquer les risques juridiques de manière à permettre aux ministères et organismes clients de prendre des décisions éclairées sont au nombre des indicateurs de succès que l’approche méthodologique a visé à évaluer. Pour cela, il est important de souligner que les activités d’évaluation n’ont jamais été destinées à évaluer la qualité des avis juridiques des conseillers juridiques. Cela irait bien au‑delà de la portée de cette évaluation, et nous éloignerait de l’objectif fondamental d’établir la mesure dans laquelle les ministères et organismes clients reçoivent l’aide juridique dont ils ont besoin.

La collecte et l’analyse des données effectuées dans le cadre de l’évaluation s’alignent sur le cadre global fixé dans la Politique sur l’évaluation du gouvernement fédéral, qui précise que l’évaluation favorise la responsabilisation continue, éclaire les décisions du gouvernement sur l’affectation des ressources, et appuie la gestion et l’amélioration continues du programme Note de bas de page 11 .

Enfin, toutes les activités de recherche menées dans le cadre de cette évaluation ont été administrées conformément aux pratiques normales dans le domaine de l’évaluation des programmes, y compris aux lignes directrices fixées par le Code d’éthique et les Normes d’évaluation de la Société canadienne d’évaluation Note de bas de page 12 .

3.2. Méthodes de recherche

Pour évaluer la pertinence et le rendement du Portefeuille de la façon détaillée proposée par la grille d’évaluation de l’annexe A, l’évaluation a comporté diverses activités de collecte des données, qui sont décrites dans cette sous-section.

3.2.1. Examen des dossiers et des documents administratifs

L’examen des dossiers et des documents administratifs a touché l’information autant administrative que l’information disponible pour le public. En plus du cadre d’évaluation du Portefeuille SPDI de 2013, l’examen des dossiers et documents administratifs comprend ce qui suit :

La liste de l’information publique comprend les rapports ministériels sur le rendement, les rapports sur les plans et les priorités, les exposés budgétaires, et les discours du Trône.

3.2.2. Entrevues des informateurs clés

Au stade initial du processus d’évaluation, deux entrevues préliminaires de groupes ont été menées avec les représentants du Portefeuille SPDI. L’objet de ces entrevues était de recueillir de l’information contextuelle pour compléter l’information écrite alors disponible.

Tableau 2 : Distribution des entrevues avec les informateurs clés
Source Nombre d’entrevues
SJM 24
Bureaux régionaux 10
Ministères clients 19
Bureau de la SPGA 6
Autres intervenants 9
Total 68

Dans le cadre du processus principal de collecte des données, 68 entrevues auprès de 83 personnes ont été réalisées (tableau 2). Elles comprenaient des entrevues avec les cadres supérieurs et le personnel des SJM, des ministères clients, du Bureau de la SPGA et d’autres intervenants (organismes centraux, Secteur du droit public, Secteur des politiques).

Avant d’être contactés, tous les informateurs clés ont reçu une lettre du ministère de la Justice, dans les deux langues officielles, décrivant l’objet et la nature de la recherche et les invitant à y participer. Il y a eu un suivi pour confirmer le lieu et la date de l’entrevue. Une fois l’entrevue confirmée, les informateurs clés ont reçu un guide d’entrevue, qui devait les aider à se préparer à l’entrevue. L’analyse des conclusions des entrevues des informateurs clés a dégagé les tendances et les points de divergence dans le groupe choisi. Cette analyse a été faite avec l’aide du logiciel NVivo.

3.2.3. Enquête auprès des conseillers juridiques

Une enquête anonyme et confidentielle auprès des conseillers juridiques des SJM et des bureaux régionaux a servi à recueillir de l’information sur le rendement du Portefeuille, les enjeux clés et les incidences. L’enquête a été réalisée en ligne sur un total de trois semaines. Au cours de cette période, deux rappels visant à augmenter le taux de réponse ont été envoyés aux participants possibles. Un échantillon aléatoire stratifié de 500 conseillers juridiques ont reçu une invitation par courriel avec un lien d’accès direct et protégé au questionnaire d’enquête en ligne. Comme l’indique le tableau 3, 216 personnes ont répondu au questionnaire d’enquête, ce qui correspond à un taux de réponse de 46 %.

Tableau 3 : Sommaire de la méthodologie d’enquête
Méthode d’échantillonnage Échantillon aléatoire stratifié
Méthode d’enquête En ligne
Date du test préliminaire 8 octobre 2014
Dates de l’enquête 28 oct.-14 nov. 2014
Total des invitations 500
Impossibles à livrer 33
Nombre net d’invitations utilisables 467
Enquêtes réalisées 216
Taux de réponse Note de bas de page 13 46 %

Une fois l’enquête terminée, on a codé les réponses aux questions ouvertes et analysé les données de l’enquête à l’aide de SPSS, un progiciel statistique.

Le tableau 4 présente un profil des répondants de l’enquête auprès des conseillers juridiques. Globalement, les répondants à l’enquête sont bien distribués dans les divers sous-groupes du Portefeuille.

Tableau 4 : Profil des répondants à l’enquête
Sous-groupes Nombre Pourcentage
SJM
ASFC 17 16 %
CIC 14 13 %
SCC 7 7 %
CST 4 4 %
GLCSN 17 16 %
DN/FAC 21 20 %
CLCC 2 2 %
SP 7 7 %
GRC 17 16 %
Total partiel 106 100 %
Bureaux régionaux
Atlantique 11 10 %
Québec 19 17 %
Ontario 17 15 %
Prairies 29 26 %
Colombie-Britannique 26 24 %
Nord 8 7 %
Total partiel 110 100 %
Total 216  

3.2.4. Études de cas

Dix études de cas ont été réalisées dans le cadre de l’évaluation. L’objet de ces études de cas était d’illustrer comment le Portefeuille travaille dans la pratique, et en particulier comment les conseillers juridiques et les ministères et organismes clients collaborent à la gestion des questions juridiques. Pour protéger le secret professionnel de l’avocat, un employé du ministère de la Justice a examiné les dossiers juridiques et rempli les modèles normalisés de collecte des données, qui se trouvent à l’annexe C. Ces entrevues étaient fondées sur le sommaire fourni dans ces documents.

On a choisi les études de cas pour assurer une représentation significative du travail de contentieux et de consultation du Portefeuille; elles comprenaient des dossiers mettant en cause de multiples clients et le Bureau de la SPGA. Ces études de cas ont porté essentiellement sur des dossiers fermés et comprenaient un examen du dossier de cas, suivi d’entrevues des informateurs clés, tant avec les conseillers juridiques affectés au cas (venant des SJM, des bureaux régionaux et du Bureau de la SPGA, selon le cas) qu’avec les représentants des ministères et organismes clients.

3.3. Limitations

L’évaluation s’est heurtée à quelques limitations méthodologiques, qui sont décrites brièvement dans la présente sous-section.

3.3.1. Données d’iCase

iCase est l’application Web nationale du Ministère qui appuie la pratique du droit et la gestion des services juridiques assurés par le ministère de la Justice. Aux fins de l’évaluation, les données d’iCase ont servi à documenter divers indicateurs d’évaluation et à mesurer plusieurs dimensions du travail accompli par le Portefeuille. Pour cela, par contre, il a fallu tenir compte de certaines limitations concernant les données d’iCase. D’abord, les SJM n’ont pas d’approche cohérente pour l’ouverture des dossiers de consultation, particulièrement dans le cas des dossiers qui nécessitent peu de travail. Certains conseillers juridiques ont consigné ce travail sous dossiers généraux de consultation, tandis que d’autres ont ouvert un nouveau dossier de consultation distinct. Ensuite, le travail de soutien au contentieux effectué par les SJM ne semble pas être consigné de façon uniforme. Certains SJM consignent ce travail dans la catégorie consultation, alors que d’autres l’ont consigné dans la catégorie contentieux. Ces manques d’uniformité des pratiques de collecte des données à l’échelle du Portefeuille risquent de diminuer l’utilité globale des données recueillies Note de bas de page 14 . Les données pour les services législatifs ont commencé à faire l’objet d’une collecte intégrée en 2010-2011. De plus, vers la fin de la production du rapport, l’évaluation a aussi fait ressortir un problème de codage des heures consacrées aux dossiers de législation dans au moins un SJM. L’évaluation a donc porté sur des données agrégées pour ce qui est de la législation plutôt que sur des données par ministère. Enfin, il faut noter que, par suite de changements récents apportés à iCase, il n’a pas été possible (au moment de l’évaluation) d’accéder aux données sur le niveau de risques et de complexité des dossiers de consultation. Pour atténuer certaines de ces difficultés, l’évaluation fait rapport du travail de consultation essentiellement en fonction des heures travaillées, plutôt que du nombre de dossiers activement gérés, particulièrement dans l’analyse des tendances passées.

3.3.2. Entrevues et enquête

Les entrevues avec les informateurs clés et les participants aux études de cas, ainsi que l’enquête auprès des conseillers juridiques du PSPDI, présentent des possibilités de déviation systématique des réponses autodéclarées et de déviation systématique des réponses stratégiques. Il y a déviation systématique des réponses autodéclarées lorsque des répondants décrivent eux-mêmes leurs activités et peuvent donc vouloir se présenter sous le jour le plus favorable. Il y a déviation systématique des réponses stratégiques lorsque des participants répondent à des questions en cherchant à orienter les résultats. Pour atténuer cette limitation, on a utilisé de multiples sources d’information. En particulier, l’évaluation a comporté les perspectives des clients par l’utilisation d’entrevues auprès d’informateurs clés et d’entrevues sur des études de cas, en plus des données sur le rendement de l’Enquête sur la satisfaction des clients.

3.3.3. Sélection des études de cas

Pendant chaque année visée par l’évaluation, le Portefeuille a géré bien au-delà de 20 000 dossiers actifs. Dans ce contexte, il n’a pas été possible d’obtenir un échantillon représentatif de dossiers à utiliser pour les études de cas. L’évaluation s’en est plutôt remise aux conseils d’un groupe de travail pour choisir des dossiers reflétant diverses dimensions du travail accompli par le Portefeuille. Encore une fois, la stratégie d’atténuation a consisté à utiliser des sources multiples et à veiller à ce que les conclusions de chaque étude de cas soient correctement mises en contexte et utilisées pour fins d’illustration.