Portefeuille des organismes centraux évaluation

3. Méthodologie

L’évaluation a exploité de nombreuses sources d’information pour appuyer des conclusions solides. La méthodologie a comporté quatre sources d’information : un examen des documents et des données, des entrevues des principaux intervenants, un sondage auprès des conseillers juridiques, et des études de cas.

La grille d’évaluation (qui fait le lien entre les questions d’évaluation, les indicateurs et les éléments de preuve) et les instruments de collecte des données ont été élaborés avec l’aide du groupe de travail sur l’évaluation du POC. La grille d’évaluation se trouve à l’annexe B, et les instruments de collecte des données à l’annexe C.

Chacune des méthodes d’évaluation est décrite plus en détail ci‑après. Cette section comprend aussi un bref exposé des problèmes de méthodologie.

3.1. Examen des documents et des données

L’examen des documents et des données avait pour double objet d’éclairer l’élaboration d’instruments de collecte des données et de répondre à la majorité des questions de l’évaluation.

Les documents examinés proviennent de sources internes, externes et publiques. Les documents ministériels examinés comprennent les rapports ministériels sur le rendement; les rapports sur les plans et les priorités; les résultats des sondages auprès des fonctionnaires fédéraux (SAFF)Note de bas de la page 14; et les résultats de l’enquête sur la satisfaction des clients.Note de bas de la page 15 Les documents internes du Portefeuille, ainsi que l’information publique, comme les budgets fédéraux et les discours du Trône, ont également été examinés.

Outre les documents, les données iCase des exercices 2010‑2011 à 2014‑2015 ont également été examinées. iCase est le système intégré de gestion des cas, de comptabilisation du temps, de gestion des documents et de rapports du Ministère.

3.2. Entrevues des principaux intervenants

Les entrevues des principaux intervenants réalisées pour notre évaluation ont abordé la majorité des questions de l’évaluation, et ont constitué une source clé d’information sur la nécessité du Portefeuille, ainsi que sur l’efficacité de ses activités. Une liste des principaux intervenants éventuels a été dressée et des guides d’entrevue adaptés à chaque groupe des principaux intervenants ont été produits, en consultation avec le groupe de travail de l’évaluation. Il y a eu des entrevues avec un total de 31 principaux intervenants. Les catégories particulières des principaux intervenants sont reprises au tableau 3.

L’échelle suivante a été appliquée pour le rapport sur les résultats des entrevues :

Tableau 3 : Entrevues des principaux intervenants
Catégorie Nombre des principaux intervenants
BSMA et SJM du POC 14
Autres secteurs du ministère de la Justice (bureaux régionaux, sections spécialisées au sein du Secteur du droit public, et DSL) 7
Ministères et organismes clients 10
TOTAL 31

3.3. Sondage auprès des avocats

Pour recueillir les commentaires des avocats du Portefeuille, l’évaluation a eu recours à un sondage confidentiel sur le Web. Le sondage a été en ligne pour environ deux semaines – du 23 septembre au 8 octobre 2015. Au cours de cette période, on a envoyé deux rappels aux participants éventuels pour accroître le taux de réponse. On a envoyé des invitations à 64 avocats, mais trois avocats étaient absents pour toute la durée du sondage.Note de bas de la page 16 Au total, 39 répondants ont répondu au questionnaire, ce qui donne un taux de réponse de 64 %. Après le sondage, les réponses aux questions ouvertes ont été codées et les données du sondage ont été analysées à l’aide du progiciel statistique SPSS.

Le tableau 4 présente le profil des répondants au sondage. De façon générale, les répondants représentaient la population des avocats du Portefeuille par niveau, nombre d’années de service au Ministère, et lieu de travail au sein du Portefeuille.

Tableau 4: Comparaison des profils du POC et des répondants au sondage

Note: Les chiffres ayant été arrondis, leur somme ne correspond pas nécessairement à 100 %.

Quel est votre classification actuelle?
Caractéristiques POC (n=64) Répondants au sondage (n=39)
Nombre % Nombre %
Avocat : LP-01 17 27 % 6 15 %
Avocat : LP-02 30 47 % 24 62 %
Avocat : LP-03 12 19 % 5 13 %
Avocat : LP-04 2 3 % 1 3 %
Avocat : LC-02 2 3 % 2 5 %
Avocat : LC-03 1 2 % 1 3 %
Depuis quand êtes-vous au service du Ministère?
Caractéristiques POC (n=64) Répondants au sondage (n=39)
Nombre % Nombre %
Moins d’un an 1 2 % -- --
Entre 1 et 5 ans 17 27 % 10 26 %
Entre 6 et 10 ans 16 25 % 8 21 %
Plus de 10 ans 30 47 % 21 54 %
Où travaillez-vous?
Caractéristiques POC (n=64) Répondants au sondage (n=39)
Nombre % Nombre %
BSMA 2 3 % 2 5 %
Finances – SJG 8 13 % 5 13 %
Finances – DDF 6 9 % 5 13 %
CANAFE – SJM 2 3 % -- --
BSIF – SJM 2 3 % 1 3 %
CFP – SJM 8 13 % 5 13 %
SCT – SJM 36 56 % 21 54 %
Types de services fournis régulièrement ou souvent dans le travail pour les SJM du PortefeuilleTable note i
Caractéristiques POC (n=64) Répondants au sondage (n=39)Table note ii
Nombre % Nombre %
Services de consultation     31 79 %
Services de contentieux     7 18 %
Rédaction législative     4 10 %
Autre     1 3 %
Table note i

Information non disponible pour tous les avocats du POC faisant partie de l’échantillon du sondage.

Return to table note i referrer

Table note ii

Les réponses multiples étaient permises dans le sondage; les totaux dépassent donc de 100 %.

Return to table note ii referrer

3.4. Études de cas

Il y a eu neuf études de cas des dossiers du Portefeuille pour permettre d’explorer les pratiques exemplaires et les leçons apprises. Il s’agissait d’une combinaison de dossiers de soutien au contentieux, de consultation et de rédaction législative. Pour chaque étude de cas, un gabarit d’examen des dossiers a été établi. En outre, on a fait un total de 17 entrevues téléphoniques avec des avocats des SJM du Portefeuille, des avocats d’autres secteurs du Ministère, et des clients pour compléter l’information documentée et permettre une évaluation plus poussée du traitement du dossier et de l’efficacité des rapports de travail entre le Portefeuille, les autres secteurs du Ministère (c.‑à‑d. les autres SJM, les bureaux régionaux, les sections spécialisées à l’Administration centrale) et les représentants des clients. Les études de cas ont porté sur deux dossiers pour les SJM du SCT, deux dossiers pour les Finances – SJG, deux dossiers pour la CFP – SJM, un dossier pour les Finances – DDF, un dossier pour CANAFE – SJM, et un dossier pour le BSIF – SJM. Les dossiers comprenaient des exemples de services juridiques de consultation, de contentieux et de rédaction législative.

3.5. Limitations

L’évaluation a dû surmonter quelques limitations d’ordre méthodologique. Ces limitations sont énumérées ci‑après par source d’information.

Examen des documents et des données. Aux stades de la planification de l’évaluation, on prévoyait que les données iCase pourraient livrer de l’information sur les tendances concernant le risque juridique et la complexité des dossiers du POC, et qu’elles pourraient appuyer une analyse de l’efficacité des efforts d’optimisation des processus liés à l’affectation des dossiers en fonction des niveaux de risque juridique et de complexité. Cependant, iCase contenait peu d’évaluations numériques du risque juridique et de la complexité. Par conséquent, l’évaluation n’a pas pu exploiter les données administratives pour analyser ces enjeux de l’évaluation et a dû s’en remettre aux perceptions des avocats et des clients du POC.

Entrevues, études de cas et sondage. Les entrevues avec les principaux intervenants et les participants aux études de cas, ainsi que le sondage auprès des avocats, peuvent présenter une déviation systématique d’autodéclaration et une déviation systématique stratégique. La déviation systématique d’autodéclaration se produit lorsque des personnes décrivent leurs propres activités et peuvent donc vouloir se présenter sous le meilleur jour. La déviation systématique stratégique des résultats se produit lorsque les répondants répondent aux questions en souhaitant orienter les résultats.

Stratégie d’atténuation. La stratégie d’atténuation de ces limitations de méthodologie a consisté à utiliser de multiples sources de données provenant de différents groupes d’intervenants, ainsi que différents types d’éléments de preuve en général. Ainsi, l’évaluation a recueilli des renseignements auprès du Portefeuille ainsi que des clients. En outre, l’évaluation a utilisé des méthodes de collecte de données quantitatives et qualitatives pour répondre aux questions de l’évaluation. Malgré ces limitations, les constatations de l’évaluation ont pu être renforcées par la triangulation des constatations de ces différentes sources.