Portefeuille des services du droit fiscal évaluation
3. Méthodologie
Conformément aux politiques d'évaluation du Conseil du Trésor, le ministère de la Justice a adopté une approche axée sur le risque pour la planification des évaluations afin d'assurer une utilisation efficiente des ressources d'évaluation. La Division de l'évaluation du ministère de la Justice a évalué le niveau de risque (faible, moyen ou élevé) des évaluations planifiées en tenant compte de six facteurs de risque : la nature conditionnelle du financement des programmes; la complexité du programme ou du service; l'importance relative (c.-à-d. le niveau de ressources engagées dans la prestation du programme); les compétences et l'expertise (c.-à-d. les risques d'entreprise auxquels le Ministère fait face relativement au recrutement et au maintien en poste et la nécessité de disposer d'ensembles de compétences spécialisées); le temps écoulé depuis la dernière évaluation; et les difficultés en matière d'information (c.-à-d. si de l'information sur le programme est disponible et accessible afin de soutenir pleinement l'évaluation). Le Portefeuille des SDF a été retenu pour la première évaluation des services juridiques en raison de sa cote de risque élevée dans l'ensemble. La méthodologie élaborée est proportionnelle au niveau de risque et prévoit plusieurs sources de données qui favorisent des résultats solides.
L'évaluation du Portefeuille des SDF fait appel à cinq sources de données : un examen des documents et des données; des entrevues avec des répondants clés; un sondage auprès des avocats-conseils; des études de cas; et des groupes de discussion. Chacune de ces sources est décrite plus en détail ci-après. La présente section comprend aussi un exposé des difficultés méthodologiques.
La méthodologie a été élaborée avec le groupe de travail sur l'évaluation du Portefeuille des SDF. Le groupe de travail a examiné et approuvé l'ensemble des méthodes et instruments de collecte des données.
La matrice d'évaluation, qui recense les questions d'évaluation, les indicateurs et les sources de données et qui a servi à guider l'étude, se trouve à l'annexe A. L'annexe B décrit les instruments de collecte des données élaborés à partir de la matrice d'évaluation.
3.1. Examen des documents et des données
L'examen des documents et des données a été mené pour éclairer l'élaboration des instruments de collecte des données et pour répondre à la majorité des questions d'évaluation.
Les documents examinés ont été obtenus de sources internes, externes et publiques. On compte parmi les documents ministériels examinés les Rapports sur le rendement ministériel, les Rapports sur les plans et priorités, les rapports ministériels de vérification, et les résultats de l'Enquête sur la satisfaction des clients de 2008 et de 2011. Note de bas de page 5 Des documents internes du Portefeuille des SDF et des documents pertinents de l'ARC ont aussi été examinés, de même que des documents de source publique, tels que les discours du budget et les discours du Trône.
En plus de l'examen des documents, l'évaluation couvrait l'examen des données de iCase des exercices financiers 2007-2008 à 2011-2012. iCase est le système intégré de gestion des dossiers, de consignation des heures travaillées et de facturation, de gestion des documents et de production des rapports du Ministère.
3.2. Entrevues avec des répondants clés
Les entrevues avec des répondants clés menées pour cette évaluation ont abordé la majorité des questions d'évaluation et ont constitué une importante source de données pour colliger l'information sur la nécessité et l'efficacité des activités du Portefeuille. On a dressé une liste des répondants clés possibles et préparé, en consultation avec le groupe de travail sur l'évaluation, des guides d'entrevue adaptés à chacun des groupes de répondants clés. Au total, on a mené des entrevues avec 43 répondants clés représentant le Portefeuille des SDF (n=22) et l'ARC (n=19). On a aussi mené des entrevues avec des représentants du Secteur du droit public et du ministère des Finances. Toutes les entrevues ont été menées avec des personnes occupant des postes au niveau de la gestion.
Les personnes à interviewer ont reçu une invitation à participer à une entrevue. Avant l'entrevue, on a fourni un guide d'entrevue (dans la langue officielle de leur choix) aux répondants clés ayant accepté de participer. Chacune des entrevues a été menée dans la langue officielle choisie par le répondant et on a garanti aux répondants clés la confidentialité et l'anonymat de leurs réponses. Cette évaluation comprenait une combinaison d'entrevues au téléphone et en personne.
3.3. Sondage auprès des avocats du Portefeuille des Services du droit fiscal
Afin de réunir les commentaires de tous les avocats du Portefeuille des SDF à l'administration centrale, dans les USJ et dans les régions, on a inclus à l'évaluation un sondage en ligne anonyme et confidentiel ouvert à tous les avocats du Portefeuille des SDF affiché sur le site intranet du ministère de la Justice. Afin de stimuler la participation, le Ministère a transmis par courriel à chaque répondant éventuel une invitation exposant le but du sondage et l'importance d'y participer. Les invitations par courriel s'accompagnaient d'un lien électronique sur lequel les répondants pouvaient cliquer pour consulter et remplir le sondage.
Avant de déployer le sondage, on a mené des essais auprès de 14 avocats afin de vérifier que les questions étaient claires et le fonctionnement sans problème (bon cheminement logique, etc.). On a revu le sondage en tenant compte de la rétroaction des participants aux essais.
Le sondage a été offert en ligne pendant trois semaines en tout, à savoir du 15 juin au 6 juillet 2012. Au cours de cette période, deux rappels ont été envoyés aux éventuels répondants afin d'augmenter le taux de réponse. Les invitations ont été transmises à 357 avocats. Quatorze des participants possibles ont été indisponibles pendant toute la période du sondage. Au total, 159 avocats ont répondu au sondage, ce qui représente un taux de réponse de 45 %. Note de bas de page 6 Une fois le sondage terminé, on a codé les questions ouvertes et analysé les résultats du sondage au moyen de SPSS, une suite logicielle de statistique.
Le Tableau 3 présente le profil des répondants au sondage et montre que, en général, les répondants sont représentatifs de la population des avocats du Portefeuille des SDF. Bien qu'on ne dispose pas de l'information sur le type de dossiers le plus souvent traité pour tous les avocats du Portefeuille des SDF, l'échantillon semble représentatif.
| Caractéristiques | Portefeuille des SDF Note de bas de page 7 | Répondants au sondage |
|---|---|---|
| Quel est le niveau de classification du poste que vous occupez présentement? | (n=336) Note de bas de page 8 | (n=159) |
| % | % | |
| LA – 01 | 26 % | 25 % |
| LA – 2A | 43 % | 43 % |
| LA – 2B | 14 % | 16 % |
| LA – 3A | 8 % | 6 % |
| LA – 3B | 1 % | 1 % |
| Haute direction | 7 % | 8 % |
| Total | 100 % | |
| Depuis quand êtes-vous au Ministère? | (n=369) | |
| Depuis moins d'un an | -- | -- |
| Depuis 1 à 5 ans | 28 % | 31 % |
| Depuis 6 à 10 ans | 20 % | 15 % |
| Depuis plus de 10 ans | 51 % | 54 % |
| Total | 100 % | 100 % |
| Où travaillez-vous présentement? | (n=336) | |
| Administration centrale (à l'exclusion des USJ) | 13 % | 12 % |
| Bureau régional | 78 % | 75 % |
| USJ | 9 % | 13 % |
| Total | 100 % | 100 % |
| À quel type de dossiers travaillez-vous le plus souvent?* | Non disponible | |
| Contentieux | 82 % | |
| Consultation | 18 % | |
| Total | 100 % |
Nota : La somme de certains totaux n'atteint pas 100 % en raison de l'arrondissement.
*Information non disponible pour tous les avocats du Portefeuille des SDF.
3.4. Examen des dossiers
On a procédé à l'examen d'une sélection de dossiers clos de litige et de consultation afin de mieux comprendre le rapport entre le cycle de vie d'un dossier et les mesures du rendement du Portefeuille des SDF. Cette méthode a aussi permis à l'évaluation de vérifier si l'information obtenue des répondants clés sur la manière dont le Portefeuille effectuait son travail était confirmée par l'examen des dossiers de cas sélectionnés.
L'examen des dossiers a porté sur 45 dossiers, soit 32 dossiers de litige et 13 dossiers de consultation. Seize des dossiers de litige couvraient plusieurs échelons du système judiciaire, et l'évaluation a donc pu étudier les changements dans les cotes de risque et de complexité, d'avocats affectés au dossier, et de niveau de consultations à mesure que le cas franchissait les échelons des procédures d'appel.
La sélection de l'échantillon de dossiers s'est effectuée avec la contribution du groupe de travail sur l'évaluation et est réputée fournir une bonne illustration du vaste spectre couvert par le travail du Portefeuille des SDF. Comme les dossiers n'ont pas été choisis au hasard et que l'échantillon est modeste (comparativement aux milliers de dossiers sur lesquels les avocats du Portefeuille ont travaillé au cours de la période couverte par l'évaluation), il n'est pas représentatif à proprement parler. L'examen des dossiers visait plutôt à illustrer l'approche adoptée par le Portefeuille relativement à son travail.
Deux avocats du Portefeuille ont procédé à l'examen des dossiers afin de protéger les renseignements confidentiels sur les contribuables ainsi que le secret professionnel de l'avocat. Afin de s'assurer de tirer des dossiers des renseignements comparables, les avocats ont rempli un gabarit d'examen de dossier préparé aux fins du sondage (se reporter à l'annexe B). Le gabarit permettait de recueillir les renseignements pour remplir la matrice d'évaluation et se concentrait sur les données de fait disponibles dans les dossiers.
3.5. Études de cas
On a mené trois études de cas (deux cas de litige et un cas de consultation) afin d'étudier des pratiques exemplaires et l'approche du Portefeuille des SDF à l'échelle nationale. Dans ce but, les cas retenus concernaient des dossiers délicats (c.-à-d. dont les questions étaient complexes ou à risque élevé et les dossiers demandant un niveau élevé de collaboration entre les bureaux du Portefeuille et/ou entre les avocats du Portefeuille et leurs collègues de l'ARC).
On a étudié les gabarits d'examen de dossier (préparés dans le cadre de l'examen des dossiers mené pour l'évaluation) pour chacune des études de cas. On a aussi procédé à des entrevues téléphoniques afin de compléter les renseignements consignés, de connaître le contexte de travail, et de permettre une évaluation approfondie de la manière dont le dossier a été traité et de l'efficacité des relations de travail entre le Portefeuille et l'ARC. Les entrevues ont été menées avec les avocats du Portefeuille des SDF et les représentants de l'ARC qui ont travaillé au dossier faisant l'objet de l'étude de cas (tant à l'administration centrale que dans les bureaux régionaux de chacune des organisations).
On a mené des entrevues avec 16 intervenants au total. Les entrevues ont été menées individuellement ou en petit groupe. L'approche utilisée pour prendre rendez-vous et mener les entrevues avec les participants à l'étude de cas a été la même que celle utilisée (et décrite précédemment) pour la prise de rendez-vous et la conduite des entrevues avec les répondants clés.
3.6. Groupes de discussion
Les groupes de discussion ont constitué la dernière source de données utilisée pour l'évaluation. Deux groupes de discussion ont eu lieu (regroupant respectivement les représentants régionaux de l'ARC et ceux du Portefeuille des SDF) une fois recueillies les données des autres sources. Ces groupes de discussion ont servi à effectuer un suivi des résultats émergents et à obtenir des précisions et des commentaires supplémentaires sur les questions cernées par les autres sources de données.
Chacun des groupes de discussion comptait sept participants représentant quatre bureaux régionaux (Colombie-Britannique, Ontario, Québec et Atlantique). Les participants du groupe de discussion de l'ARC étaient des agents des litiges et des responsables du contentieux. Le groupe de discussion du Portefeuille des SDF comprenait des avocats des sections des SDF. Les participants aux groupes de discussion n'occupaient pas des postes du niveau de la gestion, leur rôle étant plutôt de traiter les dossiers de litige en matière de droit fiscal.
Le groupe de discussion de l'ARC s'est réuni par téléconférence, et celui du Portefeuille des SDF par vidéoconférence, utilisant l'équipement de vidéoconférence du Portefeuille. On a enregistré les deux rencontres afin d'assurer l'exactitude du compte rendu, mais on a assuré aux participants que leurs commentaires demeureraient confidentiels.
3.7. Limites
L'évaluation a été confrontée à quelques limites méthodologiques. Les voici, par source de données.
Examen des documents et des données : limites de iCase.
Dans l'ensemble, iCase a été une source d'information utile pour l'évaluation. Certaines limites se sont cependant manifestées.
- Les cotes relatives aux risques juridiques et à la complexité ont changé au cours de l'exercice 2009-2010. Avant 2009, on évaluait le dossier principal et on lui attribuait une cote de risque et de complexité. Tous les dossiers associés recevaient une cote de niveau de risque 1 (faible) et de niveau de complexité faible. Dans un souci d'uniformisation avec les autres portefeuilles, le Portefeuille des SDF a changé après 2008-2009 les niveaux de risque et de complexité de tous les dossiers associés afin qu'ils correspondent à ceux du dossier principal, une opération qui a touché environ 5 000 dossiers en 2009-2010 comme en 2010-2011. Cela signifie que c'est depuis 2009-2010 que le dossier principal et les dossiers associés portent la cote « réelle », ce qui limite la période de l'évaluation à trois années de données comparables (2009-2010, 2010-2011 et 2011-2012). Pour cette raison, il est prématuré d'effectuer une analyse des tendances des risques juridiques et de la complexité.
- Comme iCase est un système de gestion de l'information qui n'a pas été conçu en tenant compte des besoins de l'évaluation, ses données sur les stratégies de RD se limitent à l'indication de l'utilisation du RD et ne se prêtent pas à l'analyse de la réussite de ce règlement.
- Présentement, les données permettant des analyses du rapport coût-efficacité, telles que le coût des services juridiques par rapport à l'impôt récupéré dans un dossier, ne sont pas recueillies.
Sondage auprès des avocats-conseils.
Le sondage auprès des avocats-conseils est entaché par la partialité attribuable à l'autosélection inhérente à tout sondage auquel les répondants décident eux-mêmes de répondre ou non. Malgré la conduite d'essais pour vérifier la pertinence du sondage, sa clarté et la facilité d'y répondre ainsi que les plus grands efforts pour améliorer le taux de réponse, moins de la moitié (45 %) des avocats y ont répondu. Toutefois, une comparaison de quelques caractéristiques importantes (classification LA, années de service au Ministère, lieu de travail, type de dossiers traités) des répondants avec l'ensemble des avocats-conseils du Portefeuille des SDF indique que les répondants sont assez représentatifs des avocats-conseils du Portefeuille.
Sondage auprès des avocats-conseils, entrevues et groupes de discussion.
Le sondage, les entrevues et les groupes de discussion avec les répondants clés et les participants aux études de cas peuvent tous subir la partialité attribuable à l'auto-évaluation, qui se produit lorsque des personnes parlent de leurs propres activités et veulent se présenter sous leur meilleur jour, ainsi que la partialité relative à la réponse stratégique, selon laquelle les participants répondent aux questions en cherchant à manipuler les résultats.
Examen des dossiers.
Dans chacun des exercices couverts par l'évaluation (2008-2009 à 2011-2012), le Portefeuille des SDF a géré activement plus de 13 000 dossiers. Un échantillonnage aléatoire donnant un taux d'incertitude raisonnable exigerait l'examen de centaines de dossiers, ce qui n'était pas réalisable. L'évaluation se fonde plutôt sur l'avis des membres du Portefeuille des SDF pour la sélection des dossiers qu'ils croient raisonnablement représentatifs de leur travail.
Stratégie d'atténuation.
La stratégie d'atténuation suivie en ce qui a trait aux limites méthodologiques susmentionnées a été d'utiliser plusieurs sources de données pour obtenir de l'information du Portefeuille des SDF et de l'ARC, de la direction et du personnel de première ligne, et pour tirer des renseignements de l'examen des dossiers et d'un examen complet des données administratives (iCase). La stratégie d'atténuation comprenait aussi l'utilisation de méthodes de collecte des données quantitatives et qualitatives pour répondre aux questions d'évaluation. En ayant recours à une validation des résultats à partir de ces différentes sources, l'évaluation a pu donner davantage de solidité à ses conclusions.
- Date de modification :