Portefeuille des affaires autochtones évaluation
3. Méthodologie
L’évaluation du PAA a fait appel à de nombreuses sources d’information, comme : une recension des écrits, un examen des documents, un examen des données d’iCase, un sondage auprès des conseillers juridiques, des entrevues, un examen des dossiers, et des études de cas.
La grille d’évaluation (qui fait le lien entre les questions d’évaluation, les indicateurs et les sources d’information et les instruments de collecte des données) a été élaborée avec la contribution du Groupe de travail sur l’évaluation. La grille d’évaluation se trouve à l’annexe A et les instruments de collecte des données à l’annexe B.
Chacune des méthodes d’évaluation utilisée est décrite plus en détail ci‑après. Cette section comprend aussi une brève explication des problèmes méthodologiques.
3.1. Recension des écrits
L’exploration des faits nouveaux d’importance (p. ex., tendances pour ce qui est de la portée, de la nature et de la complexité des enjeux) survenus depuis les années 70 en droit et politique juridique autochtones et questions de développement du Nord au Canada a éclairé l’évaluation par de l’information critique concernant le contexte historique, et contribué à la formulation d’options d’études de cas pour l’évaluation.
3.2. Examen des documents du Portefeuille des affaires autochtones
L’objet de l’examen des documents était à la fois d’éclairer l’élaboration d’instruments de collecte de données et de répondre à la majorité des questions de l’évaluation. L’examen des documents a contribué à faire mieux comprendre comment le PAA a été administré, géré et surveillé au cours de la période de l’évaluation. L’examen des dossiers, des rapports et des documents clés du PAA a servi à explorer le contexte, les cadres de gestion et le fonctionnement du PAA et d’en tirer des perceptions sur le mandat et les processus d’affaires du PAA.
Les documents examinés renfermaient des renseignements administratifs et publics. Ils contenaient des données financières, les plans des activités, les Rapports sur les plans et les priorités, les Rapports ministériels sur le rendement, de l’information sur la formation, les résultats de l’Enquête sur la satisfaction des clients du ministère de la Justice, les résultats du Sondage auprès des fonctionnaires fédéraux, les discours du budget et les discours du Trône.
3.3. Examen des données d’iCase
iCase est un outil de gestion de l'information qu’utilise le ministère de la Justice pour la gestion des cas, la comptabilisation du temps et la facturation, la gestion des documents et les rapports. Les données d’iCase ont servi à analyser l’évolution des tendances de la demande de services juridiques du PAA, du niveau et de la complexité des risques juridiques, ainsi que du niveau des avocats affectés aux dossiers.
3.4. Sondage auprès des avocats
Un sondage Web a servi à réunir de l’information sur le rendement du PAA dans l’optique des avocats à l’échelle du Portefeuille. Le sondage, qui a été en ligne pendant neuf semaines, comportait 38 questions.
Le tableau 1 présente un profil des conseillers juridiques de l’ensemble du PAA qui ont répondu au sondage en ligne. Au total, 145 des 296 conseillers juridiques qui auraient pu répondre au sondage en ligne y ont effectivement répondu (ce qui donne un taux de réponse de 49 %).
| Nombre de questionnaires distribués | Nombre de réponses | Taux de réponse | |
|---|---|---|---|
| SPGA | 3 | 2 | 66,7 % |
| CDA | 14 | 11 | 78,6 % |
| Bureau régional de l’Atlantique | 9 | 2 | 22,2 % |
| Bureau régional de la Colombie-Britannique | 43 | 14 | 32,6 % |
| Services juridiques ministériels d’Affaires autochtones et Développement du Nord Canada | 88 | 44 | 50,0 % |
| Bureau régional du Nord | 10 | 7 | 70,0 % |
| Bureau régional de l’Ontario | 26 | 23 | 88,5 % |
| Bureau régional des Prairies | 81 | 29 | 35,8 % |
| Bureau régional du Québec | 22 | 13 | 59,1 % |
| Total | 296 | 145 | 49,0 % |
3.5. Entrevues des principaux intervenants
Il y a eu des entrevues des principaux intervenants pour rassembler des renseignements poussés au sujet du rendement du PAA dans l’optique de diverses personnes associées au Portefeuille. Des guides d’entrevue ont été adaptés à chaque groupe de principaux intervenants et ils ont été élaborés en consultation avec le Groupe de travail sur l’évaluation. Un total de 58 entrevues ont été réalisées auprès des fonctionnaires du Ministère (n=6), des clients (n=18), de la direction/des avocats-conseils du PAA (n=17), des conseillers juridiques du PAA/autres professionnels du PAA (n=15), et des partenaires/intervenants externes (n=2).
3.6. Examen des dossiers
L’examen a porté sur 51 dossiers juridiques représentant la gamme des services offerts par le PAA. L’objet de l’examen était d’aider à comprendre plus à fond la vie d’un dossier, les types de demandes des services du PAA, ainsi que les complexités associées. Cette méthode a permis aux évaluateurs d’explorer la mesure dans laquelle l’information obtenue des principaux intervenants sur la façon dont le PAA a mené son travail se voyait dans les dossiers. Les études de cas ont été choisies parmi les 51 dossiers examinés. Bien que l’on ait accordé la préférence aux dossiers juridiques où le travail a été effectué au cours de la période de l’évaluation de cinq ans (c.‑à‑d. « fermés »), tirés d’AADNC et d’autres ministères clients du PAA, plusieurs dossiers qui étaient déjà fermés avant la période de l’évaluation de cinq ans étaient également inclus.
La sélection des dossiers à examiner comprenait des cas de contentieux de divers niveaux de risque et de complexité. La sélection des dossiers de consultation comprenait une gamme de demandes et de sujets, comme la revendication de droits et de titre, des ententes environnementales et l’obligation de consulter. L’échantillon de dossiers a été tiré en fonction des avis du Groupe de travail sur l’évaluation, et on considère qu’il constituait une bonne sélection de la vaste gamme des travaux du Portefeuille. Comme la sélection n’était pas aléatoire, et que l’échantillon n’est pas grand, on ne saurait tenir pour représentatif l’échantillon choisi pour l’examen des dossiers. L’examen des dossiers visait plutôt à illustrer l’approche retenue par le PAA pour son travail.
Afin de protéger la confidentialité de l’information et le secret professionnel de l’avocat, les agents du ministère de la Justice ont effectué un premier examen des dossiers. Le gabarit de collecte des données de l’examen a permis de recueillir des renseignements comparables.
Le tableau 2 présente la répartition des dossiers qui ont été examinés par région et type de service. Les tribunaux concernés étaient la Cour suprême du Canada, la Cour fédérale, la Cour d’appel fédérale, la Cour d’appel de la Colombie‑Britannique, la Cour suprême de la Colombie-Britannique, la Cour du Banc de la Reine de l’Alberta, les sections de première instance et d’appel des cours supérieures provinciales, de même que les tribunaux.
| Service du PAA | Nombre de dossiers de consultation | Nombre de dossiers de contentieux | Politique juridique autochtone (générale) | Total |
|---|---|---|---|---|
| Bureau régional de la C.‑B. (Section du droit autochtone; Affaires et réglementation) | 5 | 3 | - | 8 |
| Nord | 4 | 4 | - | 8 |
| Prairies – Alberta | 0 | 6 | - | 6 |
| Prairies – Saskatchewan | 3 | 6 | - | 9 |
| Prairies – Manitoba | 3 | 4 | - | 7 |
| Région de la capitale nationale (y compris CDA, SJM d’AADNC, SPGA/Secrétariat de consultation) | 7 | 1 | 5 | 13 |
| Total des dossiers | 22 | 24 | 5 | 51 |
3.7. Études de cas
L’évaluation du PAA a comporté cinq études de cas pour permettre une analyse plus nuancée des services juridiques offerts par le PAA, ainsi que de leurs complexités. En raison du secret professionnel de l’avocat, la Division de l’évaluation a aussi été chargée d’extraire les renseignements pertinents des dossiers d’étude de cas choisis. Bien que l’étude de cas ait mis l’accent sur les activités qui se sont déroulées de 2008‑2009 à 2012‑2013, quelques dossiers avaient été ouverts avant cette période de référence à cause du long délai de traitement du dossier. Chaque étude de cas a comporté trois à cinq entrevues des participants étroitement associés aux dossiers. Les personnes interviewées comprenaient les avocats du Portefeuille, les avocats d’autres sections du Ministère, et des représentants des clients. Un total de 20 entrevues d’étude de cas ont été réalisées. Dans la mesure du possible et le cas échéant, il y a eu des discussions en petits groupes.
3.8. Limitations
Quelques limitations associées à l’évaluation ont été relevées. Les principales limitations de méthodologie sont énumérées ci‑après par source d’information.
3.8.1. Recension des écrits
La recension des écrits s’est concentrée sur les affaires judiciaires faisant jurisprudence, les principales décisions touchant la politique juridique autochtone et les grandes questions juridiques de développement du Nord, dont l’intérêt tenait au changement du droit et de la politique juridique autochtones du Canada pour les peuples autochtones. L’obtention de renseignements détaillés sur les affaires moins visibles s’est révélée difficile parce qu’il y avait peu de sources publiques et que l’information disponible à différentes sources n’était pas convergente. Il a parfois été difficile de fixer avec précision les dates de début et de fin des principales causes.
3.8.2. Examen des documents du PAA
Il est important de signaler que de nombreux changements à la structure organisationnelle et au processus d’affaires connexes du PAE ont été mis en œuvre au cours de la période de l’évaluation. Ainsi, la production de documents critiques, l’utilisation de mécanismes de rapport et la mise en œuvre d’activités de surveillance du rendement, à titre d’exemple, n’étaient pas toujours disponibles pour chaque année de la période de l’évaluation de cinq ans, ce qui a compliqué le suivi méthodique des changements survenus dans certains domaines ou concernant certaines questions. Les documents du PAA ont donc servi à produire des instantanés ou des échantillons des types de documents, de rapports et de mécanismes employés entre 2008‑2009 et 2012‑2013.
3.8.3. iCase
Dans l’ensemble, iCase a été une bonne source d’information pour l’évaluation. Il présentait quand même certaines limitations. Il contenait très peu d’information sur les risques juridiques des dossiers de consultation, vu que le Ministère n’obligeait pas les avocats à évaluer les risques juridiques dans tous les dossiers de consultationNote de bas de la page 7. Une conclusion est confirmée par le rapport de 2008 du ministère de la Justice, Gestion des risques juridiques au ministère de la Justice, évaluation formative – Rapport final, soit « Les dossiers de contentieux sont plus souvent visés par une évaluation des risques que les autres secteurs de la pratique juridique » (p. iii). En outre, l’évaluation de 2008 a relevé que l’on utilisait différents outils d’évaluation des risques pour établir le niveau des risques juridiques, ce qui pourrait aider à expliquer les nombres élevés associés à la catégorie « impossible à estimer » (IE) sur une certaine période et, dans l’ensemble, pour les dossiers de consultation, de même qu’en ce qui concerne les dossiers de contentieux (bien que des nombres décroissants associés à la catégorie IE aient été observés au cours de la période de cinq ans). Pour cette raison, il n’a pas été possible de procéder à une analyse rigoureuse des tendances relatives aux risques juridiques et à la complexité. Les constatations présentées dans ce rapport au sujet du niveau des risques juridiques et du niveau de complexité juridique doivent être interprétées avec circonspection.
3.8.4. Entrevues, études de cas et sondage auprès des conseillers juridiques
Les entrevues avec les principaux intervenants et participants aux études de cas, de même que le sondage auprès des conseillers juridiques, peuvent présenter une déviation systématique d’autodéclaration et une déviation systématique stratégique. La déviation systématique d’autodéclaration se produit lorsque des personnes décrivent leurs propres activités et peuvent donc vouloir se présenter sous le meilleur jour possible. La déviation systématique stratégique se produit lorsque les participants répondent à des questions en souhaitant orienter les résultats.
Il importe également de signaler que le PAA était en période de transition lors de la collecte des données, et en particulier de réorganisation des sections de l’AC et de ses efforts d’accroissement de l’efficience. Ainsi, les perceptions des répondants ont pu refléter des activités menées juste après la période de l’évaluation (exercices 2008‑2009 à 2012‑2013). Pour cette raison, les constatations du sondage en soi sont à interpréter avec circonspection.
3.8.5. Examen des dossiers
L’examen des dossiers a été limité dans la mesure où seule une faible partie des dossiers possibles a été choisie pour l’examen. Il n’a pas été possible d’obtenir un échantillon représentatif. L’évaluation s’en est plutôt remise au Groupe de travail sur l’évaluation pour choisir des dossiers raisonnablement représentatifs des travaux du Portefeuille.
3.9. Stratégie d’atténuation
La stratégie d’atténuation des limitations de méthodologie a consisté à utiliser de multiples sources d’information. L’évaluation a recueilli des renseignements auprès du Portefeuille et des utilisateurs à partir des services du Portefeuille, de la direction et des praticiens du droit, d’un examen des dossiers, des données d’iCase et d’une recension des écrits. La stratégie d’atténuation a également eu recours à des méthodes de collecte de données quantitatives et qualitatives pour répondre aux questions de l’évaluation. Les conclusions de l’évaluation ont pu être renforcées par la triangulation des constatations de ces différentes sources.
- Date de modification :