Évaluation du Programme d'aide juridique
3. Méthodologie
L’évaluation a utilisé de multiples sources d’information pour tirer des conclusions solides. La méthodologie a comporté cinq sources de formation : examen de documents, de dossiers, de données et d’écrits; entrevues menées auprès des principaux intervenants; entrevues réalisées auprès de professionnels du système de justice pénale; entrevues menées auprès de clients; et études de cas.
La conception de la méthodologie a commencé par une séance dirigée tenue avec le Groupe consultatif d’évaluation, qui comportait des représentants de trois secteurs du Ministère, soit la DAJ, la DMOP et la Division de l’évaluation; un représentant des provinces et trois représentants des régimes d’aide juridique du GTP y participaient également. La séance dirigée s’est déroulée en octobre 2015 et a porté avant tout sur la façon d’aborder les résultats, l’efficience et la rentabilité de l’évaluation.
Après la séance dirigée, on a élaboré la grille d’évaluation (qui établit un lien entre les questions d’évaluation, les indicateurs et les sources d’information) et les instruments de collecte des données avec la contribution du Groupe consultatif sur l’évaluation. La grille d’évaluation se trouve à l’annexe B et l’annexe C présente les instruments de collecte des données.
Chacune des méthodes d’évaluation est décrite plus en détail ci-dessous. Cette section comprend aussi une brève explication des limites de la méthodologie.
3.1. Examen de documents, de dossiers, de données et d’écrits
On a examiné des documents de programme internes (p. ex., modalités et accords de contribution du Programme et, dans le cas des EAJ, plans d’activités, demandes finales, projets d’évaluation et de recherche), ainsi que de l’information publique comme des discours du budget, des discours du Trône, des rapports ministériels sur le rendement, et des rapports sur les plans et les priorités. Le Groupe consultatif sur l’évaluation a aussi repéré des documents pertinents à inclure dans cet examen.
3.2. Entrevues menées auprès des principaux intervenants
Les entrevues menées auprès des principaux intervenants aux fins de l’évaluation ont porté sur la majorité des questions d’évaluation et ont constitué une source importante d’information sur la nécessité du Programme, ainsi que sur son efficacité. On a dressé une liste des principaux intervenants possibles et produit des guides d’entrevue adaptés à chaque groupe, en consultation avec le Groupe consultatif sur l’évaluation. Dans le contexte de l’évaluation, on a effectué 25 entrevues auprès de 47 participants, ce qui inclut des documents écrits provenant de la CISR et de certains régimes d’aide juridique. Le tableau 5 présente les catégories précises des principaux intervenants.
| Catégorie | Nombre de principaux intervenants | Nombre d’entrevues/ réponses écrites |
|---|---|---|
| LAD and PID | 8 | 1 |
| Follow-up interviews with the LAD and PID on individual Program components | * | 3 |
| Members of the PWG representing provinces and territories and legal aid plans | 27 | 22 |
| Representatives of other federal departments and agencies (IRCC, IRB and Public Prosecution Service of Canada) | 8 | 6 |
| Legal aid plan or provincial representatives managing COCFP/PSAT | 4 | 4 |
| Total | 47 | 36 |
Trois membres de la DAJ et un représentant de la DMOP ont participé à ces autres entrevues portant sur des composantes particulières du Programme où ils ont un rôle à jouer.
Nous avons appliqué l’échelle suivante pour faire état des résultats des entrevues :
équivalent textuel
Quelques-uns = Moins que 15 %. Certains = Environ 25 %. Beaucoup = Environ 50 %. La plupart = Environ 75 %. Presque tous = Plus que 85 %.
3.3. Entrevues menées auprès des professionnels de la justice
Afin d’inclure l’expérience de ceux qui œuvrent dans la salle d’audience même, l’évaluation a comporté des entrevues auprès de 34 professionnels du système de justice pénale et d’un groupe de discussion et des entrevues réunissant six avocats qui s’occupent de cas d’aide juridique dans les affaires relatives aux I et R :
- juges de cours provinciales/territoriales (n = 4)
- avocats de la Couronne (n = 5)
- avocats de l’aide juridique des secteurs public et privé qui interviennent en tant qu’avocats commis d’office ou s’occupent de certificats d’aide juridique (n = 25) Note de bas de la page 8
- avocats qui s’occupent d’affaires relatives aux I et R (une entrevue collective avec quatre avocats et deux entrevues individuelles)
3.4. Entrevues menées auprès des clients
Afin d’assurer que les clients de l’aide juridique pourraient se faire entendre, l’évaluation visait à en interviewer 40. Le choix de l’endroit reposait sur la disponibilité des clients des services d’aide juridique pour des entrevues, et la méthode d’entrevue (en personne ou par téléphone) dépendait du budget des déplacements de l’évaluation. Le guide d’entrevue était le même pour les entrevues en personne et au téléphone. Dans le cadre de l’évaluation, on a interviewé au total 38 personnes qui avaient demandé de l’aide juridique.
Les entrevues ont inclus des entrevues :
- en personne menées auprès de cinq clients de la Commission de l’aide juridique à Yellowknife, dans les Territoires du Nord-Ouest;
- en personne réalisées auprès de six autres clients d’Aide juridique Ontario (AJO), à Ottawa;
- téléphoniques menées auprès de 27 clients de Legal Aid Saskatchewan.
Des 38 personnes interviewées, 31 des clients avaient des problèmes de droit criminel; quatre, des problèmes relatifs aux I et R; deux, des problèmes de droit de la famille; et un, des problèmes de droit de la famille et de droit criminel. Note de bas de la page 9
In addition, the Program provided information on interviews conducted with 15 legal aid clients of Aboriginal Legal Services in Toronto.
Les entrevues ont visé avant tout à réunir de l’information sur les expériences vécues face à l’aide juridique et c’est pourquoi la plupart étaient menées auprès de clients de l’aide juridique. On a interviewé quelques personnes qui demandaient de l’aide juridique mais n’y avaient pas droit afin de réunir l’information sur la façon dont les personnes qui ne bénéficient pas de l’aide juridique règlent leurs problèmes. Note de bas de la page 10
3.5. études de cas
On a effectué dix études de cas pour dégager tout un éventail de méthodes de prestation de services d’aide juridique, y compris celles qui sont considérées comme des innovations ou des pratiques prometteuses. Les études de cas ont été choisies en consultation avec les régimes d’aide juridique. Elles ont inclus un examen de documents pertinents, ainsi que des entrevues menées auprès de membres du personnel et d’avocats de régimes d’aide juridique jouant un rôle dans la prestation des services étudiés, d’autres parties prenantes pertinentes et, là où c’était possible, des clients. Au cours des études de cas, on a interviewé 68 parties prenantes et deux clients. Une brève description des études de cas suit. L’annexe D présente des descriptions plus détaillées.
- • Trois études de cas ont porté sur des tribunaux spécialisés qui ont l’appui de régimes d’aide juridique principalement grâce à la prestation de services d’avocat commis d’office pour la personne accusée. Les études de cas ont porté sur les tribunaux de traitement de la toxicomanie (TTT) à Edmonton et Calgary (Alberta); le tribunal pour la santé mentale à Montréal (Québec); et le tribunal des Premières Nations à Kamloops (Colombie-Britannique). Note de bas de la page 11 Les services fournis par les avocats commis d’office dépassent leur rôle traditionnel, car les échanges avec la personne accusée sont plus intenses. L’affectation au tribunal spécialisé d’un avocat commis d’office renforce la continuité du service pour les clients.
- L’étude de cas portant sur le Bureau de la défense des jeunes contrevenants à Edmonton et à Calgary a porté sur la prestation de services par un bureau spécialisé d’avocats-conseils qui fournit des services d’aide juridique et d’autres services de soutien aux adolescents inculpés en vertu de la Loi sur le système de justice pénale pour les adolescents.
- Trois études de cas ont porté sur les méthodes utilisées par les régimes d’aide juridique pour étendre la couverture ou la portée des services. Dans les Territoires du Nord-Ouest et au Nunavut, on utilise l’admissibilité présumée afin que les personnes accusées aient facilement accès à un avocat pour les instances préliminaires ou les questions simples sans qu’il soit nécessaire de présenter une demande d’aide juridique. Une fois que la personne accusée a plaidé non coupable, elle doit présenter une demande pour des services d’aide juridique. Au Nunavut, on utilise aussi l’admissibilité présumée en dehors du cadre de la loi criminelle; elle s’applique dans les questions de protection de l’enfant lorsque celui ci a été retiré du foyer et dans des demandes provenant d’enfants dans des affaires civiles et familiales. Les services d’avocats nommés d’office en matière criminelle et offrant des services élargis aux personnes accusées en liberté en Nouvelle-écosse fournissent des services pour aider à régler rapidement l’affaire ou à la faire avancer sans avoir à présenter de demande d’aide juridique. En Ontario, le régime d’aide juridique offre des services élargis aux personnes accusées pour la première fois qui ont des problèmes de santé mentale, qu’elles soient passibles ou non d’une peine d’emprisonnement. L’étude de cas a tenu compte de cette approche dans le cas des personnes âgées qui font face à des accusations criminelles.
- Deux études de cas ont porté sur des stratégies suivies par des régimes d’aide juridique pour rendre la prestation des services plus efficiente. Au Nunavut, le régime d’aide juridique a instauré l’affectation linéaire des dossiers, stratégie de gestion des cas dans le cadre de laquelle on affecte des avocats de l’aide juridique à des dossiers particuliers d’aide juridique en matière criminelle. L’affectation linéaire de dossiers assure une plus grande continuité des services d’avocat, en particulier dans les affaires soumises aux cours de circuit. En Saskatchewan, le régime d’aide juridique a collaboré avec les autres parties prenantes du domaine de la justice pénale, participant aux activités des tribunaux itinérants afin d’élaborer des moyens de simplifier le processus des tribunaux itinérants et de réduire le nombre de personnes détenues dans le centre de détention provisoire.
- Une étude a porté sur la prestation de services d’aide juridique dans les affaires relatives aux I et R. Cette étude de cas a cherché à déterminer comment le régime d’aide juridique de la Colombie-Britannique a réagi, à la fois en modifiant ses propres pratiques et en collaborant avec d’autres parties prenantes pour gérer l’arrivée d’un nombre sans précédent de réfugiés.
3.6. Limites
L’évaluation a fait face à quelques limites méthodologiques. Elles sont présentées ci-dessous, selon les sources d’information.
Examen de documents et de données. La Division de l’évaluation et la DAJ ont cherché à déterminer si l’on pourrait rendre les données des tribunaux disponibles, pour illustrer l’incidence des accusés non représentés sur le système de justice et les efficiences pour le système qu’entraîne la représentation juridique. Bien que la DAJ ait étudié la possibilité de consulter les données des tribunaux, il a été impossible d’obtenir les autorisations nécessaires dans les délais imposés à l’évaluation. Les données des tribunaux peuvent en outre indiquer si un accusé a été représenté à certaines étapes de son affaire en matière criminelle, mais non pas s’il était un client de l’aide juridique. La capacité des données des tribunaux de démontrer les résultats obtenus pour les clients de l’aide juridique constitue un enjeu complexe, et il faut un préavis suffisant pour avoir accès aux données des tribunaux. Le Ministère devrait se pencher sur l’utilisation des données des tribunaux longtemps avant la prochaine évaluation afin que les données soient disponibles pour celle-ci.
Entrevues menées auprès de principaux intervenants et de parties prenantes des études de cas. Une déviation systématique d’autodéclaration et une déviation systématique stratégique peuvent avoir une incidence sur les résultats d’entrevue. Il y a déviation systématique des réponses autodéclarées lorsque des gens décrivent leurs propres activités et peuvent donc vouloir se présenter sous l’angle le plus favorable. Il y a déviation systématique stratégique lorsque les participants répondent à des questions en souhaitant orienter les résultats.
Entrevues menées auprès de clients. L’évaluation a presque atteint son objectif qui constituait à interviewer 40 clients (on en a interviewé 38), mais beaucoup de clients avaient des instances juridiques en cours, ce qui limitait leur capacité de répondre aux questions d’évaluation. Les régimes d’aide juridique ont eu besoin de beaucoup de temps pour recruter des clients de l’aide juridique pour les entrevues en personne.
Les données sur le rendement ne sont pas consignées de façon uniforme et certains résultats/indicateurs ne sont pas bien définis. Le problème demeure une limite à la suite de la dernière évaluation, qui a signalé que le Programme devait améliorer les mesures de rendement en élaborant des mesures du rendement approuvées par le GTP, et peut-être fournir de l’aide fédérale pour appuyer la collecte et l’analyse continues des données. Comme on le voit dans le présent rapport, le GTP cherche à déterminer des paramètres de rendement clés à l’égard desquels les administrations réuniront des données comparables. On espère que ces mesures réduiront le problème au minimum pour la prochaine évaluation.
Stratégie d’atténuation. On a suivi deux stratégies d’atténuation des limites de la méthodologie décrites ci-dessus :
- La première stratégie d’atténuation appliquée à toutes les limites dégagées a consisté à utiliser de multiples éléments de preuve provenant de différents groupes d’intervenants, ainsi que différents types d’éléments de preuve en général. Par exemple, l’évaluation a réuni des renseignements auprès d’un éventail de groupes d’intervenants. L’évaluation a en outre utilisé, dans la mesure du possible, des méthodes de collecte de données quantitatives et qualitatives pour répondre aux questions. En dépit de ces limites, il a été possible de renforcer les conclusions de l’évaluation par la triangulation des constatations de ces différentes sources.
- La deuxième stratégie d’atténuation a consisté à utiliser des études de cas pour tenir compte des données limitées sur le rendement. L’Enquête sur l’aide juridique réalisée par le Centre canadien de la statistique juridique (CCSJ) de Statistique Canada est la seule source de données nationales sur l’aide juridique. Le rendement du Programme est en outre difficile à évaluer parce que son rôle premier consiste à fournir aux provinces et aux territoires du financement pour leurs régimes d’aide juridique. Le Programme ne participe pas directement à la prestation des services d’aide juridique et il n’intervient pas indirectement en déterminant la façon d’appliquer l’aide juridique. Les provinces et les territoires sont chargés de la prestation par l’entremise de leur régime d’aide juridique, et les régimes déterminent les services qu’ils offrent, la façon de les offrir, et quelles lignes directrices sont utilisées pour déterminer l’admissibilité. Par conséquent, l’évaluation du Programme fédéral ne vise pas à évaluer les régimes d’aide juridique; toutefois, pour évaluer les résultats du Programme qui vise à améliorer la capacité d’offrir des services d’aide juridique et la prestation efficace de ces services, il faut tenir compte des activités des régimes d’aide juridique. Les études de cas visent à fournir des renseignements sur les résultats du Programme en démontrant comment les régimes d’aide juridique cherchent à répondre aux besoins et à donner accès à la justice. Les analyses d’évaluation de ces activités des régimes d’aide juridique consistent non pas à en évaluer l’efficacité, mais plutôt à illustrer les types d’activités soutenues en partie par le financement fédéral et la façon dont ils contribuent à l’efficacité du Programme.
- Date de modification :