Évaluation du programme d’assistance parajudiciaire aux autochtones
3. Méthodologie
L’évaluation a été menée en ayant recours à de multiples sources de données, y compris des sources de renseignements primaires et secondaires.
3.1. Examen des documents, des données et des ouvrages
Au cours de l’évaluation, un examen des documents du Programme a eu lieu, comme les évaluations précédentes du Programme (2008 et 2012), le Profil du Programme APA (2017), les profils des compétences, le Plan stratégique du Programme (2016), le plan de mise en œuvre (2017), les rapports ministériels sur le rendement et les rapports sur les plans et les priorités, la Lettre de mandat du ministre, les ordres du jour de réunions, les comptes rendus et les dossiers du GTT et du Groupe de travail FPT, et le mandat du Groupe de travail collaboratif de l’Assistance parajudiciaire aux autochtones-Services d’accès à la justice (2015).
L’examen des données a compris une analyse de la mesure du rendement soumise par chaque administration participante, un examen des budgets et des dépenses du Programme, et un examen des projets nationaux et régionaux financés en vertu du Programme APA. Les ouvrages examinés comprenaient de la recherche sur les problèmes importants de surreprésentation dans le système de justice pénale , les plaidoyers de culpabilité, la santé mentale, les dépendances et l’ensemble des troubles causés par l’alcoolisation fœtale (ETCAF), ainsi que la collaboration entre les membres de la famille, la protection de la jeunesse et les systèmes de justice pénale, les évaluations d’un tribunal de type de l’arrêt Gladue et d’un tribunal des Premières Nations, des analyses fondées sur le sexe, les infractions relatives à l’administration de la justice, le rapport de la Commission de vérité et de réconciliation, et les résultats des activités et des projets financés.
3.2. Sondages et entrevues
Des sondages ont été menés auprès de :
- 124 membres des représentants des tribunaux, y compris 32 juges et 4 juges de paix, 23 procureurs de la Couronne, 24 avocats de la défense, 11 agents de probation, 16 commis à l’audience, et 14 autres représentants du tribunal qui connaissent le Programme APA et y participent. Le sondage a recueilli des renseignements sur le besoin d’avoir des activités de programme, les effets sur les clients et les intervenants du système judiciaire, les partenariats qui ont pu être créés, les facteurs clés qui influencent l’efficacité et les possibilités d’amélioration. Les personnes sondées ont été tirées des listes de 220 répondants possibles, ce qui a permis d’obtenir un taux de réponse de 56 %.
Administration |
Juge/Juge de paix |
Procureur de la Couronne |
Avocat de la défense |
Agent de probation |
Commis à l’audience |
Autre |
Total |
|---|---|---|---|---|---|---|---|
Alberta |
5 |
3 |
4 |
0 |
0 |
5 |
17 |
Colombie-Britannique |
6 |
3 |
4 |
4 |
0 |
0 |
17 |
Manitoba |
6 |
2 |
2 |
0 |
0 |
0 |
10 |
Territoires du Nord-Ouest |
0 |
0 |
4 |
0 |
0 |
1 |
5 |
Nouvelle-Écosse |
1 |
0 |
1 |
0 |
0 |
0 |
2 |
Nunavut |
0 |
3 |
1 |
0 |
0 |
2 |
6 |
Ontario |
11 |
6 |
6 |
5 |
5 |
2 |
35 |
Québec |
2 |
3 |
0 |
0 |
2 |
0 |
7 |
Saskatchewan |
5 |
2 |
2 |
2 |
9 |
1 |
21 |
Yukon |
0 |
1 |
0 |
0 |
0 |
3 |
4 |
Total |
36 |
23 |
24 |
11 |
16 |
14 |
124 |
Source : Sondage auprès des juges et des fonctionnaires de la cour, 2017.
- 114 conseillers parajudiciaires afin d’obtenir leur opinion du Programme APA, surtout en ce qui concerne les besoins du client, la pertinence des services fournis, les effets du Programme, l’efficacité de la conception du Programme, et les occasions d’amélioration. Parmi les 185 conseillers parajudiciaires ciblés, 114 ont répondu, ce qui a permis d’obtenir un taux de réponse de 62 %.
- 35 principaux intervenants, y compris 6 représentants du ministère de la Justice, 16 représentants des provinces et des territoires, et 13 représentants des OPS. Parmi ces principaux intervenants sondés, 33 participent au GTT. Le taux de réponse du sondage auprès des principaux intervenants était de 83 % (parmi les 42 personnes invitées à participer, 35 ont rempli le sondage). L’objectif était de recueillir des renseignements sur le besoin et la réactivité du Programme, l’harmonisation avec les priorités gouvernementales, les effets du Programme, les facteurs clés qui influencent l’efficacité, le GTT et les occasions d’amélioration.
- 823 clients du Programme APA. Les enquêteurs autochtones qui connaissent bien le Programme APA ont mené un sondage auprès des clients qui comprenait des questions fermées. Certains enquêteurs parlaient la langue locale. L’objectif était d’amasser des renseignements sur la satisfaction du client par rapport aux renseignements et aux aiguillages reçus, au processus de prise de décision, à la compréhension des renseignements reçus, aux perceptions quant au système judiciaire, et pour savoir si de l’aide additionnelle était nécessaire.
Parmi les clients sondés, 116 ont consenti à participer à une entrevue téléphonique de suivi et ont fourni des adresses courriels et numéros de téléphone valides. Parmi ces derniers, 62 (51 %) ont été interviewés. Les entrevues téléphoniques consistaient principalement en des questions ouvertes, interactives et dont l’accent était mis directement sur l’importance et les effets (particulièrement sur la prise de décision) des renseignements et du soutien fournis par le Programme APA.
3.3. Études de cas
Les études de cas ont comporté des visites dans quatre collectivités, y compris deux collectivités en Colombie-Britannique. (Vancouver et Nanaimo), une en Alberta (Edmonton), et une en Ontario (territoire des Mohawks de Tyendinaga). Trente-trois personnes ont été interviewées pendant les études de cas, y compris huit conseillers parajudiciaires, dix représentants du système judiciaire et des tribunaux, neuf intervenants, quatre OPS et trois représentants des gouvernements provinciaux. Les études de cas ont mis l’accent sur des questions liées à la prestation de service, aux écarts possibles dans les services disponibles, aux régions où les services doivent être étendus, et aux pratiques exemplaires. Dans le cadre des études de cas, un examen a été mené sur les pratiques exemplaires, les activités et les approches pour la prestation des services et le soutien aux personnes autochtones aux prises avec le système de justice pénale, y compris :
- Downtown Community Court (Cour communautaire du centre-ville) (Vancouver, Colombie-Britannique);
- Bail Worker Program (Programme des agents de cautionnement) (Edmonton, Alberta);
- Kind Heart Services (Services grand cœur) – fournit des services de mentorat culturellement adapté et éclairé sur l’ETCAF aux personnes autochtones aux prises avec le système judiciaire (Edmonton, Alberta);
- Restorative Justice and Changing Directions for Youth Program (Programme de justice réparatrice et de changement de direction pour les jeunes) (Nanaimo, Colombie-Britannique ;
- Indigenous Youth Engagement with Bench and Bar Pilot Projects (Mobilisation des jeunes autochtones dans le cadre des projets pilotes Bench & Bar) (Ontario).
Les résultats des entrevues et des documents examinés des études de cas sont intégrés à d’autres éléments de preuve dans ce rapport. Il est à noter que les études de cas n’ont pas évalué les effets de ces activités (certaines sont des projets pilotes qui ont été mis en œuvre récemment); elles ont plutôt déterminé les facteurs de succès et les approches novatrices envers la prestation de services.
3.4. Limites de l’évaluation
Les évaluateurs ont dû faire face à de nombreux défis et limites. Le moment choisi pour l’évaluation n’a pas permis une évaluation de l’augmentation du budget du Programme APA en 2016-2017. Les défis et limites méthodologiques, de même que les stratégies d’atténuation, sont décrits dans le tableau suivant.
Défis et limites de l’évaluation |
Stratégies d’atténuation |
|---|---|
Biais des répondants. La plupart des personnes interviewées participaient directement au Programme APA (en fournissant ou en recevant des services), ce qui peut entraîner un biais positif dans les réponses. |
Plusieurs mesures ont été prises pour réduire l’effet de biais dans les réponses et pour valider les résultats des entrevues, y compris (i) l’utilisation de nombreux éléments de preuve, notamment par la validation des résultats par d’autres recherches primaires et secondaires, (ii) l’utilisation d’instruments qui indiquent clairement l’objectif de l’évaluation, sa conception et sa méthodologie, et la confidentialité stricte des réponses des participants, (iii) la demande aux principaux intervenants et aux représentants des tribunaux de fournir une justification de leur classification. |
Le système de mesure du rendement a évolué quant à sa structure et il a été mis en œuvre sur plusieurs années, ce qui a quelque peu limité la disponibilité et la comparabilité des données au fil des ans. Les données n’étaient pas toujours rapportées de manière uniforme à l’échelle des administrations. |
Pour certains indicateurs, l’évaluation s’est surtout appuyée sur des données en 2015-2016, année à laquelle la plupart des régions ont fourni des données. Les résultats indiquent clairement les données utilisées et les limites possibles, ou les changements effectués au fil du temps. |
Le Programme APA est conçu et offert quelque peu différemment à l’échelle des administrations, ce qui reflète des différences dans la portée, les services, le rôle des conseillers parajudiciaires, et les autres ressources disponibles. Par conséquent, il est possible que certaines observations à propos du Programme APA ne puissent s’appliquer qu’à certaines administrations et non à d’autres. |
Bien que le Programme APA ait été conçu pour être offert d’une manière flexible, sur le plan méthodologique, cela crée des défis pour l’évaluation en ne mesurant pas de manière égale les entités à l’échelle des administrations. En tant qu’évaluation nationale, elle a principalement mis l’accent sur des questions et des tendances générales plutôt que sur les différences des administrations. |
Il y avait des défis quant au calcul du taux de réponse pour le sondage auprès des clients en raison de difficultés techniques avec le logiciel de sondage. En conséquence, des clients qui ont refusé de répondre au sondage n’ont pas été enregistrés dans le système. |
Le sondage auprès des clients a été mené dans les dix administrations où les services du Programme APA sont offerts. Les résultats présentés dans l’évaluation sont fondés sur les sondages complétés. |
Dans l’ensemble, les faiblesses étaient atténuées par le recours à des éléments de preuve multiples afin de valider les constatations et d’accroître la fiabilité des données, par la taille considérable des échantillons qui intègrent la perspective de tous les groupes de principaux intervenants participant au Programme APA, et par l’utilisation de données quantitatives et qualitatives.
- Date de modification :