3. Méthodologie de l’évaluation
L’évaluation a été guidée par une matrice d’évaluation (questions d’évaluation, indicateurs et sources de données) qui a été élaborée au cours de la phase de l’établissement de la portée et de la planification de l’évaluation. Elle comprenait plusieurs sources de données et utilisait les méthodes de collecte de données décrites ci-dessous. L’Annexe A contient une liste des questions d’évaluation, et l’Annexe B fournit une description plus détaillée de chaque méthodologie.
3.1 Examen de la documentation et des données
Environ 140 sources de données secondaires pertinentes pour le Programme APA ont été examinées. Les types de document suivants ont fait l’objet d’un examen :
- documents liés au mandat et aux priorités du Ministère, documents relatifs à la fondation et à la mise en œuvre du programme, documentation relative au Programme APA;
- information sur le rendement – données de mesure du rendement du Programme APA et données de recherche sur la COVID-19;
- information sur le budget financier.
3.2 Entrevues avec des informateurs clés
Au total, 33 entrevues téléphoniques ont été menées auprès d’intervenants représentant les groupes suivants :
- représentants des provinces et territoires (n=16);
- représentants du ministère de la Justice (n=4);
- représentants d’organismes de prestation de services (n=13).
Des entrevues ont été menées auprès d’un représentant de chaque province et territoire où le Programme APA était en œuvre au moment de l’évaluation.
3.3 Sondages auprès des conseillers parajudiciaires et des membres du personnel judiciaire
Des sondages ont été menés auprès de 82 conseillers parajudiciaires et de 94 membres du personnel judiciaire entre septembre et novembre 2022. Parmi les conseillers parajudiciaires interrogés, presque tous ont fourni des services au tribunal pénal (96 %) et la majorité a fourni des services au tribunal de la famille (67 %). Au moment du sondage, les conseillers parajudiciaires sondés provenaient de toutes les provinces et de tous les territoires disposant d’un Programme APA, à l’exception de la Colombie-Britannique et du Manitoba. Parmi les membres du personnel judiciaire interrogés, on compte des avocats de la Couronne (58 %), des juges (14 %), des agents de probation (13 %), des avocats de la défense (10 %) et des greffiers (3 %). Les membres du personnel judiciaire interrogés lors du sondage provenaient de toutes les provinces et de tous les territoires disposant d’un Programme APA, sauf le Québec et l’Île-du-Prince-Édouard.
3.4 Sondage auprès des clients
Des sondages ont été menés auprès de 482 clients du Programme APA entre août et décembre 2022. Le sondage auprès des clients a été mené avec l’aide des OPS qui mettent en œuvre le Programme APA partout au Canada. De nombreux OPS étaient confrontés à des contraintes de ressources, ce qui les empêchait de collecter des données auprès des clients du Programme APA et de traiter le sondage. Par conséquent, certaines administrations ne sont pas représentées dans les données du sondage auprès des clients. Sur les 525 sondages distribués, 482 clients de l’APA ont rempli le questionnaire de sondage, ce qui donne un taux de réponse de 92 %.
Les clients du Programme APA sondés étaient situés partout au Canada : au Québec (32 %), en Colombie-Britannique (30 %) et en Alberta (26 %), certains étant en Ontario (7 %), au Nunavut (4 %) et dans les Territoires du Nord-Ouest (1 %). Au total, 67 collectivités étaient représentées. En ce qui a trait à leur implication dans le système judiciaire, 85 % des clients étaient en cause dans le tribunal pénal, tandis que 15 % étaient en cause dans les affaires du tribunal de la famille. Pour une majorité de clients (61 %), c'était la première fois qu'ils recevaient les services du Programme APA.
Pour rendre compte des résultats du sondage auprès des clients, des conseillers parajudiciaires et des membres du personnel judiciaire, l’échelle suivante a été utilisée : quelques-uns = moins de 20 % des répondants; certains = de 25 à 49 % des répondants; la moitié = 50 % des répondants; la majorité = de 51 à 70 % des répondants; la plupart = de 71 à 90 % des répondants; et presque tous = plus de 90 % des répondants.
3.5 Études de cas
Trois études de cas ont été menées pour mettre en évidence et approfondir des renseignements dans trois domaines : 1) la valeur économique des conseillers parajudiciaires; 2) les récits sur les répercussions sur les clients; et 3) le rôle des conseillers parajudiciaires dans les affaires de justice familiale. La collecte de données pour chaque étude de cas comprenait les résultats des sondages et des entretiens, des entretiens supplémentaires portant sur chaque étude de cas, ainsi qu’un examen des documents et des dossiers pertinents du Programme, de même que des informations accessibles au public (p. ex., des sites Web).
3.6 Limites de l’évaluation
L’évaluation comportait certaines limites et contraintes méthodologiques qu’il convient de signaler.
- Il a été difficile d’attribuer l’incidence du financement fédéral au Programme APA, étant donné que le Programme est à frais partagés et qu’il est mis en œuvre par les gouvernements provinciaux et territoriaux par le biais de diverses structures de prestation. Le rôle du ministère de la Justice en ce qui concerne la prestation des services d’assistance parajudiciaire est limité puisque les structures de prestation et les ententes avec les OPS qui offrent des services d’APA relèvent des gouvernements provinciaux et territoriaux. Cette limite a été atténuée en mettant l’accent sur la pertinence, l’efficacité et l’efficience des activités du Programme APA qui relèvent du ministère de la Justice.
- Il existe un risque de partialité du répondant dans les données qualitatives. L’évaluation repose sur des méthodologies qualitatives comme des entrevues avec des informateurs clés, des sondages et des études de cas. Ces méthodologies peuvent entraîner une partialité du répondant. Cette limite a été atténuée en comparant les réponses de différents groupes de répondants. De plus, on a demandé aux répondants de fournir des exemples pour mieux interpréter et contextualiser les réponses.
- Il existe un manque de données sur le rendement. Les données complètes sur le rendement du Programme APA n’étaient pas disponibles parce que certaines administrations n’ont pas présenté de données sur le rendement pour les exercices financiers 2018-2019 et 2019-2020, et l’information sur le rendement pour l’exercice financier 2021-2022 n’était pas encore disponible. Le manque de données sur le rendement a compliqué l’évaluation des changements dans la charge de travail des conseillers parajudiciaires. Afin d’atténuer cette limite, des renseignements qualitatifs ont été recueillis au sujet des changements de la charge de travail. De plus, certains renseignements recueillis en dehors de la période de l’évaluation (p. ex., les données sur le rendement pour l’exercice financier 2016-2017) ont été inclus à des fins de comparaison et pour fournir un contexte.
- Il y a des limites à la mise en œuvre et à l’exhaustivité du sondage auprès des clients. Les sondages ont été gérés par plusieurs OPS au Canada, et dans de nombreuses administrations, les contraintes de capacité organisationnelle ont limité le nombre de clients qui ont participé au sondage. Cette situation a créé un risque d’incohérence dans la manière dont le sondage auprès des clients a été administré ou dont les questions de l'enquête ont été interprétées. Pour atténuer ce risque, l’évaluation a fait preuve de prudence dans l’analyse des données du sondage auprès des clients et elle a procédé à une triangulation avec d’autres sources de données.
- Peu d’entrevues ont été menées dans le cadre d’études de cas. Les entrevues avec les représentants des OPS, les conseillers parajudiciaires et les clients constituaient la principale méthode de collecte de données pour les études de cas. Malgré de multiples tentatives visant à planifier des entrevues avec des personnes susceptibles d’être interrogées, un nombre très limité de personnes a accepté de participer à une entrevue. Pour l’étude de cas concernant le rôle des conseillers parajudiciaires dans les affaires de justice familiale, seulement deux entrevues ont été menées, et une seule a été menée pour l’étude de cas des récits sur les répercussions sur les clients. Par conséquent, peu de récits sur les répercussions sur les clients ont été recueillis, et peu de renseignements sur l’historique, le contexte et le rôle des services d’assistance parajudiciaire au tribunal de la famille ont été compilés. Ces études de cas n’ont donc pas produit l’information attendue.
- L’analyse des économies de coûts pour le système de justice comporte des lacunes et des limites. L’analyse des économies estimatives pour le système de justice attribuables au Programme APA doit être examinée avec prudence. L’analyse repose sur les souvenirs et les opinions des conseillers parajudiciaires sur la façon dont leurs interactions avec les clients ont contribué à réduire le nombre d’arrestations de clients et de clients en détention. Des sources de recherche externes ont été utilisées pour estimer la réduction des coûts pour le système de justice résultant des interventions des conseillers parajudiciaires, et on a supposé que ces coûts étaient exacts et généralisables à l’échelle du Canada. L’analyse ne comprend pas non plus de groupe de contrôle ni d’évaluation contrefactuelle (p. ex., des coûts qui auraient été engagés sans l’intervention du conseiller parajudiciaire).
- Date de modification :