L'état du système de justice pénale rapport méthodologique

Élaboration d'un cadre de surveillance du rendement

Au cours des premières étapes de l’élaboration du cadre, un certain nombre d’activités de recherche et de consultation ont été entreprises pour déterminer les résultats et les indicateurs à inclure dans un cadre canadien de SJP. Nous vous les présentons ci-dessous :

  1. Dans un premier temps, JUS a passé en revue la documentation sur l’élaboration, les caractéristiques et les éléments d’un cadre de surveillance du rendement couronné de succès, y compris la sélection des résultats et des indicateursNote de bas de page 3, Note de bas de page 4.
  2. Par la suite, JUS a procédé à une analyse du contexte et à un examen des sources nationales et internationales afin de cerner des exemples pertinents de cadres de surveillance de rendement et de dresser un inventaire des résultats et des indicateurs escomptés potentiels touchant le SJP.
  3. JUS a également mené des recherches sur l’opinion publique et des consultations publiques sur la valeur du cadre de surveillance du rendement du SJP par l’intermédiaire de groupes de discussion et d’enquêtes dans le cadre de son Sondage national sur la justice (SNJ) mené en 2016 et 2017.
  4. Enfin, JUS a mobilisé et consulté des partenaires, des intervenants et des experts clés concernés par le SJP.

Ces diverses activités de recherche et de consultation, de même que les constatations et les principaux résultats, sont décrits plus en détail ci-dessous.

Examen de la documentation

Le processus de création d’un cadre de surveillance du rendement a commencé par un examen de la documentation pertinente afin d’aider à déterminer et à définir clairement les concepts, les éléments et les méthodes nécessaires à la mesure du rendement. L’examen avait pour but d’obtenir une compréhension claire et précise des objectifs du mécanisme de mesure du rendement en général, afin de guider la création d’un cadre propre au SJP. Bien qu’elle ne soit pas aussi abondante que la documentation sur la mesure du rendement en général, la documentation sur la mesure du rendement propre au SJP a également été examinée afin de guider davantage l’élaboration du cadre. La section qui suit présente les principales constatations de cet examen.

La mesure du rendement comprend les résultats escomptés ou « aboutissements »Note de bas de page 5 qui sont mesurés par des indicateursNote de bas de page 6, dans lesquels des données sont recueillies régulièrement au fil du temps afin de préciser les domaines de réussite ou les améliorations à apporter, ainsi que les enjeux émergents et persistants. La mesure du rendement peut éclairer la prise de décision. Elle peut aussi être utilisée pour favoriser la responsabilisation et la transparence. Le fait de veiller à ce que les renseignements et les données sur le rendement soient accessibles au public peut également démystifier le SJP. Les résultats de la recherche ont mis en évidence les éléments suivants comme étant nécessaires à l’élaboration d’un cadre de mesure du rendement efficace pour le SJP :

Les résultats inclus dans un cadre de mesure du rendement doivent témoigner des valeurs, des objectifs, des normes, des structures et des activités du programme, de la politique, de la stratégie ou, dans le cas présent, du système pour lequel le rendement est mesuré. Comme l’ont noté Dandurand et coll. (2015), les valeurs et les objectifs d’un système, tel que le SJP, sont multidimensionnels et peuvent illustrer des points de vue divergents; toutefois, un bon cadre de mesure du rendement devrait pouvoir intégrer de nombreux points de vue.

Les indicateurs peuvent prendre la forme de renseignements quantitatifs ou qualitatifs recueillis au fil du temps et peuvent être comparés à des points de référence ou à des objectifs permettant de cerner les domaines de réussite ou de difficulté. Un cadre de mesure du rendement fonctionnel est durable et gérable, et comprend donc un nombre limité d’indicateurs. Ceux-ci ont donc été soigneusement sélectionnés. Pour guider la sélection des indicateurs, JUS s’est tourné vers Dandurand et coll. (2015) qui ont proposé un certain nombre de facteurs, notamment de s’assurer que les indicateurs étaient : 1) exploitables par le truchement de politiques, de réformes et de stratégies; 2) dynamiques et capables de saisir le changement au fil du temps; 3) souples et adaptables aux circonstances évolutives du système. Parmi les autres facteurs, mentionnons la disponibilité et la qualité des données, la garantie que les mesures étaient compréhensibles, politiquement neutres et tenaient compte des besoins de tous les acteurs concernés par le système, y compris les clients, les partenaires et les intervenants.

Le changement révélé par un indicateur au fil du temps peut se définir de diverses façons, selon le type d’information recueillie et le résultat escompté. Certains indicateurs peuvent être mesurés en fonction de cibles de rendement déterminées au préalable. Les cibles sont souvent utilisées dans des situations où des problèmes ou des défis ont été relevés, et offrent un objectif d’amélioration du rendement. D’autres indicateurs se prêtent bien à l’établissement de points de référence, s’il existe déjà une norme pour la mesure du rendement. Cette norme peut reposer sur le rendement antérieur d’un indicateur d’un système, sur le rendement d’un indicateur semblable d’un autre système (p. ex. celui d’une autre administration), ou sur une exigence minimale actuelle (Dandurand et coll., 2015).

Bien que l’établissement d’objectifs de rendement précis puisse être idéal, il convient de souligner que de nombreux indicateurs de la justice pénale ne possèdent pas à l’heure actuelle d’objectifs ou de points de référence établis; le SJP peut toujours être amélioré. Par exemple, il serait difficile, voire impossible, d’interpréter un taux de 0 pour la victimisation autodéclarée ou les crimes signalés à la police. De plus, en raison des différences inhérentes entre les systèmes judiciaires provinciaux et territoriaux (p. ex. la législation provinciale, les programmes sociaux, les caractéristiques socioéconomiques et géographiques), il n’était pas approprié d’établir des objectifs et des points de référence nationaux pour les indicateurs inclus dans le cadre de mesure du rendement. Par conséquent, l’établissement d’objectifs de rendement se limite à des cibles directionnelles (p. ex. augmentation, diminution, neutre) plutôt qu’à des cibles numériques précises (p. ex. pourcentage d’augmentation).

Bien qu’il y ait eu des tentatives de « mesurer » ou de « noter » le rendement du SJP par le passé, il importe de souligner que le cadre de JUS est un outil de surveillance plutôt qu’un outil de mesure. En l’absence de points de référence ou d’objectifs, le cadre présente une vue d’ensemble de ce que fait le système et de son mode de fonctionnement à différents moments. Par conséquent, le terme « cadre de surveillance du rendement » est utilisé à partir de maintenant plutôt que « cadre de mesure du rendement » pour plus de précision.

Analyse du contexte et examen national et international

Il existe de nombreuses approches à l’égard de la surveillance du rendement et de l’établissement de rapports. Une analyse du contexte qui examine les pratiques et les initiatives élaborées par d’autres administrations ou organisations au Canada et à l’étranger a permis de dégager un certain nombre d’exemples pertinents qui ont été appliqués au SJP et à d’autres systèmes sociaux (p. ex. le système de santé). Plus précisément, l’établissement du cadre s’est inspiré du « Report Card on the Criminal Justice System » de l’Institut MacDonald-Laurier (Perrin et Audas, 2016), de l’indice canadien du bien-être de l’Université de Waterloo (Michalos et coll., 2011) et du tableau de bord de la justice en ligne du gouvernement écossais (gouvernement de l’Écosse, 2012).

JUS a également dressé un inventaire des résultats escomptés du SJP et des indicateurs connexes à partir de sources nationales et internationales, notamment au Canada, en Australie, dans l’Union européenne, en Irlande, en Nouvelle-Zélande, en Irlande du Nord, en Écosse, en Suède, aux États-Unis et au Royaume-Uni. En plus des cadres propres aux résultats du SJP, l’examen a été étendu aux indicateurs liés au SJP (p. ex. la santé mentale), en accordant une attention particulière aux indicateurs qui ont été dégagés dans l’examen international du SJP. L’inventaire qui en a résulté a fourni des observations sur les résultats et les indicateurs qui étaient comparables au plan international et national, et a permis de guider la sélection des résultats et des indicateurs dans le cadre.

Recherche sur l’opinion publique et consultation du public

Dans le cadre de l’élaboration des résultats et des indicateurs de rendement du SJP, JUS a également sollicité la participation et les commentaires des Canadiens par l’intermédiaire de groupes de discussion et de sondages dans le cadre de son Sondage national sur la justice (SNJ) mené en 2016 et 2017 (ministère de la Justice du Canada, 2017; ministère de la Justice du Canada, 2018b).

Le SNJ de 2016 s’est penché sur les opinions émises par les Canadiens concernant les buts et objectifs du SJP.Note de bas de page 7 Les résultats ont démontré que les Canadiens valorisent un système de justice pénale qui agit en temps opportun; est transparent et équitable; tient compte des facteurs sociaux sous-jacents; examine la situation des personnes vulnérables et marginalisées; est axé sur la prévention de la criminalité et qui favorise la confiance dans le système. De plus, le SNJ de 2016 a demandé aux Canadiens quelles étaient leurs sources d’information sur le SJP et d’exprimer leurs idées sur la meilleure façon d’échanger des renseignements sur le SJP. Les résultats ont démontré que les participants préfèrent obtenir des renseignements sur le SJP par l’entremise du site Web de Justice Canada par rapport à d’autres sources, telles que les organisations communautaires ou les médias. Les résultats font état d’un fort besoin de renseignements fiables et facilement accessibles sur le SJP au Canada.

Le SNJ de 2017 a demandé aux Canadiens leurs opinions sur des aspects particuliers du SJP, y compris la mesure du rendement.Note de bas de page 8 Les résultats ont démontré que les Canadiens étaient surtout intéressés par l’établissement de rapports sur le rendement dans les domaines suivants : maintenir la sécurité publique, rétablir les relations, tenir les délinquants responsables de leurs actes, aider les victimes à répondre à leurs besoins et assurer la réinsertion sociale des délinquants. De nombreux Canadiens ont manifesté leur intérêt pour les renseignements sur les taux de récidive, l’utilisation et l’efficacité et le taux de réussite des approches de rechange à l’utilisation traditionnelle des tribunaux et de la prison (p. ex. le recours à des programmes communautaires, de soutien et de réinsertion), l’utilisation et l’efficacité et le taux de réussite des programmes de réinsertion ou de soutien en prison, et l’opinion et la satisfaction des victimes à l’égard du processus et du rôle du SJP.

JUS a également tenu compte des résultats de sa vaste consultation publique qu’il a menée sur la transformation du SJP en un SJP à la fois moderne, efficace et réactif, entreprise entre novembre 2017 et janvier 2018 dans le cadre de l’engagement du gouvernement à revoir le SJP. Les Canadiens ont recensé les neuf sujets suivants comme étant importants pour la transformation du SJP :

Consultation et mobilisation des partenaires, des intervenants et des experts concernés par le SJP

JUS a mené deux séries de consultations avec les principaux partenaires, intervenants et experts du SJP. JUS a également retenu les services d’un expert en la matière ayant des connaissances spécialisées dans la mesure du rendement des systèmes canadiens de justice pénale pour fournir des conseils d’experts et un examen de l’approche, de la méthode et du cadre proposés. Elles sont décrites plus en détail dans les sections suivantes.

Première consultation

JUS a entrepris un premier cycle de consultations avec les principaux partenaires, intervenants et experts du SJP, entre novembre 2017 et janvier 2018. Voici les partenaires, les intervenants et les experts suivants du SJP qui ont été consultés :

La consultation avait pour but d’obtenir des commentaires servant à définir les résultats escomptés du SJP. À la lumière de l’examen de documents officiels d’administrations canadiennes et internationales décrits dans la section précédente, une liste préliminaire des résultats au niveau du système a été dégagée et présentée aux intervenants et aux experts qui ont par la suite formulé des commentaires écrits. Une série de questions ont été posées :

La liste des résultats rattachés au SJP a été révisée en fonction des commentaires tirés de la consultation.

Deuxième consultation

La deuxième consultation auprès des partenaires du SJP a été lancée au mois de mars 2018 et regroupait des représentants fédéraux, provinciaux et territoriaux (FPT) du Comité des agents de liaison (CAL)Note de bas de page 10 et d’autres participants non FPT. La consultation comprenait une liste révisée des résultats proposés et portait principalement sur la détermination des indicateurs et des sources de données servant à mesurer les résultats. On a présenté aux participants une liste d’indicateurs détaillée mais non exhaustive. On leur a demandé de cerner les indicateurs que le cadre devrait inclure et si leur administration ou organisation recueillait des données connexes. Pour les indicateurs qu’ils soutenaient, ils devaient déterminer la direction souhaitée du changement (objectif directionnel).Note de bas de page 11 Enfin, les participants ont aussi eu l’occasion de suggérer d’autres indicateurs à des fins d’examen.

Les commentaires tirés de la deuxième consultation ont été utilisés pour déterminer et évaluer les indicateurs en fonction de considérations logistiques et pratiques, de la qualité de l’indicateur et des données, du champ d’application de l’indicateur (p. ex. national, provinces sélectionnées, etc.), de la fréquence de collecte, et de l’utilisation et de la pertinence générale de l’indicateur servant à éclairer le résultat. Ces commentaires ont abouti à une nouvelle itération des résultats et des indicateurs du cadre.

Experts en la matière

JUS a retenu les services d’un expert en la matière ayant une expertise dans la mesure du rendement du SJP canadien. On souhaitait ainsi obtenir une évaluation et un examen par un expert de l’approche, de la méthode, du cadre et du rapport proposés.

JUS a également embauché six experts en la matière dans les domaines de la justice applicable aux Autochtones, des traditions juridiques autochtones et de l’expérience de l’interaction des Autochtones avec le SJP. L’objectif était de cerner des approches qui permettraient de communiquer des données sur le rendement d’une manière qui intègre les perspectives et les expériences vécues ou les récits des Autochtones. La collaboration avec les experts en la matière s’est faite en trois étapes.

La première étape consistait à faire remplir aux experts en la matière un questionnaire de participation semblable à l’activité de la deuxième consultation mentionnée dans la section précédente. On visait ainsi à obtenir les points de vue des Autochtones sur les résultats, les indicateurs et les sources de données proposés pour l’élaboration du cadre de suivi du rendement. La deuxième étape prenait la forme d’un atelier de recherche d’une journée en personne pour discuter des résultats du questionnaire de collaboration et d’une approche proposée pour communiquer les données sur l’interaction des Autochtones avec le SJP. Dans la troisième étape, les experts en la matière devaient présenter leurs approches proposées, tout en tenant compte des discussions tenues au cours de l’atelier. Les commentaires des experts en la matière ont été intégrés à l’approche, au cadre et au tableau de bord qui en ont résulté, en particulier le thème portant sur les peuples autochtones (consulter la page 22).