Initiative de justice pour les jeunes évaluation

3. Méthodologie

Cette section donne les détails des méthodes employées pour recueillir et analyser les réponses aux questions d'évaluation.

3.1 Entrevues des principaux intervenants

Les entrevues ont eu lieu par téléphone ou en personne, selon l'endroit et la préférence des répondants, dans la langue officielle préférée du répondant. Au total, 68 répondants ont été interviewés (certains l'ont été en groupe). Le tableau 2 indique les types de répondants aux entrevues et le nombre de chaque type.

Tableau 2 : Entrevues des principaux intervenants
Groupe de principaux intervenants Nombre de répondants
Justice Canada 15
Provinces/territoires 33
Fournisseurs de services du système de justice pour les jeunes 31
Total 68

La plupart des entrevues ont porté généralement sur l'IJJ et la contribution fédérale à la justice pour les jeunes. Cependant, les entrevues ont compté neuf entrevues ciblées au Nouveau-Brunswick, en Saskatchewan et en Alberta avec les fonctionnaires de la justice des gouvernements provinciaux et les gestionnaires et le personnel de certains programmes de justice pour les jeunes, et visaient à faire ressortir comment un petit échantillon de programmes provinciaux ont été conçus pour atteindre les objectifs de l'IJJ.

3.2 Examen des documents

Les objectifs de l'examen des documents étaient de comprendre la raison d'être de l'IJJ, la nature de l'Initiative, et la façon dont elle a été mise en œuvre. La plupart des documents ont été fournis par les responsables du programme de l'IJJ, mais il y a aussi eu une recherche en ligne des documents du gouvernement reliés directement à l'IJJ pendant les cinq années de la période de l'évaluation. Au total, 25 documents ont été examinés, soit les documents sur les lois, les politiques et les programmes concernant l'IJJ, les accords de contribution et les conditions de financement de l'IJJ, les notes d'information et les procès-verbaux de réunions, les comptes rendus de décisions émanant de réunions de comités fédéraux, provinciaux et territoriaux, les documents ministériels de planification et de rapport, et d'autres rapports et présentations en lien avec l'IJJ.

3.3 Recension des textes et analyse statistique

L'évaluation a comporté un examen des statistiques du Centre canadien de la statistique juridique (CCSJ) concernant la justice pour les jeunes, et des données pertinentes des provinces et territoires individuels. La documentation statistique était accessible sur deux principaux supports. En premier lieu, on a extrait des données sous forme de compilations statistiques, par exemple, les tableaux de la base de données socioéconomiques de Statistique Canada (CANSIM), comme ceux de l'Enquête de 2011-2013 sur les services communautaires et le placement sous garde des jeunes. En second lieu, on a consulté les statistiques sous forme d'analyses existantes menées par les ministères et organismes fédéraux, et principalement les publications Juristat du CCSJ.

3.4 Examen des dossiers

L'examen a touché les dossiers de programme et les données disponibles sur les finances et les projets dans les trois catégories de financement pour la collecte de renseignements sur l'efficacité et la rentabilité du programme. Les données recueillies concernaient les types des projets, les programmes et les services financés. Pour le FSJJ, les données recueillies concernaient la nature des projets financés dans chaque volet du Fonds (Traitement de la toxicomanie, Armes à feu, gangs et drogues, et Fonds principal). On a aussi recueilli et analysé des données sur les contributions en vertu du Programme PSPIR, en s'attachant particulièrement au financement au titre des parties B, C et D. L'examen des renseignements financiers a permis de résumer et de comparer les ressources financières prévues et réelles de l'IJJ, et d'examiner les frais d'administration par rapport aux dépenses de subventions et contributions. L'examen a analysé et exploité à fond les données sur les subventions et contributions de l'IJJ, et les données du PFSJJ sur les dépenses provinciales et territoriales au titre de la justice pour les jeunes afin de caractériser la nature et l'étendue de l'IJJ et des investissements nationaux dans la justice pour les jeunes, particulièrement dans les secteurs hautement prioritaires. Enfin, l'examen a couvert les conditions des accords de contribution avec les provinces, les territoires et les bénéficiaires du financement dans les collectivités, et les descriptions des projets financés dans le cadre du FJJ.

En plus de cet examen des dossiers, l'évaluation a comporté une analyse d'un échantillon de 30 rapports d'évaluation de projets du FSJJ, dont l'objet était d'extraire des renseignements concernant : l'endroit où le projet a eu lieu; l'année de démarrage et la durée du projet; le financement total, le type de projet (pilote, recherche, partage d'information, formation); le groupe cible (p. ex., Autochtones, ETCAF, membres de gangs et jeunes à risque, jeunes toxicomanes); le nombre approximatif de jeunes bénéficiaires de soutien et de services; les types de partenariats pour les projets; et la question de savoir s'ils portaient sur des résultats précis de l'IJJ, comme :

3.5 Études de cas

Il y a eu neuf études de cas pour illustrer les genres de projets financés par le FSJJ, et démontrer la mesure dans laquelle les projets financés ont ciblé les questions prioritaires de justice pour les jeunes, dans le sens des objectifs de l'IJJ. Toutes les études de cas, sauf deux, ont comporté l'observation sur place d'activités financées par le FSJJ. Elles ont compris des entrevues avec les gestionnaires de projet et le personnel, et un examen des documents disponibles donnant la description des projets et l'évaluation de leurs résultats.

Six des études de cas ont porté sur des projets menés par des ONG œuvrant en justice pour les jeunes. Environ 325 projets ont été financés pendant la période de l'évaluation. La sélection des études de cas du FSJJ a tenu compte des trois volets de financement du FSJJ (Traitement de la toxicomanie, Armes à feu, gangs et drogues, et Fonds principal) et des types d'activités représentés par les projets financés (p. ex., recherche, projets pilotes, partage d'information, formation) tels qu'ils sont indiqués dans les conditions du FSJJ. En outre, les secteurs géographiques (ruraux et urbains), les questions autochtones, le montant du financement des projets et l'année des projets ont été pris en compte. Vingt-huit intervenants ont été interviewés pour les études de cas du FSJJ.

3.6 Études thématiques

En plus des études de cas du FSJJ, trois études se sont attachées à des questions particulières. L'objet de ces études était de voir comment les volets de politique et de programme de l'Initiative ont interagi pour répondre à ces enjeux. Ces études ont comporté les travaux effectués sur l'ETCAF et le système de justice pour les jeunes, les réponses à la question émergente de la cyberintimidation, et le soutien de la mise en œuvre des modifications à la LSJPA. Ces études ont comporté des entrevues avec des fonctionnaires de l'IJJ du ministère de la Justice, des fonctionnaires du système de justice pour les jeunes des gouvernements provinciaux et des organismes de services dans les domaines connexes, ainsi qu'une analyse des documents disponibles. Quatorze principaux intervenants ont été interviewés pour ces études de cas.

3.7 Limitations méthodologiques

Les méthodes et les données disponibles utilisées pour l'évaluation de l'IJJ comportent deux limitations.

3.7.1 Données limitées pour mesurer les incidences de l'IJJ

La principale limitation concerne les données limitées disponibles pour établir le lien entre la situation sur le terrain dans l'administration de la justice pour les jeunes, d'une part, et les programmes et services financés en partie par l'IJJ, d'autre part. Chaque province et territoire utilise ses propres programmes et services pour gérer les questions de justice pour les jeunes et un grand nombre, à première vue et selon la littérature didactique récente, réussissent à orienter le système de justice pour les jeunes dans la direction visée par la LSJPA et l'IJJ. Cependant, le modèle logique pour l'Initiative et les résultats visés pour l'IJJ sont formulés de telle manière que le succès se mesure essentiellement par le fait que les fonds de l'IJJ sont dépensés pour des programmes, des services et des projets communautaires allant dans le sens des objectifs de la LSJPA et de l'IJJ. L'efficacité des programmes et des services financés dans le cadre du PFSJJ et du Programme PSPIR sont perçus comme étant la responsabilité de chaque province et territoire. Ceci est raisonnable étant donné que les provinces et territoires sont responsables de l'administration de la justice pour les jeunes, mais cela signifie que les évaluateurs sont limités dans leur capacité d'établir un lien de cause à effet entre les contributions de l'IJJ et les améliorations de la réponse du système de justice aux enjeux de la justice pour les jeunes. Il est possible de décrire la mesure dans laquelle la contribution du Ministère aux programmes et services des provinces et des territoires est utilisée dans les secteurs prioritaires établis pour l'atteinte des objectifs de l'IJJNote de bas de la page 3. Et il est possible de mesurer les progrès que le système de justice pour les jeunes et les programmes et services associés, globalement, ont accomplis vers l'atteinte des objectifs de l'IJJ. Il faudrait une recherche approfondie au niveau des gouvernements fédéral, provinciaux et territoriaux pour évaluer l'efficacité des types particuliers de programmes et services auxquels le Ministère contribue.

Pour contourner cette limitation, l'évaluation a pu démontrer, par triangulation des résultats, comment les fonds de l'IJJ sont dépensés et évaluer les résultats en termes généraux, en faisant appel à des éléments de preuve de la littérature didactique et de rapports de recherche, à des examens de dossiers et aux conclusions des études de cas, ainsi qu'aux vues exprimées par les principaux intervenants.

3.7.2 Absence de participation pleine et entière aux entrevues des principaux intervenants

Une deuxième limitation est qu'un secteur de compétence a choisi de ne pas participer aux entrevues des principaux intervenants des provinces et des territoires. Cela pourrait constituer une limitation, dans la mesure où l'état du système de justice pour les jeunes et/ou les vues de ses fonctionnaires pourraient ne pas être les mêmes dans ce secteur de compétence que dans les autres.