Évaluation des volets de financement de l’Initiative de justice pour les jeunes

3. MÉTHODES D'ÉVALUATION

La présente étude a adopté la méthodologie détaillée ci-après.

3.1. Bilan documentaire

Un examen des documents a été mené de sorte à éclairer l'élaboration d'instruments de collecte des données, ainsi que pour traiter les questions particulières de l'évaluation. Les documents examinés étaient les suivants : l'information générale sur les volets de financement; les modèles d'entente et d'établissement de rapports; les renseignements financiers sur le financement prévu et réel par exercice; les modalités du FSJJ; et les critères d'admissibilité. La documentation du gouvernement et des ministères (p. ex., discours du Trône, rapports ministériels sur le rendement [RMR]) a fait l'objet d'un examen de sorte à établir la relation entre les volets de financement et les objectifs stratégiques et priorités fédérales du Ministère.

3.2. Données du Centre canadien de la statistique juridique et examen de la documentation

Les articles de revues spécialisées et les statistiques sur la justice pénale pour les jeunes publiés par le Centre canadien de la statistique juridique (CCSJ) ont été utilisés pour comparer la criminalité, les services judiciaires et la détention utilisés au fil du temps, aux fins d'établir un contexte pour le rapport et de répondre à certaines questions de l'évaluation.

3.3. Entrevues avec les informateurs clés

Des répondants clés ont été définis par le CCE et les provinces et territoires, de même que des guides d'entrevue ont été élaborés en consultation avec le CCE[9]. Préalablement aux entrevues avec les répondants clés et les partenaires provinciaux et territoriaux, une série de consultations a été menée avec des représentants provinciaux et territoriaux qui se sont portés volontaires dans quatre secteurs de compétence pour valider le guide d'entrevue provincial/territorial; plus précisément, en vue de veiller à ce que les questions soient claires et pertinentes et que le guide couvre tous les enjeux en question. Ces consultations ont été menées dans le cadre d'une entrevue par petits groupes et par téléconférence le 28 août 2009. À l'issue de cette séance, le guide d'entrevue a fait l'objet des révisions nécessaires.

Le Ministère a informé les répondants clés de l'évaluation et a demandé leur participation. Entre novembre 2009 et février 2010, quelque 54 entrevues ont été menées auprès de 72 répondants. Plusieurs de ces entrevues faisaient intervenir plus d'un répondant clé. Ceux-ci ont traité d'un ou plusieurs volets de financement.

Des entrevues téléphoniques d'une durée d'environ deux heures ont été menées avec neuf employés du Ministère et 33 partenaires provinciaux/territoriaux, alors que des entrevues d'une durée d'environ une heure ont nécessité la participation de huit autres représentants fédéraux et 22 bénéficiaires du FSJJ. Les guides d'entrevue sont fournis en annexe F.

3.4. Projets d'études de cas du Fonds du système de justice pour les jeunes

Les études de cas ont été effectuées sur 12 projets financés dans le cadre du FSJJ pendant les exercices couverts par l'évaluation. La stratégie d'échantillonnage pour les études de cas du FSJJ a été déterminée par le CCE et conçue de sorte à porter sur les pratiques exemplaires et les incidences du financement. La répartition des projets d'étude de cas par volet de financement se présente ainsi : financement de base (8), SAPJJ (3) et AFGD (1).

Un examen des dossiers de projet et une ou deux entrevues ont été menés pour chaque étude de cas. Le guide d'entrevue a été élaboré en consultation avec le CCE. Un total de 13 entrevues ont été menées auprès de 16 répondants. Le guide d'entrevue est fourni en annexe F.

3.5. Sondage auprès des bénéficiaires du Fonds du système de justice pour les jeunes

Une enquête par correspondance a été menée auprès des bénéficiaires du FSJJ, du 19 novembre 2009 au 5 janvier 2010. Cinquante-quatre bénéficiaires du FSJJ ont répondu au sondage, lequel comptait un échantillon de 115 bénéficiaires, pour un taux de réponse d'environ 47 %. La plupart des sondages (93 %) ont été remplis en anglais; le reste l'a été en français. La plupart des répondants (98 %) ont rempli le sondage et l'ont renvoyé par la poste, le reste (2 %) a répondu au sondage par téléphone dans le cadre d'un appel de suivi. Le questionnaire du sondage, élaboré en consultation avec le CCE, est fourni en annexe G, et l'approche d'échantillonnage est démontrée dans la figure  1, annexe B.

Les données du sondage ont été analysées à l'aide de l'Ensemble des programmes statistiques relatif aux sciences sociales. Une comparaison du Système de gestion de l'information sur les subventions et contributions (SGISC) et les données du sondage a établi que les répondants au sondage étaient, en règle générale, représentatifs des projets financés dans le cadre du FSJJ pour les exercices couverts par l'évaluation en termes de volet de financement, composante, type de projet, secteur de compétence et montant approuvé[10]. Sauf si indiqué autrement dans le reste du rapport, les pourcentages du sondage sont calculés sur une base complète (n=54).

3.6. Examen des dossiers

Les dossiers du PFSJJ et du PSPIR pour l'ensemble des secteurs de compétence ont été examinés d'après les modèles d'examen des dossiers élaborés en consultation avec le CCE. Ce dernier a sélectionné un total de 19 dossiers FSJJ. Les documents examinés dans ce contexte couvraient des plans annuels, des rapports, des déclarations et des fiches d'information soumises pour chaque ordonnance PSPIR[11]. Les données sont représentées en chiffres plutôt qu'en pourcentage en raison du nombre réduit de dossiers examinés. Les modèles d'examen des dossiers sont fournis en annexe H.

3.7. Analyse des données du Fonds du système de justice pour les jeunes et du Système de gestion de l'information sur les subventions et contributions

Les données issues du SGISC ont été analysées de sorte à faciliter l'évaluation de certaines des caractéristiques de base de l'ensemble des projets financés au cours des exercices ayant fait l'objet de l'évaluation. Le nombre total de demandes mentionnées dans le SGISC ne couvre que les projets qui ont soumis des propositions complètes. Ceux qui ont été éliminés à des étapes antérieures dans le processus de validation (p. ex., lors de l'appel initial auprès du FSJJ ou de la soumission d'une lettre d'intention) ne sont pas représentés.

3.8. Difficultés d'ordre méthodologique

L'objet de la présente étude porte sur l'efficacité des volets de financement par rapport à l'atteinte des résultats escomptés. Toutefois, l'information relative à ces résultats n'existait qu'en quantité limitée. Ce problème s'est révélé plus particulièrement au niveau du PFSJJ et du programme PSPIR, étant donné que les rapports provinciaux/territoriaux sur les programmes et services ne capturaient pas les données qui auraient pu faciliter l'évaluation des résultats. Le montant et le type de renseignements soumis variaient ostensiblement d'un secteur de compétence à l'autre, ce qui a engendré des difficultés pour l'extraction de données comparables. En ce qui a trait au FSJJ, les limitations concernaient surtout le fait que le SGISC ne capturait pas l'information relative aux résultats du projet, ni les écarts en matière de rapports d'un projet à l'autre avant la mise en œuvre des formats normalisés. Il s'ensuit que les renseignements relatifs aux résultats s'appuient pour l'essentiel, mais toutefois pas exclusivement, sur des données qualitatives issues des entrevues avec les répondants clés, en particulier pour certaines questions de l'évaluation.

Une autre difficulté consistait à séparer les incidences des volets de financement des effets de la LSJPA. Sachant que la LSJPA a en commun certains résultats escomptés avec les volets de financement, il n'a pas toujours été possible de différencier les incidences des volets de financement de ceux de la législation qu'ils appuient, en particulier dans le cas du PFSJJ.