3. Méthodologie de l’évaluation

L’évaluation a été guidée par une matrice d’évaluation, qui comprenait des questions d’évaluation, des indicateurs et des méthodes de collecte de données. La matrice a été élaborée dans le cadre du processus de définition de la portée et de conception de l’évaluation. La méthodologie utilisée pour cette évaluation comprenait de multiples sources de données décrites ci-dessous. La liste des questions d’évaluation figure à l’annexe A.

3.1 Études de cas

Cinq études de cas ont été réalisées avant l’évaluation. Les sujets des études de cas ont été choisis en collaboration avec les représentants du Programme et portaient sur les pratiques exemplaires, les leçons apprises, l’incidence du financement du Programme, ainsi que sur les avantages et les défis que représentent les activités du PJPI. Les résultats de ces études de cas ont été intégrés au rapport d’évaluation. Les données pour chaque étude de cas étaient collectées au moyen d’entrevues avec les intervenants du projet et d’un examen des documents et des dossiers. Les études de cas sont résumées dans des rapports d’études de cas distincts. Les projets sélectionnés pour les études de cas sont les suivants :

3.2 Analyse documentaire

Une analyse documentaire des écrits pertinents a été effectuée afin d’identifier les tendances et les enjeux liés à l’accès à la justice et de fournir un contexte pour le Programme. Cette analyse a porté sur les questions universitaires et de recherches récentes sur les questions d’accès à la justice.

3.3 Examen des documents et des dossiers

Un examen des documents gouvernementaux et publics a été effectué pour répondre aux questions d’évaluation. De plus, 56 dossiers de projets financés par divers volets du Programme ont été examinés, notamment la demande et tout rapport provisoire ou final présenté.

3.4 Entrevues avec les informateurs clés

En tout, 20 entrevues ont été menés : 17 avec des bénéficiaires de financement (trois par le volet général du PJPI, trois par les volets de CJI/RJI et de la VPI, cinq par le financement pour l’AA 50, six par le volet de la VIJ) et trois avec des représentants de Justice Canada. Les 20 entrevues comprennent deux entretiens avec des personnes qui connaissent bien le financement de la VIJ fourni dans le cadre des ESAJ avec les territoires.

3.5 Analyse prospective

Après avoir déterminé que 12 programmes fédéraux pourraient être examinés, les renseignements sur six d’entre eux ont été revus et trois ont été choisis pour un examen plus approfondi, notamment par une entrevue avec chacun des représentants du Programme et un examen des documents. Voici les trois programmes choisis pour l’analyse prospective :

3.6 Limites, défis et stratégies d’atténuation

L’équipe d’évaluation s’est heurtée à quelques limites ou défis méthodologiques.

Tableau 2 : Sommaire des limites, des défis et des stratégies d’atténuation
Source de données Limite ou difficulté Stratégie d’atténuation
Entrevues avec les informateurs clés et études de cas Parmi les défis rencontrés, citons les biais de réponses potentiels découlant de la méthode d’échantillonnage (sélective, non aléatoire), de la participation volontaire, et de l’autodéclaration des participants (déclaration sur leurs propres activités). L’évaluation a utilisé plusieurs sources de données et la triangulation pour confirmer les résultats.
Examen des données Difficultés d’accès aux données de projet à partir du Système de gestion de l’information - subventions et contributions (SGISC), en particulier pour les AP, en raison des capacités d’extraction limitées du système de gestion de l’information. Une feuille de calcul a été créée lorsque les renseignements du SGISC disponibles pour chaque projet étaient saisis manuellement. De plus, l’évaluation comprenait un examen des dossiers pour saisir des renseignements sur les publics cibles, les extrants et les résultats à partir de diverses sources.
Toutes les sources de données Comme prévu à l’étape de la planification, des données limitées sur les premiers effets des projets financés dans le cadre du volet sur l’AA 50 étaient disponibles, en raison du caractère récent de ce volet de financement. Tous les exemples précis des premiers résultats obtenus par ce volet, recueillis au moyen d’entrevues ou de rapports provisoires, ont été inclus dans l’évaluation à titre de données anecdotiques, le cas échéant.