Évaluation de la Section des programmes juridiques internationaux

3. Méthodologie

L’évaluation de la Section s’appuie sur quatre sources de données : l’analyse documentaire, l’examen de données administratives, les entrevues des informateurs clés avec les fonctionnaires ministériels et d’autres parties prenantes, et les études de cas. Chacune de ces sources est décrite plus amplement ci‑après. La présente section comprend aussi une brève description des défis d’ordre méthodologique.

La matrice d’évaluation, qui présente les questions d’évaluation, les indicateurs et les sources de données employées pour guider l’étude, figurent à l’Annexe B. Les outils de collecte de données qui ont été conçus pour la matrice d’évaluation figurent à l’Annexe C.

3.1. Analyse documentaire

Une vaste analyse documentaire a été menée tant pour documenter l’élaboration des outils de collecte des données que pour répondre à la majorité des questions soulevées dans l’évaluation. L’examen a fourni un éclairage intéressant sur les activités de la Section. Les documents examinés étaient notamment les rapports ministériels sur le rendement, les rapports ministériels sur les plans et les priorités, les plans d’activités du Secteur des politiques; les rapports semestriels et annuels sur les projets d’assistance technique juridique à AMC; des documents du gouvernement du Canada notamment ceux fournis pour les pays partenaires; les rapports des médias relatifs aux projets, l’information sur les finances et les ressources humaines, les plans de politique étrangère; les cadres de gestion du rendement de projets, les arrangements administratifs pour les projets d’assistance technique juridique, les documents liés à la prestation de conseils stratégiques et d’autres documents d’appui.

3.2. Examen des données administratives

L’évaluation a aussi donné lieu à un examen des données administratives provenant de la base de données iCase du ministèreNote de bas de la page 1 pour les exercices financiers 2009-2010 à 2013-2014. Ces données ont permis d’obtenir de l’information descriptive sur les types de dossiers dont la Section est responsable et sur le niveau d’effort connexe (le nombre d’heures).

3.3. Entrevues des informateurs clés

Les entrevues d’informateurs clés qui ont été réalisées pour cette évaluation ont abordé la majorité des questions de l’évaluation et ont constitué une source de données essentielle, car elles ont permis de réunir de l’information sur la pertinence ainsi que sur le rendement.

Une liste des informateurs clés potentiels a été préparée et des guides d’entrevue adaptés à chaque groupe d’informateurs clés ont été conçus en consultation avec le CCE. Les répondants potentiels ont reçu une invitation à participer à une entrevue. Ceux qui ont accepté de participer ont reçu une copie du guide d’entrevue dans la langue officielle de leur choix avant l’entrevue. Chaque entrevue a été menée dans la langue officielle du choix du répondant et les informateurs clés ont été assurés que leurs réponses demeureraient anonymes.

Des entrevues ont été réalisées avec un total de 33 informateurs clés avec des représentants du Ministère, d’AMC, d’autres représentants de ministères fédéraux, des bénéficiaires des projets financés et d’autres partenaires.

Le tableau 3 ci‑après présente une ventilation du nombre d’entrevues d’informateurs clés par activité de la SPJI et le taux de réponse, y compris ceux qui ont été passés en entrevue dans le cadre des études de cas.

Tableau 3 : Entrevues par activité de la SPJI
Activités de la SPJI Nombre suggéré Nombre de participants Taux de réponse (en %) Entrevues supplémentaires (effet boule de neige) Nombre total de personnes passées en entrevue (participants + participants. suppl.)
Projet de la Jamaïque 7 7 100 % - 7
Projet du Mexique 5 3 60 % 5 8Note de table i
Projet de l’Autorité palestinienne 9 7 78 % 2 9Note de table i
Conseils stratégiques 6 4 67 % - 4
Activités de liaison 6 5 83 % - 5
TOTAL 33 26 78 % 7 33
Note de table i

Entrevues dans le cadre d’études de cas.

Retour à la référence de note de table i referrer

3.4. Études de cas

Les projets d’assistance technique juridique du MexiqueNote de bas de la page 2 et des territoires de l’Autorité palestinienne ont servi d’études de cas. Le but des études de cas était de montrer ce qui marchait bien et ce qui ne marchait pas bien, c’est-à-dire de cerner les facteurs qui contribuaient au succès des projets et ceux qui les limitaient, et de permettre une évaluation plus approfondie des projets. Le choix des projets à réaliser sous la forme d’études a été fait en consultation avec le CCE.

La méthodologie suivie pour l’approche par étude de cas consistait notamment en un examen documentaire serré des rapports de projet, des rapports des médias et autres documents d’appui, suivi par des entrevues des informateurs clés avec les bénéficiaires, représentants d’AMC associés à ces projets choisis pour faire l’objet d’études de cas, le personnel temporaire qui a travaillé sur l’un des projets, le personnel ministériel, le personnel de la SPJI travaillant sur les projets et d’autres partenaires participant aux projets comme les experts canadiens qui assurent la formation et l’ambassade canadienne. Le tableau 3 présente une ventilation détaillée des informateurs clés. 17 entrevues d’étude de cas au total ont été menées à l’appui de l’information documentée et ce nombre est inclus dans le nombre total d’entrevues. Une stratégie « d’effet boule de neige » a été suivie par laquelle des sources de répondants supplémentaires ont été recommandées par certaines des personnes qui ont été passées en entrevue dans le cadre des études de cas. Sept (7) entrevues supplémentaires ont été réalisées dans le cadre des deux (2) projets.

La majorité (67 %) des entrevues, dont celles avec les informateurs clés et celles réalisées dans le cadre d’études de cas, ont été menées soit par téléphone, soit en personne, et le reste (33 %) des entrevues ont été menées par écrit en faisant remplir aux répondants un questionnaire d’entrevue. Plusieurs raisons expliquent ce dernier choix de méthode. Par exemple, comme certains répondants ne parlaient ni l’anglais ni le français, les guides d’entrevue ont été traduits en espagnol ou en arabe. Les réponses fournies ont été ensuite traduites en anglais. En outre, la différence de fuseau horaire a compliqué l’organisation des entrevues.

3.5. Limites d’ordre méthodologique

Les évaluateurs ont connu des limites d’ordre méthodologique, lesquelles sont abordées par source de données ci-après.

Entrevues et études de cas.

Les entrevues avec les informateurs clés donnent lieu à de possibles biais d’autodéclaration et biais de réponse stratégique. On dit qu’il y a biais d’autodéclaration, lorsque des répondants rendent compte de leurs propres activités et veulent ainsi se décrire sous le meilleur jour possible. On dit qu’il y a biais de réponse stratégique lorsque les répondants répondent aux questions de manière à influencer les résultats. Les entrevues donnent aussi lieu à de possibles biais liés à la sélection dans la mesure où les informateurs clés potentiels identifiés par le CCE étaient en fait certains membres du personnel de la SPJI.

Pour le sous-projet d’assistance technique relatif à l’éducation et à la formation des juges du projet du Mexique, seuls les juges et les magistrats ont été interrogés. Les autres bénéficiaires (avocats et procureurs) des deux autres sous-projets du projet du Mexique n’ont pas été interrogés. L’identification et la localisation de ces personnes n’ont pas été possibles, car le projet était déjà terminé lorsque l’évaluation a débuté. De même, l’identification des répondants pour les projets d’assistance technique relatifs à l’Ukraine et aux îles Turks et Caicos n’a pas été possible, de sorte que le suivi a été limité. Les projets de l’Ukraine et des îles Turks et Caicos ont pris fin en 2012, et le projet du Mexique a pris fin en 2013.

Les projets des études de cas n’ont pas été choisis au hasard puisque l’échantillon de projets actifs pendant la période d’évaluation était limité. Les deux projets qui ont été retenus pour faire partie d’études de cas ont été choisis parce qu’ils sont une bonne illustration de la diversité du travail de la Section et qu’ils étaient destinés à bien illustrer le travail de la Section dans les projets d’assistance technique.

Examen des données d’iCase.

Dans l’ensemble, le système iCase a été une source d’information utile pour les évaluateurs, car ce système a fourni un bon aperçu du genre d’activités exercées par la Section. Cependant, il comportait des limites.

Il a été difficile d’établir avec précision, à l’aide des données d’iCase, le volume de travail effectué par la Section en matière de mise en œuvre, de consultation pure et de liaison dans le cadre des projets d’assistance technique, car l’entrée de données par le personnel n’a pas été cohérente. Ainsi, une grande partie du travail de la Section dans les projets d’assistance technique a été entrée dans plus d’une catégorie dans le système iCase (c.-à-d., organisation, prestation de conseils, général, politiques) sans distinction de la nature du service fourni. Le même problème a été constaté avec le travail de prestation de conseils stratégiques, qui a été entré dans plus d’une catégorie dans le système iCase sans description complète de la nature de ce travail. Par conséquent, il n’a pas été possible pour les évaluateurs de déterminer de manière très exacte en quoi consistait le travail de consultation pure.

De plus, les entrées de temps dans le système iCase des employés temporaires qui avaient été détachés auprès de la SPJI n’ont pu être distinguées de celles des autres employés permanents. Par conséquent, le niveau d’effort du groupe variable d’employés temporaires n’a pu être bien établi.

3.6. Stratégie d’atténuation

La stratégie d’atténuation visant les limites d’ordre méthodologiques précédemment mentionnées consistait à utiliser plusieurs sources de données, incluant des méthodes de collecte de données quantitatives et qualitatives pour répondre aux questions de l’évaluation. Les évaluateurs ont réuni de l’information provenant de la Section, du Ministère, des représentants d’AMC, d’autres ministères fédéraux, des bénéficiaires et partenaires des projets financés, de documents liés aux projets et d’autres documents pertinents, ainsi que de l’examen complet des données administratives (iCase). En opérant la triangulationNote de bas de la page 3 des constatations provenant des différentes sources, on atténuait la crainte que les constatations de l’étude ne soient que le fruit d’une seule méthode ou source et l’on renforçait en même temps les conclusions de l’évaluation.