3 Méthodologie d’évaluation
L’évaluation a été guidée par une matrice d’évaluation (questions d’évaluation, indicateurs et sources de données) élaborée dans le cadre de la phase d’établissement de la portée et de conception de l’évaluation. Les enjeux et les questions d’évaluation sont présentés à l’annexe A. L’évaluation comprenait de multiples sources de données et utilisait les méthodes de collecte de données décrites ci-dessous.
3.1 Examen des documents
L’examen des documents a fourni des renseignements descriptifs sur les activités du Secrétariat et des renseignements répondant aux questions d’évaluation. L’examen s’est poursuivi pendant toute la phase d’évaluation et a porté sur les types de documents suivants :
- les documents administratifs et internes;
- les documents ministériels et autres documents gouvernementaux accessibles au public, comme les budgets fédéraux, les discours sur le budget et les lettres de mandat.
3.2 Entrevues avec des informateurs clés
En tout, 32 entrevues ont été réalisées auprès d’intervenants représentant les groupes suivants :
- les représentants du ministère de la Justice du Canada (n=16);
- les représentants des partenaires autochtones (n=3);
- les représentants d’autres ministères (n=6);
- les représentants du Secrétariat à la réconciliation (n=7, y compris 2 entrevues avec d’anciens membres du personnel).
3.3 Contraintes et stratégies d’atténuation
Étant donné la nature du rôle, des responsabilités et du mandat du Secrétariat à la réconciliation, il a été difficile de mesurer ses conséquences directes. Les activités liées à la politique et à la prestation de conseils stratégiques sont, en général, très difficiles à suivre et à évaluer. Il est très difficile d’isoler l’incidence d’une intervention particulière de l’influence des autres facteurs et des différents acteurs. Pour atténuer cette contrainte, l’évaluation était axée sur des preuves anecdotiques recueillies au cours des entrevues.
En outre, les renseignements relatifs à l’atteinte des résultats liés à l’avancement de la SJA étaient limités, étant donné que les travaux du Secrétariat dans ce dossier sont relativement récents (le FMA n’octroie des fonds que depuis 2021-2022). Les données probantes sur le renforcement des capacités à Justice Canada étaient aussi limitées. La mesure de certains résultats repose donc grandement sur les entrevues.
Il était aussi difficile de garantir la participation des partenaires et des bénéficiaires autochtones. Finalement, seuls les représentants de trois organisations autochtones étaient disponibles pour participer à l’évaluation. Ces organisations reçoivent de nombreuses invitations et ne peuvent accepter chaque demande visant à connaître leurs points de vue. Des efforts ont été déployés pour faire preuve de souplesse en ce qui concerne le calendrier des entrevues. Celles-ci ont été planifiées sur une période de deux mois afin de maximiser le temps disponible pour rencontrer les personnes interrogées. Pour établir le contact, trois courriels ont été envoyés et deux suivis téléphoniques ont été effectués après l’avis initial par courriel de Justice Canada.
La partialité des répondants s’est aussi avérée une contrainte, puisque la liste des personnes interrogées a été fournie par le Secrétariat. De plus, comme la participation à une entrevue était volontaire, il est possible que des personnes ayant moins de choses à dire, une moins bonne connaissance du Secrétariat ou surtout des commentaires négatifs à formuler aient décidé de ne pas participer.
- Date de modification :