Stratégie fédérale d'aide aux victimes évaluation

3. Méthodologie

3.1. Questions et enjeux abordés dans l’évaluation

Les cinq grands enjeux (voir le tableau 2) abordés dans l’évaluation fournissent un cadre pour l’évaluation des résultats directs, indirects et ultimes escomptés de la SFAV Justice.

Tableau 2. Enjeux et questions de l’évaluation
Enjeu de l’évaluation Question d’évaluation
Pertinence
Besoin continu du programme Dans quelle mesure y a‑t‑il un besoin continu à l’égard de la SFAV Justice?
Dans quelle mesure les activités fondamentales menées dans le cadre de la SFAV Justice continuent-elles d’être pertinentes?
Harmonisation avec les priorités du gouvernement Dans quelle mesure les activités menées dans le cadre de la SFAV Justice correspondent-elles 1. aux priorités du gouvernement du Canada? et 2. aux priorités stratégiques du Ministère de la Justice?
Harmonisation avec les rôles et responsabilités du gouvernement fédéral Dans quelle mesure les activités menées dans le cadre de la SFAV Justice concordent-elles avec les rôles et les responsabilités du gouvernement fédéral?
Rendement
Réalisation des résultats escomptés Dans quelle mesure la SFAV Justice a‑t‑elle contribué à renforcer le leadership fédéral, les lois, la politique et les programmes qui répondent aux enjeux touchant les victimes?
Dans quelle mesure la SFAV Justice a‑t‑elle amélioré la capacité de prestation de services aux victimes appropriés et adaptés?
Dans quelle mesure la SFAV Justice a‑t‑elle contribué à améliorer la sensibilisation aux questions touchant les victimes, à la loi et aux services offerts parmi les clientèles ciblées et à une meilleure connaissance de ceux-ci?
Dans quelle mesure la SFAV Justice a‑t‑elle contribué à l’élargissement de la portée des services aux victimes?
Dans quelle mesure la SFVA-Justice a‑t‑elle contribué à réduire les difficultés que rencontrent les victimes d’actes criminels?
Dans quelle mesure la SFAV Justice a‑t‑elle permis aux victimes de mieux se faire entendre au sein du système de justice pénale?
Démonstration de l’efficience et de l’économie Existe‑t‑il d’autres façons d’exécuter la SFAV Justice qui amélioreraient son rendement, tant pour ce qui est de l’atteinte des objectifs que de l’accroissement de son efficience?
Quelles sont les ressources utilisées? De quelle façon le niveau de ressources a‑t‑il influé sur l’atteinte des résultats?
Le Fonds d’aide aux victimes est‑il administré efficacement?
L’affectation des ressources convient-elle pour garantir que les résultats soient réalisés?

3.2 Approche

L’évaluation comportait huit sources de données, notamment une recension des documents et des écrits, des entrevues des principaux intervenants, des enquêtes continues sur l’aide financière accordée, l’examen des dossiers du Fonds d’aide aux victimes, des études de cas du Fonds d’aide aux victimes, des études de cas des politiques, des études dirigées et une étude de l’utilisation des ressources.

Le recours à des sources de données multiples a permis de valider les constatations afin de définir clairement les secteurs dans lesquels un consensus se dégageait. Les études dirigées ont également permis de recueillir des données supplémentaires sur une plus longue période et sur un ensemble plus vaste de sujets pour brosser un tableau plus complet des activités de la SFAV Justice et de leurs incidences, plutôt que de se concentrer uniquement sur une seule période de collecte des données, afin de maximiser la confiance à l’égard des constatations de l’évaluation.

Un Comité consultatif de l’évaluation (CCE) du Ministère ainsi que des représentants du CPCV, de la DIAI et de la DRS ont fourni de l’aide technique tout au long de l’évaluation, et des ressources contractuelles ont été utilisées pour concourir à une partie de la collecte des données. La Division de l’évaluation du Ministère a été chargée d’une partie de la collecte des données, de l’analyse de tous les éléments de preuve et de la présentation de rapports.

3.2.1. Recension des documents et des écrits

La recension des documents et des écrits a consisté à examiner des documents secondaires, notamment des rapports de recherche, des enquêtes d’évaluation d’événements, des documents gouvernementaux, des documents stratégiques, du matériel de communication, des annonces, une analyse d’analyses des médias et des données administratives. Le CCE a désigné des documents pertinents devant être inclus dans cette recension pour la période s’étendant d’avril 2010 à mars 2015.

3.2.2. Entrevues des principaux intervenants

Les entrevues des principaux intervenants ont abordé la majorité des questions de l’évaluation et ont été une des principales sources de données. Des entrevues en personne individuelles et de groupe ainsi que des entrevues téléphoniques ont été menées avec les principaux intervenants (n=36) désignés par le CCE. La répartition des principaux intervenants figure au tableau 3 (ci‑après). Les guides d’entrevue ont été adaptés à chaque groupe de répondants (voir l’annexe A). Le tableau qui suit récapitule les entrevues qui ont été menées.

Tableau 3. Entrevues des principaux intervenants
Groupe de principaux intervenants Nombre d’entrevues
CPCV 7
DIAI 8
DRS 1
Direction des communications 1
GTFPT sur les victimes d’actes criminels 19
Nombre total d’entrevues 36

3.2.3. Examen des dossiers du Fonds d’aide aux victimes

Un échantillonNote de bas de la page 17 des projets du Fonds d’aide aux victimes financés de 2010 à 2015 (n=91 ou 9 %) a été examiné. Ces dossiers comprenaient toutes les ententes de financement qui ont été négociées avec les provinces et territoires, les projets FADL, les projets FADA, et un échantillon de projets des ONG qui ont été financés de 2010 à 2015. Le tableau 4 présente un résumé des types de dossiers examinés.

Tableau 4. Examen des dossiers du Fonds d’aide aux victimes
Type de dossier du Fonds d’aide aux victimes Nombre de dossiers
Projets provinciaux et territoriaux 27
Projets FADL 10
Projets ONG 40
Projets FADA 14
Nombre total de dossiers 91

Les trois documents suivants ont été examinés dans chaque dossier : le Formulaire d’examen de proposition de financement du CPCV, le Document d’approbation de subvention et contribution, et le rapport sommaire de projet. Un modèle d’examen des dossiers (voir l’annexe B) a été utilisé pour veiller à ce que de l’information uniforme soit recueillie dans les différents types de dossiers.

3.2.4. Étude de cas du Fonds d’aide aux victimes

Outre l’examen des dossiers de projet, on a inclus un échantillon de projets d’ONG (n=16) et de projets FADA (n=5) comme études de cas. Les études de cas comprenaient un examen plus détaillé des dossiers ainsi qu’une entrevue téléphonique avec un représentant du projetNote de bas de la page 18 (n=23). Le tableau 5 résume les études de cas qui ont été effectuées.

Tableau 5. Étude de cas du Fonds d’aide aux victimes
Études de cas Nombre de projets d’ONG Nombre de projets FADA
Initiative nationale 2  
Initiative pan-territoriale (Yukon, Territoires du Nord-Ouest, Nunavut) 1  
Colombie-Britannique 2 1
Alberta   1
Saskatchewan   1
Manitoba 2 2
Ontario 4  
Québec 3  
Île‑du-Prince-Édouard 1  
Yukon 1  
Nombre total de projets 16 5

Deux différents guides d’entrevue ont été élaborés pour les entrevues d’étude de cas (voir les annexes C et D).

3.2.5. Enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes

De 2010 à 2015, un total de 655Note de bas de la page 19 enquêtes sur l’aide financière du Fonds d’aide aux victimes remplies ont été retournées à la Division de l’évaluation (voir le tableau 6 ci‑après). Ces enquêtes étaient une source de données importante pour l’évaluation, puisqu’elles représentent la seule possibilité qu’ont les victimes et leurs personnes de confiance de formuler des commentaires directement au Ministère sur l’incidence de l’aide financière dont ils ont bénéficié.

Tableau 6. Enquêtes sur le volet Aide financière du Fonds d’aide aux victimes
Enquête sur l’aide financière Total reçu
Aide financière accordée aux victimes pour qu’elles assistent à une audience de la CLCC 511
Aide financière accordée à une personne de confiance pour qu’elle assiste à une audience de la CLCC avec une victime 101
Aide financière pour les Canadiens victimes d’actes criminels à l’étranger 43
Total 655

Les divers questionnaires d’enquête sur l’aide financière sont joints au présent document dont ils constituent l’annexe E.

3.2.6. Étude de cas des politiques

Pour garantir l’intégralité de l’évaluation de la fonction d’élaboration des politiques entreprise dans le cadre de la SFAV Justice de 2010 à 2015, on a effectué deux études de cas des politiques. Elles comportaient l’examen du processus utilisé dans l’élaboration de la CCDV au moyen d’entrevues des principaux intervenants (voir le tableau 7 ci‑après) ainsi que la campagne de publicité du gouvernement du Canada de 2010 : Les victimes comptent au moyen d’une recension des documents. Les instruments de collecte des données utilisés pour les études de cas des politiques se trouvent aux annexes F et G.

Tableau 7. Entrevue des principaux intervenants de la CCDV dans le cadre de l’étude de cas des politiques
Groupes de principaux intervenants de la CCDV Ont participé à une entrevue de groupe Ont participé à une entrevue individuelle Nombre de personnes interviewées
CPCV 5   5
Section de la politique en matière de droit pénal 3 1 4
Direction des communications 1   1
DRS   1 1
Section de la famille, des enfants et des adolescents   1 1
Section des droits de la personne   1 1
Poursuite pénale Service Canada   1 1
SPC   1 1
Total 9 6 15

3.2.7. Études dirigées

En prévision de l’évaluation de la SFAV Justice, un certain nombre d’études dirigées ont été entreprises de 2012 à 2015 afin de permettre d’examiner plus à fond certains secteurs prioritaires de la SFAV Justice. Les résultats de ces études ont été utilisés comme source d’information principale pour l’évaluation. Le tableau 8 résume les méthodes utilisées pour effectuer les études dirigées.

Tableau 8. Études dirigées
Étude dirigée Méthode utilisée
Enquête auprès des professionnels du système de justice pénale pour l’évaluation de la SFAV
  • Sondage auprès des professionnels de la justice pénale (police, Couronne et prestataires de services aux victimes) (n=1,155)
  • Comparaison des résultats avec une étude témoin de 2002 (niveau de sensibilisation des professionnels et des organisations du système de la justice pénale) et avec une enquête effectuée en 2003 dans de nombreux sites sur les victimes de la criminalité et les professionnels de la justice pénale partout au Canada
Sensibilisation du public : Semaine des victimes (2012)
  • Examen des dossiers qui comprenait des demandes de financement (n=162) et 120 rapports sommaires des projets (n=120) pour la Semaine des victimes de 2012
  • Entrevues avec les principaux intervenants, en l’occurrence des membres du comité organisateur de la Semaine des victimes et du CPCV (n=24) et des bénéficiaires de fonds (n=14)
  • Études de cas d’un échantillon de projets financés de la Semaine des victimes de 2012 (n=10)
  • Enquêtes auprès des participants à la fin du Symposium de la Semaine des victimes de 2012 (n=45)
  • Examen des documents pertinents, notamment des évaluations des Symposiums de la Semaine des victimes de 2007 à 2011
Incidence de la technologie sur les victimes d’actes criminels
  • Entrevues des principaux intervenants, en l’occurrence le CPCV, la DRS, la SPDP, la Direction des communications, la DIAI, le GTFPT (n=25)
  • Examen des dossiers de 28 projets de technologie (n=28) et des dossiers des médias de la Semaine des victimes (n=16)
  • Études de cas d’un échantillon de projets qui ont fait appel à la technologie (n=13)
Renforcement de notre capacité : les Centres d’appui aux enfants au CanadaNote de bas de la page 20
  • Entrevues avec des équipes pluridisciplinaires à six sites de CAE (n=59)
  • Entrevue avec des enfants et des adolescents (n=20) et des prestataires de soins (n=28)
  • Analyse des données des dossiers de cas (n=895 cas qui sont entrés en contact avec six CAE)

3.2.8. Utilisation des ressources

L’évaluation comprenait un certain nombre de questions dans les guides des entrevues avec les principaux intervenants du Ministère afin de permettre de mieux comprendre comment les ressources ont été utilisées et s’il y a des façons d’accroître l’efficience de la manière dont la SFAV Justice est exécutée. En outre, conformément aux directives du Secrétariat du Conseil du Trésor (SCT) figurant dans la Directive sur la fonction d’évaluation (2009), on a entrepris une analyse des données financièresNote de bas de la page 21 recueillies auprès de tous les centres de responsabilité. Ces données ont été utilisées pour une analyse de l’utilisation des ressources selon trois axes : économie, efficience opérationnelle et efficience d’affectation. Les résultats de cette analyse, ainsi que les résultats des questions d’entrevue posées aux principaux intervenants, sont déclarés simultanément afin de répondre à la question fondamentale no 5 de la Directive sur la fonction d’évaluation du SCT, Démonstration d’efficience et d’économie.

3.3. Limites inhérentes aux méthodes d’évaluation et stratégie d’atténuation

Les limites inhérentes aux méthodes de l’évaluation, ainsi que les stratégies utilisées pour les atténuer, sont décrites ci‑après par source de données.

Entrevues des principaux intervenants

Les principaux intervenants interrogés pendant l’évaluation et les diverses études dirigées ont été sélectionnés en fonction de leur participation à la SFAV Justice et de leurs connaissances de celle‑ci. Comme les principaux intervenants ont été désignés par des représentants du CCE qui ont un intérêt direct dans le résultat de l’évaluation, il y avait une possibilité de partialité lors de la sélection.

Il existe également une possibilité de déviation systématique des réponses déclarées par les intervenants, ce qui se produit lorsque des personnes décrivent leurs propres activités et peuvent donc vouloir se présenter sous leur meilleur jour.

La possibilité de partialité lors de la sélection et de déviation systématique des réponses déclarées par les intervenants a été atténuée par la triangulation de multiples sources de données afin de valider les constatations en comparaison à d’autres sources et points de vue. Ceci a apaisé la préoccupation que les constatations de l’évaluation soient fondées sur une seule méthode ou une seule source.

Examen des dossiers du Fonds d’aide aux victimes

Au total, le Fonds d’aide aux victimes a financés 1 059 projets de 2010 à 2015. Bien qu’il n’ait pas été possible d’examiner tous les dossiers, un échantillon de 297Note de bas de la page 22 (28 %) dossiers du Fonds d’aide aux victimes a été inclus dans les études dirigées et l’évaluation. Les dossiers examinés pendant cette évaluation et les études dirigées ont été sélectionnés avec l’apport du CCE, ce qui présentait une possibilité de partialité lors de la sélection. Afin d’atténuer cette limitation, tous les dossiers de projets provinciaux et territoriaux, de FADL et de FADA ont été inclus dans l’examen des dossiers, et des échantillons de projets de la Semaine des victimes, des CAE et des ONG ont été prélevés de façon systématique afin de garantir la représentation des différentes administrations et des différents types de projets de la façon la plus aléatoire possible.

Les données disponibles dans les dossiers des projets examinés variaient également et, dans certaines situations, étaient incomplètes. Par conséquent, l’utilisation des données d’examen des dossiers est limitée pour ce qui est de fournir des renseignements descriptifs sur le type de projets financés.

Enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes

Les enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes ont été expédiées par la poste aux victimes, et les questionnaires remplis ont été retournés au Ministère. Le recours à une enquête sur papier expédiée par la poste tend à présenter un taux de réponse inférieur à celui d’autres méthodes de sondage (p. ex., en ligne, en personne ou par courriel). Les enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes menées entre 2010 et 2015 affichaient un taux de réponse de 29 %. Bien qu’il s’agisse d’un taux de réponse acceptable pour une enquête par la poste, le faible taux de réponse peut présenter le potentiel d’un biais de non-réponse, qui risque de produire des résultats qui ne représentent pas exactement le point de vue ou le sentiment d’une population.

Bien qu’il ne soit pas possible de généraliser les résultats des enquêtes sur l’aide financière accordée par la Fonds d’aide aux victimes à l’ensemble de la population des victimes qui ont reçu du financement, les enquêtes fournissent des renseignements importants sur l’incidence du financement sur les personnes qui ont répondu et qui passent pour correspondre à ces paramètres dans l’évaluation.

Utilisation des ressources

Bien que l’on ait entrepris une analyse complète des ressources de la SFAV Justice, les analyses de l’efficience opérationnelle et de l’efficience d’affectation étaient limitées. Le point central de l’analyse de l’efficience opérationnelle reposait uniquement sur le Fonds d’aide aux victimes, qui est le volet opérationnel de la SFAV Justice. Pour ce qui est de l’analyse de l’efficience d’affectation, elle portait principalement sur un seul aspect de la SFAV Justice pour lequel il existait suffisamment de données : si la prestation de l’aide financière accordée aux victimes pour qu’elles assistent aux audiences de la CLCC est une utilisation appropriée des ressources.

Des données supplémentaires devraient être recueillies à l’avenir afin de pouvoir effectuer une analyse plus solide de l’affectation des ressources dans le cadre de la SFAV Justice, notamment une analyse plus minutieuse des avantages que procure l’aide financière accordée aux victimes, ce qui pourrait se faire en améliorant les enquêtes qui sont actuellement utilisées pour recueillir des renseignements auprès des victimes qui ont reçu de l’aide financière.