Stratégie fédérale d'aide aux victimes évaluation
3. Méthodologie
3.1. Questions et enjeux abordés dans l’évaluation
Les cinq grands enjeux (voir le tableau 2) abordés dans l’évaluation fournissent un cadre pour l’évaluation des résultats directs, indirects et ultimes escomptés de la SFAV Justice.
| Enjeu de l’évaluation | Question d’évaluation |
|---|---|
| Pertinence | |
| Besoin continu du programme | Dans quelle mesure y a‑t‑il un besoin continu à l’égard de la SFAV Justice? |
| Dans quelle mesure les activités fondamentales menées dans le cadre de la SFAV Justice continuent-elles d’être pertinentes? | |
| Harmonisation avec les priorités du gouvernement | Dans quelle mesure les activités menées dans le cadre de la SFAV Justice correspondent-elles 1. aux priorités du gouvernement du Canada? et 2. aux priorités stratégiques du Ministère de la Justice? |
| Harmonisation avec les rôles et responsabilités du gouvernement fédéral | Dans quelle mesure les activités menées dans le cadre de la SFAV Justice concordent-elles avec les rôles et les responsabilités du gouvernement fédéral? |
| Rendement | |
| Réalisation des résultats escomptés | Dans quelle mesure la SFAV Justice a‑t‑elle contribué à renforcer le leadership fédéral, les lois, la politique et les programmes qui répondent aux enjeux touchant les victimes? |
| Dans quelle mesure la SFAV Justice a‑t‑elle amélioré la capacité de prestation de services aux victimes appropriés et adaptés? | |
| Dans quelle mesure la SFAV Justice a‑t‑elle contribué à améliorer la sensibilisation aux questions touchant les victimes, à la loi et aux services offerts parmi les clientèles ciblées et à une meilleure connaissance de ceux-ci? | |
| Dans quelle mesure la SFAV Justice a‑t‑elle contribué à l’élargissement de la portée des services aux victimes? | |
| Dans quelle mesure la SFVA-Justice a‑t‑elle contribué à réduire les difficultés que rencontrent les victimes d’actes criminels? | |
| Dans quelle mesure la SFAV Justice a‑t‑elle permis aux victimes de mieux se faire entendre au sein du système de justice pénale? | |
| Démonstration de l’efficience et de l’économie | Existe‑t‑il d’autres façons d’exécuter la SFAV Justice qui amélioreraient son rendement, tant pour ce qui est de l’atteinte des objectifs que de l’accroissement de son efficience? |
| Quelles sont les ressources utilisées? De quelle façon le niveau de ressources a‑t‑il influé sur l’atteinte des résultats? | |
| Le Fonds d’aide aux victimes est‑il administré efficacement? | |
| L’affectation des ressources convient-elle pour garantir que les résultats soient réalisés? | |
3.2 Approche
L’évaluation comportait huit sources de données, notamment une recension des documents et des écrits, des entrevues des principaux intervenants, des enquêtes continues sur l’aide financière accordée, l’examen des dossiers du Fonds d’aide aux victimes, des études de cas du Fonds d’aide aux victimes, des études de cas des politiques, des études dirigées et une étude de l’utilisation des ressources.
Le recours à des sources de données multiples a permis de valider les constatations afin de définir clairement les secteurs dans lesquels un consensus se dégageait. Les études dirigées ont également permis de recueillir des données supplémentaires sur une plus longue période et sur un ensemble plus vaste de sujets pour brosser un tableau plus complet des activités de la SFAV Justice et de leurs incidences, plutôt que de se concentrer uniquement sur une seule période de collecte des données, afin de maximiser la confiance à l’égard des constatations de l’évaluation.
Un Comité consultatif de l’évaluation (CCE) du Ministère ainsi que des représentants du CPCV, de la DIAI et de la DRS ont fourni de l’aide technique tout au long de l’évaluation, et des ressources contractuelles ont été utilisées pour concourir à une partie de la collecte des données. La Division de l’évaluation du Ministère a été chargée d’une partie de la collecte des données, de l’analyse de tous les éléments de preuve et de la présentation de rapports.
3.2.1. Recension des documents et des écrits
La recension des documents et des écrits a consisté à examiner des documents secondaires, notamment des rapports de recherche, des enquêtes d’évaluation d’événements, des documents gouvernementaux, des documents stratégiques, du matériel de communication, des annonces, une analyse d’analyses des médias et des données administratives. Le CCE a désigné des documents pertinents devant être inclus dans cette recension pour la période s’étendant d’avril 2010 à mars 2015.
3.2.2. Entrevues des principaux intervenants
Les entrevues des principaux intervenants ont abordé la majorité des questions de l’évaluation et ont été une des principales sources de données. Des entrevues en personne individuelles et de groupe ainsi que des entrevues téléphoniques ont été menées avec les principaux intervenants (n=36) désignés par le CCE. La répartition des principaux intervenants figure au tableau 3 (ci‑après). Les guides d’entrevue ont été adaptés à chaque groupe de répondants (voir l’annexe A). Le tableau qui suit récapitule les entrevues qui ont été menées.
| Groupe de principaux intervenants | Nombre d’entrevues |
|---|---|
| CPCV | 7 |
| DIAI | 8 |
| DRS | 1 |
| Direction des communications | 1 |
| GTFPT sur les victimes d’actes criminels | 19 |
| Nombre total d’entrevues | 36 |
3.2.3. Examen des dossiers du Fonds d’aide aux victimes
Un échantillonNote de bas de la page 17 des projets du Fonds d’aide aux victimes financés de 2010 à 2015 (n=91 ou 9 %) a été examiné. Ces dossiers comprenaient toutes les ententes de financement qui ont été négociées avec les provinces et territoires, les projets FADL, les projets FADA, et un échantillon de projets des ONG qui ont été financés de 2010 à 2015. Le tableau 4 présente un résumé des types de dossiers examinés.
| Type de dossier du Fonds d’aide aux victimes | Nombre de dossiers |
|---|---|
| Projets provinciaux et territoriaux | 27 |
| Projets FADL | 10 |
| Projets ONG | 40 |
| Projets FADA | 14 |
| Nombre total de dossiers | 91 |
Les trois documents suivants ont été examinés dans chaque dossier : le Formulaire d’examen de proposition de financement du CPCV, le Document d’approbation de subvention et contribution, et le rapport sommaire de projet. Un modèle d’examen des dossiers (voir l’annexe B) a été utilisé pour veiller à ce que de l’information uniforme soit recueillie dans les différents types de dossiers.
3.2.4. Étude de cas du Fonds d’aide aux victimes
Outre l’examen des dossiers de projet, on a inclus un échantillon de projets d’ONG (n=16) et de projets FADA (n=5) comme études de cas. Les études de cas comprenaient un examen plus détaillé des dossiers ainsi qu’une entrevue téléphonique avec un représentant du projetNote de bas de la page 18 (n=23). Le tableau 5 résume les études de cas qui ont été effectuées.
| Études de cas | Nombre de projets d’ONG | Nombre de projets FADA |
|---|---|---|
| Initiative nationale | 2 | |
| Initiative pan-territoriale (Yukon, Territoires du Nord-Ouest, Nunavut) | 1 | |
| Colombie-Britannique | 2 | 1 |
| Alberta | 1 | |
| Saskatchewan | 1 | |
| Manitoba | 2 | 2 |
| Ontario | 4 | |
| Québec | 3 | |
| Île‑du-Prince-Édouard | 1 | |
| Yukon | 1 | |
| Nombre total de projets | 16 | 5 |
Deux différents guides d’entrevue ont été élaborés pour les entrevues d’étude de cas (voir les annexes C et D).
3.2.5. Enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes
De 2010 à 2015, un total de 655Note de bas de la page 19 enquêtes sur l’aide financière du Fonds d’aide aux victimes remplies ont été retournées à la Division de l’évaluation (voir le tableau 6 ci‑après). Ces enquêtes étaient une source de données importante pour l’évaluation, puisqu’elles représentent la seule possibilité qu’ont les victimes et leurs personnes de confiance de formuler des commentaires directement au Ministère sur l’incidence de l’aide financière dont ils ont bénéficié.
| Enquête sur l’aide financière | Total reçu |
|---|---|
| Aide financière accordée aux victimes pour qu’elles assistent à une audience de la CLCC | 511 |
| Aide financière accordée à une personne de confiance pour qu’elle assiste à une audience de la CLCC avec une victime | 101 |
| Aide financière pour les Canadiens victimes d’actes criminels à l’étranger | 43 |
| Total | 655 |
Les divers questionnaires d’enquête sur l’aide financière sont joints au présent document dont ils constituent l’annexe E.
3.2.6. Étude de cas des politiques
Pour garantir l’intégralité de l’évaluation de la fonction d’élaboration des politiques entreprise dans le cadre de la SFAV Justice de 2010 à 2015, on a effectué deux études de cas des politiques. Elles comportaient l’examen du processus utilisé dans l’élaboration de la CCDV au moyen d’entrevues des principaux intervenants (voir le tableau 7 ci‑après) ainsi que la campagne de publicité du gouvernement du Canada de 2010 : Les victimes comptent au moyen d’une recension des documents. Les instruments de collecte des données utilisés pour les études de cas des politiques se trouvent aux annexes F et G.
| Groupes de principaux intervenants de la CCDV | Ont participé à une entrevue de groupe | Ont participé à une entrevue individuelle | Nombre de personnes interviewées |
|---|---|---|---|
| CPCV | 5 | 5 | |
| Section de la politique en matière de droit pénal | 3 | 1 | 4 |
| Direction des communications | 1 | 1 | |
| DRS | 1 | 1 | |
| Section de la famille, des enfants et des adolescents | 1 | 1 | |
| Section des droits de la personne | 1 | 1 | |
| Poursuite pénale Service Canada | 1 | 1 | |
| SPC | 1 | 1 | |
| Total | 9 | 6 | 15 |
3.2.7. Études dirigées
En prévision de l’évaluation de la SFAV Justice, un certain nombre d’études dirigées ont été entreprises de 2012 à 2015 afin de permettre d’examiner plus à fond certains secteurs prioritaires de la SFAV Justice. Les résultats de ces études ont été utilisés comme source d’information principale pour l’évaluation. Le tableau 8 résume les méthodes utilisées pour effectuer les études dirigées.
| Étude dirigée | Méthode utilisée |
|---|---|
| Enquête auprès des professionnels du système de justice pénale pour l’évaluation de la SFAV |
|
| Sensibilisation du public : Semaine des victimes (2012) |
|
| Incidence de la technologie sur les victimes d’actes criminels |
|
| Renforcement de notre capacité : les Centres d’appui aux enfants au CanadaNote de bas de la page 20 |
|
3.2.8. Utilisation des ressources
L’évaluation comprenait un certain nombre de questions dans les guides des entrevues avec les principaux intervenants du Ministère afin de permettre de mieux comprendre comment les ressources ont été utilisées et s’il y a des façons d’accroître l’efficience de la manière dont la SFAV Justice est exécutée. En outre, conformément aux directives du Secrétariat du Conseil du Trésor (SCT) figurant dans la Directive sur la fonction d’évaluation (2009), on a entrepris une analyse des données financièresNote de bas de la page 21 recueillies auprès de tous les centres de responsabilité. Ces données ont été utilisées pour une analyse de l’utilisation des ressources selon trois axes : économie, efficience opérationnelle et efficience d’affectation. Les résultats de cette analyse, ainsi que les résultats des questions d’entrevue posées aux principaux intervenants, sont déclarés simultanément afin de répondre à la question fondamentale no 5 de la Directive sur la fonction d’évaluation du SCT, Démonstration d’efficience et d’économie.
3.3. Limites inhérentes aux méthodes d’évaluation et stratégie d’atténuation
Les limites inhérentes aux méthodes de l’évaluation, ainsi que les stratégies utilisées pour les atténuer, sont décrites ci‑après par source de données.
Entrevues des principaux intervenants
Les principaux intervenants interrogés pendant l’évaluation et les diverses études dirigées ont été sélectionnés en fonction de leur participation à la SFAV Justice et de leurs connaissances de celle‑ci. Comme les principaux intervenants ont été désignés par des représentants du CCE qui ont un intérêt direct dans le résultat de l’évaluation, il y avait une possibilité de partialité lors de la sélection.
Il existe également une possibilité de déviation systématique des réponses déclarées par les intervenants, ce qui se produit lorsque des personnes décrivent leurs propres activités et peuvent donc vouloir se présenter sous leur meilleur jour.
La possibilité de partialité lors de la sélection et de déviation systématique des réponses déclarées par les intervenants a été atténuée par la triangulation de multiples sources de données afin de valider les constatations en comparaison à d’autres sources et points de vue. Ceci a apaisé la préoccupation que les constatations de l’évaluation soient fondées sur une seule méthode ou une seule source.
Examen des dossiers du Fonds d’aide aux victimes
Au total, le Fonds d’aide aux victimes a financés 1 059 projets de 2010 à 2015. Bien qu’il n’ait pas été possible d’examiner tous les dossiers, un échantillon de 297Note de bas de la page 22 (28 %) dossiers du Fonds d’aide aux victimes a été inclus dans les études dirigées et l’évaluation. Les dossiers examinés pendant cette évaluation et les études dirigées ont été sélectionnés avec l’apport du CCE, ce qui présentait une possibilité de partialité lors de la sélection. Afin d’atténuer cette limitation, tous les dossiers de projets provinciaux et territoriaux, de FADL et de FADA ont été inclus dans l’examen des dossiers, et des échantillons de projets de la Semaine des victimes, des CAE et des ONG ont été prélevés de façon systématique afin de garantir la représentation des différentes administrations et des différents types de projets de la façon la plus aléatoire possible.
Les données disponibles dans les dossiers des projets examinés variaient également et, dans certaines situations, étaient incomplètes. Par conséquent, l’utilisation des données d’examen des dossiers est limitée pour ce qui est de fournir des renseignements descriptifs sur le type de projets financés.
Enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes
Les enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes ont été expédiées par la poste aux victimes, et les questionnaires remplis ont été retournés au Ministère. Le recours à une enquête sur papier expédiée par la poste tend à présenter un taux de réponse inférieur à celui d’autres méthodes de sondage (p. ex., en ligne, en personne ou par courriel). Les enquêtes sur l’aide financière accordée par le Fonds d’aide aux victimes menées entre 2010 et 2015 affichaient un taux de réponse de 29 %. Bien qu’il s’agisse d’un taux de réponse acceptable pour une enquête par la poste, le faible taux de réponse peut présenter le potentiel d’un biais de non-réponse, qui risque de produire des résultats qui ne représentent pas exactement le point de vue ou le sentiment d’une population.
Bien qu’il ne soit pas possible de généraliser les résultats des enquêtes sur l’aide financière accordée par la Fonds d’aide aux victimes à l’ensemble de la population des victimes qui ont reçu du financement, les enquêtes fournissent des renseignements importants sur l’incidence du financement sur les personnes qui ont répondu et qui passent pour correspondre à ces paramètres dans l’évaluation.
Utilisation des ressources
Bien que l’on ait entrepris une analyse complète des ressources de la SFAV Justice, les analyses de l’efficience opérationnelle et de l’efficience d’affectation étaient limitées. Le point central de l’analyse de l’efficience opérationnelle reposait uniquement sur le Fonds d’aide aux victimes, qui est le volet opérationnel de la SFAV Justice. Pour ce qui est de l’analyse de l’efficience d’affectation, elle portait principalement sur un seul aspect de la SFAV Justice pour lequel il existait suffisamment de données : si la prestation de l’aide financière accordée aux victimes pour qu’elles assistent aux audiences de la CLCC est une utilisation appropriée des ressources.
Des données supplémentaires devraient être recueillies à l’avenir afin de pouvoir effectuer une analyse plus solide de l’affectation des ressources dans le cadre de la SFAV Justice, notamment une analyse plus minutieuse des avantages que procure l’aide financière accordée aux victimes, ce qui pourrait se faire en améliorant les enquêtes qui sont actuellement utilisées pour recueillir des renseignements auprès des victimes qui ont reçu de l’aide financière.
Signaler un problème sur cette page
- Date de modification :