Initiative de lutte contre la violence familiale évaluation

1. INTRODUCTION

1.1. L’Initiative de lutte contre la violence familiale

L’Initiative de lutte contre la violence familiale (ILVF) est un engagement fédéral à long terme envers un problème sociétal persistant, complexe, profondément ancré et coûteux, assorti d’une multitude de dimensions sociales, judiciaires et de santé. L’Initiative a d’abord été annoncée le 5 juin 1988, avec un financement de 40 millions de dollars sur une période limitée; elle visait à créer 200 nouveaux refuges à court terme pour l’aide d’urgence aux femmes et à leurs enfants violentés et à jeter les bases d’un processus d’élaboration d’une approche fédérale à long terme de la prévention de la violence familiale.

À l’heure actuelle, 15 ministères et organismes fédéraux participent à l’ILVF du gouvernement fédéral, parmi lesquels huit, dont le ministère de la Justice du Canada (Justice), bénéficient d’un financement pour leur propre initiative. L’ILVF pangouvernementale est associée à une allocation annuelle de 7 millions de dollars. Au cours des dernières années, le budget du volet ministériel de l’ILVF était de 1,13 million de dollars annuels, assorti d’un effectif de 3,64 employés équivalents temps plein (ETP).

Le mandat de l’ILVF du gouvernement fédéral consiste à accroître la sensibilisation en ce qui a trait à la violence familiale, à améliorer les connaissances et à renforcer la capacité des collectivités et des système de justice, de logement et de santé en matière de prévention de la violence familiale, afin de mieux y faire face. Ces objectifs sont les suivants :

Le mandat du volet ministériel de l’ILVF s’inscrit dans le cadre du mandat général du Ministère qui vise à assurer, au Canada, « l’existence d’une société juste et respectueuse des lois, pourvue d’un système judiciaire efficace, équitable et accessible à tous » et « promouvoir le respect des droits et libertés, de la loi et de la Constitution ». À cette fin, Justice examine, étudie, élabore et réforme les lois et les politiques en droit pénal et en droit civil, finance des projets communautaires de lutte contre la violence familiale, et sensibilise le public et les professionnels au moyen d’informations sur les enjeux liés à la violence familiale. Le volet ministériel de l’ILVF est associé aux initiatives et activités ministérielles suivantes :

1.2. Objet de l’évaluation

Bien que le Ministère ait mené un certain nombre d’examens internes périodiques de l’ILVF, le volet ministériel de l’Initiative n’a jamais fait l’objet d’une évaluation formelle. En 2010, conformément à la Politique sur l’évaluation du SCT, le Ministère a entrepris une évaluation du volet ministériel de l’ILVF. Les résultats seront utilisés par Justice à des fins de planification et d’établissement de rapports. L’évaluation s’est déroulée sur une période de neuf mois. Sa portée englobe les projets financés de 2005 à 2010 ainsi que les activités d’élaboration des politiques entreprises entre 2000 et 2010.

L’objet de l’évaluation est d’examiner la pertinence continue du volet ministériel de l’ILVF, la conception et la mise en œuvre du programme, les accomplissements et les réalisations des activités entreprises dans le cadre de l’Initiative, ainsi que son efficience et son économie démontrées.

1.3. Questions d’évaluation

L’évaluation du volet ministériel de l’ILVF porte sur les questions de conception, de mise en œuvre et de suivi du rendement, de pertinence, d’efficacité, d’efficience et d’économie de l’ILVF. Les questions de l’évaluation sont les suivantes :

Pertinence

Conception et mise en œuvre du volet ministériel de l’ILVF

Efficacité

Efficience et économie

1.4. Méthodes d’évaluation

Dans le cadre de l’ILVF, Justice entreprend un éventail d’activités (élaboration de la politique juridique et réforme du droit, coordination stratégique et établissement de partenariats, investissements et information/sensibilisation) faisant participer un certain nombre de groupes d’intervenants parmi lesquels d’autres ministères fédéraux, les ministères provinciaux et territoriaux, des organismes de vulgarisation et d’information juridique (VIJ), et d’autres organisations non gouvernementales (ONG). Le niveau de risque associé au programme est considéré comme faible, compte tenu du petit budget dont il dispose, de l’étendue de la durée d’exécution de ce projet, et de la nature de ses activités. À l’image de ces caractéristiques, les méthodes d’évaluation font intervenir plusieurs éléments de preuve, parmi lesquels un examen de la documentation, des entrevues avec les principaux intervenants, six études de cas, et un examen des documents relatifs aux projets financés. L’Équipe d’évaluation a adopté une approche méthodologique commune afin d’assurer la fiabilité et la validité des données, constats et conclusions. À cet effet, une matrice d’évaluation a été développée afin de guider la collecte et l’analyse de données.

Examen de la documentation :
Un examen de la documentation a été entrepris sur les questions de violence familiale au Canada et la législation qui s’y rapporte. Cet examen porte sur des sujets comme l’harmonisation de l’ILVF avec les priorités du gouvernement, ses rôles et responsabilités, et ses obligations internationales, les tendances nationales et internationales en matière de violence familiale, les politiques et la législation mises en œuvre au Canada pour lutter contre la violence familiale, et les changements apportés tant au niveau qu’à la nature des mesures de sensibilisation du public à la violence familiale au Canada.
Entrevues :
Sur les 33 entrevues menées avec les principaux intervenants, 12 ont été menées auprès des employés de Justice, 8 avec des représentants de partenaires du gouvernement fédéral, 6 auprès de représentants provinciaux et territoriaux du système de justice, et 7 auprès d’autres intervenants (organismes de santé et de services sociaux, ONG et établissements universitaires). Les questionnaires utilisés pour ces entrevues sont fournis dans l’annexe A.
Études de cas :
Six études de cas couvraient les activités et les projets pris en charge par le volet ministériel de l’ILVF. Elles ont été sélectionnées en consultation avec les employés de Justice, et tenaient compte des impacts mentionnés pendant les entrevues avec les principaux intervenants. Les cas ont été sélectionnés de sorte à veiller à une représentation équilibrée vis-à-vis des types d’extrants, des lieux, de la taille et de la durée, ainsi que des groupes et des bénéficiaires cibles. Chaque étude de cas comportait un examen de la documentation pertinente, des entrevues avec les responsables de projet et avec les partenaires, utilisateurs, bénéficiaires et participants aux projets. Dix-sept entrevues ont été menées dans le cadre des études de cas. Les guides utilisés pour ces entrevues sont fournis dans l’annexe A.
Examen des documents relatifs aux projets financés :
L’examen des documents comportait une étude approfondie de la documentation associée à 30 des 55 projets financés dans le cadre du volet ministériel de l’ILVF et mis en œuvre entre les années 2005 et 2010. Un sommaire de l’examen des documents est fourni en annexe B.

1.5. Limites, difficultés et stratégies d’atténuation

L’évaluation s’est heurtée à des difficultés au niveau du regroupement et de l’attribution des impacts, de l’examen des incidences à plus long terme, de l’évaluation des coûts de prestation et de l’obtention d’information de la part des intervenants et des autres personnes interrogées. Ces limites de l’étude ont été atténuées, dans la mesure du possible, grâce à l’utilisation d’éléments de preuve multiples et à la triangulation des données afin d’établir la fiabilité et la validité des résultats.

Incidences globales :
Il est très difficile de quantifier et de regrouper les résultats d’un programme de façon significative, en particulier ceux associés à l’élaboration de la politique juridique et réforme du droit, ainsi qu’à la coordination stratégique et à l’établissement de partenariats. Cette difficulté a été contournée grâce à l’utilisation d’études de cas et en encourageant les principaux intervenants à fournir les exemples spécifiques des activités et projets du volet ministériel de l’ILVF, lorsque l’entrevue abordait les résultats.
Attribution :
De la même manière, il est difficile d’attribuer et de séparer les résultats de l’Initiative des autres programmes et initiatives entrepris par les divers niveaux de gouvernement. Par exemple, le volet ministériel de l’ILVF donne des conseils stratégiques et juridiques, des informations et des données d’études susceptibles d’influer sur les décisions qui ont une incidence sur la capacité et l’efficacité d’intervention du système de justice; toutefois, le volet ministériel de l’ILVF, de par sa nature, ne prend pas de décisions, et les extrants de cette initiative comptent parmi un grand nombre de facteurs qui influent sur les décisions finales. Cette difficulté a été contournée en encourageant les principaux intervenants à fournir des exemples spécifiques des activités et projets du volet ministériel de l’ILVF lorsque l’entrevue abordait les incidences. En outre, un examen des documents et des études de cas sur les activités et projets spécifiques du volet ministériel de l’ILVF permettaient de capturer les incidences attribuables à l’Initiative.
Caractère tardif des effets attendus :
Les activités du volet ministériel de l’ILVF ont pour objet l’élaboration et la promotion d’outils, de méthodes, de stratégies et de ressources qui seront utilisés par les décideurs politiques, les organismes et autres groupes cibles qui créent une capacité en matière d’intervention dans les situations de violence familiale. Ainsi, il est difficile de mesurer les effets à long terme de ces activités sur ce phénomène. Par ailleurs, nombre des activités du volet ministériel de l’ILVF couvertes par l’évaluation sont toujours en cours ou achevées depuis peu, de sorte que nous n’en connaissons pas encore les effets à long terme. Cette difficulté a été contournée en désignant des intervenants clés et des personnes interrogées dans le cadre des études de cas, qui étaient bien placées pour formuler des commentaires sur l’information, les outils, les ressources ou l’aide que l’Initiative a permis de créer, ce qui a été fait avec cette information, les résultats découlant de ces actions, et la mesure dans laquelle ces résultats sont attribuables aux activités ou projets du volet ministériel de l’ILVF.
Données limitées disponibles sur les coûts d’exécution du programme :
Le programme a fourni des renseignements sur les budgets des différents projets et les niveaux de dotation en personnel ETP. Toutefois, compte tenu de l’éventail de représentants susceptibles de participer à des activités particulières et de l’absence de données de coûts en fonction des activités, il n’est pas possible de déterminer l’ensemble des ressources spécifiques dédiées à des activités particulières de l’ILVF. Par ailleurs, cette lacune a rendu plus difficile l’évaluation de l’économie et de l’efficacité du programme. Pour contrer cette limitation, des questions qualitatives sur l’efficacité du programme ont été incluses dans les entrevues avec les principaux intervenants.
Manque de connaissance des intervenants par rapport à l’éventail complet des activités de programme :
Une difficulté marquée associée à l’évaluation est le fait que les activités relevant du volet ministériel de l’ILVF (p. ex., conseils juridiques et stratégiques, contributions internationales et recherche) ne sont pas visibles pour la plupart des intervenants externes. Il s’ensuit que lors de la communication des observations sur l’efficacité de l’Initiative, les partenaires fédéraux, les représentants provinciaux et territoriaux et les autres intervenants tendaient à sous-estimer les incidences du volet ministériel de l’ILVF (p. ex., en communiquant des notes d’incidence inférieures). Ces intervenants externes ont eu tendance à octroyer des notes plus élevées concernant les incidences des activités de VIJ, qui sont les plus visibles des activités et des extrants générés par le volet ministériel de l’ILVF. Cette difficulté a été contournée en procédant à des entrevues prolongées avec les personnes le plus directement impliquées dans le volet ministériel de l’ILVF (les employés de Justice) ainsi que par un examen des documents et des études de cas.
Risque de partialité des personnes interrogées.
Compte tenu de la disponibilité limitée des données secondaires, les entrevues avec les employés de Justice se sont révélées un élément de preuve fondamental. Les constatations de l’évaluation sont par conséquent fondées en partie sur les points de vue de personnes ayant un intérêt particulier dans le programme et donc susceptibles de partialité dans leurs réponses concernant les résultats du programme. Plusieurs mesures ont été prises afin de réduire l’effet de partialité des répondants et pour valider les résultats des entrevues : (i) les intervieweurs ont clairement communiqué aux participants l’objet de cette évaluation, sa conception et sa méthode, ainsi que la stricte confidentialité des réponses; (ii) les entrevues ont été menées par téléphone par des professionnels qualifiés; (iii) les personnes interrogées devaient justifier leur évaluation en donnant une description des activités spécifiques qui avaient contribué aux résultats qu’elles déclaraient; (iv) lorsqu’ils étaient sélectionnés à des fins d’examen, les impacts générés par des activités particulières ont été confirmés dans le cadre d’études de cas; (v) les réponses étaient croisées à des fins d’établissement de la cohérence et de validation avec celles d’autres groupes ainsi qu’avec la documentation d’autres programmes et projets; (vi) diverses analyses statistiques descriptives et déductives ont été menées pour étayer les résultats comparatifs.

1.6. Structure du rapport

Le présent rapport est divisé en quatre chapitres. Le chapitre 2 décrit la conception et la mise en œuvre du volet ministériel de l’ILVF. Le chapitre 3 présente les résultats des entrevues avec les principaux intervenants, des études de cas, de l’examen de la documentation et de l’examen des documents. Le chapitre 4 traite des conclusions découlant de l’évaluation. Les annexes comportent les guides d’entrevue avec les principaux intervenants, les guides d’entrevue des études de cas, ainsi qu’un sommaire de l’examen des documents.