Stratégie du droit de la famille axé sur l'enfant,
Évaluation sommative

3. MÉTHODOLOGIE D'ÉVALUATION


3. MÉTHODOLOGIE D'ÉVALUATION

La présente section du rapport résume les objectifs, l’approche méthodologique et les activités de recherche entreprises en vue de la réalisation de l’Évaluation sommative de la SDFAE.

3.1. Objectifs d’évaluation

L’évaluation sommative est fondée sur le CGRR révisé de la SDFAE, le modèle logique et le cadre d’évaluation élaboré par la Section FEA en 2006. L’objectif énoncé de l’évaluation sommative comporte deux volets. Le premier objectif consiste à évaluer la mesure dans laquelle la Stratégie a atteint les résultats intermédiaires et définitifs énoncés dans le CGRR afin de guider l’orientation de la participation future du Ministère dans le domaine du droit de la famille. L’objectif secondaire de l’évaluation consiste à déterminer si le mécanisme de mesure du rendement a fait en sorte que les données sur la mesure du rendement soient systématiquement recueillies, ce qui était une recommandation découlant de l’évaluation formative. Le cadre d’évaluation énonce quatre enjeux clés à examiner dans l’évaluation, à savoir : la pertinence, la conception et la prestation, la réalisation des objectifs et la rentabilité. Le cadre d’évaluation figure à l’annexe C.

3.2. Conception et activités de recherche

Comme le décrit la section 2, la SDFAE consiste en un certain nombre de composantes différentes qui, regroupées, visent la réalisation des principaux objectifs de la Stratégie. L’évaluation a utilisé plusieurs sources de résultats dans l’examen des résultats liés aux diverses activités entreprises par la Section FEA à l’appui de la Stratégie et a intégré ces constatations à l’évaluation de leur contribution collective à l’atteinte des objectifs de la Stratégie.

Deux types d’activités de recherche ont été effectuées, et elles sont souvent qualifiées de recherche principale et de recherche secondaire. La recherche principale comporte la collecte des données expressément aux fins de l’étude en cause (p. ex., au moyen d’enquêtes ou d’entrevues), tandis que la recherche secondaire comporte l’examen et l’analyse de l’information/des données recueillies à d’autres fins, comme les données du recensement de Statistique Canada ou les renseignements administratifs liés au programme. Des méthodes quantitatives et qualitatives ont été utilisées.

Dans la présente étude, les activités de recherche principale comportaient une enquête de suivi auprès des clients menée auprès de 375 personnes qui ont utilisé des services de justice familiale, 51 entrevues avec une gamme d’intervenants clés, une enquête auprès de 69 personnes participant à la prestation de services de justice familiale, comme la médiation, l’éducation des parents, la gestion et le renvoi des causes, le nouveau calcul du montant des pensions alimentaires, des groupes de discussion avec des médiateurs ainsi que des études de cas d’initiatives de justice familiale exécutées par les provinces/territoires, comme l’indique en détail le tableau 3-1.

Tableau 3-1 : Sommaire des activités de recherche principale
Activités de recherche principale Recherche terminée
Entrevues avec des intervenants clés   Représentants du Ministère 8
  Représentants des P/T 13
  Membres de la magistrature 4
  Avocats 8
  Experts 8
  Autres 10
Enquêtes de suivi auprès des clients 375
Enquêtes auprès des fournisseurs de service 69
Groupes de discussion avec des médiateurs
  • Winnipeg (11 participants)
  • Victoria (5 participants)
  • Vancouver (4 participants)
Études de cas
  • www.familieschange.ca (C.-B.)
  • Parenting from 2 Homes (Î.-P.-É.)
  • Unités de première ligne des services d’exécution des ordonnances alimentaires (Qc)
  • Facilitation des droits d’accès (Sask.)
  • Bureaux d’exécution réciproque des ordonnances alimentaires (Ont.)

Les activités de recherche secondaire ont comporté l’examen d’une vaste gamme de documents et de bases de données visant l’obtention de renseignements contextuels sur la SDFAE de même que de renseignements sur ses répercussions. En plus des documents expliquant en détail la Stratégie elle-même, comme le CGRR, des documents liés à diverses activités (p. ex., des conférences et des réunions de comités) ont été fournis par les diverses unités à titre de preuves d’activités, d’extrants et de résultats. On a examiné des rapports de recherche et des écrits pour relever les enjeux auxquels font face les familles en proie à une séparation ou à un divorce, les tendances récentes chez les familles canadiennes et les approches de justice familiale adoptées dans d’autres pays.

Les sources de données secondaires et les rapports suivants ont aussi été examinés pour l’évaluation :

3.3. Défis et limites méthodologiques

Le nombre de sources d’information utilisées et recoupées en vue de l’évaluation des résultats de la Stratégie ainsi que l’ampleur des échantillons pour un grand nombre de sources de données constituaient un point fort de l’évaluation. Toutefois, les défis et limites méthodologiques suivants pour l’évaluation demeuraient.

3.3.1. Évaluation d’une Stratégie à plusieurs composantes

Certaines difficultés sont souvent inhérentes à l’évaluation de stratégies ou d’initiatives à plusieurs composantes et/ou d’éléments de programme ou de service. Comme il a déjà été mentionné, l’évaluation comportait l’élément clé que constituait l’examen des cinq services de justice familiale soutenus au moyen du mécanisme de financement de la justice familiale axée sur l’enfant et des activités/extrants des unités chargées de mettre la Stratégie en œuvre. Chaque unité est responsable d’un éventail d’activités et conserve de nombreuses sources d’information. Le cadre d’évaluation comportait un grand nombre d’indicateurs, en vue de permettre la saisie de toute la gamme d’activités de la Stratégie. Le défi consistait donc à établir les résultats collectifs liés aux nombreuses composantes de la SDFAE et à présenter un ensemble de constatations cohérent et intégré reflétant adéquatement la complexité et la grande portée de la Stratégie.

3.3.2. Attribution des résultats

L’évaluation a comporté le défi connexe que constituait l’incapacité de circonscrire la mesure dans laquelle les diverses activités fédérales et les divers mécanismes de financement fédéraux ont contribué aux résultats indépendamment des activités des provinces/territoires et des autres partenaires. En raison de la division des responsabilités en matière de justice familiale entre les gouvernements fédéral et provinciaux, les deux paliers de gouvernement contribuent au soutien du système de justice familiale. Par conséquent, de nombreux résultats liés à la SDFAE découlent d’un ensemble d’activités de plusieurs acteurs, de sorte qu’il est difficile d’établir la mesure dans laquelle la SDFAE a contribué à elle seule aux résultats. Ce problème se manifestait également dans le cadre de l’analyse de rentabilité étant donné que plusieurs des résultats ne pouvaient être attribués directement (ou seulement) à la Stratégie.

Le fait que la SDFAE suivait 18 années d’initiatives conçues pour étendre ou soutenir le système de justice familiale constituait une autre entrave à l’attribution des résultats directement à la Stratégie. Ces initiatives ont fourni un fondement sur lequel la Stratégie devait reposer, faisant ainsi en sorte qu’il était difficile de distinguer les effets de la SDFAE des effets des programmes antérieurs. L’évolution au fil du temps a été examinée dans les cas qui s’y prêtaient. De façon générale, les résultats de l’évaluation doivent être situés dans le contexte des initiatives antérieures en droit de la famille.

3.3.3. Lacunes sur le plan de l’information et limites des données

Comme le mentionne plus loin le rapport (voir la section 5.2), il y a des lacunes dans l’information sur la mesure du rendement en raison de problèmes liés à la SMRE et aux pratiques de rapports provinciales/territoriales. Par conséquent, il y a de nombreux domaines où seules des données partielles étaient disponibles. Il faut souligner que le CGRR et la SMRE venaient d’être lancés dans la fonction publique au moment de la création de la Stratégie, de sorte qu’on avait une expérience limitée dans leur élaboration et leur utilisation. Depuis lors, des améliorations ont été apportées dans de nombreux domaines.

Il existe également certaines limites liées à quelques sources de données. Par exemple, l’échantillon d’examen des dossiers judiciaires ne se voulait pas un échantillon représentatif, de sorte qu’il avait des limites sur le plan de l’application des résultats à l’ensemble des causes de divorce. En outre, les données relatives aux causes postérieures à la Stratégie n’étaient disponibles que pour deux sites, ce qui veut dire que toute comparaison entre une période antérieure et une période postérieure à la Stratégie peut être interprétée uniquement par rapport à ces deux sites. Toutefois, compte tenu de la taille de l’échantillon total et du nombre de sites visés par l’analyse préstratégique, ces données peuvent servir au soutien des constatations générales découlant des autres sources d’enquête et de résultats.

De même, l’Enquête sur la pratique du droit de la famille qui a été utilisée dans l’évaluation est fondée sur un échantillon des personnes qui ont participé au Colloque national sur le droit de la famille de la Fédération des ordres professionnels de juristes du Canada, de sorte qu’elle n’est pas représentative de l’ensemble des professionnels du droit au Canada. Cependant, à la lumière de ces limites à une interprétation plus généralisée des données disponibles, des sources ont été utilisées seulement relativement à d’autres sources de données en vue de l’obtention de données de soutien ou de confirmation.