Évaluation de l'Initiative de soutien des familles vivant une séparation ou un divorce

3. Méthodologie

3.1. Enjeux et questions examinés dans le cadre de l'évaluation

Les cinq grands enjeux (voir le Tableau 2) examinés par l'évaluation constituent le cadre de l'évaluation des résultats directs, intermédiaires et à long terme de l'ISF.

Tableau 2 : Enjeux et questions examinés dans le cadre de l'évaluation
Enjeu de l'évaluation Question d'évaluation
Pertinence
Besoin continu du programme Dans quelle mesure l'ISF répond-elle aux besoins des familles canadiennes vivant une séparation ou un divorce?
Harmonisation avec les priorités du gouvernement Dans quelle mesure les buts et objectifs de l'ISF correspondent-ils aux priorités du gouvernement fédéral et de Justice Canada?
Harmonisation avec les rôles et responsabilités du gouvernement fédéral Dans quelle mesure l'ISF s'harmonise-t-elle avec les rôles et les responsabilités de l'appareil fédéral dans les domaines de la justice familiale?
Rendement
Atteinte des résultats escomptés Dans quelle mesure l'ISF a-t-elle progressé vers l'atteinte de la capacité fédérale renforcée visant à répondre aux besoins des familles vivant une séparation ou un divorce?
Dans quelle mesure l'ISF a-t-elle contribué à renforcer la capacité des provinces et des territoires à fournir des services de justice familiale?
Dans quelle mesure l'ISF a-t-elle progressé vers l'expansion de l'accessibilité des programmes et des services de justice familiale?
Dans quelle mesure l'ISF a-t-elle progressé vers la sensibilisation et la compréhension accrues en ce qui concerne les obligations parentales, la conformité et le système de justice familiale?
Dans quelle mesure l'ISF a-t-elle contribué à améliorer l'efficacité des outils et services de mise en application des ordonnances?
Dans quelle mesure l'ISF a-t-elle contribué à renforcer la capacité des parents à conclure des ententes convenables de garde, de droit de visite et de pension alimentaire?
Dans quelle mesure l'ISF a-t-elle contribué à renforcer la capacité des parents à respecter leurs obligations financières?
Dans quelle mesure l'ISF a-t-elle réalisé des progrès en matière de conformité parentale accrue aux obligations de soutien financier?
Dans quelle mesure l'ISF a-t-elle contribué à améliorer l'efficacité du système de justice familiale pour répondre aux besoins des familles vivant une séparation ou un divorce?
Démonstration de l'efficience et de l'économie L'utilisation des ressources de l'ISF a-t-elle été appropriée par rapport aux activités et aux extrants produits, ainsi qu'aux progrès réalisés en vue de l'obtention des résultats escomptés?

3.2. Approche

L'évaluation comporte plusieurs éléments de preuve, parmi lesquels : un examen des documents et des données, des entrevues avec les principaux intervenants, des enquêtes, des études de cas, et un examen des dossiers. La triangulation de ces sources de données multiples a été utilisée pour vérifier et valider les constatations et tirer les conclusions de l'évaluation.

Examen des documents et des données

Le présent examen a considéré des documents internes et des documents publics, notamment les données administratives de la SFEA; les statistiques sur les communications ministérielles; les rapports et les données sur l'exécution des ordonnances; les comptes rendus et les documents de planification des comités; les statistiques des SADF; les documents relatifs aux pratiques exemplaires; les protocoles d'entente; de nombreuses études de recherche secondaires; des données de Statistique Canada; et les données des enquêtes auprès des anciens clients des programmes d'éducation des parents, des programmes de médiation, et des séances « Former le formateur » sur les conflits graves à l'intention des professionnels de la justice familiale. Note de bas de page 12

Entrevues avec les principaux intervenants

Les entrevues avec les principaux intervenants menées dans le cadre de la présente évaluation ont abordé la plupart des questions d'évaluation et elles sont un élément de preuve fondamental. Trente-cinq entrevues avec les principaux intervenants ont été menées par téléphone. Celles-ci incluaient des entrevues téléphoniques individuelles et des entrevues de groupe effectuées à l'aide de guides d'entrevue adaptés aux différents groupes de répondants. On a réalisé 13 entrevues avec des juges ayant une bonne connaissance du système de justice familiale et 22 entrevues individuelles ou de groupe avec 39 représentants fédéraux, provinciaux et territoriaux et des programmes d'exécution des ordonnances alimentaires. Toutes les provinces et tous les territoires, toutes les unités de la SFEA, la Section des communications de Justice Canada et le CCSJ de Statistique Canada étaient représentés.

Enquête et entrevues avec les avocats en droit de la famille/médiateurs

En mai et en juin 2013, une enquête Web a été menée auprès d'avocats et de médiateurs spécialisés dans les questions touchant le droit de la famille et le divorce. La participation à ces enquêtes était volontaire et elle a attiré 667 participants : 18 % étaient des médiateurs; 57 % des avocats en droit de la famille; 20 % des avocats en droit de la famille agissant à titre de médiateur; et 6 % d'autres personnes, notamment des gestionnaires de programmes, des juges et des travailleurs sociaux assumant des responsabilités en matière de justice familiale. Après l'enquête initiale, 33 répondants ont accepté de participer à une entrevue de suivi par téléphone afin d'aborder certains enjeux de manière plus approfondie.

Enquête nationale auprès des parents

Deux enquêtes nationales auprès des parents ont été incluses dans l'évaluation. L'enquête nationale de l'ISF auprès des parents menée entre 2012 et 2013 a permis de questionner par téléphone 1 200 parents dans 10 administrations Note de bas de page 13 au sujet de leurs besoins à l'égard du droit de visite, des ententes, de l'évolution des ententes, de la conformité et des problèmes connexes, et de la participation aux services de justice familiale provinciaux et territoriaux, tels que les services de médiation et d'éducation des parents. Les répondants ont été sélectionnés à l'aide de formulaires de consentement à la recherche distribués par les provinces et les territoires dans le cadre des programmes d'éducation des parents et de médiation.

La deuxième enquête nationale auprès des parents a été commandée en 2010 par le SFEA et réalisée auprès de 1 037 parents séparés ou divorcés entre 2003 et 2010. Les questions de l'enquête étaient axées sur les ententes concernant les enfants (garde, décisions et soutien financier), les relations entre les parents et les autres variables touchant les familles après la séparation ou le divorce.

Études de cas

Vingt-quatre études de cas sur des projets du FSF ont été réalisées dans le cadre de l'évaluation. Ces études de cas englobaient un examen des ententes de contribution du FSF, ainsi que des entrevues téléphoniques et en personne avec des représentants des programmes afin d'évaluer comment les projets ou les services avaient aidé les familles et contribué à l'améliorer l'efficacité et la capacité du système de justice familiale.

Groupes de discussion

Dans le cadre des préparatifs à l'évaluation, 12 groupes de discussion ont été organisés avec 70 parents dans six administrations Note de bas de page 14 . L'objectif de ces groupes de discussion était d'obtenir l'opinion des parents à l'égard de leurs besoins, et d'examiner les résultats possibles des divers services de justice familiale qu'ils avaient utilisés.

Examen des dossiers

L'information sur les subventions et les contributions contenue dans les dossiers du FSF a été examinée à l'aide de modèles afin d'assurer l'extraction, l'agrégation et l'analyse systématiques dans une base de données relationnelles.

Les dossiers de programme sur trois volets du FSF ont été analysés : l'Initiative de justice familiale (IJF) qui contribue à un ensemble de projets et d'activités dans les provinces et les territoires; le volet sur les Projets pilotes, qui appuie les projets pilotes novateurs provinciaux et territoriaux; et le volet de la VIJ et de la formation professionnelle qui accorde du financement aux projets coordonnés par des ONG. Les résultats de l'analyse du FSF touchent la totalité du financement versé par le FSF entre 2009 et 2012 afin de s'assurer que les données déclarées sont les données finales.

3.3. Limites

Certains problèmes et certaines limites sont associés à l'évaluation, notamment la dépendance à l'égard de la représentation des administrations publiques, les différences dans le mode de collecte et de déclaration des données, ainsi que la difficulté d'évaluer les incidences sociales générales des programmes et des politiques.

Représentation des administrations

En raison de l'absence de données fiables sur le nombre général d'avocats en droit de la famille ou de médiateurs familiaux dans la plupart des administrations, il n'a pas été possible d'assurer la représentation de toutes les administrations à l'enquête Web à l'intention des avocats en droit de la famille et des médiateurs. En outre, puisque trois administrations Note de bas de page 15 n'ont pas participé aux enquêtes auprès des anciens clients et à l'enquête l'ISF auprès des parents, ces résultats n'ont pas une portée entièrement nationale.

Différences dans le mode de collecte et de déclaration des données

L'examen des dossiers des subventions et contributions Note de bas de page 16 du FSF fut difficile sur plusieurs plans car aucune définition cohérente de projets ne permettait la catégorisation ou l'agrégation systématique des données. Bien qu'un modèle pour les demandes et les rapports provinciaux et territoriaux ait été élaboré en collaboration avec les provinces et les territoires, les rapports sur les activités étaient encore différents. Certaines demandes ou certains rapports identifient une seule grande activité et un seul montant, tandis que d'autres sous-divisent les activités et les montants. Les autres volets du FSF (Projets pilotes et VIJ et formation professionnelle) comportent une définition plus uniforme des projets, qui permet une classification systématique et une agrégation des données. La classification des données en composantes plus petites était nécessaire pour obtenir une cohérence dans la description des projets. Bien que l'on ait utilisé un modèle pour agréger et analyser systématiquement ces données, celui-ci ne pouvait tenir compte de toutes les variables trouvées dans les dossiers, et les évaluateurs se sont fiés à leur bon jugement pour établir la classification des données qui convenait le mieux à l'évaluation des résultats de l'ISF.

Difficulté à évaluer les incidences sociales des programmes et des politiques

Une grande partie de l'activité de la SFEA est liée à des initiatives en matière de politiques. En général, ce type d'activité est difficile à évaluer en termes quantitatifs. Au contraire, elle se reflète dans des contextes particuliers, tels que l'activité du CCHF-JF ou les discussions sur une loi.

Comme souvent dans le cas des programmes sociaux, il peut être difficile d'attribuer des résultats à une intervention. Les familles vivant une séparation ou un divorce font appel à diverses ressources pour les aider. Dans certains cas, la participation à des activités financées par l'ISF, telles que l'éducation des parents, bien que précieuse, est souvent de courte durée et il arrive que d'autres facteurs soient plus importants que les avantages. Il faut aussi remarquer que les résultats des enquêtes auprès des parents et les documents de recherche ont conclu que les facteurs tels que les niveaux de conflit parental et de coopération sont les facteurs les plus importants dans le respect des obligations parentales en matière de garde, de droit de visite et de pension alimentaire, et que ceux-ci sont surtout influencés par les caractéristiques personnelles/interpersonnelles et les styles de communication. Les parents en situation de conflit grave ont des besoins complexes et préexistants pouvant se situer au-delà de la portée des nombreux services offerts à ces égards.

En outre, la période de suivi de l'enquête de l'ISF auprès des parents était limitée. Tous les répondants avaient participé à un service offert par l'ISF au cours des trois années précédentes.

Stratégie d'atténuation

Plusieurs stratégies ont été mises en œuvre pour atténuer ces problèmes. Des modèles d'extraction des données ont permis d'obtenir un cadre cohérent et systématique pour extraire et analyser les données des dossiers du FSF malgré les défis décrits ci-dessus.

La capacité d'attribuer des résultats directs à l'ISF aux niveaux fédéral, provincial et territorial a été en partie obtenue par les enquêtes et les entrevues avec des représentants et des professionnels de la justice familiale qui ont évalué qualitativement les résultats directs de l'ISF sur le comportement et l'attitude des parents. Les opinions des parents ont été recueillies par plusieurs éléments de preuve, et plus particulièrement par une enquête nationale menée auprès de 1 200 parents dans dix provinces et territoires aux fins de l'évaluation. Des enquêtes auprès des anciens clients ont également permis de recueillir l'opinion des parents sur l'incidence des programmes d'éducation et de médiation.

L'élargissement de l'enquête par Internet à l'intention des avocats/médiateurs familiaux (667 participants et un objectif initial de 250) a permis d'obtenir un plus grand échantillonnage de ce groupe et une meilleure représentation des administrations.

L'utilisation de plusieurs sources de données a permis d'utiliser une technique de triangulation pour déterminer des constatations pour des domaines de consensus mieux définis. Ceci renforce les conclusions découlant de ces constatations.

Date de modification :