Stratégie du droit de la famille axé sur l'enfant,
Évaluation sommative

5. MISE EN ŒUVRE


5. MISE EN ŒUVRE

Quatre questions d’évaluation dans le cadre d’évaluation portent sur la mise en œuvre de la Stratégie. Les principaux domaines relevant de cet enjeu sont notamment la conception et l’exécution de la Stratégie ainsi que le suivi des enjeux de mesure du rendement relevés dans l’évaluation formative de 2005. Voici les questions d’évaluation propres à la mise en œuvre :

5.1. Conception et exécution

Même si certains éléments de la Stratégie n’ont pas pu être mis en œuvre comme prévu, les activités ont été réorientées tandis que les objectifs généraux sont demeurés les mêmes.

Comme il est indiqué dans la section 2, la Stratégie devait initialement reposer sur trois piliers indépendants, dont l’un était la composante législative. Toutefois, étant donné qu’il est devenu manifeste que la législation proposée ne serait pas adoptée pendant la durée de la SDFAE, la Section FEA a cerné des moyens non législatifs d’atteindre les objectifs de la Stratégie et a ensuite adapté les activités des unités participant à l’exécution de la Stratégie. La Section FEA a aussi modifié le modèle logique et le CGRR de la SDFAE de manière à refléter exactement les activités non législatives qui se sont poursuivies dans le cadre de la Stratégie. La présente évaluation sommative est fondée sur le modèle logique et le CGRR modifiés.

Les partenariats et les relations de travail concertées ont constitué un élément clé dans la mise en œuvre de la Stratégie.

Quelques représentants du ministère de la Justice ont souligné que l’approche d’équipe intégrée adoptée pour les stratégies antérieures en vue de l’exécution et du soutien de la SDFAE constituait un élément clé facilitant la coordination efficace des activités de la SDFAE par la Section FEA. L’approche concertée est soutenue en partie par un certain nombre de processus et de structures de partage de l’information/de collaboration.

Dans l’ensemble, les représentants du ministère de la Justice et des provinces/territoires interrogés estimaient que le CCHF-JF et ses sous-comités et groupes de travail contribuaient à la réalisation des objectifs de la SDFAE en servant de forum de discussion et de règlement des problèmes. Les exigences de rapport annuel des provinces/territoires concernant les résultats et les sept AAP soutiennent également les partenariats sur le plan du partage de l’information/des données, dans le cadre de la composante IJF de la Stratégie. En outre, le ministère de la Justice collabore étroitement avec l’Agence du revenu du Canada (ARC) en ce qui a trait aux activités d’exécution des ordonnances alimentaires, y compris l’utilisation des bases de données pour retracer les personnes en défaut d’exécution des obligations alimentaires ainsi que le détournement des revenus fiscaux payables au défaillant.  Les représentants du ministère de la Justice ont souligné d’autres relations moins formelles, dont les bonnes relations de travail avec l’Association du Barreau canadien et avec la magistrature.

Un certain nombre de partenariats établis dans le cadre d’initiatives antérieures se sont poursuivis et de nouveaux partenariats ont été élaborés entre la Section FEA, les autres ministères fédéraux, les gouvernements provinciaux/territoriaux et les ONG. Voici des exemples de partenariats et de collaboration :

Certains représentants provinciaux/territoriaux interrogés ont indiqué que ces relations donnaient lieu au résultat important que constitue le partage d’information qui se produit entre les provinces/territoires hors des divers comités. Par exemple, le site Web à l’intention des enfants et des adolescents de la Colombie-Britannique (www.familieschange.ca) a été conçu par la province, en partenariat avec la Law Courts Education Society de la Colombie-Britannique, et contient des renseignements généraux au sujet du droit de la famille provincial de manière à ce que le site soit applicable à l’échelle du Canada. Divers projets pilotes constituent d’autres moyens de partage d’expériences. Ces projets sont assujettis à des évaluations, et les rapports sont généralement rendus publics et/ou circulés entre les administrations. Au cours des entrevues avec divers fournisseurs de services de justice familiale et de professionnels du droit de la famille, plusieurs des intervenants clés ont fait part de leur intérêt à l’égard de ce qui se fait dans les autres provinces.

Les partenariats et les mesures concertées entre la Section FEA et les autres ministères fédéraux sont particulièrement importants pour les activités d’exécution.

Les représentants du ministère de la Justice estimaient que les activités entreprises dans le cadre de la SDFAE complétaient les activités d’autres ministères fédéraux. Cela était particulièrement vrai en ce qui concerne les activités d’exécution. Voici certains des avantages concrets dans le domaine de l’exécution qui ont découlé des activités de communication/liaison avec les autres ministères fédéraux et que les représentants du Ministère ont constatées :

Comme la collaboration entre le ministère de la Justice et les autres ministères fédéraux, le Québec a en place une approche concertée dans le programme de perception des pensions alimentaires, soit le Fonds des pensions alimentaires. Ce programme a été lancé en 1995 suivant l’adoption de la Loi facilitant le paiement des pensions alimentaires, qui s’applique à tous les jugements rendus à compter du 1er décembre 1995. La Loi a mené à la création du Fonds des pensions alimentaires, administré par Revenu Québec en collaboration avec le ministère de la Justice. Revenu Québec participe afin de fournir son expertise en matière de perception des créances et, par conséquent, de faciliter le versement des pensions alimentaires. Le ministère de la Justice est chargé d’informer Revenu Québec de tous les jugements rendus qui prévoient une pension alimentaire depuis l’adoption de la Loi, qu’il y ait ou non un besoin d’exécution. On estime que les procédures du programme en matière de traitement de dossier et de communication rapide avec les clients constituent des caractéristiques innovatrices, de même que son approche « participative » selon laquelle les employeurs contribuent à la perception des versements réguliers et des arrérages de pension alimentaire.

Il ne semble pas y avoir de domaines où il y a un dédoublement ou un chevauchement important entre les activités des gouvernements fédéral et provinciaux/territoriaux.

De façon générale, les représentants du ministère de la Justice et des provinces/territoires estimaient que les activités entre les deux paliers de gouvernement ne se chevauchent pas. Les représentants provinciaux/territoriaux et fédéraux interrogés jugeaient que les activités financées par le gouvernement fédéral dans le cadre de la SDFAE complétaient leurs propres activités de justice familiale, celles des autres partenaires et celles des autres ministères fédéraux.

5.2. Mesure du rendement

Même s’il y a eu des améliorations dans les activités de mesure du rendement et dans les rapports de rendement de la part des provinces, des lacunes demeurent.

L’élaboration et la mise en œuvre du CGRR et des stratégies de SMRE pour les programmes publics étaient relativement nouvelles lorsque la SDFAE a été établie pour la première fois en 2003. En 2004, on a réalisé un projet d’évaluation des besoins afin de déterminer toute aide dont les provinces/territoires auraient besoin pour répondre aux exigences de mesure du rendement et de rapports de la SDFAE aux termes des accords de financement.

La consultation a suscité un certain nombre de recommandations, notamment la recommandation d’élaborer un outil de référence pour guider les provinces/territoires dans la collecte des données et les rapports. En réponse, l’Unité d’élaboration de programmes a produit le manuel sur la mesure du rendement pour aider les provinces/territoires à mieux déclarer les indicateurs de rendement. En plus du manuel, le personnel des unités de la recherche et d’élaboration de programmes est disponible pour aider les provinces/territoires à élaborer ou peaufiner leurs plans de mesure du rendement et d’évaluation et pour contribuer à l’élaboration des outils/approches de collecte des données.

Tous les représentants du ministère de la Justice qui ont formulé des commentaires s’entendaient pour dire qu’il y avait eu une amélioration de la qualité de l’information fournie par les bénéficiaires de fonds au cours des deux dernières années. Les représentants ont notamment donné comme exemple d’amélioration l’intégration d’un plus grand nombre de détails et d’activités d’évaluation dans les projets/programmes. Cette observation est appuyée en partie par la comparaison des données provinciales/territoriales soumises pour les exercices 2003-2004, 2004-2005 et 2005-2006, qui ont révélé que davantage de mesures ont été mises en œuvre dans toutes les provinces déclarantes et que les activités de mesure sont passées de l’étape d’élaboration à l’étape de la mise en œuvre.

Malgré les progrès réalisés, les représentants du ministère de la Justice estimaient qu’il y avait encore place à amélioration dans les activités SMRE des provinces/territoires. L’examen des dossiers de projet et des rapports annuels des provinces et des territoires a confirmé que les rapports SMRE sont en grande partie incomplets et ne permettent pas l’analyse exhaustive de l’état de la mesure du rendement dans les provinces/territoires. Adaptés aux différences provinciales/territoriales relatives aux programmes et à l’administration, les rapports sont très différents et/ou sont trop incomplets pour permettre des conclusions uniformes sur les activités de mesure du rendement.

La SMRE est complexe, nécessitant un suivi et des rapports à l’égard d’un grand nombre d’indicateurs.

Des modèles logiques génériques et des SMRE ont été élaborés pour les cinq types d’initiatives principales financées par le FJFAE. Les provinces/territoires ont utilisé ces SMRE pour déterminer les indicateurs de rendement à mesurer et à déclarer. Dans l’ensemble, compte tenu de la complexité et de la grande portée de la Stratégie, le nombre de mesures que les provinces/territoires ont à déclarer à chaque année est élevé. La question de la mesure du rendement est davantage compliquée par le fait que chaque province/territoire met en œuvre sa propre version des SMRE et offre une combinaison unique de services de justice familiale de même que ses propres méthodes de gestion de l’information et de déclaration.

Importante leçon tirée dans le domaine de la mesure du rendement, le processus de déclaration doit être simple, clair et aussi normalisé que possible pour l’obtention de renseignements adéquats des provinces/territoires. Les représentants du ministère de la Justice ont indiqué qu’une initiative future devrait permettre l’élaboration d’un CGRR comportant des indicateurs moins nombreux, mais davantage interreliés et plus clairs.

Cela permettrait la rationalisation du processus et la réduction de l’information requise. Sont actuellement en cours des mesures de création d’une base de données qui soutiendra l’analyse exhaustive des activités permanentes de mesure du rendement et d’évaluation à l’avenir.

Les accords de projet pilote exigent qu’une évaluation soit effectuée à la fin du projet pilote et qu’elle contienne les résultats déclarés par les bénéficiaires de fonds. Des fonds pour la composante d’évaluation du projet pilote sont fournis pour contribuer au respect de cette obligation. Dans l’ensemble, la qualité de la recherche d’évaluation varie, mais bon nombre ne déclarent que le nombre d’utilisateurs et les niveaux de satisfaction. Peu appliquent une conception permettant une estimation rigoureuse de l’effet net, étant donné qu’il peut être difficile ou complexe d’appliquer une conception expérimentale ou quasi expérimentale. Quelques représentants du Ministère ont indiqué qu’en général, trop de données sur le processus sont recueillies plutôt que des données sur l’effet à long terme des services. Toutefois, comme l’indiquent les examens de l’évaluation et de la recherche menés à l’égard des services de justice familiale au Canada et à l’étranger, cette situation n’est pas inhabituelle étant donné que peu d’évaluations s’appuient sur des conceptions méthodologiques rigoureuses pour mesurer les effets nets[27].

Par ailleurs, les ONG qui reçoivent des fonds en vue de la vulgarisation et de l’information juridiques et de la formation professionnelle (VIJ/FP) doivent déposer des rapports descriptifs ou narratifs sur l’utilisation des fonds à la conclusion du projet. Les représentants du ministère de la Justice ont souligné que les organisations non gouvernementales qui recevaient des fonds pour des projets VIJ/FP ont tendance à fournir des renseignements détaillés de qualité dans ces rapports.

Les problèmes de capacité nuisent aux efforts des provinces/territoires pour respecter les exigences actuelles de rapports.

Les représentants des provinces/territoires ont relevé un certain nombre de défis auxquels ils font face dans la collecte et la transmission des données et des autres renseignements (p. ex., rapports d’évaluation/de recherche) au ministère de la Justice, notamment le manque de temps pour effectuer le travail, les coûts liés à la collecte et à la communication de l’information, le manque de consultants ou d’experts ainsi que les questions éventuelles de protection des renseignements personnels. Plusieurs répondants ont mentionné que dans des administrations où il y a des tiers fournisseurs de services de justice familiale, ce sont des organisations engagées par contrat qui recueillent l’information, ce qui limite le niveau de contrôle que les provinces/territoires ont sur la collecte de renseignements. On a également souligné que certaines administrations n’ont aucun employé chargé expressément des activités de collecte et de communication des données.

L’Unité d’élaboration de programmes a fait face à certaines difficultés pour obtenir des renseignements des administrations, dont le manque d’uniformité des programmes et services offerts au pays ainsi que l’opinion ou la réaction des provinces/territoires à l’égard des exigences de rapports. Même si le manuel sur la mesure du rendement a été élaboré pour simplifier le processus de collecte d’information et de rapports, les exigences de la SMRE n’ont pas été favorablement accueillies par les provinces/territoires.

Un autre défi résidait dans le fait que même si les provinces/territoires fournissent souvent beaucoup de renseignements, il ne s’agit pas nécessairement des renseignements nécessaires au suivi et à l’évaluation du rendement. Les limites touchant la capacité et la résistance au changement peuvent empêcher certaines administrations de s’adapter au processus et de répondre aux besoins de mesure du rendement du gouvernement fédéral. Toutefois, on estimait que même si certains ne semblent pas comprendre l’avantage de la collecte de ces renseignements, les attitudes commencent à changer.

5.3. Ressources financières

L’information sur le budget annuel indique que des fonds suffisants ont été attribués à la réalisation de la Stratégie pour ce qui est de ses besoins opérationnels, administratifs et salariaux.

Au lancement de la SDFAE en 2003, l’affectation financière devait s’élever à 163 millions de dollars au cours de la période quinquennale. Sur le budget prévu, 28 % devait être consacré à l’expansion des TUF. Cependant, l’expansion des TUF ne s’est pas produite, de sorte que l’affectation budgétaire a été réduite de 46 863 010 $. Ces rajustements ont entraîné une diminution globale de l’affectation financière à la Stratégie, qui est passée de la somme prévue de 163 M$ à un peu plus de 128 M$[28].

Le tableau 5-1 résume les ressources financières prévues et réelles affectées à l’application et à la gestion de la SDFAE pour chaque année de la Stratégie. On constate que des fonds supplémentaires ont été affectés aux P-T pour les projets supplémentaires indiqués sous la composante IJF.

Tableau 5-1 : Prévisions et dépenses budgétaires
(exercices 2003-2004 à 2007-2008)

2003-2004 (1)
  Affectation initiale Budget modifié Dépenses réelles Dépenses réelles en pourcentage du budget modifié Écart
F et E 4 973 998 4 451 114 2 594 817 58,3 % 1 856 298
Salaires 4 220 755 -- 3 857 196 91,4 %. 363 559
Total pour 2003-2004 9 194 753 8 671 870 6 452 013 74,4 % 2 219 857

2004-2005 (1)
  Affectation initiale Budget modifié Dépenses réelles Dépenses réelles en pourcentage du budget modifié Écart
F et E 4 408 676 3 901 576 2 610 055 66,9 % 1 291 521
Salaires 4 536 384 4 380 692 4 238 888 96,8 % 141 804
Total pour 2004-2005 8 945 060 8 282 268 6 848 943 82,7 % 1 433 325

2005-2006 (2)
  Affectation initiale Budget modifié Dépenses réelles Dépenses réelles en pourcentage du budget modifié Écart
F et E 3 527 097 3 092 097 3 067 262 99,2 % 24 835
Salaires 4 507 198 4 368 199 4 472 503 102,4 % (104 304)
Total pour 2005-2006 8 034 295 $ 7 460 296 $ 7 539 765 $ 101,1 % (79 469 $)

2006-2007(3)
  Affectation initiale Budget modifié Dépenses réelles Dépenses réelles en pourcentage du budget modifié Écart
F et E 2 434 375 2 050 375 2 302 017 112 % (251 642)
Salaires 4 653 813 4 064 851 3 936 140 96,8 % 118 145
Total pour 2006-2007 7 088 188 6 115 226 6 238 157 102 % (133 497)

2007-2008(3)
  Affectation initiale Budget modifié Dépenses réelles Dépenses réelles en pourcentage du budget modifié Écart
F et E 2 524 726 2 086 716 2 011 918 96,4 % 74 798
Salaires 4 653 813 4 064 851 3 983 250 97,9 % 81 601
Total pour 2007-2008 7 178 539 6 151 567 5 995 168 97,4 % 156 399

Environ les deux tiers du budget total de la Stratégie ont été consacrés aux provinces/territoires pour leur permettre de fournir, d’étendre ou d’améliorer leurs services de justice familiale.

Les fonds IJF distribués aux administrations au moyen du FJFAE sont fondés sur un modèle d’affectation élaboré par le CCHF-JF et approuvés par les sous-ministres fédéraux-provinciaux-territoriaux. Les subventions et contributions versées dans le cadre de l’IJF pour chaque année de la Stratégie sont résumées au tableau 5-2.

Tableau 5-2 : Affectation des subventions et contributions par exercice
Exercice Subventions et contributions Dépenses de la SDFAE Subventions et contributions en pourcentage des dépenses totales de la SDFAE
2003-2004 15 159 000 25 385 447 63,7 %
2004-2005 16 079 500 25 012 113 64,3 %
2005-2006 16 244 855 24 218 359 67,1 %
2006-2007 16 050 027 23 627 967 67,9 %
2007-2008 16 050 027 23 128 246 69,4 %

Source : Ministère de la Justice, données du SIFM et du SGS

Au total, 2,05 millions de dollars ont été distribués pour des projets pilotes et une autre somme de 2,6 millions de dollars a été affectée à des ONG pour des projets de VIJ/FP. Les fonds disponibles pour de tels projets ont été entièrement utilisés étant donné que toutes les ressources demandées par les ONG admissibles aux fonds ont été approuvées et distribuées. Il faut souligner qu’en plus des fonds de formation professionnelle distribués pour des projets spéciaux, les provinces/territoires ont aussi consacré les fonds reçus dans le cadre du FJFAE à des activités de formation à l’intention du personnel et des professionnels de la justice familiale qui ont eu lieu dans leurs propres administrations.

5.4. Observations et conclusions

À la lumière des résultats indiqués dans cette section, les observations et conclusions suivantes ont été formulées :