Tribunaux unifiés de la famille, Évaluation sommative

3. Méthodologie de l'évaluation

Dans la présente section, nous résumons les objectifs de l'Évaluation sommative des tribunaux unifiés de la famille, la méthodologie employée et les activités de recherche entreprises aux fins de l'évaluation.

3.1. Objectifs de l'évaluation

L'évaluation devait mesurer les répercussions du modèle de TUF en déterminant les résultats et les effets qui y sont associés. Elle a porté plus particulièrement sur les questions suivantes :

  1. la pertinence : la pertinence actuelle du concept de TUF et des objectifs du modèle;
  2. la réussite : la mesure dans laquelle le modèle de TUF a atteint les résultats prévus (résultats intermédiaires et à plus long terme).

En plus des deux questions citées plus haut, la rentabilité du modèle et des autres modèles possibles a aussi été examinée, mais de façon sommaire.

3.2. Plan de recherche

Un modèle quasi expérimental a été utilisé pour déterminer la mesure dans laquelle le modèle de TUF atteint ses objectifs. À cette fin, un groupe de comparaison formé de tribunaux respectant le modèle plus traditionnel a été constitué; les résultats ont ensuite été comparés à ceux des TUF choisis. L'évaluation était fondée sur le modèle de faisabilité et de recherche établi en 200716.

L'évaluation porte principalement sur la mesure dans laquelle le modèle de TUF atteint les résultats prévus. L'hypothèse est la suivante : les résultats obtenus relativement aux dossiers traités par les TUF sont meilleurs en raison de l'utilisation d'une approche moins contradictoire et mieux coordonnée que ceux obtenus relativement aux dossiers traités par les tribunaux traditionnels qui ne disposent pas du même soutien que le modèle de TUF.

3.2.1. Sélection des sites de TUF et des sites de comparaison

Le modèle quasi expérimental exigeait la création d'un échantillon de comparaison. En particulier, les TUF et les tribunaux traditionnels de chaque groupe devaient posséder clairement les caractéristiques propres à chacun de ces modèles. D'autres facteurs qui pouvaient avoir une incidence devaient aussi être contrôlés, par exemple les caractéristiques démographiques de la clientèle visée, la charge de travail et les processus et pratiques administratifs particuliers du greffe ou du tribunal.

Tous les sites de comparaison offrent certains services de justice familiale. Le fait que la gamme des services offerts par les TUF et par les tribunaux traditionnels est différente a rendu très difficile la mesure du rendement des TUF dans l'ensemble. Ces difficultés sont décrites plus en détail à la fin de la présente section.

Une liste des sites précisant leurs principales caractéristiques (p. ex. la taille et les caractéristiques de la population, les services de justice familiale et les mécanismes de règlement des différends disponibles, les règles et les procédures pertinentes en matière de droit de la famille) a été dressée pour chaque province ou territoire. Quatre TUF et quatre tribunaux traditionnels ont ensuite été choisis dans cette liste, à l'aide de critères comme la densité de la population et les caractéristiques de la population desservie par le tribunal, afin que l'échantillon des cas examinés soit plus susceptible de ressembler à l'échantillon des cas sélectionnés aux sites des TUF.

La mise en oeuvre de la méthode de recherche dépendait de la participation des provinces et des territoires. Ceux-ci devaient approuver les sites choisis dans leur administration. Après consultation auprès des provinces et des territoires, certains sites ont été approuvés et d'autres emplacements ont été proposés en ce qui concerne le groupe des TUF comme le groupe de comparaison.

Il importe de mentionner que certains des autres sites proposés ne satisfaisaient pas aux critères de sélection définis dans le modèle de recherche. Par exemple, les ressources judiciaires de certains des TUF inclus dans l'évaluation n'augmentaient pas alors que la population et le nombre de dossiers augmentaient rapidement, de sorte qu'il était difficile de compter uniquement sur des juges spécialisés (des juges généralistes étaient parfois appelés en renfort). À certains endroits, le modèle conceptuel de TUF n'a pas été mis en oeuvre intégralement (p. ex., il n'y a pas de services d'accueil ou alors les services d'accueil sont limités). Le degré de correspondance entre les caractéristiques démographiques de la population des sites de TUF et celles de la population des sites de tribunal traditionnel était également touché. Au bout du compte, ces différences ont eu une incidence importante sur la possibilité de détecter les répercussions du modèle de TUF17. Les difficultés concernant la sélection des sites sont analysées de manière plus détaillée à la fin de la présente section (point 3.4) et dans la section 6.

Les sites suivants ont été approuvés par les provinces participantes :

3.2.2. Quasi-TUF

Comme il a été mentionné dans la section 2, un spectre des modèles de tribunaux a été utilisé pour déterminer quels tribunaux pourraient faire partie du groupe des TUF et du groupe de comparaison. Des « quasi-TUF » se trouvant sur le spectre pouvaient remplacer le modèle de TUF au besoin. Comme les TUF, les quasi-TUF offrent des mécanismes de règlement extrajudiciaire des différends et divers services de justice familiale qui peuvent être coordonnés avec la cour ou le greffe, bien que les clients puissent les utiliser même s'ils n'ont pas intenté une action judiciaire ou ne sont pas visés par une telle action. La principale différence entre les quasi-TUF et les TUF réside dans le fait que les premiers respectent le partage des compétences en matière de droit de la famille entre le gouvernement fédéral et les provinces.

L'évaluation visait notamment à déterminer la mesure dans laquelle le modèle de TUF a atteint ses objectifs par rapport aux résultats des autres modèles. Par conséquent, les quasi-TUF ont été examinés en tant que modèle de rechange au modèle de TUF.

Les chercheurs ont choisi les sites qui pourraient faire l'objet de l'évaluation et les représentants des provinces concernées ont accepté de participer à celle-ci en donnant accès à de l'information sur l'utilisation des tribunaux. Les sites suivants ont été choisis en consultation avec les provinces à des fins de comparaison :

3.2.3. Base d'échantillonnage des dossiers

Parmi les paramètres utilisés pour constituer l'échantillon des dossiers, mentionnons le type de dossier (divorce ou autres) et la période de référence (c.-à-d. les nouveaux dossiers ouverts à l'intérieur d'une certaine période de temps). Les dossiers de droit de la famille portent souvent sur plusieurs questions et les parties peuvent avoir recours au système de justice familiale à plusieurs reprises pour régler de nouvelles questions qui surgissent ou d'anciennes questions qui se posent de nouveau. En principe, ces dossiers restent ouverts indéfiniment. Aussi, le délai écoulé depuis l'ouverture d'un dossier était un facteur important : il fallait que ce délai soit suffisant pour que les questions soulevées dans la demande originale aient pu être réglées. De plus, le facteur temps est important à l'égard de certains effets mesurés dans le cadre d'évaluation (p. ex. les demandes répétées, la conformité). La période de référence devait donc être suffisamment longue pour permettre la conclusion des demandes et l'estimation des indicateurs de temps.

Compte tenu des différents facteurs liés au temps, l'échantillon rassemblait les nouveaux dossiers ouverts entre le 1er janvier 2004 et le 31 décembre 2004. La collecte des données a été effectuée d'octobre 2007 à janvier 2008. Le délai s'étant écoulé entre l'ouverture d'un dossier et son examen variait donc de 36 à 45 mois.

Les dossiers faisant partie de l'échantillon étaient visés par la Loi sur le divorce et la Maintenance and Custody Act en Nouvelle-Écosse, par la Loi sur le droit de la famille et la Loi portant réforme du droit de l'enfance en Ontario, par la Children's Law Act en Saskatchewan et par la Family Relations Act et la Family Maintenance Enforcement Act en Colombie-Britannique. Aucun dossier de protection de l'enfance n'a été inclus dans l'échantillon pour des raisons de protection de la vie privée.

Un échantillonnage aléatoire stratifié a permis d'assurer la représentativité statistique de l'échantillon et de tenir compte des différences de taille entre les sites choisis. Le tableau 3-1 résume le nombre de dossiers et les activités en matière de dépôt examinés à chaque endroit. On entend par « activité en matière de dépôt » le dépôt initial (le dépôt du document introductif), une demande, par exemple de modification, ou un avis de requête qui enclenche une « nouvelle » série d'activités visant à résoudre des questions qui surgissent pour la première fois ou qui se posent de manière répétitive après que d'autres questions ont été réglées. À la fin, les échantillons étaient plus grands que ce qu'exigeait une analyse de puissance effectuée pour l'étude de faisabilité18. Ainsi, les effets significatifs ou les différences importantes entre les TUF et les tribunaux traditionnels ont pu être détectés vu la taille des échantillons.

Tableau 3-1 : Résumé de l'examen des dossiers

TUF
Emplacement du tribunal Dossiers examinés Activités en matière de dépôt
Hamilton (Ont.) 109 156
Oshawa (Ont.) 134 177
Halifax (N.-É.) 109 135
Saskatoon (Sask.) 100 156
Total - TUF 452 624

Tribunaux traditionnels
Emplacement du tribunal Dossiers examinés Activités en matière de dépôt
Sarnia (Ont.) (provincial) 36 59
Sarnia (Ont.) (supérieur) 44 51
Sudbury (Ont.) (provincial) 103 169
Sudbury (Ont.) (supérieur) 92 99
Pictou (N.-É.) (provincial) 25 38
Pictou (N.-É.) (supérieur) 10 12
Truro (N.-É.) (provincial) 17 35
Truro (N.-É.) (supérieur) 9 15
Total - Tribunaux traditionnels 336 479

Quasi-TUF
Emplacement du tribunal Dossiers examinés Activités en matière de dépôt
Vancouver (provincial) 100 143
Vancouver (supérieur) 122 141
Toronto - University 193 197
Toronto - Sheppard 134 246
Toronto - Jarvis 98 143
Total - Quasi-TUF 647 871
Total 1 435 1 973

3.2.4. Caractéristiques des dossiers de l'échantillon des TUF et de l'échantillon de comparaison

L'information contenue dans les dossiers des parties ayant eu recours au système de justice familiale à chacun des sites choisis a constitué une source importante de données. Les tableaux et figures qui suivent donnent un aperçu des caractéristiques de ces dossiers ainsi que de l'information sur leur complexité générale. Les données sont présentées pour chacun des échantillons - TUF, tribunaux traditionnels et quasi-TUF.

Le tableau 3-2 montre que la plupart des dossiers retenus pour l'évaluation portaient sur des questions relatives à la pension alimentaire pour enfants et à la garde et qu'il y a de légères différences entre l'échantillon des TUF et l'échantillon des tribunaux traditionnels pour ce qui est de la proportion de ce type de dossiers. Dans le cas de l'échantillon des quasi-TUF, la proportion de dossiers concernant la garde était semblable, mais la proportion de demandes relatives à la pension alimentaire pour enfants était plus grande. La proportion d'affaires concernant l'accès était semblable dans l'échantillon des TUF et dans celui des tribunaux traditionnels, mais plus petite dans le cas des quasi-TUF. L'échantillon des TUF (39,9 %) comportait plus de dossiers de divorce que l'échantillon des tribunaux traditionnels (26,9 %) et que l'échantillon des quasi-TUF (34,7 %). De plus, les TUF étaient saisis d'autres questions relevant de la compétence exclusive de la cour supérieure (c.-à-d. les biens) plus souvent que les tribunaux traditionnels et les quasi-TUF. Par ailleurs, certaines affaires exigeaient toujours la participation des services de protection de l'enfance, même si elles n'étaient plus considérées comme des affaires concernant la protection de l'enfance proprement dite. Ce n'est que dans une petite proportion des dossiers des trois types de tribunaux que des représentants des services de protection de l'enfance sont intervenus19, et les quasi-TUF se sont occupés le plus souvent d'affaires dans lesquelles une demande d'ordonnance de non-communication ou de non-renvoi d'un enfant était justifiée. Ces deux derniers types d'affaires sont habituellement réglés en cour, par un juge.

Tableau 3-2 : Questions en litige par type de tribunal (% des dépôts)
Question en litige TUF (n=624) Tribunal traditionnel * - provincial (n=301) Tribunal traditionnel - supérieur (n=178) Tribunal traditionnel - moyenne (n=479) Quasi-TUF - provincial (n=533) Quasi-TUF - supérieur (n=337) Quasi-TUF -moyenne (n=870)
Pension alimentaire pour enfants 51,0 % 59,5 % 30,3 % 48,6 % 59,1 % 17,5 % 57,0 %
Garde 47,4 % 67,8 % 28,1 % 53,0 % 63,8 % 21,1 % 47,2 %
Divorce 39,9 % s.o. 72,5 % 26,9 % s.o. 89,6 % 34,7 %
Accès 34,8 % 44,9 % 22,5 % 36,5 % 33,2 % 15,1 % 26,2 %
Biens 24,8 % 2,3 % 37,6 % 15,4 % 0,4 % 9,8 % 4,0 %
Pension alimentaire pour conjoint 20,4 % 7,3 % 27,5 % 14,8 % 15,6 % 8,6 % 12,9 %
Ordonnance de non- communication et protection en cas de non-renvoi 10,1 % 11,3 % 6,2 % 9,4 % 27,2 % 5,6 % 18,9 %
Participation des services d'aide à l'enfance 2,6 % 4,0 % 0,6 % 2,7 % 3,6 % 0,0 % 2,2 %

Source : Examen des dossiers

En ce qui concerne les caractéristiques des dossiers dans l'ensemble, il y avait un plus grand nombre de questions en litige en moyenne par dossier dans les dossiers des TUF (2,35) que dans ceux des tribunaux traditionnels (2,14) et des quasi-TUF (2,00)20.

Les parties ne sont pas toujours représentées par avocat dans les affaires familiales. L'examen des dossiers révèle qu'aucune des parties n'était représentée par avocat dans près de la moitié des cas (44,1 %) et qu'une seule partie avait un avocat dans 30,6 % des cas (voir la figure 3-1). La proportion des parties représentées par avocat devant les TUF était plus grande que devant les autres tribunaux21.

Figure 3-1 : Représentation des parties par avocat Figure 3-1 : Représentation des parties par avocat

[ Description ]

Source : Examen des dossiers

Il fallait contrôler les différences concernant les caractéristiques de l'échantillon dans l'analyse des résultats car le type et le nombre de questions par demande pouvaient avoir des incidences sur les résultats. En outre, on a constaté que la représentation par avocat a aussi une incidence sur le règlement. Des variables influant sur les résultats en ce qui a trait à la période de temps nécessaire pour régler une affaire et au règlement moins conflictuel ont aussi été contrôlées au moyen de techniques de régression.

3.3. Étendue des travaux

L'Évaluation sommative des tribunaux unifiés de la famille repose sur différentes sources de données qualitatives et quantitatives. Les travaux effectués aux fins de cette évaluation sont décrits brièvement dans le reste de la présente section22.

3.3.1. Examen de documents

Des documents ont été examinés afin d'obtenir des renseignements généraux sur le modèle de TUF et sur ses répercussions. Outre les documents décrivant le modèle de TUF, comme le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) des TUF, des documents concernant chacun des TUF choisis pour l'évaluation ont été passés en revue. Des documents et des rapports de recherche ont été examinés afin de connaître les problèmes auxquels les familles vivant une séparation ou un divorce sont confrontées, les tendances récentes concernant les familles canadiennes et les mécanismes de justice familiale utilisés dans d'autres administrations.

3.3.2. Établissement de listes

Une liste des services disponibles et des caractéristiques du site a été dressée pour chacun des tribunaux de la famille au Canada à l'aide de sources secondaires (p. ex. le site Web du répertoire du ministère de la Justice, les sites Web provinciaux et territoriaux), ainsi que d'entrevues téléphoniques avec des représentants provinciaux et territoriaux et des individus de chaque endroit. Cette liste a ensuite servi à sélectionner les sites qui ont été proposés à l'origine aux fins de l'évaluation.

3.3.3. Examen des dossiers

L'examen des dossiers a été effectué à l'aide d'une feuille de suivi destinée à recueillir des renseignements sur différents résultats, à connaître les caractéristiques des règlements et à estimer les effets nets. Au total, 1 435 dossiers ont été examinés manuellement, à l'emplacement des tribunaux participants. Chaque activité en matière de dépôt qui a entraîné une nouvelle série de faits a été examinée séparément (n=1 973), notamment les requêtes, les demandes de modification et les nouvelles demandes qui ont soulevé de nouvelles questions qui n'étaient pas abordées dans la demande originale ou dans la réponse.

3.3.4. Entrevues avec des informateurs clés

Des entrevues avec des informateurs clés ont permis d'obtenir des points de vue concernant le concept des TUF, les activités et les procédures des TUF et les difficultés pouvant influer sur les résultats de l'examen des dossiers et de l'évaluation.

Le tableau 3-3 donne des détails sur les entrevues menées avec des informateurs clés.

Tableau 3-3 : Entrevues avec des informateurs clés
Groupe d'informateurs clés Nombre d'entrevues
Fonctionnaires fédéraux 2
Fonctionnaires provinciaux et territoriaux 9
Juges 30*
Représentants de la justice familiale
  • Greffes
  • Services de justice familiale
  • Autres
 12
Total 53

[*] Inclut deux entrevues auxquelles plusieurs juges ont participé en même temps.

Outre ces entrevues, il y a eu des discussions informelles avec des fonctionnaires provinciaux et territoriaux, l'étude étant totalement tributaire de la participation et de la coopération des provinces et des territoires.

3.4. Difficultés et limites de l'évaluation

Plusieurs difficultés ont été rencontrées au cours de l'évaluation. Elles sont décrites ci-dessous.

3.4.1. Sélection des sites et variabilité de la création des TUF

Les sites qui ont été finalement choisis sont différents de ceux qui avaient été proposés à l'origine. Le fait qu'ils ne satisfaisaient pas tous aux critères de sélection qui avaient été définis dans le rapport sur la conception a eu des incidences sur le respect du plan d'évaluation et sur la possibilité de vérifier la validité des hypothèses de recherche et a introduit des variables intermédiaires imprévues pouvant influer sur l'évaluation des résultats. En conséquence, en ce qui concerne l'analyse et la présentation des résultats globaux de l'échantillon des TUF visant à évaluer la réussite générale du modèle, des problèmes concernant des sites en particulier peuvent avoir atténué les effets nets potentiels, et les résultats (globaux) du modèle de TUF peuvent ne pas sembler très différents des résultats du modèle traditionnel. Pour mieux comprendre les effets potentiels des variables intermédiaires sur les résultats globaux, des descriptions de tous les sites de TUF visés par l'analyse ont été rédigées et les résultats obtenus pour chaque site ont été comparés avec les résultats; par contre, aucun site particulier n'a été comparé avec un autre, ainsi qu'il avait été convenu avec les provinces participantes.

Dans l'ensemble, il a été très difficile d'estimer l'effet net du modèle et l'atteinte de ses objectifs initiaux parce que le modèle de TUF n'a pas été mis en oeuvre de la même façon à tous les endroits.

3.4.1. Difficulté à isoler les effets

Comme il a été exposé dans la section 2, les TUF existent maintenant dans un contexte de stratégies de justice familiale appuyées partout par des initiatives fédérales, provinciales et territoriales. Compte tenu de ces stratégies, la création de services de justice familiale et le soutien de ceux-ci sont liés aux TUF seulement sur le plan conceptuel, mais ils ne sont pas uniques aux TUF. Les TUF devraient fournir un minimum de services qui ne sont peut-être pas disponibles ou aussi étendus dans d'autres tribunaux, mais certains services sont offerts dans tous les sites, peu importe le modèle de tribunal, de sorte qu'il n'était pas possible d'attribuer à un modèle particulier les résultats associés à l'accès aux services de justice familiale et aux mécanismes de règlement des différends conformément au modèle logique.

3.4.3. Incapacité de faire des liens entre les dossiers judiciaires et les dossiers des services de justice familiale

Idéalement, l'examen des dossiers permettrait de connaître toute la gamme des mécanismes de règlement des différends et des services de soutien utilisés par les parties. Les mécanismes de règlement des différends associés aux tribunaux (les conférences de cas) étaient consignés dans les dossiers de tous les tribunaux. Cependant, comme l'étude de faisabilité l'indiquait et comme l'évaluation l'a confirmé, les dossiers des services de justice familiale sont tenus par des fournisseurs de services et non par le greffe (c.-à-d. qu'il n'y a pas de renvoi entre les numéros de dossier). Il est donc très difficile de faire des liens entre les activités judiciaires et non judiciaires dans un dossier donné. Il était question des services d'accueil et de renvoi vers d'autres services de justice familiale dans les dossiers tenus par un tribunal seulement. Ces services étaient consignés, que les parties se soient présentées devant le tribunal ou aient vu un juge ou non. L'absence de renvoi entre les dossiers des tribunaux et les dossiers des services de justice familiale qui a été mise en lumière par la présente évaluation sera analysée plus longuement dans la section 4.

Sauf à un endroit, l'information sur le degré d'utilisation de ces services trouvée dans les dossiers tenus par les greffes était très limitée et reflétait davantage les pratiques du greffe que l'utilisation réelle des services, de sorte que l'examen des dossiers n'a pas permis de répondre aux questions d'évaluation concernant l'utilisation des services de justice familiale et les mécanismes de règlement extrajudiciaire des différends.

3.4.4. Délais

Il a aussi été difficile de répondre aux questions d'évaluation concernant les délais de règlement. Dans la plupart des endroits, les systèmes de suivi ou de gestion des dossiers ne permettent généralement pas que le temps consacré par les parties aux audiences, aux procès ou à d'autres activités judiciaires soit consigné. Il n'a donc pas été possible de déterminer si le modèle de TUF a eu des répercussions sur le temps passé par les familles canadiennes devant le tribunal dans les cas de séparation ou de divorce. Les effets nets du modèle de TUF sur le temps passé devant le tribunal n'ont donc pas pu être déterminés.