Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée

3. Documents gouvernementaux (suite)

• 3.1 Documents portant sur la VIJ
• 3.2 Autres documents d'évaluation

• Page précédente |
• Table des matières |
• Next Page

---

3. Documents gouvernementaux (suite)

3.1 Documents portant sur la VIJ (suite)

Aperçu général

Comme le titre l'indique, l'auteur de l'ouvrage confirme qu'on manquait, en 1994, de matériel de VIJ destiné aux immigrantes victimes de mauvais traitements infligés par leur mari. Au moyen d'entrevues et par un examen des écrits, l'auteur démontre qu'on a besoin de documents de VIJ dans ce domaine et signale quelques défis importants dont il faudra tenir compte lorsque ces documents seront produits, s'ils le sont un jour. On peut considérer que l'ouvrage est une forme d'évaluation des besoins; dans cette perspective, l'auteur rappelle que pour procéder à une évaluation complète et efficace, il faut prévoir, dès le départ, un examen informatif et minutieux des besoins du groupe cible. Il faut d'abord comprendre les obstacles auxquels divers groupes font face lorsqu'ils tentent d'avoir accès à l'information juridique; cette démarche est essentielle si on veut évaluer de manière satisfaisante la prestation de cette information.

Défis relatifs à l'évaluation des initiatives de VIJ

Même si les organisations et les organismes qui dispensent des services aux immigrantes ou aux femmes victimes de mauvais traitements infligés par leur mari reconnaissent d'emblée qu'on a besoin de matériel fondamental de VIJ, ils soulignent encore plus fortement que ce matériel doit être approprié à la situation particulière de ces groupes cibles.

Parce qu'il s'agit d'une question complexe, il est très difficile de déterminer si on dispense des services qui tiennent compte des différences culturelles.

L'auteur déclare que [TRADUCTION] « les activités de VIJ ne sont pas utiles si on n'en retient pas les leçons » (p.13). C'est là une remarque importante que les évaluateurs doivent garder en mémoire puisque, dans l'enquête qui suit couramment la prestation du programme, on ne tient pas compte de ce qui a été assimilé. Ainsi, si l'évaluation est reportée, il se peut qu'on perde de l'information essentielle (qui porte, par exemple, sur le caractère approprié de l'endroit et du moment où le programme est dispensé), mais il sera impossible d'examiner immédiatement d'autres données. Selon l'objet de l'évaluation, il peut donc être pertinent de prévoir une entrevue et de procéder à un suivi après un, six ou douze mois.

Exigences du bailleur de fonds au chapitre de l'évaluation

Il faut mettre en balance l'objectivé de l'évaluation menée par le bailleur de fonds et la rétroaction précieuse que peuvent offrir les groupes communautaires au sujet de l'efficacité du matériel de VIJ. Tout comme il est crucial de bien saisir les circonstances en cause à l'étape de l'examen des besoins, il faut aussi que l'évaluation soit adaptée aux caractéristiques culturelles, sociales et politiques du groupe cible.

Méthodes relatives à l'évaluation

Dans ce domaine, le matériel de VIJ a été mis à l'essai sur le terrain en collaboration avec les collectivités pertinentes de la province.

Moliner, M.  (1997).  Public legal education and information review: Tools for moving forward (Examen de la vulgarisation et de l'information juridiques : outils pour aller de l'avant).  Direction générale des programmes, ministère de la Justice du Canada.

Aperçu général

Cet examen est la plus récente évaluation de la participation du ministère de la Justice (« MJ ») aux programmes de VIJ. L'auteur fait valoir de multiples raisons pour lesquelles le MJ devrait continuer à prendre part aux initiatives de VIJ; il laisse également entendre que Justice Canada devrait préciser le rôle qu'il entend jouer dans la prestation des services, ce qui pourrait être accompli en ne produisant plus de matériel de VIJ et en faisant la distinction entre les « communications » ministérielles et la VIJ. Après avoir étudié la prestation des services de VIJ dans tout le Canada et consulté nombre de fournisseurs, le comité consultatif propose que le MJ arrête des critères applicables au financement des activités de VIJ et présente une stratégie de financement pluriannuelle ainsi qu'une infrastructure de financement qui viserait un ONG national, comme l'ACVÉJ. L'auteur recommande également de cibler le financement et les initiatives en matière de politiques en vue de combler les lacunes existantes (qu'il s'agisse des groupes auxquels on s'adresse ou des sujets touchés) et soutient que le MJ devrait jouer un rôle de chef de file en veillant à ce que cette « démarche ciblée » soit adoptée par les principaux fournisseurs de services de VIJ. Pour ce qui est de l'évaluation des initiatives de VIJ comme telle, l'auteur rappelle [TRADUCTION] « qu'il est nécessaire d'évaluer la prestation des programmes de VIJ si on veut garantir qu'on atteint les résultats voulus » et que le MJ devrait  [TRADUCTION] « soutenir la création d'un outil d'évaluation pour déterminer si les initiatives de VIJ ont les répercussions souhaitées ».  Il affirme en outre que tout cadre d'évaluation devrait correspondre à la démarche ciblée qui s'applique au financement et aux questions de politiques, à savoir, l'analyse [TRADUCTION] « des besoins, des lacunes et des priorités ». L'évaluation, dans ce cas, est considérée comme une responsabilité partagée entre le bailleur de fonds et les principaux fournisseurs de services de VIJ. Par conséquent, le rôle du MJ et d'autres bailleurs de fonds est de définir les objectifs de l'évaluation tandis qu'il incombe au fournisseur de présenter une évaluation pertinente. La seule recommandation qui ait trait à l'évaluation se trouve à la « Proposition 7 » : [TRADUCTION] Justice Canada devrait exiger qu'on procède à l'évaluation des groupes visés par les initiatives de VIJ qu'il finance et qu'on examine les répercussions qui découlent de ces initiatives. 

Défis relatifs à l'évaluation des initiatives de VIJ

• Des difficultés sont soulevées lorsque l'objet de l'évaluation n'est pas clairement défini et, plus précisément, lorsqu'on n'indique pas quels motifs/programmes/tendances sont à la base de l'évaluation.
• De nombreux fournisseurs estiment qu'il est trop difficile et trop coûteux de mesurer les répercussions des services qu'ils offrent.
• En grande partie, la valeur du travail effectué au chapitre de la VIJ n'est pas mesurée et, par conséquent, on hésite de plus en plus à financer les programmes.
• En raison de la complexité du contexte relatif à la VIJ, nombre de questions cruciales restent sans réponse :
  1. En fonction de quelle norme (interne ou universelle) évalue-t-on l'initiative de VIJ ?
  2. Dans une évaluation, qu'est-ce qui est mis en cause ? Est-ce la VIJ comme telle, une démarche particulière ou une activité donnée ?
  3. Comment procéder à une comparaison pertinente lorsque les groupes cibles et les activités varient grandement ?
  4. Comment évaluer les répercussions de chaque effort ou activité ?
  5. Comment évaluer l'évaluation, c'est-à-dire comment savoir si les résultats ne sont pas prédéterminés selon que l'évaluateur accorde une plus grande « valeur » à la rentabilité ou qu'il souhaite, par exemple, avoir joint un petit groupe de personnes défavorisées à de nombreux points de vue ?

Liens entre les buts et l'évaluation des initiatives de VIJ

• Les organisations de VIJ comprennent que l'évaluation doit être liée aux buts et aux objectifs, et elles insistent régulièrement pour qu'il en soit ainsi.
• Les objectifs qu'on cite pour déterminer si un programme de VIJ atteint les résultats voulus sont tirés d'un rapport de 1979 du Law and the Layman Committee (Comité sur le droit et le profane). Même s'ils sont indubitablement importants, ces critères sont plutôt simplistes et nous orientent peu pour ce qui est de savoir comment on doit mener une évaluation.

Exigences du bailleur de fonds au chapitre de l'évaluation

• On s'inquiète de ce que l'évaluation qui est menée en fonction des exigences du bailleur de fonds soit mal interprétée et entraîne de mauvaises décisions au chapitre du financement.
• Il y a une autre inquiétude permanente, et c'est que [TRADUCTION] « la réputation des programmes de VIJ du ministère de la Justice continue de souffrir si celui-ci n'arrive pas à démontrer que les services qu'il finance sont efficaces et rentables » (p. 39).
• Dans le cadre d'un examen des programmes entrepris par la Law Foundation of Alberta, on a réduit de 40 % le financement de programmes comme ceux dispensés par les organisations intermédiaires de VIJ. On a donc raison de craindre que l'évaluation entraîne une réduction du financement.
• Même si on conçoit des méthodes pour évaluer les initiatives de VIJ, il est difficile d'attribuer une valeur monétaire aux divers succès ou insuffisances.

Méthodes relatives à l'évaluation

• Au chapitre des méthodes d'évaluation approximatives, on a discuté de ce qui suit : la collecte de commentaires anecdotiques, le dénombrement des participants, la présentation de formulaires d'évaluation, le recours à des spécialistes pour obtenir leur avis, la mise à l'essai sur le terrain et la comparaison des différents programmes de VIJ afin de tirer profit de l'expérience des collègues.
• Un fournisseur de services de VIJ a proposé de recourir à une [TRADUCTION] « conception expérimentale pré-testage qui permettrait de mesurer la modification des attitudes, l'acquisition des connaissances, etc. » (p. 42).
• On a aussi proposé d'observer les participants (par exemple, à la cour des petites créances) pour déterminer si leur aptitude à l'autonomie est accrue.
• Voici d'autres méthodes dont on a discuté lors de la conférence électronique :
  1. Évaluation qualitative – commentaires anecdotiques, groupes de concertation, mise à l'essai sur le terrain;
  2. Évaluation formative – participation du client dès le début du processus, groupes de concertation formés des groupes cibles, mise à l'essai sur le terrain;
  3. Révision par les pairs – activités précises ou commentaires informels et spontanés
• Les organisations nationales et provinciales de VIJ peuvent faciliter l'application des méthodes et on reconnaît généralement que les expériences devraient être partagées davantage.
• En raison du manque de ressources, il n'est pas pratique de procéder à une étude longitudinale et on connaît mal d'autres types d'interactions ou de démarches. Toutefois, d'après les commentaires reçus, il semble que ces méthodes moins officielles soient avantageuses, mais il faut qu'elles soient mises en rapport d'une manière quelconque afin de noter les changements et d'intégrer les transformations plus efficacement.
• Le rapport n'indique pas que les fournisseurs de services de VIJ souhaitent que les évaluations officielles soient remplacées par d'autres modes d'évaluation et d'autres analyses des répercussions.

Documents utiles à l'évaluation des initiatives de VIJ

On a proposé d'avoir recours à une méthode qui prévoit les buts suivants :

1. Déterminer quels besoins sont satisfaits par les principaux fournisseurs de services de VIJ. Plus précisément, il faut répondre aux questions suivantes :
   1. Quel groupe touche-t-on ?
   2. Comment est-on arrivé à le joindre ?
   3. A-t-il compris l'information communiquée ?
   4. A-t-il pu agir efficacement en utilisant l'information juridique qui lui a été donnée ?
2. Déterminer quelles sont les lacunes au chapitre de la prestation des services de VIJ :
   1. Qui ne joint-on pas et pourquoi ?

On s'attend à ce que ce type d'évaluation aide à définir les priorités parce qu'il permettrait de déterminer les groupes qui ont les besoins les plus pressants et qui ne sont pas servis de manière satisfaisante par les programmes existants.

Public legal education and information: An evaluation assessment (Vulgarisation et information juridiques : examen de l'évaluation).  (1986).  Section de l'évaluation des programmes, ministère de la Justice du Canada.

Aperçu général

Dans ce document, on examine l'état actuel des services de VIJ fournis et financés par le Ministère et on détermine si on devait mener une évaluation complète de ces services. L'évaluation porte sur le niveau de soutien assuré par le Ministère aux autres fournisseurs de services de VIJ et son application est donc quelque peu limitée lorsqu'il s'agit d'organisations indépendantes de VIJ qui procèdent à une autoévaluation. Parce qu'il y a un lien direct entre l'utilité de l'évaluation et la précision des définitions, une partie du texte est consacrée à définir les termes « vulgarisation », « information » et « juridique ». On trouvera, dans la section suivante, un profil du programme de VIJ du Ministère, qui concerne la période antérieure et postérieure à 1984, et un exposé des diverses initiatives. On fait remarquer qu'il y a clairement un manque d'orientation politique dans ce domaine. L'auteur divise en deux parties les principaux sujets qui ont trait à l'évaluation et à la méthodologie : i) gestion des programmes (où il souligne les défauts au chapitre de la conception et de la mise en œuvre) et ii) répercussions et efficacité des activités. Une série de questions accompagne chaque « sujet ».

Sous la rubrique « gestion des programmes », les questions sont formulées en vue de perfectionner et de cibler le programme et la manière dont les décisions sont prises au chapitre du financement. Dans la deuxième rubrique, les questions sont plus directement pertinentes aux organisations de VIJ ou aux bailleurs de fonds qui se préoccupent de responsabilisation. Bien que les questions soient générales, elles peuvent servir à orienter l'élaboration de critères et de méthodes qui concernent l'évaluation. Toutefois, l'examen n'est pas applicable à l'évaluation de tous les fournisseurs d'initiatives de VIJ. Ainsi, il est logique de supposer qu'une organisation de VIJ souhaiterait obtenir des réponses qui lui permettraient de mesurer l'efficacité d'un programme destiné à un groupe cible particulier. Pourtant, dans cette étude, on estime qu'il est [TRADUCTION] « impossible d'évaluer dans quelle mesure les intéressés comprennent l'information communiquée ».

En bref, la distinction qui est faite dans cette étude entre « gestion des programmes » et « répercussions et efficacité des activités » peut toujours être utile au Ministère lorsqu'il considère son rôle au chapitre de la VIJ. À part cela, le document ne répond pas aux besoins pratiques des fournisseurs de services de VIJ parce que l'examen vise à mesurer le risque que court le Ministère lorsqu'il prend une décision au sujet des programmes de VIJ qu'il dispense (c'est-à-dire en fonction des résultats d'une évaluation complète ou sans considérer ces résultats). Ainsi, lorsque les buts et les objectifs d'une évaluation ont trait, globalement, à l'utilisation efficace des ressources pour les fins du Ministère, les questions soulevées sont toujours applicables; cependant, pour ce qui est du contrôle continu et de l'évaluation d'un programme précis, elles ne sont pas essentielles. Enfin, les coûts associés à une évaluationcomplète comme celle qui est décrite dans le document sont beaucoup plus élevés que ce que pourrait dépenser, de façon réaliste, une organisation de VIJ, même aupalier provincial. Parconséquent, le seul partenaire qui puisse tirer avantage de l'information fournie serait le ministère de la Justice, lorsqu'il cherche à évaluer son rôle dans le contexte des services de VIJ offerts au Canada.

Méthodes relatives à l'évaluation

• Entrevues avec des représentants du ministère de la Justice
• Examen de matériel de VIJ par des spécialistes
• Examen de la documentation
• Examen du projet
• Enquêtes (par exemple, auprès des promoteurs de services de VIJ, des porte-parole d'autres programmes de VIJ, etc.)
• Utilisation de l'information tirée d'autres évaluations

Documents utiles à l'évaluation des initiatives de VIJ

Dans la section sur les répercussions et l'efficacité des activités, on trouve entre autres les questions suivantes :

• Dans le cadre du projet de VIJ financé par le Ministère, a-t-on produit l'effet voulu, à savoir, a-t-on fourni au grand public ou au groupe cible l'information qui répond à ses besoins ?
• L'accès à des services de VIJ a-t-il permis au grand public ou au groupe cible d'accroître ses connaissances juridiques et de mieux comprendre le droit ?
• Le programme de VIJ a-t-il permis de modifier l'attitude du grand public ou du groupe cible pour ce qui est du droit et du système juridique ?
• Le Ministère a-t-il favorisé l'élaboration de méthodes et de techniques nouvelles applicables à la prestation de services de VIJ ?

3.2  Autres documents d'évaluation

Le ministère de la Justice a mené de nombreuses évaluations des projets de VIJ qu'il a financés. Au cours des dernières années, ces évaluations ont été moins fréquentes, mais le rapport ci-dessous est un bon exemple d'un examen gouvernemental des répercussions.

Ellis, P.  (1995). Les programmes éducatifs visant à modifier les connaissances, les attitudes et le comportement des jeunes. Direction générale de la recherche, de la statistique et de l'évaluation, ministère de la Justice du Canada. 

On trouve dans l'ouvrage un bon examen des documents pertinents ainsi qu'une discussion valable qui porte sur la modification des attitudes réalisée grâce à diverses initiatives (programmes scolaires ou extrascolaires et programmes d'éducation permanente, par exemple) et sur la modification des attitudes en général. L'auteur examine 8 composantes qui peuvent modifier les comportements et passe en revue 46 documents dans lesquels on étudie la modification des attitudes au moyen de procédés éducatifs.

---

• Page précédente |
• Table des matières |
• Next Page