Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée

• 3. Documents gouvernementaux
  • 3.1 Documents portant sur la VIJ

• Page précédente |
• Table des matières |
• Next Page

---

3. Documents gouvernementaux

3.1  Documents portant sur la VIJ

Un certain nombre de documents examinés dans la présente section ont été publiés avant la période de cinq ans précisée dans les objectifs de la bibliographie. En effet, nous avons inclus ces textes quand nous estimions qu'ils étaient pertinents aux contextes actuels en matière d'évaluation. D'autres documents, comme l'examen mené en 1986, figurent aux présentes parce qu'ils donnent une perspective historique de la recherche menée par le ministère de la Justice (et pour son compte). Le présent rapport peut être comparé à l'évaluation complète la plus récente, qui date de 1997, et qui est intitulée Tools for moving forward (Outils pour aller de l'avant).

Abdelahad, L., Sansfacon, D. et Beaulne, A.  (1989).  Access to justice: research reports on PLEI, research notes (Accès à la justice : rapports de recherche et notes en matière de VIJ).  Sous-direction de la recherche et du développement, ministère de la Justice du Canada. 

Aperçu général

Dans cette compilation de « notes », on résume douze rapports de recherche reliés à la VIJ et rédigés en 1986-1987, dans le cadre de la série « Accès à la justice » du ministère de la Justice. Même si les précis ne nous éclairent pas pour ce qui est d'évaluer les initiatives de VIJ comme telles, quatre résumés peuvent être utiles pour élaborer un cadre de référence. En 1984, le ministère de la Justice a créé le « Fonds d'accès à l'information juridique » et mis sur pied une stratégie dans le but de financer de nouvelles organisations de VIJ dans six provinces et territoires. Le financement a été accordé pour une période de trois ans et, vers la fin de cette période, on a lancé un appel d'offres en vue d'évaluer ces programmes. Les services de deux sociétés de consultation externes ont été retenus pour évaluer trois des six programmes (offerts au Manitoba, au Yukon et à Terre-Neuve) et le rapport de ces sociétés est annoté dans le présent ouvrage.

• R. Hikel, C. Meredith, C. Wihak, A. Woods (ABT Associates of Canada) (1986) : Evaluation of the Community Legal Education Association [Manitoba] (Évaluation de l'Association d'éducation juridique communautaire du Manitoba), ministère de la Justice, Ottawa.
• R. Hikel, C. Meredith, C. Wihak, A. Woods (ABT Associates of Canada) (1987) : Evaluation of the Yukon Public Legal Education Association (Évaluation de l'Association de vulgarisation juridique du Yukon), ministère de la Justice, Ottawa.
• D.H. Access Research Associates Inc. (1987) : Evaluation of the Public Legal Information Association of Newfoundland (Évaluation de l'Association d'information juridique de Terre-Neuve), ministère de la Justice, Ottawa.

L'autre résumé de cette collection qui est particulièrement pertinent à l'évaluation des initiatives de VIJ figure au manuel de référence créé par Focus Consultants suite à la proposition annotée ci-dessous.

• Currie, Janet et Roberts, Tim (1986) : An Evaluation Resource Book for Public Legal Education and Information Organizations (Manuel de référence portant sur l'évaluation et destiné aux organisations d'information et de vulgarisation juridiques), ministère de la Justice, Ottawa. [Voir section 4.2]

Alderson-Gill and Associates.  (1995).  Public legal education and information program: A new vision for PLEI (Programme d'information et de vulgarisation juridiques : nouvelle vision pour la VIJ). Ministère de la Justice du Canada. 

Aperçu général

Dans ce document, on expose à grands traits le rôle que le ministère de la Justice pourrait jouer au sein du réseau actuel de la VIJ et on signale que le développement devrait être plus poussé dans trois domaines précis : i) la création de partenariats; ii) l'utilisation accrue du Réseau d'accès à la justice (ACJNet); et iii) la concentration des efforts sur l'éducation. Cette nouvelle « vision » a été créée dans le but de tenir compte de ressources limitées tout en maximalisant les avantages des activités de VIJ sur le plan national. Pour chaque domaine signalé dans le rapport, on indique comment le Ministère peut mettre en œuvre les diverses composantes de l'évaluation. De plus, on reconnaît explicitement qu'il est rentable, pour tous les intéressés qui participent à la VIJ, de jouer un rôle de chef de file au chapitre de la recherche spécialisée et de l'évaluation. Aux termes du mandat voulant qu'on crée des partenariats, le Ministère peut aider les fournisseurs de services de VIJ à travailler en réseau. Grâce à un service de coordination centralisé, les fournisseurs peuvent être sûrs qu'ils ne reprennent pas inutilement ce qui a déjà été fait. On encourage ainsi le partage de l'information et la démarche devrait, en fin de compte, entraîner des améliorations supplémentaires pour la VIJ. Pour ce qui est du rôle du Ministère, on donne certains exemples, dont stimuler le recours à un réseau national d'organisations, créer un processus consultatif national applicable à la VIJ, maintenir un réseau de télécommunications à jour et coordonner des stratégies à l'échelle nationale. Le recours à l'ACJNet peut faciliter la plus grande partie de ce travail, et c'est le deuxième domaine principal sur lequel les auteurs recommandent de s'attarder. Dans le rapport, on s'attend clairement à ce qu'il y ait un lien entre l'évaluation et le fait de mettre l'accent sur l'éducation. En concentrant ses efforts sur ce domaine, le Ministère permettra d'accroître les connaissances sur l'efficacité relative de différentes démarches en matière d'éducation juridique parce qu'il apportera une contribution, au chapitre de la recherche et de l'évaluation, que les administrations individuelles n'ont pas les moyens de financer d'une manière systématique. Comme on reconnaît communément qu'il existe un besoin en matière de recherche et d'évaluation, le Ministère a un rôle à jouer : il doit faire preuve de leadership et coordonner les partenariats dans ce domaine.

Exigences du bailleur de fonds au chapitre de l'évaluation

• Les auteurs déclarent que, en raison du manque de ressources, le bailleur de fonds veut surtout savoir si les services de VIJ ont des répercussions; ils affirment que [TRADUCTION] « dans le cas des programmes de VIJ ciblés, il est relativement facile de déterminer les répercussions; cela est moins aisé lorsque l'activité consiste à distribuer à la population des brochures ou des livrets de VIJ » (p. 13).
• Le bailleur de fonds qui se concentre sur les données quantitatives, à savoir, combien de brochures ont été distribuées, ne tient pas compte du caractère actif de la VIJ, c'est-à-dire que la diffusion du matériel [TRADUCTION] « comprend la responsabilité de garantir que les destinataires reçoivent l'information, l'assimilent et prennent les mesures appropriées ».

Méthodes relatives à l'évaluation

• Lorsque, par exemple, la VIJ porte sur l'emploi d'un langage clair et simple dans la législation, il est nécessaire de procéder à des essais auprès des consommateurs et des groupes clients pour déterminer s'ils comprennent les termes utilisés et perçoivent les répercussions du changement.
• On préconise le recours à l'ACJNet pour faciliter les consultations permanentes, officielles ou non, qui portent sur les programmes et le matériel.

Currie, J. et Roberts, T.  (1984).  An evaluation resource book for PLEI organizations : A proposal (Manuel de référence portant sur l'évaluation et destiné aux organisations de VIJ : proposition). Ministère de la Justice du Canada.

Aperçu général

Dans cet ouvrage, on propose de produire un manuel de référence portant sur l'évaluation qui serait destiné aux organisations de VIJ. Le Conseil canadien de la documentation juridique (« CCDJ »), c'est-à-dire le bureau central des services de VIJ au Canada au moment où la recherche a été menée, a donné ce projet en sous-traitance au groupe Focus Consultants. Dans l'article, on discute d'un certain nombre de défis fondamentaux et de problèmes précis qui compliquent l'évaluation des initiatives de VIJ. Bien que la plupart des groupes avec lesquels on a communiqué procédaient à un examen d'un genre ou d'un autre, on s'entendait pour dire que les évaluations qui existent à l'heure actuelle sont inefficaces, incomplètes et mal utilisées pour les fins souhaitées. En faisant valoir les avantages d'un manuel de référence canadien, les auteurs font remarquer ce qui suit : [TRADUCTION] « bien qu'on produise beaucoup de matériel d'évaluation pour les services sociaux et les organisations à caractère éducatif, nous en avons trouvé très peu qui a trait précisément à la VIJ. La VIJ intègre certains aspects des services sociaux et des programmes éducatifs, mais elle est unique en ce qu'elle porte sur le droit et fait intervenir des juristes » (p. 23). De plus, les fournisseurs de services de VIJ interrogés ont indiqué qu'ils manquaient, dans leurs organisations, d'un certain nombre de compétences au chapitre de l'évaluation. Tous estimaient que le manuel de référence proposé serait extrêmement utile, surtout parce qu'il garantirait que le gouvernement, d'autres bailleurs de fonds et les organisations de VIJ voient les choses d'un même œil. La plupart des problèmes signalés dans le rapport peuvent être réglés si on confie le matériel pertinent à un organisme central (comme l'ACVEJ ou une direction du ministère de la Justice) et que cet organisme se charge d'élaborer les critères applicables. Nombre d'obstacles sont attribuables au fait que la définition et les objectifs du projet, et de l'évaluation elle-même, ne sont pas clairs. En prévoyant des lignes directrices et en fournissant les compétences ou les méthodes requises pour procéder à l'examen, on pourrait alléger quelque peu le fardeau de l'évaluateur. Les défis et obstacles énumérés dans ce rapport sont toujours pertinents à l'évaluation des initiatives de VIJ. Conjointement avec le manuel de référence rédigé par les mêmes auteurs en 1986, l'ouvrage a toujours une grande portée et on devrait s'en inspirer lorsqu'on élabore du matériel qui a trait à l'évaluation et à l'information.

Défis relatifs à l'évaluation des initiatives de VIJ

Facteurs contextuels

• Les conclusions de cette recherche approfondie ont révélé un certain nombre de facteurs contextuels qui constituent des obstacles importants à l'évaluation des initiatives de VIJ. Citons par exemple :
  1. Le manque d'expérience et de connaissances spécialisées.
  2. Une diversité de structures et de modes de prestation au chapitre des programmes. Souvent, parce que les programmes sont définis différemment ou qu'ils visent des buts distincts, ils n'ont pas la même présentation ou s'adressent à un autre groupe cible. Ainsi, le programme qui encourage l'acquisition de connaissances devrait être évalué différemment de celui qui vise à modifier les attitudes. De la même façon, certains services ont tendance à être orientés sur le nombre de dossiers et on cherche donc à atteindre le plus grand nombre de résultats possible, tandis que d'autres ont des objectifs plus larges et favorisent l'habilitation, l'égalité et la participation démocratique. Encore une fois, il est nécessaire de comprendre ces objectifs avant de procéder à l'évaluation du programme.
  3. Le bailleur de fonds et le fournisseur de services ont des intérêts et des buts distincts, ce qui entraîne des modes d'évaluation différents (une évaluation qualitative par rapport à une évaluation quantitative).
  4. Les avocats rechignent à obtenir une rétroaction au sujet de leurs services ou sont incapables de le faire.
  5. Pour des raisons idéologiques, on s'oppose à renforcer les obstacles entre les participants et les « enseignants » dont l'opinion fait autorité.
  6. Au chapitre des considérations pratiques, citons : la confidentialité de l'information et le manque de fonds.
     1. En règle générale, il y a un manque de fonds dans tout le système (évaluation = réduction du nombre de programmes).
     2. Les organisations manquent de fonds : la priorité principale n'est pas d'affecter des ressources à l'évaluation.
     3. Aucun bailleur de fonds n'accorde le financement nécessaire à soutenir une évaluation détaillée.
  7. L'effet cumulatif de ces obstacles contextuels est le suivant : l'évaluation est considérée comme [TRADUCTION] « trop difficile, trop pénible et exige trop de temps ».

Problèmes relevés

• Les facteurs contextuels sont souvent difficiles à modifier
• Évaluations internes :
  1. Au sein des organisations, le personnel et les avocats n'ont pas les compétences spécialisées requises pour procéder à l'évaluation.
  2. Manque d'objectivité.
  3. Les organisations de VIJ n'échangent pas suffisamment l'information.
  4. On procède à une évaluation purement quantitative pour satisfaire les exigences du bailleur de fonds.
  5. Les questionnaires et les enquêtes ne sont pas suffisamment critiques ni approfondis pour accroître l'efficacité des programmes.
  6. Les buts et les objectifs ne sont pas clairement exprimés.
• Évaluations externes :
  1. On n'a pas suffisamment de contrôle sur le type d'évaluation qui est menée ni sur la teneur du processus.
  2. On ne s'engage pas assez à mettre les observations en pratique une fois qu'on a recueilli les statistiques.
  3. Le bailleur de fonds et l'évaluateur externe n'acceptent pas d'être responsables du programme.
  4. Les buts et les objectifs ne sont pas clairement exprimés (les sujets interrogés ont indiqué que les buts étaient souvent trop élevés ou peu réalistes, et qu'on ne pouvait donc procéder à une évaluation positive).

Méthodes relatives à l'évaluation

Dans le rapport, on discute des évaluations externes et professionnelles; même si elles peuvent être très avantageuses dans certains cas, elles ne peuvent être la principale méthode d'évaluation continue des initiatives de VIJ.

Au chapitre des méthodes informelles dont on a discuté, citons la révision par les pairs, la formation de groupes de réflexion composés du personnel et la mise en place de réseaux communautaires qui font intervenir des organismes (de VIJ ou non) dont la clientèle ou les intérêts sont analogues.

Godin, J.  (1994). Au-delà de l'aspect criminel : rapport sur la pénurie de documents de vulgarisation et d'information juridiques à l'intention des immigrantes maltraitées par leur mari. Section de la recherche, ministère de la Justice du Canada.

---

• Page précédente |
• Table des matières |
• Next Page