Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée

• 4. Rapports d'évaluation
  • 4.1 Évaluation des initiatives de VIJ

• Page précédente |
• Table des matières |
• Next Page

---

4.  Rapports d'évaluation

4.1  Évaluation des initiatives de VIJ

Les rapports annotés dans la présente section sont de véritables évaluations, à la fois internes et externes, de récentes initiatives de VIJ. On remarquera, dans la liste qui suit, que les organisations de VIJ qui procèdent à des évaluations approfondies adoptent, pour ce faire, une démarche méthodique et cohérente. Ces démarches, ainsi que la documentation et l'analyse qui figurent dans nombre de ces rapports, peuvent être appliquées à divers programmes de VIJ d'autres administrations.

Burtch, B. et Reid, K.  (1993). Discovering barriers to legal education: First-generation immigrants in greater Vancouver (Les obstacles à la vulgarisation juridique : première génération d'immigrants de la région métropolitaine de Vancouver) Vancouver : The People's Law School.

Aperçu général

Ce rapport d'évaluation a été produit pour la People's Law School (« PLS ») de Vancouver, en Colombie-Britannique. Les objectifs de cet examen étaient à trois volets : i) déterminer qui sont les utilisateurs des programmes de VIJ offerts par l'école; ii) définir les obstacles auxquels fait face la première génération d'immigrants lorsqu'il s'agit d'avoir accès à de l'information juridique, et indiquer comment la PLS peut surmonter ces obstacles; et iii) évaluer le rôle de la VIJ au chapitre de l'adaptation des immigrants. On se penche sur la principale méthode de prestation de services de VIJ offerte par l'école, à savoir, les cours de droit gratuits qui sont donnés dans le cadre du programme des minorités culturelles. On utilise des groupes témoins, c'est-à-dire que les participants sont divisés en deux groupes : ceux qui ont suivi les cours de droit de la PLS et ceux qui ne l'ont pas fait. L'étude vise à améliorer la prestation des services offerts par l'école et à fournir [TRADUCTION] « de l'information directement pertinente aux organismes de la C.-B. qui s'adressent aux immigrants, ainsi qu'aux personnes qui s'intéressent à  l'élaboration des politiques et à l'administration de la justice dans cette province ». La plus grande partie de ce rapport peut être utile à des organisations qui travaillent avec des immigrants de première génération, mais le manuel de l'enquêteur et le questionnaire peuvent être fort précieux pour une vaste gamme d'organisations de VIJ. En particulier, les « règles applicables à l'entrevue » contiennent des conseils simples qui permettent d'éliminer les préjugés lorsqu'on pose les questions et qu'on cherche à obtenir des réponses. Ces directives sont particulièrement pertinentes lorsqu'il y a de nombreux enquêteurs et que la cohérence du processus peut être menacée. De plus, les données de base et les questions sur les besoins juridiques peuvent facilement être adaptées à différents groupes et à d'autres sujets qui ont trait à l'information juridique.

Éléments communs

• Évaluation externe
• Quatre objectifs de l'étude sont clairement exprimés dans le document et sont liés aux conclusions
• Les recommandations comprennent un certain nombre de suggestions relatives à la poursuite de la recherche ou de l'examen

Défis relatifs à l'évaluation des initiatives de VIJ

• Les évaluateurs ont eu de la difficulté à produire un échantillon de population. Dans la plupart des cas, les gens se méfiaient de ce qui avait trait à la justice, souvent à cause de la répression politique dont ils avaient été victimes dans leur pays d'origine, ou croyaient que les données seraient utilisées à des fins gouvernementales. De plus, pour de nombreux participants, les questions étaient de nature personnelle et ils hésitaient à discuter, par exemple, de leur revenu et de leur opinion sur les politiques.

Méthodes relatives à l'évaluation

• L'étude a été menée à l'aide d'entrevues semi-structurées qui faisaient suite à un long questionnaire. Ce questionnaire était divisé en deux parties : 24 questions sur de l'information de base (caractéristiques personnelles) et 18 questions sur les besoins en matière d'information juridique.
• Les questionnaires, en cinq langues, ont fait l'objet d'examens préliminaires et ont été modifiés au besoin.
• Les intervieweurs ont été recrutés dans les cinq communautés ethniques visées par l'enquête. Ils étaient tous bilingues et on a cherché à faire en sorte qu'ils soient du même sexe que la personne interrogée. Ils ont participé à une séance de formation sur le questionnaire; enfin, on leur a remis un manuel qui comprenait des règles générales pour la conduite d'entrevues ainsi que de l'information particulière et des techniques de sondage pour la plupart des questions.
• On a eu recours à des scénarios fictifs pour évaluer les connaissances des personnes qui ont suivi des cours de droit gratuits, dans chacun des cinq groupes culturels.

Curtis, C. K. et Meehan, G.  (2001).  Courtlink auto crime prevention program: Evaluation report (Programme Courtlink de prévention des actes criminels commis à l'égard de véhicules). Vancouver : Law Courts Education Society of British Columbia.

Aperçu général

Ce programme d'une durée de treize heures, dispensé en Colombie-Britannique, a été conçu pour les élèves du second cycle de l'enseignement primaire et ceux des écoles parallèles; il a été élaboré par la Law Courts Education Society of B.C. Les buts de l'évaluation étaient à deux volets : préciser les réactions au programme ou les expériences pertinentes et déterminer dans quelle mesure le programme atteint les deux objectifs signalés, à savoir, accroître les connaissances et promouvoir des attitudes positives. On a utilisé différents outils d'évaluation pour mesurer ces deux objectifs. Le rapport fait état d'une compréhension extrêmement complète des méthodes d'évaluation et comprend une analyse détaillée des conclusions auxquelles on en arrive. À chaque étape, les auteurs expliquent pourquoi ils font certains choix et suggèrent des méthodes efficaces pour évaluer des initiatives de VIJ destinées à différents groupes. À l'instar d'autres évaluations externes officielles, on trouve, aux sections sur la méthodologie, de l'information utile pour mener des évaluations ultérieures. On explique en détail les mesures qu'on a prises pour élaborer la recherche relative à l'enquête et les outils de pré-testage/post-testage; ces mesures peuvent être adaptées à d'autres programmes d'enseignement. On trouve, en annexe, des questions qui ont trait à la recherche et divers outils d'évaluation qui seraient un bon point de départ pour tout programme de VIJ destiné aux écoles.

Éléments communs

• Évaluation externe
• L'évaluation fait partie intégrante du projet; elle est menée avant la prestation du programme, pendant qu'il se déroule et une fois qu'il a pris fin
• On indique clairement dans le rapport quels sont les buts de l'évaluation et du programme d'enseignement; les méthodes d'évaluation sont appliquées à différents buts.
• Dans l'une des recommandations, on suggère de procéder annuellement à un examen et à une mise à jour du matériel utilisé par les enseignants pour garantir qu'il reste actuel. C'est là une manière courante de surveiller l'évolution d'un projet sans avoir à subir les coûts considérables liés à l'embauche d'évaluateurs externes.

Défis relatifs à l'évaluation des initiatives VIJ

• Il est souvent souhaitable d'utiliser des questions ouvertes si on veut obtenir une réaction  émotionnelle, psychologique et intuitive; cependant, il est important que les fournisseurs de services de VIJ classent les réponses préférées ou celles qui sont « les plus souhaitables » afin de préciser les résultats voulus.
• Les limites imposées aux enquêtes de rétroaction peuvent encourager la cohérence des comptes rendus. Quelque part dans le questionnaire, il importe de fournir l'occasion de discuter des « facteurs » qui touchent l'administration du programme. Ainsi, il ne suffit pas de demander si une activité particulière a été utile ou efficace; il faut également savoir combien de temps a été consacré à cette activité ou si elle était appropriée aux élèves en question.
• L'un des inconvénients du pré-testage, c'est que les participants savent qu'on mène une étude (ce qui peut fausser les résultats).

Liens entre les buts et l'évaluation des initiatives de VIJ

• Les buts des programmes de VIJ devraient être réalistes et adaptés aux populations cibles et au contexte. Ainsi, lorsque les élèves démontrent qu'ils connaissent déjà un sujet donné, l'animateur ne devrait pas s'attendre à voir un « accroissement considérable du savoir », même si cela est l'un des buts déclarés.

Méthodes relatives à l'évaluation

• Les questionnaires ont été élaborés pour trois groupes (les animateurs avaient deux questionnaires différents à remplir) dans le but de mesurer les résultats du programme.
• Les élèves ont fait l'objet de pré-testages et de post-testages afin de mesurer ce qu'ils avaient appris et d'évaluer le changement d'attitude.
  • Tous les tests ont fait l'objet d'essais pilotes et des modifications ont été apportées en conséquence.
  • Les tests comprenaient des questions fondées sur un scénario; on demandait aux élèves ce qu'il fallait faire dans le cas donné et quelle mesure serait probablement prise.
• Les évaluateurs ont également demandé aux élèves et aux enseignants de leur faire part de leurs commentaires oralement et de leur indiquer ce qu'ils pensent du programme.

Ellis, D.  (1997).  Program review (Examen des programmes).  Vancouver: The People's Law School. 

Aperçu général

Dans cette étude, on résume un examen détaillé des programmes de VIJ de la People's Law School (« PLS »). L'examen fait intervenir une gamme d'intéressés du domaine de la VIJ dans le but de mettre en perspective les services de la PLS du point de vue local et provincial. On tire trente conclusions, qui sont rassemblées en huit catégories d'enquête, et on formule cinq recommandations adressées précisément au personnel et au conseil d'administration de la PLS. Même si « les conclusions et les leçons » recueillies pour chaque groupe ou méthode d'évaluation intéressent directement le personnel et le conseil d'administration de la PLS, elles seront aussi utiles à d'autres organismes de VIJ. L'évaluation est rédigée clairement et le rapport est structuré de manière à donner facilement accès à l'information pertinente, particulièrement lorsqu'il s'agit de la section à points centrés qui suit chaque question intitulée « Que nous apprennent ces conclusions ? ». Les outils utilisés dans les diverses sections de l'évaluation figurent en annexe et peuvent être utiles aux fournisseurs de services de VIJ lorsqu'ils conçoivent des évaluations. On trouvera par exemple des extraits du guide d'entrevue, un formulaire relatif à la rétroaction des clients, un formulaire de commentaires sur les ressources ou brochures ainsi que des guides sur les groupes de concertation, dans lesquels on trouve divers sujets et questions.  

Éléments communs

• Évaluation externe
• L'évaluation est menée après le programme
• L'examen a des objectifs clairs, mais généraux : [TRADUCTION] « analyser l'efficacité et l'efficience des programmes dispensés actuellement par la People's Law School, pour ce qui est des besoins courants et à venir en matière de VIJ, et considérer le rôle de la Société par rapport aux autres fournisseurs de services de VIJ de la province » (p. 8).
• Il n'y a aucun commentaire sur des évaluations ultérieures ou continues

Défis relatifs à l'évaluation des initiatives de VIJ

• Il est difficile de déterminer si les programmes se chevauchent, pour un certain nombre de raisons :
  • Les fournisseurs de services de VIJ estiment que les besoins sont tels qu'on n'offrira jamais suffisamment d'activités
  • On ne s'engage pas à partager l'information afin d'éviter la répétition des tâches
  • Il y a un manque de confiance entre les organisations et elles ne coordonnent pas efficacement leurs initiatives
  • On estime qu'il est plus probable qu'un grand nombre d'organisations de petite taille, par opposition à des services fusionnés de taille importante, mettent en œuvre des méthodes innovatrices

Exigences du bailleur de fonds au chapitre de l'évaluation

• Bien qu'on hésite à discuter du chevauchement, le bailleur de fonds s'inquiète grandement du fait que les divers fournisseurs de services de VIJ offrent les mêmes programmes et déploient les mêmes efforts que leurs collègues; il veut que ce type d'analyse soit inclus dans les évaluations.
• C'est principalement le bailleur de fonds qui a proposé que les activités soient mieux coordonnées entre les principaux fournisseurs de services de VIJ, même si les organisations intéressées hésitent à procéder de la sorte.

Méthodes relatives à l'évaluation

• Démarche qualitative fondée sur la participation
• Deux groupes de concertation : i) le personnel de la PLS et ii) le conseil d'administration de la PLS
• Rétroaction des distributeurs au sujet du matériel et des brochures de VIJ
• Entrevues avec les bailleurs de fonds, les groupes dont les besoins en matière de VIJ n'ont pas été satisfaits, les coparrains des programmes de la PLS et des observateurs ou spécialistes du domaine de la VIJ; toutes les entrevues sont menées dans la langue maternelle du sujet interrogé
• Enquêtes pour connaître les observations des clients (684 formulaires ont été remis à l'évaluateur)

Law Courts Education Society of British Columbia.  (2000).  Journeys of justice First Nations research project: Final report (Parcours de la justice, projet de recherche sur les Premières nations : rapport final).  Vancouver: Law Courts Education Society of British Columbia.

---

• Page précédente |
• Table des matières |
• Next Page