Ministère de la Justice
www.justice.gc.ca
Liens de la barre de menu commune
Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée
Annexe A : L'art et la science de l'évaluation*
Allison Mackenzie, Law Society of Alberta
Présentation PowerPoint
L'art et la science de l'évaluation
Qu'est-ce que l'évaluation?
- Utiliser la science pour répondre à la question « Comment nous en sommes-nous tirés? – Que pouvons-nous améliorer? »
- L'évaluation systématique des programmes constitue la base pour montrer notre valeur.
- Nous devons entreprendre une évaluation rigoureuse des programmes pour montrer notre valeur.
Pourquoi évaluer?
- Recueillir des données pour justifier la mise en œuvre de programmes.
- Déterminer de nouveaux besoins.
- Déterminer ce qui fonctionne et surtout ce qui doit être affiné.
Pourquoi évaluer?
- Mesurer l'incidence ou l'efficacité des programmes en ce qui a trait aux buts et aux objectifs.
- Vous savez ce que vous présentez / avez l'intention de présenter – savez-vous ce qui est réellement offert?
Établir l'étape de l'évaluation
- Avez-vous un plan formel pour les activités de toute l'organisation et pour chacune des initiatives?
- Avez-vous établi des objectifs pour le programme et des résultats afin de fournir une base pour l'évaluation de vrais résultats?
Préparer l'évaluation
- Est-ce que les buts de votre projet sont liés aux buts de l'organisation? Avez-vous déterminé votre propos, vos messages, les publics cibles et les résultats souhaités?
- Il est difficile de mesurer la VJ, car il faut mesurer les changements d'attitude, de croyances et de perceptions.
Outils?
- Il n'existe pas d'outils pour mesurer l'efficacité de la VJ.
- Utiliser une combinaison d'outils et de techniques de mesure et d'évaluation pour établir des repères pour le programme.
- Déterminer le succès des mesures prises
Techniques
- Analyse du contenu des médias
- Analyse du cyberespace
- Mesure des salons professionnels et des activités (toujours après, jamais pendant)
- Servent de base à une prise de décisions judicieuses.
Groupes de consultation
- Il faut avoir un animateur ayant reçu une formation spéciale.
- Permettent d'obtenir des résultats qualitatifs au sujet des opinions et des impressions.
- Lorsqu'il s'agit du suivi d'un sondage – permettent d'obtenir plus de détails sur des questions pour vous aider à comprendre les réponses que les participants ont donné.
Groupes de consultation informels
- Réunissez un groupe de volontaires – groupe communautaire, amis – demandez-leur d'examiner votre brochure ou vos documents et de vous faire part de leur opinion.
- Discutez avec eux afin de découvrir ce qui fonctionne et ce qui ne fonctionne pas.
- Créez un croupe de consultation en ligne.
Groupes de consultation informels
- Déterminez le sujet et fixez un délai.
- Demandez à un collègue qui connaît le sujet d'animer la discussion.
- Invitez les intervenants clés à participer.
- Assurez une surveillance; demandez des précisions à l'animateur.
- Les résultats peuvent être utilisés pour l'examen ou l'évaluation des besoins.
Entrevues
- Discutez avec les gens – qu'en pensent-ils, quelles sont leurs impressions – préparez les questions à l'avance.
- Demandez aux gens qui s'occupent de la mise en œuvre, aux employés et aux participants comment ils perçoivent une question.
- Demandez l'avis des gens au sujet des questions.
- Des entrevues individuelles (longues) peuvent être particulièrement utiles.
Analyse du contenu
- L'analyse du contenu est une forme d'analyse systématique qui se fonde sur des éléments clairement définis.
- Pour toute question au sujet de laquelle vous mettez en œuvre un programme – surveillez les journaux locaux.
- Faites de la recherche sur Internet – quelles sont les fausses perceptions les plus fréquentes – qu'avez-vous l'intention de changer – quelle attention ces questions reçoivent-elles – p. ex. : les perceptions concernant le contrôle des armes à feu.
- Quels mots ou figures de style sont utilisés pour décrire le sujet?
Autres outils quantitatifs
- Appels téléphoniques
- Courriels
- Visites sur le site Web.
5 trucs pour l'évaluation
Truc no 1
- Établissez avec soin les objectifs de votre programme.
- Rappelez-vous que l'évaluation commence lors de la planification.
- Évaluer signifie plus qu'évaluer la mesure dans laquelle le programme a été mis en œuvre – est-ce que les participants ont appris quelque chose? Leur opinion a-t-elle changé?
- Est-ce que le programme a fait ce pour quoi il avait été créé?
Truc no 2
- Envisagez la possibilité de demander à quelqu'un d'autre de faire l'évaluation.
- Collègue ou coéquipier.
- Vous voulez avoir une rétroaction impartiale et indépendante.
Truc no 3
- L'évaluation n'a pas besoin de coûter cher.
- Les conférences et les salons professionnels – un simple sondage à la sortie, comme celui que nous utiliserons aujourd'hui.
- Évaluation des documents imprimés – études d'audiences peu coûteuses.
- Site Web – demandez aux visiteurs de faire part de leurs commentaires.
Truc no 4
- Faites l'évaluation lorsque le programme est en cours ou lors du cycle de planification annuelle
- On peut tenir compte des résultats lors de la planification.
Truc no 5 – Engagez-vous à prendre des mesures à partir des résultats
- Engagez-vous à prendre des mesures à partir des résultats de l'évaluation.
- Sans intérêt si des mesures ne sont pas prises.
- Essentiel si les résultats sont utilisés pour rectifier, apprendre et affiner.
