Guide du gestionnaire de projet
Mesure du rendement et évaluation

9. MISE EN ŒUVRE DES MÉTHODES DE MESURE DU RENDEMENT ET D’ÉVALUATION

9.1 Préparer le terrain

En dépit des inconvénients, une planification réaliste, détaillée et faite au bon moment permet d’obtenir les avantages de la mesure du rendement et de l’évaluation. Développer un modèle logique et des indicateurs de rendement sont des tâches clés qui permettent de se focaliser sur l’IVF et ses activités connexes. Ces outils fixent les limites de vos responsabilités et servent de point de repère pour établir la feuille de route de vos progrès. La prochaine étape de la stratégie de mesure du rendement et de l’évaluation portera sur la façon dont vous allez collecter l’information et en faire rapport ainsi que sur le moment oû vous allez le faire – elle s’intéresse aussi aux ressources dont vous aurez besoin pour le faire.

Préparer le terrain – Premières étapes
  • S’entendre sur les buts et les objectifs
  • Créer un modèle logique
  • Mettre au point des indicateurs de rendement
  • Élaborer une stratégie de mesure du rendement et d’évaluation
  • Planifier et coordonner vos activités de mesure du rendement et d’évaluation au moment de préparer vos plans de travail

L’IVF a un long passé de collaboration. Quand vous préparez votre plan de travail annuel, c’est aussi un bon moment pour planifier et coordonner vos activités de mesure du rendement et d’évaluation avec vos collègues de l’IVF. Une planification coordonnée augmentera vos chances de réussite – et ceci est particulièrement vrai quand plusieurs partenaires sont en jeu.

La collaboration – un défi particulier

Bien souvent, le ministère de la Justice du Canada est partie à un projet avec d’autres partenaires contributeurs. Dans ces cas, il est important de s’assurer que tous les partenaires ont une idée claire des attentes vis-à-vis de ce projet. Il est important de s’assurer que tous les partenaires s’entendent sur le plan d’évaluation et s’entendent sur qui sera responsable du plan lui-même et de sa mise en œuvre.

Voici quelques questions à se poser lorsqu’on élabore le plan de travail de l’IVF :

  • Que doivent savoir les décideurs sur l’IVF ?
  • L’évaluation de certains projets et activités est-elle appropriée (et si oui, quand ?)
  • Compte tenu de la nature des activités et des projets que vous entreprendrez, et en fonction de l’étape oû ils se situent dans le cycle de mise en œuvre, de quels genres de renseignements sur la mesure du rendement aurez-vous besoin ?
  • Existe-t-il une capacité interne et une capacité externe suffisantes – y compris des ressources financières – pour réunir l’information ? Dans le cas contraire, comment peut-on développer une telle capacité ?
  • Quelles sont les démarches ou les méthodes qui conviennent le mieux au contexte et à la nature de l’information dont vous aurez besoin ?
  • Quelles sont les façons les plus économiques de réunir l’information ? Est-il possible de relier des activités de mesure du rendement ou d’évaluation ? Essayez d’être créatif : si vous deviez financer des types de projets semblables, est-ce qu’une évaluation intégrée[2] serait appropriée ?
  • Comment vos partenaires, d’autres intervenants clés et vous-même allez pouvoir retirer le plus d’avantages ?
  • Qui sera responsable de l’évaluation et qui participera au processus ?
  • L’information peut-elle être réunie et analysée à temps pour les rapports ?
Considérations – Activités d’orientations stratégiques

Ces activités sont un problème pour la mesure du rendement et l’évaluation. Les orientations stratégiques peuvent être liées à des résultats multiples, de haut niveau et éloignés dans le temps. Le processus d’élaboration d’une orientation stratégique est par nature subjectif et itératif. Les délais sont incertains et en constante évolution. Des problèmes de mesure, de motivation et d’attribution existent aussi. Par ailleurs, les orientations stratégiques influencent et même accélèrent les processus de changement. Ainsi, par exemple, les modifications du Code criminel relatives à la législation sur la protection des victimes, le harcèlement avec menaces et le harcèlement criminel ont eu d’importantes répercussions sur l’amélioration de la réponse de la justice pénale aux problèmes de violence familiale. Il est aussi important de savoir ce qui fonctionne bien que de savoir ce qui a besoin d’être amélioré.

Est-ce que cela vous dit quelque chose ?

TRADUCTION « Le fossé causal crée de l’incertitude à deux niveaux. Tout d’abord, peu importe la qualité de votre planification ou de votre analyse, vous pouvez rarement savoir si les intrants et les extrants des orientations stratégiques d’aujourd’hui aboutiront en fait aux résultats sociaux et économiques recherchés. La plupart des résultats de haut niveau visés par les orientations stratégiques publiques sont influencés par de nombreux facteurs extérieurs à tout contrôle de l’État….et même lorsque le résultat recherché se produit, nous pouvons rarement affirmer qu’il est la cause première de l’intervention de l’État (par opposition à d’autres facteurs sans aucun lien) »[3].

Des outils tels que le modèle logique et les indicateurs de rendement aident à donner une idée de la façon dont les orientations stratégiques devraient influencer le changement. Un suivi du processus d’élaboration des orientations stratégiques grâce à des outils tels que l’examen, la revue des orientations stratégiques et les recherches d’opinion est une stratégie possible. L’évaluation et la recherche stratégiques – de concert avec l’élaboration et la mise à l’essai de programmes – sont des façons qui, ajoutées les unes aux autres, aident à mesurer l’efficacité des orientations stratégiques.

Considérations - Recherche

La collecte de l’information pour la mesure du rendement et l’évaluation relativement à la fonction de recherche de l’IVF pose aussi quelques problèmes. Voici quelques points à considérer :

  • La révision interne
  • La satisfaction du client
  • Un sondage auprès des usagers
Considérations – Projets : Fonds juridique de partenariats et d’innovation – Programmes de vulgarisation et d’information juridiques

Les évaluations au niveau des projets sont l’une des clés de voûte de la stratégie de mesure du rendement et d’évaluation. Le Fonds juridique de partenariats et d’innovation requiert des proposants de préparer un plan d’évaluation dans le cadre de leur proposition. Normalement, une proposition devrait donner un aperçu du projet et inclure son public cible, les résultats attendus, des indicateurs de réussite et d’incidence, la source des données et les méthodes de collecte, qui va effectuer l’évaluation, la participation des intervenants et des partenaires, les délais d’exécution et la façon dont l’information sur l’évaluation sera utilisée. Les modèles logiques – feuilles de route des projets - sont des outils de plus en plus importants.

Qu’est-ce qu’un modèle logique ?

C’est une image de la façon dont fonctionne un projet ou un programme – et notamment un reflet de la théorie et des hypothèses qui le sous-tendent. Lorsque cela est possible, il faut encourager ceux et celles qui proposent un projet à connaître cet outil et à l’appliquer[4]. Les modèles logiques peuvent prendre de nombreuses formes. Ils peuvent se concentrer sur les résultats, les activités, les concepts ou les théories ou une combinaison de ces éléments. D’après la Kellogg Foundation, un modèle logique est un outil d’apprentissage qui vous aide à comprendre votre programme ou votre projet et vous permet d’y apporter des améliorations en permanence : TRADUCTION « La valeur d’un modèle logique tient dans le processus de création, de validation puis de modification du modèle »[5].

Voici quelques questions à se poser lors de l’examen des plans d’évaluation proposés :

  • La description du projet : Est-elle bonne ? Y a-t-il un lien logique et réaliste entre les objectifs, les activités, les extrants et les résultats du projet ?
  • Déterminer dès le départ à quoi devrait ressembler la réussite. Les indicateurs de réussite ont-ils été correctementjumelés aux extrants et aux résultats du projet ?
  • Est-ce que les sources de données et les méthodes de collecte des données conviennent à la situation, a-t-on tenu compte des différentes facettes de la population (culture, langue, genre, âge, niveau de scolarité, etc.) ? Les instruments de collecte de ces données sont-ils valides et fiables ?
  • Les questions ou les considérations d’éthique ont-elles été correctement traitées ?
  • Les dispositions sur la confidentialité sont-elles adéquates ?
  • Qui participe à l’évaluation (c.-à-d. la partie qui fait l’évaluation, les partenaires, les participants) et comment se fait cette participation ?
  • Les délais sont-ils réalistes ?
  • L’information collectée aura-t-elle beaucoup d’importance – et pour qui ?
  • Comment vos partenaires, les responsables du projet, d’autres intervenants et vous-même allez-vous utiliser l’information ?
  • Les ressources sont-elles appropriées et suffisantes pour faire le travail ?
  • Dans quelle mesure le plan d’évaluation est-il réaliste ?
  • Quelles améliorations pourraient être apportées ?

Planifier – et prévoyez suffisamment de temps pour – vos évaluations ! Par exemple, si un projet de formation prend une année à mettre en oeuvre, prévoir de faire un suivi six mois après l’achèvement du projet pour connaître les répercussions de la formation sur les participants.

Données quantitatives, données qualitatives….Il faut les deux ! L’information quantitative porte sur ce qui se compte, se mesure, comme le nombre des participants à un projet, le nombre de dépliants distribués, le nombre d’endroits oû s’est tenu un atelier. L’information qualitative donne une information détaillée, descriptive qui peut donner contexte ou sens à une expérience, par ex., les perceptions ou les sentiments des gens sur ce qui s’est passé et sur la façon dont le projet les a concernés. Idéalement, vous souhaiterez réunir des données quantitatives et qualitatives sur les questions de violence familiale.

9.2 Mise en œuvre et suivi

La planification n’est que la première étape. Il est important que les plans d’évaluation soient activés dès le début du projet. Quand un projet passe de l’étape de la proposition à celui de la mise en œuvre, il est probable que ses objectifs et ses activités – et éventuellement ses extrants et ses résultats – auront été raffinés. Il sera très utile de garder trace de cette évolution pour permettre à l’évaluation de porter sur les bonnes choses et de poser les bonnes questions et de la bonne façon. Voici quelques questions à se poser lors du suivi de la mise en œuvre du plan d’évaluation :

  • Les questions d’évaluation sont-elles toujours pertinentes ?
  • Les diverses facettes des participants (culture, langue, genre, âge, niveau de scolarité, etc.) ont-elles été prises en compte ?
  • La collecte de données pose-t-elle des problèmes et, le cas échéant, a-t-on trouvé et appliqué des solutions ?
  • Qu’a-t-on appris en cours de route ? Utilise-t-on la rétroaction pour améliorer le projet sur une base permanente ?

Il faut encourager les responsables de projet à fournir les mises à jour des évaluations, avec les modifications de leurs plans d’évaluation, quand ils remettent leurs rapports d’étape officiels ou provisoires. L’établissement de communications permanentes, des vérifications officieuses et des visites sur place sont aussi des façons de constater comment se déroule un projet.


Date de modification :