Guide du gestionnaire de projet
Mesure du rendement et évaluation

9. MISE EN ŒUVRE DES MÉTHODES DE MESURE DU RENDEMENT ET D’ÉVALUATION

9.1 Préparer le terrain

En dépit des inconvénients, une planification réaliste, détaillée et faite au bon moment permet d’obtenir les avantages de la mesure du rendement et de l’évaluation. Développer un modèle logique et des indicateurs de rendement sont des tâches clés qui permettent de se focaliser sur l’IVF et ses activités connexes. Ces outils fixent les limites de vos responsabilités et servent de point de repère pour établir la feuille de route de vos progrès. La prochaine étape de la stratégie de mesure du rendement et de l’évaluation portera sur la façon dont vous allez collecter l’information et en faire rapport ainsi que sur le moment oû vous allez le faire – elle s’intéresse aussi aux ressources dont vous aurez besoin pour le faire.

Préparer le terrain – Premières étapes

L’IVF a un long passé de collaboration. Quand vous préparez votre plan de travail annuel, c’est aussi un bon moment pour planifier et coordonner vos activités de mesure du rendement et d’évaluation avec vos collègues de l’IVF. Une planification coordonnée augmentera vos chances de réussite – et ceci est particulièrement vrai quand plusieurs partenaires sont en jeu.

La collaboration – un défi particulier

Bien souvent, le ministère de la Justice du Canada est partie à un projet avec d’autres partenaires contributeurs. Dans ces cas, il est important de s’assurer que tous les partenaires ont une idée claire des attentes vis-à-vis de ce projet. Il est important de s’assurer que tous les partenaires s’entendent sur le plan d’évaluation et s’entendent sur qui sera responsable du plan lui-même et de sa mise en œuvre.

Voici quelques questions à se poser lorsqu’on élabore le plan de travail de l’IVF :

Considérations – Activités d’orientations stratégiques

Ces activités sont un problème pour la mesure du rendement et l’évaluation. Les orientations stratégiques peuvent être liées à des résultats multiples, de haut niveau et éloignés dans le temps. Le processus d’élaboration d’une orientation stratégique est par nature subjectif et itératif. Les délais sont incertains et en constante évolution. Des problèmes de mesure, de motivation et d’attribution existent aussi. Par ailleurs, les orientations stratégiques influencent et même accélèrent les processus de changement. Ainsi, par exemple, les modifications du Code criminel relatives à la législation sur la protection des victimes, le harcèlement avec menaces et le harcèlement criminel ont eu d’importantes répercussions sur l’amélioration de la réponse de la justice pénale aux problèmes de violence familiale. Il est aussi important de savoir ce qui fonctionne bien que de savoir ce qui a besoin d’être amélioré.

Est-ce que cela vous dit quelque chose ?

TRADUCTION « Le fossé causal crée de l’incertitude à deux niveaux. Tout d’abord, peu importe la qualité de votre planification ou de votre analyse, vous pouvez rarement savoir si les intrants et les extrants des orientations stratégiques d’aujourd’hui aboutiront en fait aux résultats sociaux et économiques recherchés. La plupart des résultats de haut niveau visés par les orientations stratégiques publiques sont influencés par de nombreux facteurs extérieurs à tout contrôle de l’État….et même lorsque le résultat recherché se produit, nous pouvons rarement affirmer qu’il est la cause première de l’intervention de l’État (par opposition à d’autres facteurs sans aucun lien) »[3].

Des outils tels que le modèle logique et les indicateurs de rendement aident à donner une idée de la façon dont les orientations stratégiques devraient influencer le changement. Un suivi du processus d’élaboration des orientations stratégiques grâce à des outils tels que l’examen, la revue des orientations stratégiques et les recherches d’opinion est une stratégie possible. L’évaluation et la recherche stratégiques – de concert avec l’élaboration et la mise à l’essai de programmes – sont des façons qui, ajoutées les unes aux autres, aident à mesurer l’efficacité des orientations stratégiques.

Considérations - Recherche

La collecte de l’information pour la mesure du rendement et l’évaluation relativement à la fonction de recherche de l’IVF pose aussi quelques problèmes. Voici quelques points à considérer :

Considérations – Projets : Fonds juridique de partenariats et d’innovation – Programmes de vulgarisation et d’information juridiques

Les évaluations au niveau des projets sont l’une des clés de voûte de la stratégie de mesure du rendement et d’évaluation. Le Fonds juridique de partenariats et d’innovation requiert des proposants de préparer un plan d’évaluation dans le cadre de leur proposition. Normalement, une proposition devrait donner un aperçu du projet et inclure son public cible, les résultats attendus, des indicateurs de réussite et d’incidence, la source des données et les méthodes de collecte, qui va effectuer l’évaluation, la participation des intervenants et des partenaires, les délais d’exécution et la façon dont l’information sur l’évaluation sera utilisée. Les modèles logiques – feuilles de route des projets - sont des outils de plus en plus importants.

Qu’est-ce qu’un modèle logique ?

C’est une image de la façon dont fonctionne un projet ou un programme – et notamment un reflet de la théorie et des hypothèses qui le sous-tendent. Lorsque cela est possible, il faut encourager ceux et celles qui proposent un projet à connaître cet outil et à l’appliquer[4]. Les modèles logiques peuvent prendre de nombreuses formes. Ils peuvent se concentrer sur les résultats, les activités, les concepts ou les théories ou une combinaison de ces éléments. D’après la Kellogg Foundation, un modèle logique est un outil d’apprentissage qui vous aide à comprendre votre programme ou votre projet et vous permet d’y apporter des améliorations en permanence : TRADUCTION « La valeur d’un modèle logique tient dans le processus de création, de validation puis de modification du modèle »[5].

Voici quelques questions à se poser lors de l’examen des plans d’évaluation proposés :

Planifier – et prévoyez suffisamment de temps pour – vos évaluations ! Par exemple, si un projet de formation prend une année à mettre en oeuvre, prévoir de faire un suivi six mois après l’achèvement du projet pour connaître les répercussions de la formation sur les participants.

Données quantitatives, données qualitatives….Il faut les deux ! L’information quantitative porte sur ce qui se compte, se mesure, comme le nombre des participants à un projet, le nombre de dépliants distribués, le nombre d’endroits oû s’est tenu un atelier. L’information qualitative donne une information détaillée, descriptive qui peut donner contexte ou sens à une expérience, par ex., les perceptions ou les sentiments des gens sur ce qui s’est passé et sur la façon dont le projet les a concernés. Idéalement, vous souhaiterez réunir des données quantitatives et qualitatives sur les questions de violence familiale.

9.2 Mise en œuvre et suivi

La planification n’est que la première étape. Il est important que les plans d’évaluation soient activés dès le début du projet. Quand un projet passe de l’étape de la proposition à celui de la mise en œuvre, il est probable que ses objectifs et ses activités – et éventuellement ses extrants et ses résultats – auront été raffinés. Il sera très utile de garder trace de cette évolution pour permettre à l’évaluation de porter sur les bonnes choses et de poser les bonnes questions et de la bonne façon. Voici quelques questions à se poser lors du suivi de la mise en œuvre du plan d’évaluation :

Il faut encourager les responsables de projet à fournir les mises à jour des évaluations, avec les modifications de leurs plans d’évaluation, quand ils remettent leurs rapports d’étape officiels ou provisoires. L’établissement de communications permanentes, des vérifications officieuses et des visites sur place sont aussi des façons de constater comment se déroule un projet.