Guide du gestionnaire de projet
Mesure du rendement et évaluation
ANNEXE 3: Outils du gestionnaire de projet - Plan d'évaluation au niveau du projet – Liste de vérification
Élément |
Rechercher…. |
Outils |
|---|---|---|
Description du projet |
|
Prévoir un modèle logique ou une feuille de route du projet |
Indicateurs de réussite et d'incidence |
|
Des indicateurs particuliers |
Collecte de données |
|
|
Qui est chargé de diriger l'évaluation ? |
|
Ententes, contrats et protocoles |
Participation des partenaires et des intervenants |
|
Ententes, mandat des comités |
Ressources pour l'évaluation |
|
|
Utilisation des résultats |
|
|
L'évaluation est-elle bonne ? |
|
Votre évaluation d'ensemble Avis des autres |
Considérations |
|
|
Aperçu des méthodes de collecte de l'information et des données
Il existe différents types d'information ou de données et diverses méthodes de collecte. Voici un aperçu des méthodes les plus fréquemment utilisées.
| Type d'information et de données | Exemples de méthodes de collecte de l'information et de données |
Avantages |
|---|---|---|
Données quantitatives |
|
|
Données qualitatives |
Étude des dossiers ou des documents du projet
|
Permettent de comprendre le du contexte et le processus expérimental |
|
Étude des publications |
Permettent d'évaluer la pertinence de votre travail dans le cadre plus large des connaissances en ce domaine |
|
Étude des orientations stratégiques |
Permettent de situer votre travail dans le cadre des orientations stratégiques adoptées en ce domaine |
|
Entrevue avec des répondants clés |
Permettent de découvrir le contexte et le sens de l'expérience des gens vis-à-vis du projet |
|
Études de cas |
Permettent d'obtenir Information détaillée ou une histoire de ce qui s'est passé et de connaître quels ont été les résultats |
|
Panels d'experts |
Permettent d'acquérir une connaissance approfondie |
|
Groupes de consultation |
Semblable aux entrevues de groupes. Permettent d'obtenir une idée d'ensemble sur un sujet donné ou des questions précises. |
|
Dialogues ou cercles d'apprentissage |
Permettent de réunir des intervenants pour partager leurs expériences et définir des apprentissages clés de manière culturellement appropriée. |
Lignes directrices pour l'élaboration d'outils et exemples
Il existe de nombreuses et différentes façons de collecter de l'information pour l'évaluation des projets, et notamment la compilation d'information statistique de base. Cette annexe décrit brièvement plusieurs des outils qui peuvent être utilisés pour évaluer les projets – et, en particulier, pour déterminer leurs répercussions :
- Évaluations d'atelier ou de conférence
- Entrevues
- Sondages
- Groupes de consultation
- Évaluations intégrées
Formules de rétroaction pour évaluer ateliers ou conférences
Les ateliers et les conférences réunissent des personnes pour partager leurs expériences, échanger des idées, apprendre ou acquérir de nouvelles aptitudes. La rétroaction des participants à de tels évènements peut fournir Information précieuse pour déterminer l'incidence immédiate de l'événement. Vous pouvez aussi utiliser des formules de rétroaction pour évaluer et vous faire une idée de la façon dont les gens utiliseront les connaissances ou les aptitudes acquises à cet événement. Vous devrez effectuer d'autres suivis par la suite – comme des entrevues avec des participants ou des sondages auprès des participants – pour découvrir si et comment les gens ont appliqué les connaissances et les aptitudes qu'ils ont acquises et comment celles-ci ont influencé leur travail.
À faire
Avant l'événement : une fois l'ordre du jour établi, concevez un court formule de rétroaction et incluez-le dans l'envoi au participant. Les participants devraient remplir le formule de façon anonyme.
Pendant l'événement : assurez-vous que les participants remplissent le formule et le remettent à la fin de l'événement.
Après l'événement : compilez les réponses pour évaluer ce qui a bien fonctionné, ce qui n'a pas si bien fonctionné, les suggestions Amélioration des participants et ou les prochaines étapes. Utilisez cette information pour de futurs travaux ( par ex. ateliers ou conférences, mesures de suivi).
Conception générale
Une formule de rétroaction de participant devrait :
- Comprendre une page ou moins.
- Être imprimé sur du papier de couleur pour mieux le repérer.
- Être facile à lire et à remplir.
- Prévoir un espace pour des commentaires supplémentaires.
- Indiquer à qui remettre le formule.
- Expliquer comment vous aller utiliser la rétroaction.
- Remercier les participants pour avoir rempli le formulaire.
Conception des questions
- Ne posez que quelques questions, que les participants peuvent lire et auxquelles ils peuvent répondre rapidement.
- Assurez-vous que les questions sont clairement formulées.
- Utilisez des questions soit fermées, soit ouvertes, en fonction du sujet (voir les définitions ci-dessous).
Les questions fermées donnent un ensemble de réponses parmi lesquelles il faut choisir, comme une liste de réponses à choix multiples, des cases à cocher par « oui »
ou par « non »
ou encore une échelle de notation à remplir.
Les questions ouvertes ne donnent pas un ensemble de réponses parmi lesquelles il faut choisir – on s'attend à ce que la personne formule sa propre réponse, à sa façon.
Voici quelques exemples de sujet convenant à des questions fermées :
- Réalisation des objectifs : dans quelle mesure, à votre avis, les objectifs ont-ils été réalisés ? (pas réalisés, partiellement réalisés, entièrement réalisés)
- Satisfaction : dans quelle mesure avez-vous été satisfait de la présentation ? (pas satisfait du tout, satisfait, très satisfait)
- Utilité : dans quelle mesure avez-vous trouvé cet événement utile à votre travail ? (pas du tout utile, utile, très utile)
- Confort: êtes-vous satisfait du lieu de la rencontre? (pas satisfait, satisfait, très satisfait).Êtes-vous satisfait de la nourriture? (pas satisfait, satisfait, très satisfait).
Voici quelques exemples de sujets convenant à des questions « ouvertes »
:
- Intention: comment allez-vous appliquer les [connaissances, aptitudes] que vous avez acquises lors de cet événement ?
- Expérience acquise : quelle a été la chose la plus importante…la moins importante que vous ayez apprise ?
- Avis: que pensez-vous de la question et de l'idée et de la suggestion X ?
- Commentaires: avez-vous d'autres commentaires à formuler au sujet de l'événement ?
Entrevues
Interroger des personnes qui ont participé à un projet – ou qui en ont bénéficié – peut permettre d'obtenir de ces personnes de l'information détaillée et fouillée sur leurs points de vue ou leurs expériences.
Les entrevues en personne permettent de faire des commentaires anonymes et d'exprimer librement des points de vue.
Les données d'entrevue permettent de compléter – tout en la vérifiant – l'information obtenue de diverses sources.
Les entrevues peuvent être faites en personne ou par téléphone.
À faire
Avant l'entrevue…
- Établir une liste des personnes qui connaissent le mieux ce que vous recherchez. Savoir qui va le mieux vous fournir l'information dont vous avez besoin. Il peut être utile de définir des critères de sélection pour choisir ces personnes importantes.
- Décidez du type d'entrevue que vous allez mener. Ce peut être, par exemple, une entrevue dans le cadre de conversations à bâtons rompus, une entrevue axée sur une liste de sujets clés ou une entrevue comportant Série de questions (ouvertes ou fermées).
- Préparer un protocole de l'interviewer, pour familiariser les personnes qui feront passer les entrevues au processus à utiliser pour prendre contact, faire des réservations, mener l'entrevue ou rédiger un rapport d'entrevue. La confidentialité est le point majeur du protocole de l'interviewer.
- Pour les entrevues normalisées, préparer un guide d'entrevue qui contienne toutes les questions à poser (y compris des questions incitatives, si nécessaire, dans la version de l'interviewer).
- Préparer une trousse d'information à envoyer aux personnes qui feront l'objet des entrevues. Cette trousse devrait inclure de l'information sur l'objet de l'entrevue, de la documentation sur le projet et une liste des sujets (ou les questions précises) qui seront abordés (ou posées) lors de l'entrevue.
- Prendre contact avec les personnes susceptibles de faire l'objet de l'entrevue afin de requérir leur participation. Être très clair sur des questions comme : l'enregistrement de l'entrevue, la confidentialité, la façon dont sera utilisée l'information, la durée approximative de l'entrevue et la forme qu'elle prendra (en personne ou par téléphone).
Pendant l'entrevue…
- Suivre de très près le protocole de l'interviewer.
- Être prêt à faire face à des situations du genre où la personne annule, ne se présente pas, demande des renseignements supplémentaires, des copies des notes de l'entrevue, etc.
- Les gestionnaires du projet peuvent vouloir suivre les quelques premières entrevues et en examiner les notes qui en résultent pour assurer un contrôle de la qualité.
Après l'entrevue…
- Finaliser les notes d'entrevue en fonction du protocole.
- Revoir chaque ensemble de notes systématiquement et faire Synthèse des réponses à chaque question.
- Faire l'analyse des résultats globaux des entrevues.
Conception générale
Les entrevues doivent :
- Être planifiées avec soin
- Porter sur les points essentiels
- Consommer le moins de temps possible
- Suivre Séquence logique
- Donner aux personnes interrogées la possibilité de poser des questions et de fournir des commentaires supplémentaires.
Conception des questions d'entrevue
Les questions d'entrevue doivent être :
- Énoncées clairement
- Brèves et bien ciblées
- Pertinentes
- Objectives
Voici quelques exemples de questions d'entrevue qui pourraient être posées aux personnes visées par le projet de bulletin :
- Comment vous (ou votre organisation) avez utilisé le bulletin dans votre travail ? [Question ouverte].
- Dans quelle mesure le bulletin vous a-t-il été utile dans votre travail ? (pas utile, utile, très utile) [Question fermée].
Sondages
Un sondage (ou un questionnaire) est un ensemble de questions remis à un groupe et auxquelles celui-ci doit répondre. Un sondage peut être utilisé dans une variété de cas pour collecter de l'information sur un ensemble de questions de la part de nombreuses et différentes personnes. Le sondage peut être fait d'une série de questions brèves – ces questions peuvent aussi toutefois être plus longues et plus détaillées.
Bien que les sondages puissent être faits de questions ouvertes ou de questions fermées (voir les définitions qui précèdent), ils consistent le plus souvent en des questions fermées, auxquelles il peut être répondu plus rapidement et dont les résultats peuvent plus facilement être analysés sur le plan statistique.
Un sondage peut s'effectuer de nombreuses façons : les questions peuvent être imprimées et envoyées (ou remises en main propre); un formule électronique peut être adressé par courriel ou affiché sur un site web; ou encore le sondage peut se faire par téléphone.
À faire
Avant le sondage….
- Décider de comment vous allez collecter les questionnaires remplis et de comment vous allez enregistrer et analyser les réponses.
- Concevoir les questionnaires (voir ci-dessous).
- Tester le questionnaire avec un petit groupe et obtenir de la rétroaction sur la clarté des questions, le temps nécessaire pour y répondre etc.
- Peaufiner le questionnaire en fonction de la rétroaction.
Pendant le sondage…
Collecter et enregistrer et garder trace des questionnaires remplis.
Après le sondage…
- Organiser les réponses et entrer les données.
- Faire l'analyse statistique (cela va nécessiter un logiciel et une certaine expertise technique).
- Faire rapport sur les conclusions.
Conception générale
- Utiliser un format clair et facile à lire (un caractère de police suffisamment gros, assez d'espace pour les réponses, etc.).
- Donner des directives claires sur la façon de répondre aux questions.
- Utiliser le moins de questions possibles.
- S'assurer que les questions suivent un ordre logique.
- Si nécessaire, élaborer un système de codage pour rendre plus facile l'entrée et l'analyse des données (cela va nécessiter une certaine expertise technique).
Conception des questions
- Formuler des questions aussi brèves que possible.
- Veiller à ce que chaque question porte que sur un seul sujet ou problème.
- Utiliser un langage clair et simple.
- Éviter les questions biaisées.
- Prévoir une catégorie
« autres »
pour les réponses qui ne s'inscrivent nulle part ailleurs.
Voici quelques exemples de questions de sondage (ouvertes et fermées) qui pourraient être posées à ceux qui ont participé à une consultation d'experts pour mettre au point un plan de recherche :
- Comment le plan de recherche reflète-t-il bien les questions prioritaires en ce domaine ? (Ne reflète pas les priorités, reflète certaines priorités, reflète la plupart des priorités, reflète toutes les priorités) (Questions fermées).
- Existe-t-il d'autres questions prioritaires que devrait refléter le plan de recherche ? (Question ouverte).
Groupes de consultation
Un groupe de consultation est en quelque sorte une « entrevue de groupe »
, dans laquelle on demande à quelques personnes leur point de vue sur un sujet précis. Animateur du groupe encourage tous les participants à exprimer leur avis mais on ne s'attend pas à ce que le groupe atteigne un consensus. Pour les évaluateurs, les groupes de consultation peuvent apporter divers point de vue et diverses idées sur une question donnée. L'interaction et la discussion du groupe peuvent susciter chez les participants des observations et des commentaires qui n'auraient pu autrement émerger.
À faire
- Décider de qui participera au groupe de consultation – habituellement les participants seront les membres d'un groupe qui partageront des caractéristiques et des expériences propres à apporter une rétroaction ou des points de vue pertinents sur des questions ou des sujets précis.
- Inviter les participants à participer et leur fournir Information suffisante, c.-à-d. une trousse d'information décrivant l'objet du groupe, le processus qui sera utilisé et vos attentes. Il est important de décider si les participants au groupe de consultation recevront des honoraires ou une autre rétribution pour leur participation.
- Penser à la logistique, prévoir notamment un espace confortable, des rafraîchissements au besoin, etc.
- Trouver l'animateur ayant le juste mélange d'expertise, d'expérience et de compétence.
- Décider si la discussion sera enregistrée ou pas, sur bande audio ou vidéo ou par prise de notes (ou les deux) et informer les participants du caractère confidentiel de la réunion.
Conception générale
- Définir sur quoi va se concentrer le groupe et concevoir des questions précises.
- Le choix du moment – quel est le meilleur moment pour les participants (en journée ? en soirée ?)
- Trouver l'emplacement le plus approprié (accessible, confortable).
- Restreindre le nombre des participants (les groupes de consultation se composent généralement de 6 à 8 personnes).
- Limiter la durée de la discussion à 1 heure ou 2.
Conception questions
- Les questions qui seront posées au groupe devraient être établies à l'avance.
- Ne poser qu'un nombre limité de questions (pour éviter aux participants de devoir se presser).
- Éviter les questions controversées ou trop personnelles, car les participants risquent de trouver la discussion de ces questions difficile.
Voici quelques questions qui pourraient être posées à un petit groupe d'intervenants ayant contribué à la modification législative (ou à la mise en œuvre d'une nouvelle mesure législative) concernant des infractions précises commises envers des enfants :
- Comment cette modification ou cette nouvelle mesure a-t-elle modifié votre capacité de réponse aux infractions commises envers des enfants [celles précisément visées par la mesure] ?
- Comment cette modification ou cette nouvelle mesure a-t-elle renforcé ou affaibli la réponse du système de justice pénale à la victimisation des enfants ?
- Comment cette modification ou cette nouvelle mesure a-t-elle facilité ou gêné la réponse du système de justice pénale à la victimisation des enfants ?
Évaluations intégrées
Les évaluations intégrées examinent le fonctionnement d'un ensemble de projets semblables pour vérifier s'ils atteignent un objectif de changement donné. Les évaluations intégrées sont possibilité pour l'Initiative de lutte contre la violence familiale d'examiner un ensemble de projets de manière à trouver leurs points, leurs thèmes, leurs répercussions communes et en définir l'expérience acquise.
Une évaluation intégrée pourra avoir notamment pour but :
- De déceler des pratiques novatrices, efficaces et prometteuses
- D'évaluer les progrès des projets dans la réalisation des buts et des objectifs déclarés de l'IVF
- De permettre les ajustements de mise en œuvre tout au long de l'IVF
- De fournir de l'information pour documenter l'élaboration d'orientations stratégiques.
Les évaluations intégrées ne remplacent pas les évaluations au niveau du projet. En général, c'est un évaluateur indépendant qui en est chargé. Elles peuvent en partie se fonder sur des données recueillies par les évaluateurs au niveau du projet. Logic Model Development Guide and W.K. Kellogg Foundation Evaluation Handbook, p. 17. (anglais seulement)
À faire
- Déterminer quels sont les projets qui ont des points communs en matière de conception de projet
- Définir ce que vous vous attendez à apprendre d'une évaluation intégrée
- Inviter à participer au projet
- Concevoir des questions d'évaluation fondées sur les répercussions et les résultats attendus de l'IVF dans son ensemble
- Établir une entente – et s'entendre avec les intervenants – sur le mandat de l'évaluation intégrée
- Choisir quelqu'un qui fera l'évaluation intégrée.
Conception générale
- Déterminer qui fera l'évaluation intégrée, comment sera collectée l'information et par qui
- Tenir compte des dispositions sur la confidentialité (par ex. les projets seront-ils définis dans l'évaluation intégrée ?)
- Tenir compte des délais d'exécution de chaque projet et les coordonner avec le délai d'exécution de l'évaluation intégrée
- Réunir régulièrement les bénéficiaires des projets et les évaluateurs pour partager les points de vus et apprendre de chacun
L'évaluation intégrée est une bonne méthode pour obtenir de l'information sur des projets qui, ensemble, sont conçus pour apporter des changements stratégiques ou systémiques. Ces évaluations peuvent permettre d'apprendre beaucoup, ce qui les rend particulièrement attrayantes pour les projets portant sur les questions de violence familiale.
- Date de modification :