L'ETCAF et l'appel à l'action no 34.4 de la CVR : Un examen des méthodes d'évaluation

Limites

L’absence d’évaluations accessibles est un obstacle à la mise en œuvre de l’appel à l’action no 34.4 de la CVR, parce qu’il est difficile de comparer les données d’évaluation entre les programmes existants. Les programmes peuvent participer à l’évaluation ou à l’assurance de la qualité, mais l’information n’est pas nécessairement rendue publique. Avoir facilement accès à cette information aiderait grandement à créer une dynamique en faveur d’évaluations adéquates. Les produits finaux pourraient être analysés, adaptés et améliorés grâce à un effort collectif.

Pour réaliser une évaluation, il faut relever divers défis. Le choix de la méthode qui convient (quantitative ou qualitative) et le choix de l’outil adapté se rattachant à la méthode, l’accès aux participants dont on a besoin pour obtenir les renseignements et l’assurance d’un processus éthique rigoureux sont au nombre des défis, qui ont été mentionnés précédemment.

D’autres limites possibles sont les contraintes habituelles de temps et d’argent. L’évaluation continue est importante pour avoir une compréhension globale de la réussite d’un programme, mais cela peut demander beaucoup de temps et une abondance de ressources humaines. Une solution possible à la lenteur du long processus d’évaluation consiste à utiliser des boucles de rétroaction continues. Par exemple, si vous désirez savoir comment fonctionne un programme, vous pourriez demander à vos clients de donner leur avis ou d’évaluer leur expérience après chaque service fourni. Ce moyen produira des données, bien qu’il s’accompagne également de contraintes considérables. Par exemple, l’information obtenue après chaque service pourrait non seulement être très mince, mais il pourrait également falloir interpréter les raisons pour lesquelles telle ou telle réponse a été donnée. Les données de ce type s’accompagnent également de quantités limitées de données de référence aux premières étapes. Cependant, une fois que des données sont recueillies en plus grande quantité, il est possible d’effectuer un suivi en menant des entrevues choisies afin de recueillir davantage de renseignements sur l’efficacité du service.

Une autre contrainte de l’évaluation est qu’elle peut être très coûteuse, selon sa durée, le nombre requis de personnes pour la réaliser, les fournitures nécessaires (papier, appareils d’enregistrement, ordinateurs, fournitures d’art, etc.) et l’élaboration des produits et des rapports finaux. Des subventions sont parfois offertes pour réaliser des activités telles que des évaluations; toutefois, pour obtenir ces fonds, il faut soumettre des propositions bien élaborées qui précisent en quoi consiste l’évaluation, comment elle sera menée, le calendrier et les ressources nécessaires. Par conséquent, les considérations suivantes pourraient être utiles à l’élaboration de stratégies d’évaluation efficaces.

Si on évalue mal un programme (c.-à-d. si on n’en examine pas toutes les dimensions ou si on ne pose pas les bonnes questions) ou si l’on évalue un programme sans la participation des personnes susmentionnées, on risque d’aboutir à des conclusions contestables. En outre, les activités d’évaluation devraient inclure ce vaste éventail de personnes, depuis le moment où l’évaluation est envisagée et conçue jusqu’à l’étape de la production de résultats, en passant par celle de la réalisation de l’évaluation. Les mécanismes d’évaluation doivent être accessibles. Les questions d’accessibilité qui pourraient prises en compte sont les suivantes :

Ce ne sont là que quelques exemples et non une liste exhaustive d’éléments à explorer. Comme ce serait des mesures individuelles, communautaires et circonstancielles, il ne s’agit que de quatre mesures d’adaptation possibles.