L'ETCAF et l'appel à l'action no 34.4 de la CVR : Un examen des méthodes d'évaluation

Types d'évaluation

Dans la section suivante, nous examinerons les méthodes d’évaluation compte tenu de la quantité limitée de renseignements sur l’ETCAF et des programmes de justice qui ont été évalués. Ces approches ne sont pas exhaustives, mais sont un point de départ pour réfléchir aux approches d’évaluation. Les auteures ont également proposé des conseils pour modifier les méthodes de façon à ce qu’elles prennent en compte l’ETCAF. Les méthodologies de base de recherche et d’évaluation peuvent être abordées de deux façons : qualitative et quantitative.

Dans les approches qualitatives, on recueille de l’information auprès des personnes, généralement sous forme écrite, visuelle ou orale. Ces approches ne portent pas sur l’analyse statistique, mais sont centrées sur les détails narratifs qui peuvent être saisis par des méthodes axées sur la narration, l’image et la représentation. Voici quelques moyens de recueillir ces renseignements, et les modifications qui pourraient être apportées pour aider les personnes atteintes de l’ETCAF au cours du processus d’évaluation.

Remarque : en travaillant avec des personnes ou des collectivités autochtones, il faut être conscient des protocoles ou des normes culturelles associées au récit que fait une personne de sa propre expérience (que ce soit dans le cadre d’une entrevue ou dans un mode artistique). Par exemple, si un élément est en rapport avec une histoire se rattachant à la culture, il faut savoir que, dans de nombreuses collectivités autochtones, certains récits ne sont racontés que pendant une saison spécifique, dans un lieu particulier, ou ne sont pas racontés à des personnes extérieures à la collectivité. Les protocoles appropriés doivent être compris et respectés. La collaboration avec la collectivité peut inclure l’embauche d’associés de recherche communautaires qui comprennent ces normes et sont en mesure de traduire et d’analyser des documents visuels et oraux. L’équipe d’évaluation doit tenir compte des traumatismes et comprendre les contextes et les expériences plus généraux dans le cadre desquels le projet et l’évaluation sont menés. Le processus lié au récit d’une expérience peut être un facteur déclencheur, et il faut concevoir les types de questions posées en tenant compte des traumatismes pour éviter de traumatiser de nouveau ceux qui participent au projet.

Les approches quantitatives consistent généralement à recueillir de l’information auprès d’un grand nombre de personnes afin d’établir des comparaisons et d’obtenir des réponses qui sont saisies par des chiffres, le résultat étant la création d’une base de données. Les moyens les plus courants de recueillir ce type de données sont les suivants :

En pratique, l’équipe d’évaluation doit tenir compte non seulement de ce qu’elle souhaite évaluer, mais aussi des personnes qu’elle doit consulter pour obtenir les renseignements visés. Si, par exemple, une organisation voulait évaluer l’efficacité d’un programme de soutien aux personnes ayant des déficiences cognitives dans le cadre du processus de justice pénale, il y aurait différentes façons de le faire. D’abord, s’agit-il d’une évaluation locale ou de portée générale? Est-ce qu’on évalue l’efficacité des intervenants du programme dans une seule ville, ou dans une province entière ou partout au Canada? Si l’évaluation doit se faire à l’échelle locale, le nombre d’intervenants peut être suffisamment limité pour que des entrevues individuelles ou des groupes de discussion fonctionnent mieux et permettent de recueillir le plus possible de renseignements précis. Si l’évaluation doit être nationale, il serait probablement impossible, sur les plans logistique et financier, d’interroger chaque intervenant. Dans ce cas, il serait préférable d’utiliser un sondage bien conçu.

L’évaluateur doit également reconnaître que l’efficacité du programme ne peut être évaluée simplement en fonction de l’information fournie par les intervenants eux-mêmes. Il faudrait recueillir d’autres points de vue, notamment ceux des juges, des avocats et des personnes qui reçoivent le service, pour avoir une compréhension globale de l’efficacité du programme. En n’évaluant qu’un seul groupe dans tout contexte donné, l’évaluation risque de donner une vision fragmentée.

La trousse d’outils « Best Practices for FASD Services Delivery: Guide and Evaluation Toolkit » (Pei et coll., s.d.), élaborée en Alberta dans le cadre d'une collaboration, énonce quatre principes ambitieux interreliés en matière d’évaluation. La trousse résulte d’une initiative interdisciplinaire visant à répondre aux besoins des personnes atteintes de l’ETCAF et est devenue une pratique exemplaire reconnue. En même temps, le fait d’offrir la trousse d’outils gratuitement en ligne est également une pratique exemplaire pour progresser. La trousse renferme des principes directeurs que l’on peut utiliser directement dans la conception et l’évaluation de programmes, ou modifier pour guider les pratiques locales. Voici les principes : cohérence, collaboration, interdépendance et proactivité. Le guide propose ces principes ambitieux et décrit le niveau des données probantes à l’appui des pratiques exemplaires dans chaque domaine. De plus, il comprend des modèles de sondage à utiliser pour l’évaluation. Même si elle n’a pas été créée spécifiquement pour servir en justice pénale, cette ressource pourrait être utile aux organismes qui s’efforcent d’adopter des pratiques exemplaires tenant compte de l’ETCAF. Comme l’indique le document, ce qui oriente les programmes et les pratiques relatifs à l’ETCAF relève pour beaucoup de la sagesse collective. Toutefois, la sagesse collective ne correspond pas toujours à ce qui est dit dans la documentation. Par conséquent, il faut trouver un équilibre entre les projets ancrés dans la sagesse collective et l’expérience vécue, tout en essayant de voir de quelles manières les données empiriques peuvent étayer cette sagesse collective et cette expérience.

Les extraits suivants du document « Best Practices for FASD Service Delivery: Guide and Evaluation Toolkit » décrivent les principes de base :

  1. Cohérence – dans le placement, la relation et l’approche, c’est à dire, entre autres, des conditions de vie stables, des relations à long terme et des structures de soutien qui sont les mêmes d’un cadre à l’autre. La cohérence de tous ces aspects promeut un système dans lequel les interventions sont structurées et fiables.
  2. Collaboration – des systèmes d’intervention véritablement intégrés sont nécessaires, de la base jusqu’au niveau de l’élaboration des politiques. Cela demande un soutien organisationnel, y compris allouer du temps pour les réunions et l’élaboration d’une stratégie intentionnelle entre types de services et niveaux de prestation de services. Tous les points de service doivent être sensibilisés à l’ETCAF de façon à promouvoir des objectifs communs, ainsi qu’un message et une approche cohérents.
  3. Interdépendance – l’équilibre subtil entre dépendance et indépendance totale, dans lequel les attentes sont gérées compte tenu de la situation individuelle de chaque client. Cela comprend la prévision des périodes de transition et une planification claire afin de gérer le changement de manière proactive. Les programmes doivent mettre à profit l’acquisition de compétences des sujets individuels dans un environnement favorable où la nécessité d’un rôle de soutien à vie est reconnue.
  4. Proactivité – apprendre à prévoir plutôt qu’à réagir. Cette approche favorise la maîtrise et une trajectoire orientée vers la réussite plutôt que l’utilisation de stratégies d’évitement des problèmes. Les interventions précoces sont essentielles pour l’adoption de comportements axés sur le changement et prévenir les déficiences secondaires (Pei et coll. ,s.d., p. 6).

Le document présente ensuite un résumé des pratiques exemplaires classées selon le niveau de la preuve en faveur de chaque pratique. Le résumé pourrait être utile à la conception et à l’évaluation de programmes, parce qu’on propose des pratiques exemplaires qui tiennent compte de l’ETCAF pour la définition d’objectifs qui peuvent être mesurables.

Le « Best Practices Guide » propose les conseils suivants en ce qui a trait à l’évaluation :

  1. Cohérence : les programmes élaborés pour soutenir les personnes pourraient mettre l’accent sur la cohérence, laquelle pourrait être mesurée par la stabilité relative sur toute la durée de l’expérience de la justice pénale (p. ex. moins de violations des conditions ou moins d’accusations en cours de détention lorsque les besoins sont satisfaits). Il s’agirait d’un processus de nature quantitative qui comprendrait la gestion et l’examen des dossiers de cas.
  2. Collaboration : les programmes pourraient mettre l’accent sur l’élimination des cloisonnements et la facilitation de la collaboration. Ces collaborations pourraient améliorer la compréhension et la sensibilisation. Bien qu’un simple sondage ou questionnaire puisse mesurer une sensibilisation accrue, la question de savoir si cela transforme les actions des intervenants n’est pas forcément traitée, mais il serait possible de mener des entrevues plus élaborées ou des sondages avant-après pour savoir ce qu’il en est de la sensibilisation.
  3. Interdépendance : avec des programmes qui mettent l’accent sur la promotion de l’interdépendance, on pourrait envisager une série d’entrevues avec la clientèle des programmes au fil des mois, voire des années. Cela prendrait du temps, mais cela serait utile. Par ailleurs, une méthode axée sur les arts pourrait produire des données nuancées.
  4. Proactivité : la plupart des programmes visent à être proactifs. La question est de savoir ce qui est proactif. Une méthode éventuelle pourrait consister à examiner la conception du programme et à préciser quels éléments sont considérés comme proactifs, puis de faire des entrevues avec les membres du personnel assez régulièrement dans le cadre desquelles ils discuteraient de leur compréhension des questions nécessitant qu’ils soient proactifs. On pourrait ensuite combiner cette activité à une analyse des examens des dossiers de cas pour comprendre les problèmes qui ont été soulevés et auraient pu être réglés par des mesures plus proactives.

Les ajouts au « Best Practices Guide » et le retour aux questions de recherche ont été axés sur la nécessaire prise en compte de la culture et la non-stigmatisation; on pourrait soutenir qu’avant qu’un organisme puisse entreprendre un travail d’évaluation non stigmatisant et sensible à la culture, il devrait intégrer ces objectifs ambitieux à la conception de son programme. Un certain nombre de ressources universitaires et en ligne peuvent aider les organismes à mieux saisir comment établir des collaborations partant de la base, à l’appui de la conception conjointe des programmes et des évaluations; certaines de ces ressources sont énumérées à l’annexe du présent document. Le document « Évaluation de programme : approches en milieu autochtone » (Centre de collaboration nationale de la santé autochtone, 2013) présente un aperçu des différents types d’évaluations de programmes, y compris les évaluations des besoins, les modèles logiques et les moyens d’évaluer les répercussions. Le document traite de la nécessité de la participation des parties prenantes et des méthodes participatives qui permettent d’obtenir des résultats d’évaluation. On y discute également des procédures et des relations de respect, les chercheurs devant adopter les quatre principes de la recherche de Kirkness et Barnhardt (2001) dans le travail avec les collectivités autochtones : respect, pertinence, réciprocité et responsabilité. Les auteures du présent document préconisent fortement la collaboration sur le terrain pour la conception conjointe de programmes et de l’évaluation.