Programme de financement des tribunaux de traitement de la toxicomanie, Évaluation formative
3. Méthodologie
L'évaluation du PFTTT s'appuie sur cinq sources de données, notamment : un examen des documents, un examen des données, des entrevues avec des répondants clés, des études de cas avec les participants et une enquête auprès des intervenants.
3.1. Examen des documents
L'examen des documents a fourni des renseignements sur l'élaboration, la mise en oeuvre et les résultats des TTT. Cet examen des documents couvrait :
- Un protocole d'entente (PE) entre le Ministère et Santé Canada
- Une Vue d'ensemble des exigences nationales en matière d'établissement de rapports d'évaluation et de rendement
- Un modèle logique du PFTTT et une stratégie de mesure du rendement
- Le Cadre de gestion et de responsabilisation axé sur les résultats pour la Stratégie nationale antidrogue
- Les ententes de financement des TTT
- Des cadres d'évaluation des TTT
- Les rapports d'étape, les évaluations de processus et les évaluations des résultats des TTT3
- Les ressources concernant les TTT disponibles publiquement sur Internet.
En outre, le Ministère effectue à l'heure actuelle une étude sur la récidive. Toutefois, il n'a pas été en mesure d'obtenir l'information requise pour compléter cette étude avant la conclusion de l'évaluation.
3.2. Examen des données
Les données qui ont été examinées avaient pour objet de fournir les renseignements sur l'activité du programme et les résultats. Certaines sources de données étayaient cet examen, à savoir notamment :
- Les données brutes du Système d'information des tribunaux de traitement de la toxicomanie (SITTT). Le Ministère a créé un SITTT pour les TTT, qui doivent l'utiliser dans le cadre de leur gestion des dossiers judiciaires et à des fins d'établissement de rapports. Le SITTT est un système en ligne qui comprend un grand nombre d'écrans d'entrées de données. Ce système est conçu pour recueillir l'information relative aux caractéristiques démographiques des participants, à leurs antécédents de traitement, à leur casier judiciaire, à leur participation au programme, et aux renvois. Bien que l'intention soit que l'équipe de traitement et le tribunal entrent les données, il n'y a guère à ce stade que l'équipe de traitement qui soit en mesure de le faire. Afin de protéger la confidentialité des renseignements personnels du participant, le Ministère n'a pas accès à la composante de gestion des dossiers judiciaires du SITTT. Toutefois, des champs particuliers, dépourvus de renseignements identifiant personnellement les personnes, sont remontés au Ministère à des fins de gestion du rendement et d'établissement de rapports. L'évaluation prévoyait un examen d'un extrait de ces données sous Excel pour tous les sites à l'exception de Vancouver4. La période couverte par la collecte de données varie selon les sites.
- Tableaux prédéfinis du SITTT. Le Ministère a élaboré plusieurs tableaux prédéfinis visant à suivre l'évolution du programme. Lors de l'évaluation, les sites étaient en train de mettre en place le système et, par conséquent, le niveau d'information entrée et disponible pour chaque site peut varier.
3.3. Entrevues avec les répondants clés
Les entrevues avec les répondants clés ont été utilisées pour recueillir des renseignements sur la pertinence du PFTTT, sur son élaboration et son exécution, sur son succès, et sur son ratio coût-efficacité. Elles ont par ailleurs permis de recueillir des renseignements particuliers à chaque TTT.
Une liste des répondants clés potentiels a été examinée et mise à jour en consultation avec le directeur de chaque TTT. Tous les répondants clés ont reçu le guide d'entrevue préalablement à l'entretien lui-même. Les entrevues ont été réalisées par téléphone ou en personne, dans la langue officielle choisie par le répondant. Chaque entrevue s'est déroulée sur une période variant de 60 à 90 minutes.
50 répondants clés ont participé aux entrevues. Leur répartition est présentée dans le Tableau 3.
| Équipe du tribunal | Équipe de traitement | Autre | Total | |
|---|---|---|---|---|
| Toronto | 5 | 3 | 8 | |
| Vancouver | 3 | 5 | 8 | |
| Edmonton | 4 | 3 | 7 | |
| Winnipeg | 4 | 3 | 1 | 8 |
| Ottawa | 5 | 4 | 1 | 10 |
| Regina | 3 | 5 | 8 | |
| Représentant fédéral | 1 | 1 | ||
| Total | 24 | 23 | 3 | 50 |
3.4. Études de cas
Les études de cas ont fourni des renseignements sur l'expérience personnelle des participants dans le cadre du programme. En consultation avec le Comité consultatif de l'évaluation, Winnipeg, Ottawa et Toronto ont été choisis à titre de sites désignés pour l'étude de cas.
Les entrevues effectuées dans le cadre d'une étude de cas l'ont été en personne dans les bureaux du TTT. Chaque entrevue a été réalisée sur une période de 30 à 45 minutes. Les participants avaient la possibilité de mettre fin à l'entrevue à tout moment. Un total de 22 participants aux programmes des TTT a pris part à cette étude de cas, comme illustré dans le Tableau 4.
| TTT | Participants actifs | Diplômés | Programme non terminé | Total |
|---|---|---|---|---|
| Toronto | 3 | 3 | 2 | 8 |
| Winnipeg | 3 | 2 | 1 | 6 |
| Ottawa | 4 | 3 | 1 | 8 |
| Total | 10 | 8 | 4 | 22 |
Bien que les participants aux études de cas aient eu la possibilité de se faire accompagner d'un confident digne de confiance, un membre de la famille, un partenaire, ou un ami proche par exemple, aucun n'a tiré profit de cette possibilité.
Au cours des visites relatives à l'étude de cas, l'équipe de recherche s'est par ailleurs soumise à une réunion préparatoire et à une séance hebdomadaire de la Cour.
3.5. Enquête auprès des intervenants
Une enquête auprès des intervenants des TTT a permis d'obtenir des renseignements sur la pertinence et sur le succès de ces institutions.
L'enquête ciblait les personnes qui étaient directement impliquées dans les TTT. L'échantillon était composé de membres de l'Association canadienne des tribunaux de traitement de la toxicomanie (ACTTT), d'abonnés au bulletin d'information électronique des TTT, de partenaires des TTT bénéficiant d'une aide financière, et des intervenants des TTT de Durham et de Calgary. La liste a fait l'objet d'un examen et d'une mise à jour en consultation avec les directeurs de chaque TTT.
L'enquête a fait l'objet d'un test préliminaire auprès de cinq répondants. À la suite des résultats du test préliminaire, la formulation de certaines questions a été éclaircie.
Une fois effectué le test préliminaire, des trousses d'enquête ont été envoyées par la poste à 238 répondants. Ceux-ci avaient la possibilité de retourner leur enquête soit par la poste dans une enveloppe préadressée et préaffranchie qui était fournie avec le questionnaire qu'on leur avait envoyé, ou par télécopie gratuite. Les non-répondants ont été contactés par téléphone, soit pour vérifier qu'ils allaient compléter leur enquête, soit pour leur proposer de remplir le questionnaire au téléphone. Un total de 88 questionnaires remplis a été reçu, pour un taux de réponse de 37 pour cent. Le Tableau 5 montre le taux de réponse par site.
| TTT | Nombre envoyé | Nombre reçu | Taux de réponse |
|---|---|---|---|
| TTT bénéficiaires de fonds | |||
| Edmonton | 30 | 19 | 63 % |
| Winnipeg | 44 | 17 | 39 % |
| Regina | 42 | 15 | 36 % |
| Toronto | 48 | 16 | 33 % |
| Vancouver | 29 | 9 | 31 % |
| Ottawa * | 32 | 5 | 16 % |
| TTT ne bénéficiant pas d'un financement | |||
| Calgary | 5 | 3 | 60 % |
| Durham | 8 | 4 | 50 % |
| Total | 238 | 88 | 37 % |
* L'enquête pour Ottawa a été réalisée sur une période plus courte que pour les autres sites en raison des retards éprouvés dans l'obtention de l'échantillon.
3.6. Restrictions
Une restriction importante portant sur la capacité à communiquer les résultats concerne la période relativement brève au cours de laquelle la plupart des TTT ont été en service (environ 2,5 ans à 3,2 ans). Bien que Toronto ait été en service depuis 1998, la mesure continue du rendement n'a démarré qu'avec l'arrivée du PFTTT et du SITTT; par conséquent, le suivi à long terme des résultats n'est pas disponible pour Toronto. Sachant que la durée du programme varie de huit à dix-huit mois, les sites qui ont commencé à admettre des clients il y a environ trois ans ont eu à ce jour peu de possibilités de produire des diplômés. En fonction des évaluations des sites, le nombre de diplômés variait de 21 à Winnipeg, à 8 à Regina, rendant la comparaison de résultats entre les diplômés et les non-diplômés des autres groupes de référence quelque peu prématurée5. Qui plus est, la durée de l'évaluation des diplômés après le programme peut varier, et dans de nombreuses circonstances se révéler très courte. Il s'ensuit qu'il est prématuré de tirer autre chose que des conclusions préliminaires sur les résultats, notamment en matière de réduction de la consommation de drogues et de l'activité criminelle.
L'évaluation a par ailleurs connu d'autres restrictions quant à la disponibilité des données. L'évaluation prévoyait quatre sources principales de renseignements sur les résultats : les entrevues, les résultats d'enquête, les données du SITTT, et les évaluations des résultats des TTT individuels. Dans l'idéal, ces différentes sources permettraient de renforcer les interprétations en corroborant les conclusions sur l'ensemble des sources de données qualitatives et quantitatives. Quoi qu'il en soit, l'évaluation a éprouvé un certain nombre de problèmes qui ont limité sa capacité à utiliser les données afin d'en déterminer les résultats.
L'évaluation n'a pas utilisé les données du SITTT en raison de problèmes d'exhaustivité et d'exactitude des données.
- Tableaux prédéfinis du SITTT. Bien que les tableaux prédéfinis soient prévus pour fournir au Ministère un instantané des TTT individuels, leur utilisation pour l'évaluation demeure limitée. Les renseignements ne permettent pas une analyse par candidat admis, par participant n'ayant pas achevé le programme, ou par diplômé du programme. Ce type d'analyse permettrait au Ministère de déterminer les similarités et les différences entre les individus qui ont réussi et ceux qui ont échoué.
- Harmonisation des données des tableaux prédéfinis du SITTT avec celle de la gestion des dossiers judiciaires. L'évaluation a révélé un certain nombre d'écarts entre les données de la gestion des dossiers judiciaires qui ont été remontés au Ministère et les tableaux prédéfinis.
- Différences au niveau des données du SITTT sur l'ensemble des sites. En raison de différents retards, le SITTT n'a pas été fonctionnel dans les TTT avant l'automne 2008. Ceci a limité la période disponible pour l'entrée des données relatives à l'évaluation et en conséquence, le niveau d'information sur les clients varie selon les sites, tout comme la période couverte par ces données.
L'évaluation comprend les conclusions des évaluations des résultats que chaque TTT a complétées. Les évaluations des résultats communiquées sur chacun des résultats prévus du PFTTT, notamment la conformité aux exigences de programme des TTT, la réduction de la consommation de drogues, la réduction de la récidive, et une stabilité sociale améliorée chez les participants. Toutefois, on a observé une grande différence dans la manière selon laquelle ces résultats étaient définis et mesurés. Il s'ensuit que les comparaisons entre les sites et les généralisations au sujet de l'incidence du PFTTT sont difficiles à établir.
L'analyse coût-efficacité des TTT est limitée par le manque d'information disponible sur les coûts que ces derniers ont engagés. Les données du SITTT ne comprennent pas les renseignements relatifs au coût et les évaluations des résultats des TTT contiennent peu de renseignements quant au ratio coût-efficacité. En outre, le PFTTT n'avait pas les états financiers pour les coûts provinciaux associés aux TTT, sachant que la plupart des bénéficiaires de fonds sont des ONG. Les données concernant la récidive, qui sont importantes pour démontrer si les coûts sont compensés par les bénéfices, ne sont pas non plus disponibles pour tous les TTT, et celles qui le sont, ne sont jamais qu'indicatives (voir discussion au paragraphe 4.3.1).
Pour répondre à ces restrictions, l'évaluation a rassemblé des données qualitatives sur les résultats en fonction des expériences des participants des TTT et des opinions émises par les professionnels de la justice pénale et du traitement, qui travaillent dans ces TTT. L'évaluation a également inclus des renseignements issus de la documentation sur les TTT lorsque celle-ci était pertinente. Par ailleurs, bien que les évaluations des résultats des sites ne fournissent pas des données comparables, l'évaluation suggère des similarités et des différences entre leurs conclusions visant à vérifier s'il existe une tendance générale des effets des TTT sur l'ensemble des sites, même si la mesure utilisée n'est pas constante.
- Date de modification :