3 Méthodologie d’évaluation
L’évaluation a été guidée par une matrice d’évaluation (questions d’évaluation, indicateurs et sources de données) qui a été élaborée dans le cadre du processus d’établissement de la portée et de conception de l’évaluation. L’annexe A contient la liste des questions d’évaluation.
Le GTE composé de représentants du SLCRD a fourni des conseils pendant la conception et la mise en œuvre de l’évaluation. Le Groupe a coordonné l’accès aux documents et aux données et a fourni une rétroaction sur les produits d’évaluation (c.-à-d. les questions d’évaluation, les constatations préliminaires et l’ébauche du rapport d’évaluation).
L’évaluation comprenait de multiples sources de données et a utilisé les méthodes de collecte de données décrites dans le tableau ci-dessous. Une description détaillée de la méthodologie se trouve à l’annexe B.
Tableau 2: Sources de données
| Source de données | Description |
|---|---|
| Examen des documents | L’examen des documents comprenait un examen des documents internes (p. ex., les documents administratifs du SLCRD, les rapports d’étape, les documents de planification et de politique, les documents de formation et les documents des comités consultatifs), ainsi que des documents ministériels et d’autres documents gouvernementaux accessibles au public. |
| Examen des données administratives | L’examen des données administratives comprenait des renseignements obtenus par l’intermédiaire du Système intégré des finances et du matériel de Justice Canada. |
| Analyse de l’environnement | Une analyse de l’environnement a été entreprise avec six initiatives gouvernementales comparables fonctionnant dans un contexte similaire à celui du SLCRD. L’objectif était d’examiner les activités, l’approche et la structure organisationnelle d’initiatives similaires au Canada. Au total, neuf personnes d‘initiatives comparables ont été interviewées et des documents ont été examinés. |
| Entrevues avec des informateurs clés | Au total, 41 informateurs clés ont été interrogés dans le cadre de l’évaluation, y compris 35 représentants de Justice Canada et six représentants d’autres ministères. |
3.1 Limites et stratégies d’atténuation
Le tableau 3 décrit les principales limites liées à la méthodologie, ainsi que les stratégies d’atténuation qui ont été mises en œuvre. Dans l’ensemble, le processus d’évaluation n’a pas rencontré de contraintes ou de limites qui l’ont empêché d’aborder adéquatement tous les enjeux et toutes les questions de l’évaluation.
Tableau 3 : Résumé des limites et des stratégies d’atténuation
| Élément de preuve | Limite | Stratégie d’atténuation |
|---|---|---|
| Entrevues avec des informateurs clés | Les entrevues avec les informateurs clés ont permis d’introduire un biais de réponse autodéclarée et un biais de réponse stratégique.Note de bas de page 2 | Ce risque a été atténué par l’utilisation de plusieurs sources de données, y compris des sources de données objectives, comme des documents et des données administratives, pour en arriver aux conclusions globales de l’évaluation. |
| Entrevues avec des informateurs clés | Manque de connaissance du SLCRD chez certaines personnes interrogées de l’extérieur (p. ex. parce qu’elles ne participent pas directement au SLCRD ou parce qu’elles ont des connaissances limitées des activités du SLCRD). | Les intervieweurs ont cherché à obtenir de l’information sur les pratiques exemplaires, les tendances et les enjeux émergents, ainsi que sur d’autres sujets pertinents dont les personnes interrogées ont pu parler. |
| Analyse de l’environnement | Absence de documentation publique sur l’analyse de l’environnement. | L’équipe d’évaluation a travaillé en étroite collaboration avec le GTE afin de déterminer quelles organisations inclure dans l’analyse de l’environnement. De plus, au cours du processus d’entrevue, les évaluateurs ont demandé aux personnes interrogées des organisations de comparaison de partager les documents pertinents. |
| Toutes les sources de données | Le rôle du SLCRD a évolué depuis sa création. Par conséquent, il est possible que certaines personnes interrogées à l’extérieur du SLCRD aient fait des commentaires sur une vision dépassée du SLCRD. De plus, certains changements n’étaient pas bien documentés et la compréhension des évaluateurs dépendait des idées des personnes interrogées. |
L’équipe d’évaluation a intégré les changements apportés aux SLCRD dans l’approche de collecte de données. Lorsque les personnes interrogées à l’extérieur du SLCRD ont fait des commentaires sur une caractéristique, un rôle ou une lacune du SLCRD, l’équipe d’évaluation s’est assurée que ces points de vue étaient pertinents compte tenu des rôles, des responsabilités et des activités actuels du SLCRD. Les évaluateurs se sont assurés d’être au courant de ces changements afin que l’analyse et les rapports soient exacts. |
- Date de modification :