Système de gestion informelle des conflits Évaluation
1. INTRODUCTION
1.1. Objet de l’évaluation
L’objet de la présente étude consiste à effectuer une évaluation à l’échelle nationale du Système de gestion informelle des conflits (SGIC) du ministère de la Justice (Ministère). Nous évaluons les résultats à court terme de la mise en œuvre/du processus du SGIC, notamment ce qui suit :
- si les activités ont été mises en œuvre de la façon prévue;
- si le SGIC a été administré efficacement et rentablement;
- si des améliorations sont nécessaires;
- si le programme est bien ciblé et rejoint les bénéficiaires prévus;
- si les résultats à court terme attendus ont été réalisés.
Les questions d’évaluation sont regroupées selon trois enjeux, notamment la pertinence, la réalisation des résultats attendus, et l’efficacité et l’économie. Une liste des questions d’évaluation particulières sous chaque enjeu d’évaluation figure ci-après.
Enjeux de l’évaluation
- Pertinence
Le secteur ou l’activité de programme continue‑t‑il de servir l’intérêt public? Le gouvernement a‑t‑il un rôle légitime et nécessaire à jouer dans ce secteur ou cette activité de programme?
- Réalisation des résultats attendus
- Dans quelle mesure le SGIC a‑t‑il amélioré efficacement la connaissance des personnes auxquelles il faut s’adresser pour obtenir des services de gestion des conflits? Dans quelle mesure l’accessibilité et l’utilisation des services de gestion des conflits ont-elles été améliorées?
- Dans quelle mesure le SGIC a‑t‑il amélioré efficacement la sensibilisation à des moyens de rechange de gérer les conflits? Dans quelle mesure ces moyens de rechange ont-ils été appliqués?
- Dans quelle mesure le SGIC a‑t‑il collaboré efficacement avec des partenaires afin d’accroître la reconnaissance de leurs rôles et leur dévouement visible à soutenir le progrès du SGIC?
- À ce jour, dans quelle mesure le programme a‑t‑il réussi à passer à une culture de collaboration en milieu de travail ouverte qui peut mieux résoudre les conflits?
- Quels progrès supplémentaires le programme devrait‑il probablement accomplir au cours des trois à cinq prochaines années?
- Économie et efficacité
- La conception et le fonctionnement du programme SGIC sont-ils rentables? Les ressources sont-elles utilisées efficacement?
- Quelles améliorations pourrait‑on apporter à la conception ou à l’exécution du programme? Y a‑t‑il des solutions de rechange au SGIC?
1.2. Méthodologie d’évaluation
La méthodologie d’évaluation consiste en sondages et entrevues ainsi qu’en un examen de documents et une analyse documentaire, de la façon décrite ci‑après.
- Un sondage en ligne des employés du Ministère. On a distribué une lettre par courrier électronique, dans les deux langues officielles, à environ 4 500 employés du Ministère dans l’ensemble du Canada par le biais de JustInfo, afin de les inviter à participer à un sondage en ligne anonyme. L’objet du sondage en ligne consistait à obtenir de l’information sur la sensibilisation aux services fournis par le SGIC, leur utilisation et leurs effets. Deux cent soixante-seize répondants ont rempli le questionnaire en ligne, ce qui représente un taux de réponse d’environ 6 %.
- Entrevues avec les cadres supérieurs du SGIC supervisant le programme. L’objet de ces entrevues consistait à obtenir une description plus poussée de la façon dont les divers éléments du programme ont été mis en œuvre, ainsi qu’à recueillir des observations sur la pertinence du programme, la réalisation des résultats attendus, et l’économie et l’efficacité.
- Entrevues avec 10 partenaires du SGIC d’un échantillon représentatif des services du Ministère, notamment les Relations de travail, la Gestion de la planification stratégique et du rendement, l’Informatique et le Droit des Autochtones. Nous donnons ci-après une ventilation de ces personnes interviewées par région.
Administration centrale Alberta Ontario Québec Atlantique Nombre de partenaires 4 2 2 1 1
L’objet de ces entrevues consistait à recueillir des observations au sujet des relations entre le SGIC et ces partenaires, notamment les rôles que jouent les partenaires dans le programme, le progrès réalisé vers la réalisation des résultats attendus et les possibilités d’amélioration. Aux fins du présent rapport, nous utilisons le terme répondant clé lorsque les réponses des partenaires et du personnel du SGIC sont déclarées ensemble.
- Analyse documentaire. L’objet de cette analyse consistait à obtenir de l’information au sujet du besoin du programme, notamment s’il représente un rôle légitime et nécessaire pour le gouvernement, ainsi que des pratiques exemplaires qui peuvent représenter des améliorations éventuelles à la conception et à l’exécution du programme.
- Entrevues avec des représentants de programmes SGIC semblables dans sept autres ministères fédéraux. L’objet de ces entrevues consistait à obtenir des données comparables sur les programmes mis en œuvre par d’autres ministères fédéraux, ainsi que de dégager les pratiques exemplaires qui pourraient représenter des améliorations éventuelles de la conception et de l’exécution du programme.
Vous trouverez à l’annexe A les questionnaires et les guides d’entrevue.
1.3. Défis et limitations
Les défis et limitations dont il faut tenir compte lorsqu’on examine les résultats de l’évaluation sont les données incomplètes disponibles sur les services fournis, les données limitées disponibles sur les coûts d’exécution du programme, et l’erreur de non-réponse qui est éventuellement reliée au sondage des employés. Les répercussions de ces défis et les mesures prises pour les atténuer comportent notamment :
- Données incomplètes recueillies par le programme. Le SGIC a déclaré des données sur le nombre de services directs fournis, mais il a relevé que toutes les interactions n’étaient pas consignées et que, par conséquent, les chiffres sous-représentent les véritables niveaux d’activité. Qui plus est, on n’a pas recueilli de données sur le nombre de séances de formation et de sensibilisation qui ont été organisées ou le nombre de participants qui y ont assisté. Par conséquent, il n’y a pas de mesure claire de la portée du programme. Pour réagir à cette limitation, l’évaluation comporte des questions sur l’utilisation des services que l’on a posées lors des entrevues des employés, et sur les niveaux d’activité lors des entrevues des représentants du programme.
- Données limitées disponibles sur les coûts d’exécution du programme. Le programme a fourni des renseignements sur les budgets du programme et les niveaux de dotation. Cependant, la fusion du SGIC avec le Bureau de l’intégrité et de la gestion des conflits en milieu de travail (BIGCMT) a abouti au partage des ressources et, par conséquent, on ne dispose pas de données sur le niveau de ressources (humaines et financières) affectées aux diverses activités du programme, ce qui rend plus difficile d’évaluer l’économie et l’efficacité du programme. Pour répondre à cette limitation, des questions qualitatives sur l’efficacité du programme ont été incluses dans les entrevues des répondants clés. En outre, les données disponibles sur les niveaux de dotation, les budgets du programme et les services directs fournis ont été utilisées pour comparer le SGIC du Ministère à des programmes semblables d’autres ministères fédéraux.
- Erreur de non-réponse éventuelle dans le sondage des employés du Ministère. Comme on avait laissé le choix de répondre au sondage aux employés et que le taux de réponse n’était que de 6 %, l’on s’inquiète que les caractéristiques des répondants puissent être différentes des caractéristiques de ceux qui ne l’ont pas fait. Dans le tableau ci‑après, nous comparons les caractéristiques de ceux qui ont répondu au sondage à celles de la population totale des employés du Ministère déclarée dans le profil démographique du Ministère du 31 mars 2008. Pour évaluer la nature de l’erreur de non-réponse éventuelle, les caractéristiques des répondants ont été comparées au profil global des employés du Ministère.
Comme il est indiqué ci‑après, les employés de la région de la capitale nationale (RCN) étaient surreprésentés dans le sondage des employés, tandis que les membres du groupe Droit (GD) semblent être sous-représentés, bien que ceci puisse être une fonction des différences dans la façon dont les classifications des postes ont été interprétées. Les Autochtones étaient surreprésentés, tandis que les membres des groupes de minorités visibles étaient quelque peu sous-représentés.
| Profil |
Catégories |
Répondants au sondage |
Population d’employés[1] |
||
|---|---|---|---|---|---|
Nombre |
Pourcentage |
Employés |
Pourcentage |
||
Secteur de travail |
Bureaux régionaux |
58 |
21% |
2,014 |
43% |
Région de la capitale nationale |
203 |
74% |
2,682 |
57% |
|
Unité des services juridiques ministériels |
15 |
5% |
N/A |
N/A |
|
Total |
276 |
100% |
4,696 |
100% |
|
Sexe |
Femmes |
195 |
71% |
3,170 |
67% |
Hommes |
79 |
29% |
1,526 |
33% |
|
Total |
276 |
100% |
4,696 |
100% |
|
Groupes visés par l'équité en matière d'emploi |
Groupes de minorités visibles |
22 |
8% |
547 |
12% |
Autochtones |
29 |
11% |
156 |
3% |
|
Personnes handicapées |
14 |
5% |
238 |
5% |
|
Total |
65 |
24% |
941 |
20% |
|
Classification des postes |
Administration et service extérieur |
27 |
10% |
878 |
19% |
Technique/Exploitation |
35 |
13% |
314 |
7% |
|
Soutien administratif |
51 |
19% |
853 |
18% |
|
Exécutif |
12 |
4% |
38 |
1% |
|
Scientifique et professionnel |
43 |
16% |
102 |
2% |
|
GD (groupe Droit) |
72 |
27% |
2,511 |
53% |
|
Autres[2] |
29 |
11% |
n/a |
n/a |
|
Total |
269 |
100% |
4,696 |
100% |
|
Oui |
52 |
19% |
N/A |
N/A |
|
Faites-vous partie de la direction? |
Non |
217 |
78% |
N/A |
N/A |
Autres[3] |
7 |
3% |
N/A |
N/A |
|
Total |
276 |
100% |
4,696 |
100% |
|
Le taux de réponse comparatif tendait à être plus élevé chez les employés de la RCN, où la plupart des services du programme ont été fournis. Vingt-et-un pour cent des répondants étaient en poste dans les bureaux régionaux de la Colombie-Britannique, de l’Ontario, du Québec, du Canada atlantique et des Prairies.
Figure 1 : Taux de réponse au sondage sur le SGIC
On prévoit que ceux qui connaissaient le SGIC et avaient utilisé ses services seraient plus susceptibles de répondre. Par conséquent, les résultats du sondage surreprésentent l’utilisation des services du SGIC et surdéclarent probablement la sensibilisation au programme. Pour réagir à cette limitation, 1) on a croisé les résultats du sondage selon les caractéristiques des répondants et 2) on les a comparé à l’information disponible sur le nombre de services fournis, afin d’évaluer dans quelle mesure l’erreur de non-réponse risque d’avoir influé sur les résultats pour des questions particulières. Cet effet est décrit davantage au chapitre Principales constatations (chapitre 3).
1.4. Structure du rapport
Le document est divisé en quatre chapitres :
- Le chapitre 2 fournit une description des objectifs, des activités, de la structure d’exécution et du budget du SGIC.
- Le chapitre 23 présente une vue d’ensemble des principales constatations de l’évaluation.
- Le chapitre 4 résume les principales conclusions découlant de l’évaluation.
- Le chapitre 5 présente les recommandations et la réponse de la direction.
- Date de modification :