3. Méthodologie d’évaluation

• Page précédente
• Table des matières
• Page suivante

L’évaluation a été guidée par une matrice d’évaluation (questions d’évaluation, indicateurs et sources de données) élaborée au cours de la phase d’établissement de la portée et de conception de l’évaluation. Elle incluait plusieurs sources de données et a employé les méthodes de collecte de données décrites ci-dessous. L’annexe A contient une liste des questions d’évaluation.

3.1 Examen des documents, des données et de la littérature

L’examen des documents et des données a fourni de l’information descriptive sur les activités du BOSRI, de l’information relative à la nécessité du BOSRI (y compris s’il représente un rôle légitime et nécessaire pour le gouvernement), les pratiques exemplaires pouvant signifier des améliorations potentielles à la conception et à l’exécution, ainsi que les avantages des services de résolution informelle des conflits. L’examen s’est poursuivi tout au long de la phase d’évaluation et a porté sur les types de documents suivants :

• littérature – documents évalués par les pairs et documents parallèles ayant trait à la résolution informelle des conflits, y compris les tendances et les enjeux émergents et la recherche sur les pratiques exemplaires;
• documents et données – documents de fond et de mise en œuvre du BOSRI, information sur le rendement, rapports annuels du BOSRI et politiques et rapports accessibles au public.

3.2 Entrevues avec des informateurs clés

Au total, 17 entrevues ont été réalisées avec le personnel du BOSRI et les partenaires, ainsi qu’avec les intervenants internes et externes. Les partenaires et intervenants internes comprenaient des représentants de la haute direction, de la Direction générale des ressources humaines, de la santé et sécurité au travail, de la prévention du harcèlement et de la violence en milieu de travail, ainsi que du Secrétariat de la lutte contre le racisme et la discrimination. Les intervenants externes comprenaient des représentants syndicaux et d’autres ministères.

Voici la répartition des entrevues par groupe :

• Personnel du BOSRI (n=3);
• Partenaires et intervenants internes (n=9);
• Intervenants externes (n=5).

3.3 Sondage de l’évaluation du BOSRI auprès des employés du Ministère

Un sondage auprès de l’ensemble des employés du ministère de la Justice (sondage de l’évaluation du BOSRI) a été réalisé dans le cadre de l’évaluation pour obtenir de l’information sur la connaissance et l’utilisation des services du BOSRI.

Une approche multimédia a été utilisée pour communiquer le lancement du sondage. Une lettre par courriel, dans les deux langues officielles, a été distribuée à environ 5 365 employés du Ministère dans l’ensemble du Canada les invitant à participer à un sondage en ligne anonyme. Des notifications et des rappels ont également été affichés sur les écrans d’information dans les bâtiments du ministère de la Justice, sur JUSnet, le site intranet du Ministère, et sur JUS Votre mise à jour hebdomadaire pour encourager les employés à participer. Au total, 327 employés ont répondu au sondage (taux de réponse de 6 %).

3.4 Études de cas

Cinq études de cas ont été menées pour comprendre le parcours d’un client du BOSRI passant par le SGIC et pour documenter les défis, les réussites et les améliorations qui pourraient être apportées à certains processus. Les études de cas ont été sélectionnées en collaboration avec le Groupe de travail sur l’évaluation et ont été validées par les participants aux études de cas. L’expérience des différentes activités du BOSRI et la complexité des cas ont été des critères pris en compte dans le processus de sélection.

3.5 Schémas de processus

Des schémas de processus ont été réalisés pour définir la complexité et le niveau d’effort associé à la procédure officielle de règlement des griefs afin de comparer l’efficacité de cette procédure à celle de la procédure informelle.

3.6 Contraintes et stratégies d’atténuation

Disponibilité limitée des données pour effectuer une analyse des économies de coûts

Déterminer la rentabilité des services de résolution informelle des conflits est complexe, et l’approche adoptée dans la présente évaluation a évolué en fonction de la disponibilité des données. Le but initial de l’analyse de l’efficacité était d’évaluer la rentabilité des services de résolution informelle des conflits fournis par le BOSRI, tout en présentant les avantages du système informel et l’optimisation des ressources associée au BOSRI. L’approche consistait à établir une estimation des coûts associés aux services du BOSRI et une estimation des ceux associés au processus de résolution informelle des conflits, à comparer les deux et à élaborer un scénario de modélisation qui projetterait des estimations d’économies de coûts au fil du temps. Il est entendu que les deux processus sont utiles et qu’ils ne sont pas toujours interchangeables.

Cependant, les données sur les activités (comme le volume de cas, le temps consacré et le niveau d’effort) des diverses parties participant aux processus de résolution informelle des conflits n’ont pas fait l’objet d’un suivi systématique au sein du Ministère pendant les années visées par la présente évaluation. Par conséquent, l’approche de l’analyse des coûts a été modifiée pour élaborer des scénarios de cas possibles dans le processus officiel et estimer les coûts approximatifs pour le niveau d’effort requis à l’aide d’exemples de scénarios possibles. De même, pour le processus informel géré par le BOSRI, l’évaluation des coûts devait être réalisée à partir des études de cas des clients.

Des schémas de processus ont été réalisés pour chacun des scénarios du processus officiel, avec l’aide de la Division des relations de travail et de la rémunération et de la Division de la planification et des programmes ministériels en RH, mais les renseignements sur les coûts n’étaient pas disponibles pour faciliter l’analyse des économies de coûts. Par conséquent, l’évaluation de l’efficacité s’est appuyée sur des calculs effectués pour évaluer les coûts par activité du BOSRI au fil du temps (c.-à-d. depuis sa création).

Disponibilité limitée des données sur les clients du BOSRI

Bien que l’évaluation ait pris en compte les données anonymisées sur la satisfaction des clients recueillies par le BOSRI, les données sur le rendement n’étaient pas disponibles à des fins d’analyse pour des raisons de confidentialité. Ainsi, la Direction d’évaluation était limitée aux renseignements communiqués publiquement dans les rapports annuels du BOSRI afin de protéger la confidentialité, et le sondage de l’évaluation du BOSRI a été utilisé pour recueillir de l’information anonyme auprès des employés qui avaient utilisé les services du BOSRI.

Risque de partialité des répondants

Il y a possibilité de biais dans les réponses des informateurs clés en raison de leur intérêt direct pour le programme. Par ailleurs, la liste des personnes sélectionnées pour une entrevue ayant été fournie par le BOSRI, cette liste comprend des partenaires et des intervenants susceptibles d’avoir eu des expériences et des interactions plus positives avec le BOSRI, ce qui pourrait donner lieu à des réponses biaisées. Pour atténuer le problème, la Direction d’évaluation a mis en œuvre plusieurs outils de collecte de données et s’est appuyée sur de multiples sources de données pour vérifier les résultats par rapport à d’autres sources et points de vue.

Risque d’erreur attribuable à la non-réponse au sondage de l’évaluation du BOSRI

Comme on avait laissé le choix de répondre au sondage et que le taux de réponse n’était que de 6 %, on s’inquiète du fait que les caractéristiques des répondants puissent être différentes de celles des personnes qui n’ont pas répondu au sondage. Il est possible que celles qui avaient moins de choses à dire, qui ne connaissaient pas bien le BOSRI ou qui avaient surtout des commentaires négatifs aient choisi de ne pas participer au sondage. De plus, seuls les employés actuels du ministère de la Justice avaient accès au sondage, et il est possible que certains employés ayant eu une expérience avec le Bureau entre sa création et le moment du sondage ne travaillent plus pour le Ministère.

Le tableau à la page suivante (tableau 2) compare les caractéristiques de ceux qui ont répondu au sondage à celles de la population totale des employés du Ministère en 2023 déclarée par le Secrétariat du Conseil du Trésor du Canada^{Footnote 1}. Pour évaluer la nature de l’erreur de non-réponse éventuelle, les caractéristiques des répondants ont été comparées au profil global des employés du Ministère. Comme il est indiqué ci‑après, les hommes étaient légèrement sous-représentés et les femmes étaient légèrement surreprésentées. Les minorités visibles étaient légèrement sous-représentées. Quant aux personnes handicapées, elles semblent surreprésentées, mais cela peut s’expliquer par des différences dans la manière dont les handicaps sont catégorisés. Les praticiens du droit étaient également sous-représentés, à la différence de la plupart des autres groupes professionnels qui étaient légèrement surreprésentés, à quelques exceptions près.

• Page précédente
• Table des matières
• Page suivante