Évaluation de la fonction de perfectionnement professionnel du Ministère de la Justice

3. Méthodologie d’évaluation

3.1. Méthodes

L’évaluation a été réalisée au moyen d’une combinaison de méthodes qualitatives et quantitatives.

3.1.1. Examen des documents et des données

Un examen systématique des renseignements pertinents liés au PP a été mené. L’examen des documents et des données a fourni des renseignements descriptifs, a éclairé l’élaboration des outils de collecte de données, et a abordé les questions relatives à l’évaluation dans la matrice d’évaluation (voir l’annexe A). Dans le cadre de l’évaluation, les données et les rapports provenant d’iCase (p. ex., nombre d’heures que les professionnels du droit consacrent à la formation) et du libre-service de la formation PeopleSoft (p. ex., nombre et types de cours auxquels les employés se sont inscrits) ont également été examinés. Seules les données concernant les employés nommés pour une période indéterminée ou les employés qui ont travaillé au Ministère pendant plus de six mois ont été examinées dans le cadre de l’évaluation.

3.1.2. Entrevues avec les principaux informateurs

Des entrevues avec les principaux informateurs ont été menées pour fournir des renseignements descriptifs sur les éléments suivants : la structure de gouvernance de la fonction de PP; les perceptions du modèle de prestation du PP au sein du Ministère en général; et la satisfaction ayant trait aux besoins en formation. Au total, 34 entrevues ont été réalisées auprès de 37 personnes, y compris des personnes responsables de l’élaboration, de la prestation ou de la coordination du PP au sein du Ministère, et des représentants régionaux et de portefeuille/secteur dédiés à la fonction de PP. Ces groupes d’intervenants comprenaient le Secteur de la gestion et du dirigeant principal des finances, le Secteur des pratiques juridiques, le Secteur national du contentieux (SNC) (y compris la représentation régionale), et divers portefeuilles juridiques du Ministère. Les entrevues ont été menées par téléphone et en personne.

3.1.3. Sondage en ligne

Un sondage en ligne a été administré à tous les employés du Ministère nommés pour une période indéterminée ou pour une période déterminée de plus de six mois afin de déterminer dans quelle mesure les besoins en matière de PP étaient satisfaits et s’il existait des lacunes. Le sondage a également examiné s’il existait des obstacles à l’accès aux activités de PP et à l’application de l’apprentissage dans le travail. Au total, 940 répondants représentant les six régions ont répondu au questionnaire. Les questionnaires remplis représentent environ 22 % des 4 341 employés du Ministère. Ceux qui travaillent dans le Groupe professionnel du droit (LP et LCNote de bas de page 6) représentaient 45,5 % des répondants. Ces données démographiques sous-estiment légèrement le nombre réel d’employés LP et LC (69 %) qui travaillent au Ministère.Note de bas de page 7

3.2. Limites

Des défis ont été relevés en ce qui concerne la disponibilité, la cohérence et l’exactitude des données existantes, notamment la nature et l’ampleur de la formation suivie par les employés individuels, les dépenses de formation par type/sujet, et les besoins de formation à l’échelle du Ministère. Par conséquent, l’examen et la comparaison des données provenant de ces différentes sources (c.-à-d. PeopleSoft, iCase, données de sondage et données financières) se sont avérées difficiles.

Les données tirées de PeopleSoft peuvent ne pas être fiables. Premièrement, on ne sait pas si tous les portefeuilles, secteurs et bureaux régionaux suivent la participation réelle aux cours dans PeopleSoft, ou simplement les inscriptions. Les principaux informateurs ont laissé entendre que les chiffres d’inscription pourraient surestimer la participation. Par exemple, certains peuvent s’inscrire à un cours et ne pas y assister, compromettant ainsi les évaluations du nombre et du type de cours suivis. Il existe également plusieurs administrateurs de formation dans divers secteurs habilités à créer des codes de cours dans PeopleSoft, ce qui entraîne des problèmes d’enregistrement et de communication de l’information. Inversement, il peut également y avoir un problème de sous-estimation des inscriptions et de participation. Certaines activités de PP sont par nature moins formelles et peuvent ne pas nécessiter d’inscription, être élaborées de façon indépendante par les gestionnaires de portefeuille, de secteur et des régions, ou ne pas nécessairement être enregistrées officiellement dans PeopleSoft.Note de bas de page 8 Le système part du principe que les employés individuels enregistrent leurs activités dans le système, mais on ne sait pas s’ils le font de façon précise.

Le processus d’inscription aux cours de l’EFPC dans PeopleSoft peut également prêter à confusion, ce qui entraîne une sous-représentation des nombres. Une comparaison des nombres et des pourcentages d’inscription à l’EFPC dans PeopleSoft, un sondage d’évaluation, et un rapport sommaire de l’EFPC sur les inscriptions aux cours émanant du Ministère semblent indiquer que les cours de l’École ne sont pas toujours enregistrés dans PeopleSoft. De même, les données d’iCase qui documentent le temps consacré aux activités de PP (principalement) par les professionnels du droit (avocats, notaires et parajuristes) sont également assujetties à des inexactitudes, car elles dépendent de l’enregistrement individuel du temps et des différentes façons de saisir le temps. Certains professionnels du droit, ce qui inclut la plupart des gestionnaires juridiques au niveau LC et certains au niveau LP, n’ont aucune obligation d’enregistrer le temps car ils en sont exemptés. Ces données sont limitées par le fait de ne pas inclure la majorité des autres professionnels.

Afin de compléter les données existantes, un sondage en ligne a été mené auprès de 940 employés. Bien que cela ne représente qu’environ 22 % de tous les employés du Ministère, ce niveau de réponse est conforme aux normes modernes des sondages internes, compte tenu du manque de temps des employés et de la « lassitude relative aux sondages ». La ventilation des données démographiques des répondants indique la participation des employés occupant des postes juridiques et non juridiques, et affiche des fréquences à peu près conformes aux distributions des employés dans des catégories telles que le sexe et l’emplacement.

L’examen et la comparaison des dépenses financières concernant différents types de PP au sein du Ministère sont difficiles. Le codage de la formation assurée par l’ADP, le PFJC et l’EFPC dans PeopleSoft et iCase peut être indiqué de façon inexacte ou incohérente par les employés, et il existe plusieurs façons d’enregistrer le temps. La capacité à effectuer des comparaisons financières fiables est limitée parce que les coûts liés au PP sont souvent regroupés dans une catégorie « autre » dans les budgets. Par conséquent, il est difficile d’obtenir des ventilations détaillées des coûts relatifs aux divers types de PP dans différents secteurs du Ministère. De plus, aux fins de la présente évaluation, nous n’avons pas eu un accès complet aux coûts liés au PP et à sa gestion engagés dans les portefeuilles, les secteurs et les bureaux régionaux.