Évaluation de l’Initiative sur les pouvoirs d’enquête au 21e siècle

3. Méthodologie de l’évaluation

Un groupe de travail interministériel sur l’évaluation a été mis sur pied pour appuyer l’évaluation en fournissant des commentaires, des conseils et des suggestions concernant la conception et la réalisation de l’évaluation. Le groupe de travail a été mis sur pied au début de l’évaluation et comportait des représentants de l’Initiative PE21S et des unités d’évaluation de chacun des ministères partenaires fédéraux.

La méthodologie de cette évaluation comprenait plusieurs sources de données et utilisait les méthodes de collecte de données suivantes :

3.1. Examen des documents

Parmi les principaux documents internes examinés se trouvent les suivants :

3.2. Examen de l’information sur le rendement

Dans le cadre de la stratégie de mesure du rendement de l’Initiative, les responsables de l’Initiative PE21S ont compilé des données sur le rendement associées à chacun des résultats attendus. Au moment de l’évaluation, l’information était disponible pour trois ans : 2015-2016 à 2017-2018 inclusivement. Ces données ont été examinées pour les besoins de l’évaluation.

3.3. Examen documentaire

Un examen documentaire ciblé a été entrepris sur des articles et des rapports qui fournissent de l’information sur des sujets tels que les tendances de la cybercriminalité et les défis de l’application de la loi; l’évaluation annuelle de la menace que représente la criminalité organisée sur Internet (IOCTA) d’Europol; et les rapports d’évaluation du Conseil de l’Europe concernant la mise en œuvre de la Convention de Budapest par les États signataires. En outre, une recherche en ligne visant à déterminer les affaires judiciaires se rapportant aux pouvoirs d’enquête de l’Initiative PE21S entre mars 2015 et mars 2019 a été effectuée et la jurisprudence pertinente a été examinée.

3.4. Examen des tendances en matière de cybercriminalité et de criminalité assistée par ordinateur

Cette analyse était axée sur la collecte et l’analyse de données sur l’incidence, l’enquête et la résolution de deux catégories générales de criminalité impliquant des services informatiques :

Les documents examinés pour cette analyse des tendances avaient trait au signalement de la cybercriminalité aux services de police au Canada, à des sondages Eurobaromètre en Europe qui comprenaient des questions sur les incidents de cybersécurité vécus par les membres du public, et à des enquêtes auprès d’organisations commerciales au Canada et d’entreprises et d’organismes de bienfaisance d’Angleterre et du Pays de Galles, concernant les approches en matière de cybersécurité et les incidents cybernétiques.

3.5. Entrevues avec des informateurs clés

Au total, 36 entrevues ont été menées auprès d’informateurs clés, à savoir des principaux intervenants internes et externes, réparties comme suit :

Lors de la présentation des résultats des entrevues, on a utilisé l’échelle suivante :

3.6. Limitations

L’évaluation a fait face à quelques limitations ou défis méthodologiques, tel qu’indiqué plus bas par sources de données.

Examen des tendances en matière de cybercriminalité et de criminalité assistée par ordinateur. Nombre d’enquêtes et d’estimations publiées quant à l’ampleur de la cybercriminalité et de ses répercussions sont réputées peu fiables, incomplètes ou incohérentes. En conséquence, ces faiblesses dans les données limitent la base des données probantes visant à éclairer l’élaboration de politiques sur la cybercriminalité, les stratégies d’intervention et l’affectation des ressources, sans parler de l’évaluation des mesures prises. Voici les principales faiblesses et difficultés relevées dans la documentation examinée :

Examen de l’information sur le rendement. Les responsables de l’initiative PE21S ont été en mesure de fournir de l’information sur le rendement pour les trois années de mise en œuvre. Toutefois, il a été difficile d’évaluer l’efficacité des activités de sensibilisation et de formation entreprises dans le cadre de l’Initiative, car les évaluations postérieures à la formation n’avaient pas été mises en œuvre au moment des événements. Pour remédier à cette situation, l’évaluation a mené des entrevues avec des informateurs clés pour recueillir ces données. Même si bon nombre des informateurs clés ne se souvenaient pas des activités de formation spécifiques auxquelles ils avaient participé, la plupart connaissaient très bien les éléments clés de la LPCCC.

Entrevues avec des informateurs clés. Une limitation comprenait la possibilité d’introduire un biais en raison de l’approche d’échantillonnage pour les entrevues avec les informateurs clés, ainsi que la participation volontaire dans cette méthode de collecte de données. Une réponse auto-déclarée est biaisée lorsque les individus font rapport sur leurs propres activités et peuvent désirer se montrer sous leur meilleur jour. Lorsque les participants répondent aux questions avec l’intention de modifier les résultats, on a affaire à une réponse stratégique biaisée. Pour remédier à cette situation, des mesures ont été prises lors de l’évaluation pour assurer que la liste des informateurs clés soit équilibrée afin qu’elle contienne un groupe de répondants bien renseignés et une variété de points de vue internes et externes.

Stratégie d’atténuation. Afin d’atténuer ces limitations, l‘évaluation a utilisé de multiples sources de données et de triangulation pour confirmer les résultats.