Évaluation du programme juridique de partenariats et d'innovation
Annexe C - Stratégie d'échantillonnage
Stratégie d'échantillonnage des demandeurs retenus
Ce cadre d'échantillonnage est fondé sur les données administratives des exercices 2007-2008 à 2010-2011.
Au total, 30 organismes retenus (dont certains l'ont été à plusieurs reprises) ont été entrés dans l'échantillon. Les évaluateurs ont travaillé avec les données pour établir les diverses catégories de demandeurs et ont sélectionné un nombre représentatif de demandeurs dans chaque catégorie de sorte à obtenir un nombre minimum de répondants. Ces catégories sont les suivantes :
- Partie de l'échantillon consacrée à l'examen des dossiers (à peu près la moitié de l'échantillon);
- Catégorie de demande (p. ex., Nunavut, contribution générale, initiatives associées à la question des femmes autochtones disparues ou assassinées, VIJ (financement de base) et subventions nominatives.
D'autres caractéristiques ont été étudiées, mais non utilisées, notamment :
- Région. L'échantillonnage aléatoire aurait dû traiter de la répartition régionale, mais nous ne disposions pas de données suffisantes sur la population pour tenir compte de l'effet de biais.
- Type d'organisme demandeur d'un financement. Les données n'étaient pas suffisantes pour établir un classement des organismes par type.
- Montant du financement. Celui-ci n'a pas été pris en compte parce qu'il était déjà abordé indirectement dans le cadre de la sélection des répondants dans les catégories de financement; par ailleurs, la sélection aléatoire se doit d'éviter les biais systématiques.
La liste de répondants au sondage (demandeurs retenus) était extraite des bases de données administratives tenues à jour par Justice Canada. L'échantillon de demandeurs retenus a été constitué en deux étapes. Tout d'abord, une sélection aléatoire de 15 demandeurs retenus a été effectuée pour l'examen des dossiers, tout en veillant à ce que ces derniers représentent différents types de demandes. Ensuite, 15 demandeurs retenus qui n'étaient pas inclus dans l'examen des dossiers ont été sélectionnés. Dans un premier temps, un quota pour la sélection des représentants de chaque strate a été établi (p. ex., nombre de répondants par catégorie de demande). Ensuite, chaque demandeur individuel dans chaque catégorie pour les exercices 2007-2008 à 2010-2011 s'est vu attribuer un numéro. Un programme générateur de nombres aléatoires a été utilisé pour sélectionner les numéros (organismes) qui feraient partie de l'échantillon. Dans certains cas, lorsque le nombre de demandeurs retenus était trop petit (p. ex., inférieur à trois), tous les répondants du groupe étaient sélectionnés.
Dans la plupart des cas, une liste de réserve a été constituée pour les catégories sélectionnées. La seule exception concerne les situations pour lesquelles il n'y avait pas de liste de réserve (p. ex., l'ensemble de la population devait être sélectionné du fait qu'elle comportait moins de trois organismes). Ainsi, si la personne-ressource dans les dossiers n'était plus valide ou si les répondants refusaient de participer, des substituts (liste de réserve) avaient d'ores et déjà été identifiés et sélectionnés de façon aléatoire.
Stratégie d'échantillonnage des demandeurs non retenus
En dépit du fait que certains noms remontaient aussi loin que 2007-2008 dans la catégorie des demandeurs non retenus, nous avons procédé à un échantillonnage spécifique sur les deux derniers exercices (2009-2010 et 2010-2011) afin d'éviter les problèmes de suivi (p. ex., roulement de personnel) et les problèmes de rappel des demandeurs qui n'avaient pas déposé de dossier récemment.
La liste des participants au sondage était tirée des données administratives tenues à jour par Justice Canada. L'échantillonnage des demandeurs non retenus a été constitué comme suit : tout d'abord, chaque demandeur individuel s'est vu attribuer un numéro. Un programme générateur de nombres aléatoires a été utilisé pour sélectionner les numéros (organismes) qui feraient partie de l'échantillon.
Une fois le cadre de l'échantillonnage établi, Justice Canada a envoyé à chaque organisme – ceux qui figuraient dans le cadre et dans la liste de réserve – une lettre officielle leur expliquant l'objet du sondage. La lettre :
- expliquait que l'équipe de consultants menait le sondage et précisait l'identité du commanditaire (c.-à-d. Justice Canada);
- expliquait la raison pour laquelle l'information était recueillie;
- précisait que le point de vue ou les déclarations des répondants ne seraient pas accessibles aux employés de Justice Canada, sauf sous la forme d'un résumé statistique ou de commentaires anonymes;
- informait le répondant éventuel que la participation à l'évaluation était volontaire;
- l'invitait à participer.
Les organismes du cadre d'échantillonnage ont ensuite reçu un courriel les invitant à participer au sondage et leur précisant que les évaluateurs allaient leur écrire ou les appeler pour fixer le moment de l'entrevue. Les deux premiers sondages par téléphone ont été menés par le coordonnateur des éléments de preuve du sondage à titre de test préalable. Quelques modifications ont été apportées à l'instrument définitif de sorte à garantir que les questions soient claires et les questions d'approfondissement pertinentes.
Afin de maximiser le taux de réponse au sondage, deux courriels de rappel ont été envoyés et deux appels téléphoniques ont été passés à chaque répondant.
Taux de réponse au sondage
Le taux de réponse (et la façon dont il a été calculé) au sondage est présenté dans les tableaux 1 à 3.
Tableau 1 : Résultats du sondage : Taux de réponse du sondage auprès des demandeurs retenus
| Résultat du sondage | Nombre | Pourcentage |
|---|---|---|
| Coordonnées incorrectes | 2 | |
| Personne-ressource absente au moment de l'étude | 4 | |
| Refusé | ||
| Sondage complété | 18 | |
| Nombre total de participants contactés | 25 | 72% |
| Calcul du taux de réponse | Nombre | Pourcentage |
|---|---|---|
| Nombre total de personnes-ressources (contactées - coordonnées incorrectes) | 23 | |
| Répondants coopératifs (sondage complété + absents) | 22 | |
| Taux de réponse (réponse coopératifs/nombre total de répondants) | 96% |
Tableau 2 : Résultats du sondage : Taux de réponse du sondage auprès des demandeurs non retenus
| Résultat du sondage | Nombre | Pourcentage |
|---|---|---|
| Coordonnées incorrectes | 8 | |
| Personne-ressource absente au moment de l'étude | 1 | |
| Refusé | 2 | |
| Sondage complété | 8 | |
| Nombre total de participants contactés | 20 | 40% |
| Calcul du taux de réponse | Nombre | Pourcentage |
|---|---|---|
| Nombre total de personnes-ressources (contactées - coordonnées incorrectes) | 12 | |
| Répondants coopératifs (sondage complété + absents) | 9 | |
| Taux de réponse (réponse coopératifs/nombre total de répondants) | 75% |
Tableau 3 : Résultats du sondage : Taux de réponse global du sondage
| Résultat du sondage | Nombre | Pourcentage |
|---|---|---|
| Coordonnées incorrectes | 10 | |
| Personne-ressource absente au moment de l'étude | 5 | |
| Refusé | 2 | |
| Sondage complété | 26 | |
| Nombre total de participants contactés | 45 | 58% |
| Calcul du taux de réponse | Nombre | Pourcentage |
|---|---|---|
| Nombre total de personnes-ressources (contactées - coordonnées incorrectes) | 35 | |
| Répondants coopératifs (sondage complété + absents) | 31 | |
| Taux de réponse (réponse coopératifs/nombre total de répondants) | 89% |
Toutes les données du sondage ont été analysées à partir d'un fichier de données intitulé Ensemble des programmes statistiques relatif aux sciences sociales, qui comportait le nom des variables et les codes de valeur. Il contenait en outre les réponses mot pour mot à toutes les questions ouvertes. Les données ont été analysées au moyen de tableaux statistiques et de tableaux croisés, fondés sur l'état de la demande (c.-à-d., retenu c. non retenu) et comparées au moyen des chi-carrés.
- Date de modification :