Fonds d'appui à l'accès à la justice dans les deux langues officielles, Évaluation

4. Constats d'évaluation ( suite )

4.3. Le financement de projets

La troisième composante du Fonds d'appui consiste en un financement de projets visant à sensibiliser les communautés de langue officielle ou à accroître la capacité d'un organisme de répondre aux besoins des communautés en matière d'accès à la justice dans les deux langues officielles. Utilisant un processus de sélection efficace et bien compris des organismes bénéficiaires, le Ministère a été à même de financer une série de projets liés aux objectifs du Fonds d'appui. Les paragraphes qui suivent élaborent sur ces constats.

Profil des projets financés et des activités mises en œuvre

Depuis la mise en œuvre du Fonds d'appui en 2003, le ministère de la Justice a reçu 147 demandes de financement de projets. À ce jour, 41 de ces dossiers demeurent actifs et 106 ont été menés à terme (qu'ils aient ou non reçu un financement).

Le tableau 7 présente un survol des demandes de financement et des projets ayant été financés par le Fonds d'appui.

Tableau 7 – Survol des projets financés par le Fonds d'appui (n=106)

À titre d'illustration, la liste des projets financés à ce jour inclut des ateliers pour juristes sur les droits linguistiques, l'élaboration de modèles d'actes juridiques, des ateliers de terminologie juridique, des programmes de sensibilisation pour les jeunes à la profession juridique, et des répertoires électroniques sur Internet de juristes pratiquant dans la langue de la minorité.

Le ministère de la Justice encourage les bénéficiaires à obtenir un appui, financier ou autre, de sources additionnelles pour leurs projets. Ainsi, 48 % des projets ont reçu un appui financier d'une autre source et 42 % un appui non-financier. Généralement, le type d'appui non-financier qu'obtiennent les bénéficiaires concerne les ressources humaines pour la mise en œuvre de leurs activités (23 %) ou des prêts d'équipement/location de salle (7 %). Le tableau 8 présente les sources additionnelles les plus communes d'appui non-financier et financier.

Tableau 8 – Sources d'appui non-financier et financier

Pourcentage des projets … ayant reçu un appui non-financier provenant d'un
55 % Organisme communautaire
32 % Établissement d'enseignement
25 % Gouvernement provincial
2 % Autre ministère ou fonds fédéral

Pourcentage des projets … ayant reçu un appui financier provenant de :
37 % Inscriptions/cotisations/ventes
31 % Autre ministère ou fonds fédéral
24 % Gouvernement provincial
22 % Organisme communautaire
14 % Établissement d'enseignement
2 % Entreprise privée

De façon générale, les activités prévues dans le cadre des projets financés ont été mises en œuvre tel que prévu. Seulement 6 % des ententes ont dû être prolongées et 1 % interrompues. Bien qu'il arrive parfois que de légères modifications soient apportées aux activités et/ou aux échéanciers, ces changements sont généralement mineurs et n'affectent pas les résultats finaux. En outre, les bénéficiaires tiennent généralement les responsables du Fonds d'appui bien au courant de tout changement apporté. D'une part, le ministère de la Justice assure un suivi serré des projets. D'autre part, un lien de confiance s'est développé entre les bénéficiaires et les responsables du Fonds d'appui, faisant en sorte que les bénéficiaires se sentent généralement à l'aise de partager ouvertement avec le Ministère leurs préoccupations ou les défis auxquels ils font face.

Processus lié à la demande de financement et à la sélection de projets

Le ministère de la Justice a établi un processus de demande de financement et de sélection de projets pour le Fonds d'appui. Les organismes admissibles soumettent une demande, suivant le modèle général offert par le Ministère pour les demandes de financement à tous ses fonds, qui est ensuite revue par le comité de sélection. Dans l'ensemble, les intervenants concernés estiment être bien informés et appuyés tout au long du processus de demande et de sélection de projets.

Le ministère de la Justice utilise divers moyens pour informer les organismes admissibles du Fonds d'appui. L'information sur les critères de sélection, l'admissibilité, les objectifs et le processus à suivre pour faire une demande a été transmise lors des rencontres du sous-comité et du groupe de travail F/P/T. De plus, les responsables du Fonds d'appui ont tenu des sessions d'information dans le but de présenter cette information à différents groupes. Le site Web du Ministère contient aussi l'information pertinente au sujet du processus de demande et les organismes sont invités à communiquer avec les responsables du Fonds d'appui pour toute question concernant leur demande de financement.

Le Ministère a mis à la disposition des bénéficiaires potentiels diverses sources d'information sur le processus de financement lié au Fonds d'appui. Tel que démontré au tableau 9, les bénéficiaires consultés ont été informés de la possibilité de soumettre une demande de financement au Fonds d'appui soit par le Ministère directement, par l'entremise d'un autre organisme ou par une combinaison de sources.

Tableau 9 – Comment avez-vous été informé de la possibilité de soumettre une demande de financement?(n=13)
Par un collègue / un autre organisme 38 %
Nous avons reçu une lettre/un courriel du ministère de la Justice 31 %
Par le site Web du ministère de la Justice 31 %
Lors de rencontres avec / présentations données par le Ministère 31 %
Lors des rencontres du sous-comité ou du groupe de travail F/P/T 15 %
En faisant nos propres recherches 8 %
Autre 15 %

Tout en étant liés aux besoins identifiés dans le cadre de la recherche sur l'état des lieux, les critères de sélection du Fonds d'appui demeurent relativement larges. D'une part, cette caractéristique permet au Fonds d'appui de financer un éventail d'activités traitant des besoins identifiés. D'autre part, cette caractéristique peut créer une certaine ambiguïté sur ce qui peut ou non être financé par le Fonds d'appui. Certains demandeurs consultés ont éprouvé de la difficulté à déterminer dans quelle mesure leur demande de projet répondait aux critères de sélection et devaient donc communiquer avec le Ministère pour obtenir des clarifications. À cette fin, les constats d'évaluation indiquent que les responsables du Fonds d'appui se sont avérés être promptement disponibles pour répondre à de telles questions.

En plus de l'appui direct offert par les responsables du Fonds d'appui tout au long du processus de demande de financement, le ministère de la Justice offre un guide de préparation d'une demande de financement et un gabarit d'un formulaire de demande de financement sur son site Web. Les bénéficiaires n'ont généralement pas fait face à de grands défis lors de la soumission de leurs demandes, jugeant que le processus est efficace, et qu'il est conçu et géré de façon à répondre à leurs besoins.

Le processus pour revoir les demandes de financement est particulièrement expéditif. Lorsqu'un organisme soumet sa demande de financement, le comité de sélection, composé de quatre membres (deux membres de la direction générale des Programmes et deux membres du Bureau de la Francophonie, Justice en langues officielles et Dualisme juridique) revoit la demande afin de déterminer si l'organisme et le projet sont admissibles à recevoir un financement du Fonds d'appui. Le comité de sélection se réunit au besoin, selon les demandes reçues. En moyenne, on peut prévoir un délai d'environ 15 jours entre la date de soumission d'une demande et la date de révision par le comité de sélection. Une fois la demande revue, le comité de sélection informe le demandeur de la décision ou d'un besoin de clarification. En moyenne, il s'écoule 24 jours entre la date de révision par le comité de sélection et la date de remise d'une décision formelle, bien que dans plus de 40 % des dossiers fermés, la décision formelle ait été rendue à l'intérieur d'un délai de 10 jours. Souvent, avant même d'envoyer une lettre au demandeur, les responsables du Fonds d'appui l'informeront par téléphone de la décision prise.

Bien que, dans plusieurs cas, le comité de sélection soit retourné aux demandeurs afin de clarifier certains aspects de la demande, cette procédure n'a pas entraîné de délais importants. Parmi les dossiers fermés, des clarifications ont été demandées dans 48 % des cas. De ceux-ci, près de 90 % des demandes ont par la suite été acceptées. Lorsqu'une demande est rejetée, les responsables du Fonds d'appui informent toujours le demandeur de la raison du rejet. Les raisons pour le rejet d'une demande incluent :

Le sondage auprès des bénéficiaires a confirmé que l'appui offert par le Ministère a largement répondu à leurs besoins. Tel qu'indiqué au tableau 10, la très grande majorité des répondants a jugé favorablement l'information et le support fournis par le Ministère.

Tableau 10 – Veuillez indiquer votre niveau de satisfaction à l'égard des éléments suivants du processus de demande de financement. (n=13)
  Très satisfait Satisfait
Clarté de l'information offerte au sujet du processus de demande de financement 54 % 38 %
Soutien offert par le Ministère pendant le processus de demande de financement 77 % 23 %
Critères utilisés pour déterminer l'admissibilité au financement 62 % 38 %
Explications fournies par le Ministère au sujet de la décision rendue 46 % 46 %

Objectifs et pertinence du financement de projets

Puisque les critères de sélection du financement de projets sont directement liés aux besoins identifiés dans le cadre de la recherche sur l'état des lieux, les projets financés sont généralement jugés pertinents pour répondre aux besoins en matière d'accès à la justice dans les deux langues officielles. D'une part, les objectifs visés par les projets financés sont étroitement liés aux objectifs du Fonds d'appui (voir tableau 11).

Tableau 11 – Objectifs visés par les projets financés
Accroître la capacité des partenaires du Ministère 41 %
Sensibiliser les communautés de langue officielle 21 %
Développer des partenariats 18 %
Améliorer l'accès à la justice en français 17 %
Sensibiliser le grand public 10 %
Sensibiliser les juristes 9 %

D'autre part, les projets financés sont sélectionnés selon la mesure dans laquelle ils correspondent aux besoins identifiés. Le tableau 12 présente les besoins dont ont traité les projets financés à ce jour.

Tableau 12 – Besoins traités par les projets financés
Outils et ressources juridiques 31 %
Promotion/sensibilisation auprès des communautés 26 %
Promotion/sensibilisation auprès des juristes 19 %
Formation pour les juristes 15 %
Réseautage entre les intervenants 10 %
Promotion/sensibilisation auprès du grand public 4 %

Grâce aux activités de sensibilisation mises en œuvre, les projets financés rendent plus visible la question du droit dans les deux langues officielles. Les constats d'évaluation indiquent que ces activités ont, à ce jour, permis de sensibiliser les juristes, les communautés et le grand public, non seulement aux droits linguistiques en matière d'accès à la justice, mais aussi à l'importance de présenter des demandes et d'offrir les services de justice dans les deux langues officielles.

Les activités qui visent à offrir de la formation aux juristes et à élaborer des outils juridiques dans les deux langues officielles ont aussi permis d'accroître la capacité des juristes d'offrir des services dans la langue officielle de la minorité et ainsi d'accroître l'accès aux services de justice dans les deux langues officielles.

Divers organismes ont participé à l'élaboration d'outils jurilinguistiques et à l'offre de formation juridique, y compris les AJEFs. Toutefois, en ce qui concerne les outils, les principaux organismes ayant élaboré des outils juridiques destinés aux juristes qui pratiquent dans la langue de la minorité sont les quatre centres de jurilinguistique. Il s'agit du Centre de traduction et de documentation juridiques de l'Université d'Ottawa, du Centre de traduction et de terminologie juridiques de l'Université de Moncton, de l'Institut Joseph-Dubuc, et du Centre de recherche en droit privé et comparé du Québec de l'Université McGill.

Les sondages auprès des juristes indiquent que les ressources jurilinguistiques offertes par ces quatre centres de jurilinguistiques ne sont pas toujours bien connues ou utilisées parmi la communauté juridique. Cependant, lorsqu'elles sont utilisées, elles sont généralement perçues comme étant utiles. Une plus grande visibilité et une promotion plus poussée de ces ressources permettraient sans doute de répondre aux besoins d'un plus grand nombre de juristes qui pratiquent dans la langue de la minorité.

Tel qu'illustré au tableau 13, on retrouve une proportion importante de répondants qui ne connaissait pas ou n'utilisait pas les ressources jurilinguistiques des trois centres francophones. Puisque le but de la présente démarche n'est pas d'évaluer chaque projet séparément, on ne peut que spéculer sur ces tendances. Ce qui est cependant important de noter est le fait que plus de 9 répondants sur 10 utilisant les ressources produites les trouvent utile ou très utiles

Tableau 13 – Connaissance, utilisation et degré d'utilité des ressources jurilinguistiques

Tel qu'indiqué au tableau 14, les même tendances se retrouvent chez les répondants anglophones au Québec.

Tableau 14 – Connaissance, utilisation et degré d'utilité des ressources jurilinguistiques offertes par l'Université McGill.

Veuillez indiquer dans quelle mesure vous connaissez les ressources jurilinguistiques (n=27)
Assez bien 4 %
Peu 30 %
Pas du tout 59 %

Veuillez indiquer dans quelle mesure vous utilisez les ressources jurilinguistiques (n=21)
Rarement 24 %
Jamais 76 %

Veuillez évaluer le degré d'utilité des ressources jurilinguistiques (n=6)
Très utile 50 %
Utile 33 %
Inutile 17 %

Source : Sondage auprès des juristes d'expression anglaise

Les sessions de formation financées par le Fonds d'appui et offertes par les AJEFs et certains centres de jurilinguistique sont généralement bien perçues. La formation porte sur divers sujets, y compris les droits linguistiques, la terminologie juridique en français et des questions liées à la pratique du droit (par exemple la résolution de conflits). Selon les juristes consultés lors du sondage, les formations qui traitent de la terminologie juridique et des modèles d'actes juridiques dans la langue de la minorité sont particulièrement pertinentes. Les formations qui visent des domaines particuliers du droit sont aussi pertinentes, mais dans une moins grande mesure, dépendant surtout du domaine de pratique des juristes.

Les tableaux 15 et 16 présentent les données de sondage portant sur la pertinence de la formation professionnelle.

Tableau 15 – Considérant vos besoins actuels en matière de formation professionnelle, veuillez évaluer la pertinence des sujets suivants. (n=160)
  Très pertinent Pertinent
L'utilisation du français en procédures pénales. 33 % 16 %
L'utilisation du français en procédures familiales. 25 % 17 %
L'utilisation du français en procédures civiles. 40 % 24 %
La terminologie juridique en français. 65 % 26 %
L'accès à des modèles d'actes juridiques en français. 58 % 24 %

Source : Sondage auprès des juristes d'expression française

Tableau 16 – Considérant vos besoins actuels en matière de formation professionnelle, veuillez évaluer la pertinence des sujets suivants. (n=27)
  Très pertinent Pertinent
L'utilisation de l'anglais en procédures pénales. 7 % 4 %
L'utilisation de l'anglais en procédures familiales. 7 % 7 %
L'utilisation de l'anglais en procédures civiles. 15 % 30 %
La terminologie juridique en anglais. 30 % 41 %
L'accès à des modèles d'actes juridiques en anglais. 41 % 33 %

Source : Sondage auprès des juristes d'expression française

Dans l'ensemble, les constats d'évaluation indiquent que les activités financées par le Fonds d'appui sont pertinentes et appropriées pour l'atteinte des objectifs identifiés et pour répondre, dans une certaine mesure, aux besoins identifiés en matière d'accès à la justice. En effet, selon environ la moitié des juristes d'expression française consultés par sondage, il y a eu des progrès importants au cours des trois dernières années :

De plus, environ 50 % d'entre eux ont noté que depuis les trois dernières années, un plus grand nombre de leurs clients avait fait une demande pour des services juridiques en français.

Du côté des juristes anglophones du Québec, la vaste majorité (85 %) ne pouvait pas se prononcer sur la question des progrès au cours des trois dernières années dans l'offre de formation professionnelle et l'accessibilité à des outils juridiques. Parmi les raisons qui pourraient expliquer que les progrès ne soient pas aussi notables, ou du moins pas aussi visibles au sein de la communauté anglophone du Québec, on retrouve les suivantes :

Malgré la contribution des activités financées par le Fonds d'appui à l'atteinte des objectifs et aux besoins liés à la prestation de services juridiques dans la langue de la minorité, les constats suivants soulignent certaines des limites du Fonds d'appui :

La mesure du rendement

Des mesures ont été mises en place pour mesurer le rendement des projets financés par le Fonds d'appui, mais elles demeurent encore incomplètes. Pour recevoir un financement du Fonds d'appui, un organisme doit démontrer qu'il a un plan d'évaluation qui inclut la façon dont l'atteinte des résultats escomptés sera mesurée. La majorité des bénéficiaires consultés par sondage (69 %) indiquent avoir un processus en place pour mesurer l'impact des activités financées par le Fonds d'appui. Selon la revue des dossiers de projets, le rendement est mesuré dans 55 % des cas, généralement à l'aide des mesures suivantes :

Bien que les bénéficiaires du Fonds d'appui semblent bien comprendre l'importance de la mesure du rendement, le type de mesure de rendement utilisé suggère qu'il y a toujours une certaine confusion quant à la mesure des résultats comparativement à la mesure des extrants des activités entreprises.

En plus des rapports d'évaluation, les bénéficiaires du Fonds d'appui doivent remettre au ministère de la Justice des rapports sur les données financières et des rapports d'activités. Selon plus des trois-quarts (77 %) des bénéficiaires consultés par sondage, les attentes du Ministère concernant la collecte de données sont claires.

Les données recueillies sont généralement utilisées pour les fins d'évaluation et de vérification, de même que pour la planification future du Fonds d'appui :

4.4. Évaluer les impacts futurs du Fonds d'appui

La présente évaluation offre un portrait partiel des résultats du Fonds d'appui. Tel que mentionné en introduction, l'évaluation couvre trois des cinq années de financement du Fonds d'appui, ainsi qu'une partie de la quatrième année. Cette approche est rendue nécessaire afin de permettre à la présente évaluation de rencontrer les exigences de reddition de compte liées à l'approbation initiale du Fonds d'appui. Il va sans dire que d'autres activités seront initiées d'ici la fin de l'exercice financier 2007-2008, dont l'impact devrait être considéré afin de donner un portrait complet des réalisations du Fonds d'appui.

L'intérêt de mesurer les impacts futurs du Fonds d'appui découle à la fois d'un style de gestion axée sur les résultats et d'une démarche plus globale liée au Programme des langues officielles. Depuis le lancement de son cadre de gestion «  Des résultats pour les Canadiens et les Canadiennes » en 2000, le gouvernement fédéral a instauré un processus de gestion axée sur les résultats qui couvre invariablement la mesure de performance et les processus d'évaluation liés à de nouvelles initiatives telles que le Fonds d'appui. C'est donc selon cette logique qu'il devient pertinent de déterminer comment les résultats à long terme des activités du Fonds d'appui pourront être évalués. L'intérêt pour l'évaluation du Fonds d'appui est aussi accentué du fait qu'il rejoint un résultat anticipé du Programme des langues officielles du gouvernement du Canada, soit celui d'avoir un «  accès accru à la justice dans les deux langues officielles ».[12] La mesure dans laquelle le ministère de la Justice sera à même de mesurer l'impact de ses initiatives liées aux langues officielles va largement dicter la mesure dans laquelle le gouvernement fédéral pourra, par extension, mesurer l'atteinte de ce résultat anticipé de son Programme des langues officielles.

La présente évaluation a largement couvert les résultats à court terme du Fonds d'appui et se concentre en partie au résultat anticipé à moyen terme. Si le portrait est incomplet (pour les raisons mentionnées plus tôt), il n'en demeure pas moins que la méthodologie utilisée pour exécuter l'évaluation permet de mesurer les progrès réalisés à ce jour dans l'atteinte des trois résultats à court terme du Fonds d'appui. Il importe toutefois de souligner que la présente démarche ne visait pas à évaluer, sur une base individuelle, chaque projet financé par le Fonds d'appui. Cette distinction est importante et se pose à chaque fois qu'une évaluation touche un programme de subventions et de contributions. Le Ministère doit évidemment rendre compte des projets qu'il finance, particulièrement en ce qui a trait à leur conformité avec les buts et les objectifs du Fonds d'appui. On ne peut cependant pas s'attendre du Ministère à ce qu'il mesure le résultat net de chaque activité financée par chacun des projets, parmi la centaine de projets qu'il a financés à ce jour. Dans l'ensemble, les résultats du Fonds d'appui ayant été mesurés à ce jour permettent d'identifier de quelle manière les activités du Fonds d'appui contribuent à l'atteinte de son résultat anticipé à moyen terme, qui est d'offrir un accès accru à des services dans les deux langues officielles dans le domaine de la justice. Ces résultats ne permettent cependant pas de mesurer avec précision la contribution relative du Fonds d'appui à ce résultat.

La mesure des résultats à long terme du Fonds d'appui nécessiterait que soient aussi mesurer toutes les autres initiatives (fédérales, provinciales, municipales et communautaires) pouvant y contribuer, un processus tout aussi laborieux qu'improbable. Les deux résultats à long terme identifiés dans le modèle logique du Fonds d'appui précisent vers quels objectifs à long terme la démarche du Fonds d'appui s'inscrit. L'identification de ces résultats à long terme n'entraîne pas systématiquement une obligation correspondante de mesurer l'atteinte de ces résultats et, par la suite, de déterminer la contribution relative du Fonds d'appui à l'atteinte (ou non) de ces résultats à long terme. En d'autres mots, le fait pour le Ministère de ne pas mesurer l'atteinte des résultats à long terme auquel le Fonds d'appui désire contribuer ne saurait, en soi, l'empêcher de les inclure dans son modèle logique, puisque le modèle logique sert à des fins qui dépassent le seul processus de l'évaluation. C'est entre autres par cet outil que s'exprime la logique même d'un programme, et cette démarche fort utile pour des fins de gestion n'est pas moins valide du fait que toutes ses composantes ne sont pas systématiquement évaluées.

En termes pratiques, le Ministère doit déterminer comment le processus d'évaluation peut le plus adéquatement soutenir sa structure de gestion. Avec une initiative telle que le Fonds d'appui, où une panoplie d'intervenants sont impliqués, le ministère de la Justice est appelé à jouer un rôle relativement précis. Il doit s'assurer que les décisions qu'il prend relativement à la gestion du Fonds d'appui sont conformes aux modalités du programme et donc, qu'elles soutiennent les objectifs qui sous-tendent le Fonds d'appui. Dans ce contexte, la distinction entre ce qui pourrait être intéressant de mesurer et ce qui doit être mesuré devient particulièrement importante. Le ministère de la Justice est redevable des extrants et des résultats à court terme du Fonds d'appui et doit être en mesure d'expliquer comment le Fonds d'appui contribue à l'atteinte du résultat à moyen terme. Il est cependant douteux que la mesure de l'atteinte des résultats à long terme soit nécessaire pour assurer une bonne gestion du Fonds d'appui.

La mesure des impacts du Fonds d'appui est intrinsèquement liée et largement dépendante de la mesure continue de rendement. Même si le Ministère ne mesure pas l'atteinte des résultats à long terme du Fonds d'appui et qu'il n'évalue pas chaque projet financé, il peut néanmoins juger important de mieux comprendre comment s'articulent les résultats à court et à moyen termes identifiés à l'intérieur du modèle logique du Fonds d'appui. Le succès d'une telle analyse dépend largement de la qualité des données recueillies par le biais de la mesure continue de rendement. La présente évaluation indique que les gestionnaires du Fonds d'appui et les bénéficiaires du programme comprennent l'importance de la gestion axée sur les résultats et des efforts qui doivent être déployés pour documenter l'impact des activités du Fonds d'appui.

À ce jour, l'évaluation du Fonds d'appui dépend largement de la cueillette de nouvelles données lors des processus formels d'évaluation (revue de document, entrevues, sondages, etc.), avec les limites que cela impose. Si on peut parfois penser qu'il est «  trop tôt » pour évaluer l'impact d'activités comme celles entreprises par le Fonds d'appui, il est important de se souvenir que le seul écoulement du temps ne règle en rien les défis associés à une telle mesure. De fait, l'écoulement du temps ne fait bien souvent qu'accentuer cette problématique. Le Ministère de la Justice aurait donc avantage à préciser les résultats escomptés du Fonds d'appui qu'il désire documenter et mesurer, et ajuster ses exigences de reddition de compte en conséquence.


[12] Gouvernement du Canada. (2005). La dualité linguistique canadienne : Un Cadre de gestion pour le programme des langues officielles. Ottawa, p. 12.