Format de rechange
Version PDF (302 Ko)
Le rapport a été préparé par Bureau de la vérification et de l'évaluation Conseil national de recherches Canada
Le rapport a été approuvé par le président du CNRC le 31 octobre, 2016.
Sommaire
Le présent rapport fait état des résultats de l’évaluation effectuée en 2016 des activités de recherche, de développement et de commercialisation du Conseil national de recherches du Canada (CNRC) financées dans le cadre de la Feuille de route pour les langues officielles du Canada 2013-2018 (ci-après appelée la « Feuille de route »). L’initiative menée par le CNRC dans le cadre de cette feuille de route fait partie des 28 initiatives qui ont été mises en œuvre par 14 partenaires fédéraux. Comme cela avait été le cas dans les deux plans d’action quinquennaux précédents, le CNRC a touché 10 millions de dollars sur cinq ans au titre de sa contribution à la Feuille de route. Ces sommes ont été utilisées par le portefeuille Technologies de l’information et des communications (TIC) pour mener des activités de R-D sur les technologies de traitement du langage naturel destinées à soutenir la croissance et la compétitivité de l’industrie langagière canadienne et d’autres secteurs d’activité canadiens.
La présente évaluation a été menée par une équipe indépendante du Bureau de la vérification et de l’évaluation (BVE) du CNRC. Elle fournit de l’information sur la pertinence et le rendement (notamment au chapitre de l’efficience et de l’efficacité) de l’initiative du CNRC dans le cadre de la Feuille de route. Vu la taille relativement restreinte de l’initiative du CNRC et étant donné que le CNRC a effectué une évaluation complète de cette initiative au début de 2012 Note de bas de page 1, le BVE a procédé à une évaluation calibrée de l’initiative financée. Celle-ci a été rationalisée : la portée en a été réduite et on a eu recours à un nombre restreint de méthodes comparativement à une évaluation traditionnelle. Les évaluations calibrées permettent d’utiliser plus efficacement les ressources consacrées aux évaluations tout en maintenant la crédibilité et l’utilité des résultats obtenus. Il convient aussi de souligner qu’une évaluation de l’ensemble des activités du portefeuille TIC est prévue pour 2017-2018.
Voici les méthodes d’évaluation qui ont été utilisées : examen des documents internes et externes (sources principales mentionnées dans l’annexe) et des données administratives; et entretiens approfondis avec des parties intéressées internes (4) et externes (4) ainsi qu’avec des clients et des collaborateurs (6).
Pertinence
Voici les constatations de l’évaluation sur la pertinence de l’initiative :
- La technologie de traduction automatique statistique (TAS) répond à une demande dans la fonction publique canadienne et dans certains domaines industriels en dehors du secteur traditionnel de la traduction. En revanche, au sein de l’industrie canadienne de la traduction, la technologie TAS ne semble pas susciter beaucoup d’intérêt.
- Les engagements du CNRC dans le cadre de la Feuille de route sont conformes aux résultats stratégiques recherchés ainsi qu’aux priorités fédérales. L’initiative du CNRC est aussi dans une large mesure harmonisée avec les résultats ultimement visés par la Feuille de route. Toutefois, l’alignement des activités du CNRC et les résultats qu’on espère en tirer, et les objectifs du « pilier de l’ éducation », soit le volet où ils ont été placés dans l’architecture des résultats de la Feuille de route, pourraient être plus clairement décrit.
- Le rôle que joue le CNRC dans la recherche et développement sur les technologies de traitement du langage naturel est approprié, étant donné qu’il est conforme à son mandat et que les gouvernements de pays pairs du Canada effectuent des investissements similaires. Le portefeuille TIC du CNRC possède une masse critique d’experts dans le traitement du langage naturel et ceux-ci bénéficient d’une reconnaissance mondiale; par conséquent, le rôle joué par le CNRC dans la prestation de cette initiative pourrait conduire à l’obtention de résultats déterminants.
- Le CNRC joue un rôle crucial dans le maintien des capacités intérieures du Canada en matière de traitement du langage naturel. Sans le CNRC, il n’y aurait aucune autre organisation, publique ou privée, au Canada disposée à jouer ce rôle ou capable de le faire.
Rendement
Le rendement a été évalué dans le contexte suivant :
- la contribution de l’équipe de recherche au développement de technologies de pointe en traitement du langage naturel;
- les retombées des activités sur l’industrie langagière canadienne et d’autres secteurs d’activité canadiens;
- l’efficience.
Voici les constatations de l’évaluation sur le rendement de l’initiative :
- Malgré leur excellence, les activités de recherche et développement n’ont pas donné lieu à une adoption importante des technologies dans le secteur privé. Actuellement, c’est dans le secteur public que la capacité d’absorption des technologies développées a été le plus notée..
- Le logiciel de traduction automatique statistique (TAS) développé par le CNRC dans le cadre de cette initiative a eu des retombées importantes dans le secteur public.
- Les technologies langagières du CNRC développées grâce au financement obtenu dans le cadre de la Feuille de route ont de larges applications qui vont au-delà du champ d’action de la seule industrie langagière canadienne.
- Le CNRC utilise actuellement ses ressources de manière efficiente afin de tenir les engagements pris dans le cadre de la Feuille de route.
Recommandation
L’évaluation a conduit à une seule recommandation :
Recommandation : Le CNRC devrait réévaluer la pertinence de sa présence dans le « pilier de l’éducation » de la Feuille de route et s’efforcer de mieux montrer comment ses activités et ses résultats attendus s’intègrent dans l’architecture des résultats de la Feuille de route.
Pour voir la réponse de la direction, veuillez consulter le rapport complet de l'évaluation.
Notes de bas de page
- Note de bas de page 1
-
L’initiative avait déjà fait l’objet d’une évaluation en 2012. Toutefois, comme Patrimoine canadien procède actuellement à une évaluation horizontale de l’ensemble de la Feuille de route, conformément aux conditions du Cadre de coordination horizontale de la Feuille de route 2013-2018, une évaluation portant sur la période de trois ans allant de 2013-2014 à 2015-2016 est nécessaire. La présente évaluation fournira les données nécessaires à cette évaluation horizontale.