Développement des cultures et des ressources aquatiques rapport d'évaluation

Remerciements

Le Bureau de la vérification et de l'évaluation tient à exprimer sa reconnaissance aux dirigeants et employés du portefeuille Développement des cultures et des ressources aquatiques (DCRA) pour leur appui et leur participation à cette évaluation. Nous tenons aussi à remercier les autres directions du CNRC qui ont participé à l'évaluation en mettant à contribution leurs connaissances et leur savoir-faire. Nous songeons notamment à la Direction des finances, à Soutien à la gestion des affaires, à la Direction des communications, à Gestion du savoir et aux Services de planification et de rapport. L'équipe de l'évaluation tient également à exprimer sa gratitude aux membres du Comité consultatif de l'évaluation pour leurs précieux conseils et leur indispensable encadrement. En terminant, l'équipe de l'évaluation tient à remercier les réviseurs experts, les clients de DCRA et tous les autres interlocuteurs qui lui ont généreusement communiqué des données fortes utiles et des points de vue riches à l'appui de l'évaluation.

Acronymes et abréviations

Résumé

Le présent rapport fait état des résultats de l'évaluation du portefeuille Développement des cultures et des ressources aquatiques (DCRA) du Conseil national de recherches du Canada (CNRC) effectuée en 2015-2016. Ce portefeuille offre des services techniques, des services d'aide à la mise au point de technologies et des conseils scientifiques crédibles pour aider les entreprises canadiennes à transformer efficacement les ressources biologiques du pays en produits à valeur ajoutée durables. Au moment de l'évaluation, le portefeuille comptait quatre programmes : le programme-phare Amélioration du blé canadien (ABC), le programme-phare Conversion du carbone par les algues (CCA), le programme Bioproduits chimiques spécialisés (BCS) et le programme Produits de santé naturels (PSN). Ce dernier programme a pris fin à l'automne 2015.

L'évaluation est une appréciation de l'optimisation des ressources du portefeuille DCRA et notamment de la pertinence de ses activités, de son rendement et de l'utilisation qu'il fait de ses ressources. Elle porte sur la période de trois ans écoulée depuis la création du portefeuille (de 2012-2013 à 2014-2015). Là où il était approprié et possible de le faire, l'évaluation a aussi tenu compte de développements survenus depuis avril 2015.

Les constatations principales formulées en réponse aux questions d'évaluation, les recommandations connexes ainsi que de la réponse de la direction dans chaque cas sont résumées dans les pages qui suivent.

Constatations principales : Pertinence

Besoin des capacités de recherche-développement (R-D) de DCRA

• Il existe un besoin net et démontrable pour les capacités de recherche développement de DCRA. Grâce à ces capacités, DCRA contribue à renforcer et à développer la bioéconomie du Canada, un secteur pouvant apporter des retombées importantes pour le pays.
• De façon générale, les experts et les parties intéressées externes sont favorables aux domaines où DCRA a choisi de concentrer ses efforts, qui sont incarnés dans les programmes du portefeuille. Le programme PSN a démontré qu'il n'avait pas le potentiel d'engendrer les vastes impacts sectoriels escomptés et il n'a d'ailleurs jamais atteint l'envergure souhaitée. Pour ces raisons, il a été décidé de mettre fin à ce programme à l'automne 2015.
• Au cours des prochaines années, DCRA entend se consacrer davantage sur le secteur de l'alimentation et des biens emballés pour la vente au détail. La justification pour ce virage est fondée sur la taille du secteur visé et sur ses possibilités de retombées bien définies. Certains experts et interlocuteurs externes clés consultés dans le cadre de l'évaluation s'entendent aussi sur le bien-fondé de cette stratégie.
• Les capacités du portefeuille répondent généralement aux besoins en recherche-développement des clients industriels et d'autres parties intéressées par les activités de DCRA. La majorité des capacités de DCRA sont alignées avec des programmes approuvés, mais on a constaté que certaines capacités étaient fortement recherchées à l'extérieur des programmes approuvés (p. ex., les plateformes technologiques de développement des cultures) et avaient de la valeur aux yeux des clients. La mise sur pied d'un programme axé sur les produits alimentaires constituerait par ailleurs un excellent moyen de tirer parti de ces capacités et permettrait également des investissements dans ce secteur afin de maintenir et de développer ces capacités.
• Les activités menées par DCRA complètent celles offertes par d'autres organisations et installations.

Harmonisation avec les priorités du CNRC et de l'administration fédérale

• L'accent mis par DCRA sur l'industrie cadre très bien avec la stratégie du CNRC et contribuera à l'obtention du premier résultat stratégique que le CNRC souhaite atteindre, soit « Les entreprises canadiennes prospèrent grâce à l'innovation technologique. »
• Comme on constate des utilisations novatrices de la biomasse dans une diversité de secteurs, les activités de DCRA contribuent à résoudre au moins trois des enjeux essentiels auxquels souhaite s'adresser le CNRC et qui sont : le développement économique, les pressions sur les ressources naturelles et les changements climatiques et l'environnement. La Stratégie fédérale en sciences et en technologie de 2014 a également reconnu que l'environnement et l'agriculture étaient des domaines de recherche à prioriser.

Harmonisation avec les rôles et responsabilités de l'administration fédérale

• Les activités et les résultats de DCRA sont conformes au mandat du CNRC, tel qu'établi dans la Loi sur le CNRC. Les parties intéressées de l'externe interrogées ont appuyé le rôle que joue le CNRC sur le front de la R-D pour contribuer à la bioéconomie du Canada.

Constatations principales : Rendement

Transition vers un portefeuille d'ORT

• Il a fallu plus de temps à DCRA pour se transformer en portefeuille digne d'une organisation de recherche et de technologie (ORT) qu'aux autres portefeuilles du CNRC. Parmi les facteurs qui ont nui à sa transformation figurent l'ampleur des changements au cours de ce processus (plus que pour tout autre portefeuille); le fait que ses programmes ont été créés à des moments différents pour répondre à des attentes différentes, qu'ils possédaient des structures hiérarchiques et des modèles de gestion de programme différents à l'origine, et que des postes clés n'étaient pas dotés.
• Le portefeuille a démontré des progrès appréciables sur plusieurs plans, notamment son orientation stratégique, l'attention accordée aux enjeux de santé et de sécurité et l'accent mis sur le client par le personnel.
• La gestion matricielle a permis une plus grande collaboration entre les établissements de DCRA. On constate toutefois que la distinction entre les rôles et les responsabilités propres au portefeuille et celles des autres programmes du CNRC (notamment la responsabilisation à l'égard de l'exécution des projets) ne semble pas bien comprise au sein de DCRA. Les interactions et les processus liés à l'affectation des ressources aux différents projets ne sont pas les mêmes dans tous les programmes et dépendent en fait des personnes qui les assument.

• Les pratiques opérationnelles actuellement en place à DCRA (en particulier celles qui ont trait à l'approbation des projets et à l'affectation des ressources) sont lourdes, indûment compliquées et manquent d'uniformité d'un programme à l'autre. Par contre, à l'intérieur d'un même programme, les processus et les exigences d'approbation sont uniformes pour tous les projets, peu importe la taille ou le niveau de risque – ce qui a été signalé comme une source de frustration pour certains clients. La direction de DCRA est consciente de ces problèmes et s'efforce actuellement d'harmoniser (lorsque cela est possible) et de simplifier les processus en vigueur dans les différents programmes du portefeuille.

• La plupart des employés de DCRA comprennent la valeur qu'apporte une saine gestion de projet et reconnaissent que cette pratique est essentielle au CNRC. Toutefois, un grand nombre d'entre eux ne possèdent ni les compétences ni l'accès aux ressources nécessaires pour assurer une gestion de projet efficace.

Caractère suffisant et affectation des ressources de DCRA

• De façon générale, DCRA dispose des compétences et de l'équipement techniques et scientifiques nécessaires pour répondre aux besoins actuels de ses programmes. Ses deux programmes phares semblent particulièrement bien dotés en ressources.
• La demande de ressources et l'utilisation de celles-ci par les programmes sont très variables à l'intérieur des cinq emplacements géographiques où DCRA est présent. À certains endroits, le taux d'utilisation a été de 30 % ou moins en 2014-2015. L'application de programmes visant notamment à recycler le personnel sous-utilisé permettrait de réduire les risques de compétences insuffisantes dans des domaines particuliers.
• Des personnes de l'interne et de l'externe ont soulevé l'importance de poursuivre les investissements stratégiques pour accroître les compétences de DCRA et faire en sorte que son personnel demeure à l'avant-garde et puisse continuer de répondre aux besoins du portefeuille et de ses clients dans les années à venir.

Progrès accomplis dans la réalisation des résultats escomptés

• Après avoir vu ses revenus plonger sous les attentes en 2014 2015, DCRA a dépassé ses cibles en 2015-2016.
• La majorité des clients se sont dits très satisfaits de la qualité des services de DCRA. Ils ont surtout critiqué la lourdeur administrative des interactions avec le portefeuille.
• Les deux programmes-phares, ABC et CCA, marquent de beaux progrès par rapport à leur plan et sont bien positionnés pour atteindre les résultats escomptés. Le programme BCS a atteint ses premiers jalons et dépassé sa cible de revenus pour 2015-2016, ce qui donne à penser aux experts que la conception du programme devrait permettre d'atteindre les résultats escomptés.
• Grâce aux efforts de communication qu'il a déployés, le portefeuille a réussi à mieux faire connaître les services qu'il offre, mais certains aspects des campagnes de communication ont besoin d'être améliorés; il lui faut notamment déployer des efforts ciblés pour promouvoir son offre de services (sur le site web du CNRC) et les avantages de collaborer avec le CNRC, et il doit aussi apaiser les craintes des clients quant à la pérennité de ses services, en leur donnant davantage d'information au sujet de la transformation du CNRC et de son orientation future.
• Il n'y a pas de définitions claires des rôles joués par le personnel de DCRA et celui de Soutien à la gestion des affaires (SGA) du CNRC dans l'engagement auprès du client et la gestion des comptes, et de plus, il y a un manque d'uniformité entre les programmes. L'évaluation a également révélé des préoccupations quant à la logique d'affecter les chercheurs à des rôles clés de développement des affaires plutôt que d'exploiter les possibilités dévoilées par le démarchage des chefs, Relations avec la clientèle (CRC).

Premières retombées

• La plupart des clients et collaborateurs du portefeuille considèrent que les projets qu'ils ont réalisés avec l'aide de DCRA ont atteint les résultats escomptés, et un grand nombre d'entre eux estiment que la contribution de DCRA a été non seulement excellente, mais essentielle au succès du projet mené.
• De nombreux clients ont indiqué qu'il était encore trop tôt pour que les retombées socio économiques attendues des projets qu'ils mènent avec le CNRC se réalisent. Les clients qui ont constaté des retombées ont surtout parlé de retombées précoces ou immédiates, comme la hausse du niveau de maturité technologique, l'accélération de la commercialisation et l'augmentation des dépenses en R-D dans leur entreprise.

Efficience opérationnelle

• Il serait possible de rehausser l'efficience opérationnelle de DCRA. Les indicateurs de rendement clés du CNRC ont révélé une baisse d'efficience du portefeuille au cours des dernières années et dans certains cas, des lacunes d'efficacité ont eu des effets négatifs sur les services fournis aux clients.
• Les problèmes d'efficience sont attribuables en partie à des facteurs inhérents au fonctionnement du portefeuille (p. ex., le manque d'importance accordée par le personnel au client et des pratiques inefficaces). D'autres facteurs entrent en ligne de compte, comme le soutien plus faible accordé par les directions centrales du CNRC et le nombre croissant d'activités hors projet, deux facteurs qui grugent le temps que les chercheurs et le personnel technique peuvent consacrer aux projets en cours.
• DCRA a éprouvé d'importants problèmes liés aux prestations de certains services communs assurés par le CNRC. DCRA possède plusieurs installations au pays et entretient des relations avec près de 90 agents de liaison des services communs dans tout son réseau. La qualité des prestations offertes par les services communs du CNRC varie considérablement d'un endroit à l'autre et semble tributaire de la bonne volonté et de la diligence des personnes en première ligne. Ces problèmes ont contribué à des inefficiences et eu des répercussions négatives sur les activités du portefeuille.

1. Introduction

Le présent rapport fait état des résultats de l'évaluation effectuée en 2015-2016 du portefeuille Développement des cultures et des ressources aquatiques (DCRA) du Conseil national de recherches du Canada (CNRC). DCRA vient en aide aux entreprises canadiennes de transformation qui convertissent les ressources de la biomasse du pays en produits durables de grande valeur. Les technologies offertes par le portefeuille peuvent s'appliquer dans un large éventail de domaines, dont la production de produits industriels d'origine biologique, la bioénergie, la fabrication de bioproduits chimiques et la mise au point de produits biologiques destinés à la confection de produits de consommation.

Après l'aperçu de l'évaluation donné ci-après, la section 2 brosse un portrait du portefeuille. Les sections 3 et 4 présentent les constatations de l'évaluation, en suivant l'ordre des grandes questions auxquelles elle devait répondre (pertinence et rendement), avec les recommandations qui y sont associées. La section 5 renferme une brève conclusion tirée de l'évaluation, tandis que la section 6 fait état des réponses de la direction aux recommandations et des mesures qui seront prises pour les mettre en œuvre.

1.1 Aperçu de l'évaluation

L'évaluation a analysé le degré d'optimisation des ressources du portefeuille, en tenant compte à la fois de la pertinence et du rendement à ce jour. Elle s'est concentrée sur la période de trois ans écoulée depuis la création du portefeuille, soit de 2012-2013 à 2014 2015. Les développements survenus depuis avril 2015 (dont l'approbation d'un quatrième programme chapeauté par DCRA) ont également été pris en compte, lorsqu'il était pertinent et possible de le faire.

Les évaluations menées par le CNRC sont effectuées à l'échelle du portefeuille, c.-à-d. qu'on a mesuré la pertinence et le rendement des résultats de ses quatre programmes dans la mesure où ils découlaient des activités de programme mises en œuvre. Les programmes particuliers du portefeuille feront l'objet d'une évaluation plus approfondie dans le cadre de l'examen des programmes à mi-mandat qui doit avoir lieu ultérieurement. On s'attend à ce que l'information produite dans le cadre de la présente évaluation contribue à ces examens.

L'évaluation a été effectuée par une équipe indépendante du Bureau de la vérification et de l'évaluation (BVE) du CNRC. Le travail de cette équipe a été appuyé par le Comité consultatif de l'évaluation (CCE), qui a fourni des conseils sur le cadre d'évaluation, la démarche, l'interprétation des constatations et la formulation des recommandations. Les membres du CCE, qui proviennent du CNRC et d'organisations extérieures, n'avaient pas de pouvoir décisionnel; ils se sont plutôt contentés de jouer un rôle consultatif pour assurer que les résultats de l'évaluation respectent des critères rigoureux de qualité et d'utilité.

1.1.1 Justification de l'évaluation

La décision de soumettre DCRA à une évaluation découle de consultations menées avec la haute direction du CNRC; le travail a été effectué en conformité avec le plan d'évaluation approuvé par le CNRC. Depuis sa création en 2012, le portefeuille n'avait pas encore été évalué. En outre, l'évaluation qui a été effectuée a coïncidé avec l'évaluation horizontale de l'Initiative de recherche-développement en génomique (IRDG), ce qui est approprié, puisqu'une grande partie du financement que reçoit le CNRC pour l'IRDG sert à appuyer le programme-phare Amélioration du blé canadien (ABC), qui s'est récemment ajouté aux programmes pilotés par DCRA.

Le choix de la période d'évaluation s'explique également par la recherche de synergie, l'examen triennal du programme ABC devant avoir lieu en 2016. L'initiative de l'Alliance canadienne du blé (ACB), qui englobe une proportion importante des activités d'ABC, a également fait l'objet d'un examen à mi-mandat en 2015. Tous ces examens sont donc utilisés de manière complémentaire aux fins de l'évaluation.

1.1.2 Conception de l'évaluation et méthodologie

Les questions précises auxquelles devait répondre l'évaluation, qui sont énoncées au début de chacune des sections du présent rapport, sont fondées sur les consultations menées auprès de la direction du portefeuille et sur un examen de documents clés réalisé à l'étape de la planification. La conception adoptée répond aux besoins de la direction ainsi qu'aux exigences stipulées dans la Politique sur l'évaluation de 2009 du Conseil du Trésor. Elle tient également compte des examens antérieurs et de ceux menés en parallèle, et met un accent prépondérant sur les aspects du portefeuille hors de la portée de ces examens et y consacre des efforts en conséquence.

Par souci d'accroître la fiabilité et la validité de l'information et des données collectées, la méthodologie d'évaluation suivie fait appel à une diversité de sources de données et de méthodes de recherche complémentaires. Les méthodes particulières utilisées comprennent les suivantes :

• Examen de documents internes et externes
• Examen de données administratives et des données de rendement
• Entretiens semistructurés
  • Entretiens avec 25 personnes de l'interne (y compris des membres de la direction et des employés de DCRA, ainsi que des représentants d'autres portefeuilles du CNRC ayant des liens avec DCRA, du Programme d'aide à la recherche industrielle et de Soutien à la gestion des affaires)
  • Entretiens avec 24 personnes de l'extérieur (dont des personnes appartenant à des organisations clientes, à des clients éventuels, à des partenaires de programme ou d'initiative et à d'autres organisations canadiennes intéressées)
• Consultations d'experts
  • Pour deux programmes (Conversion du carbone par les algues et Bioproduits chimiques spécialisés), on a demandé l'avis d'experts sur la conception des programmes et la probabilité que ceux-ci produisent les résultats recherchés.

Nous utilisons l'échelle indiquée ci dessous dans le texte du rapport pour indiquer le poids relatif des réponses de chaque groupe obtenues lors des entretiens.

Une description plus détaillée de la méthodologie d'évaluation employée, de ses limites et des difficultés soulevées par son utilisation est donnée à l'annexe B : Méthodologie.

2. Profil de DCRA

Le CNRC a créé le portefeuille DCRA en avril 2012 afin de regrouper le savoir-faire qui était jusque là dispersé au sein de l'organisation et d'atteindre une masse critique en développement des ressources biologiques. DCRA a comme mission de fournir des services techniques, du soutien en développement des technologies et des conseils scientifiques crédibles pour aider les entreprises technologiques canadiennes à transformer les ressources biologiques du pays en produits à valeur ajoutée durables. Les principaux domaines où les résultats de la recherche-développement (R-D) peuvent avoir des applications commerciales sont les suivants :

• valorisation de la biomasse aquatique et terrestre brute;
• valorisation des déchets de la production ou de l'exploitation de ressources;
• identification et caractérisation des ingrédients actifs ou fonctionnels à l'intérieur de la biomasse pouvant servir au développement de produits;
• recherche d'améliorations pouvant être apportées aux technologies de culture de la biomasse aquatique et terrestre;
• développement des cultures grâce à la génomique et à la biotechnologie.

Un modèle logique complet, élaboré dans le cadre de la planification de l'évaluation, donne une vue détaillée des activités, des extrants et des résultats escomptés du portefeuille (annexe A : Modèle logique de DCRA).

2.1 Soutien aux programmes du CNRC

Au CNRC, les portefeuilles sont les unités fonctionnelles à qui il incombe de gérer les ressources humaines et les installations qui leur sont imparties. Ces ressources sont attribuées à différents programmes qui ont été approuvés par le Comité de la haute direction (CHD) du CNRC. À l'heure actuelle, la très grande majorité des ressources de DCRA est affectée aux programmes qu'il chapeaute; au moment de l'évaluation, DCRA comptait quatre programmes :

• Programme-phare Amélioration du blé canadien (ABC) : Ce programme vise à améliorer le rendement, la viabilité et la rentabilité des cultures de blé canadien pour en faire profiter les agriculteurs et l'économie nationale. Le programme ABC représente la contribution du CNRC à l'Alliance canadienne du blé (ACB), dont font aussi partie Agriculture et Agroalimentaire Canada (AAC), la province de la Saskatchewan et l'Université de la Saskatchewan.
• Programme-phare Conversion du carbone par les algues (CCA) : Ce programme phare ambitionne de trouver une solution de valorisation efficace sur le plan des coûts pour permettre à l'industrie canadienne de convertir ses émissions de CO2 en biomasse algale, qui pourra ensuite être transformée en biocarburants et autres produits commercialisables. CCA regroupe des parties prenantes canadiennes de tous les secteurs du marché, des grands émetteurs finaux aux petites entreprises, et leur offre des solutions spécialisées à tous les maillons de la chaîne de valeur.
• Produits de santé naturels (PSN) : Ce programme est né de la volonté d'accélérer le développement d'ingrédients fonctionnels à partir de bioressources canadiennes pour le secteur des produits de santé naturels, et de créer des méthodes et des technologies habilitantes capables d'accroître la qualité, la sécurité et l'efficacité des produits de santé naturels au Canada. Ce programme a pris fin à l'automne 2015.
• Bioproduits chimiques spécialisés (BCS) : Ce programme est un vecteur de collaboration avec les entreprises canadiennes pour accélérer et améliorer le développement de bioproduits chimiques fins et spécialisés destinés à des marchés de créneau et à des applications industrielles ciblées.

Les quatre programmes de DCRA ont vu le jour à des époques différentes, sous des structures hiérarchiques également différentes. Avant d'être intégrés à la structure de DCRA en janvier 2015, les deux programmes-phares, soit ABC et CCA, relevaient directement du vice-président, Sciences de la vie. Alors que les trois autres programmes existent depuis le début de 2013-2014, le programme Bioproduits chimiques spécialisés est une création récente (avril 2015).

Il convient également de souligner que la fin du programme PSN a été annoncée durant l'évaluation. Pour cette raison, ce programme a été exclu des consultations avec les experts et il n'en a pas été tenu compte dans les questions d'évaluation prospective.

2.2 Structure organisationnelle de DCRA

Le gestionnaire principal (GP) de DCRA relève du vice-président, Sciences de la vie, et assume la responsabilité globale des activités du portefeuille. Il est appuyé par trois directeurs régionaux de la R-D ainsi que par un directeur des opérations.

Le personnel du portefeuille est regroupé en équipes selon les capacités et le lieu de travail. Les équipes sont dirigées par un responsable d'équipe, qui assure la gestion des ressources humaines sous sa responsabilité. Les responsables d'équipe relèvent directement d'un des directeurs du portefeuille. Conformément au modèle de fonctionnement du CNRC, le personnel est affecté de manière matricielle aux quatre programmes de DCRA ainsi qu'à des programmes d'autres portefeuilles du CNRC.

2.3 Ressources du portefeuille

2.3.1 Ressources humaines

En juillet 2015, DCRA comptait environ 230 employés, qui pour la plupart, étaient répartis dans les cinq installations suivantes^{Note 1} :

• Saskatoon (environ 50 %)
• Halifax et Ketch Harbour (environ 22 %)
• Montréal (environ 14 %)
• Charlottetown (environ 9 %)
• Ottawa (environ 3 %)

2.3.2 Ressources physique

L'équipement et le savoir-faire de DCRA qui existent dans ses différentes installations sont regroupés dans 43 laboratoires de recherche, qui se distinguent par la complexité des activités, la taille et la destination des installations. On distingue entre autres des installations de croissance des plantes, des installations de culture des algues, une plateforme de génotypage, des systèmes de séquençage de l'ADN, des installations de bio-informatique, de l'équipement de résonance magnétique nucléaire (RMN) et de spectrométrie de masse, pour ne nommer que ceux-là. Les immobilisations du portefeuille sont évaluées à 9,6 millions de dollars (valeur comptable en date d'octobre 2015).

2.3.3 Ressources financières

Comme le portefeuille DCRA n'existe que depuis le 1er avril 2012, nous ne disposons d'aucune donnée financière antérieure à cette date. Par ailleurs, l'exercice 2012-2013 ayant été un exercice de transition, les données financières de cette période ne sont pas jugées représentatives.

En 2014-2015, DCRA a déclaré des dépenses totales (directes et indirectes) d'environ 36,6 millions de dollars. Environ 10 % de ces dépenses ont été contrebalancées par les revenus gagnés (3,5 millions de dollars), tirés surtout des services techniques (54 %) et de la recherche stratégique (40 %) (voir tableau 2). Le reste des revenus gagnés est classé dans les « Autres revenus », qui comprennent principalement les subventions et contributions provenant du programme phare Amélioration du blé canadien.

3.1.1 Rôle dans le développement de la bioéconomie canadienne

Constatation principale 1 : DCRA a clairement un rôle à jouer dans la consolidation et le développement de la bioéconomie du Canada.

Les nombreux programmes indépendants du CNRC et les activités hors programme qu'il mène contribuent largement à la bioéconomie du Canada, et la plupart de ces programmes et activités font appel aux ressources de DCRA. Quoiqu'il existe plusieurs définitions de la bioéconomie, le Groupe de travail interministériel sur la bioéconomie (GTIB), qui réunit des représentants de différents ministères et organismes fédéraux, dont le CNRC, s'en tient à la définition suivante : « activités économiques se fondant sur la production de produits novateurs (non traditionnels), y compris la bioénergie, à partir de la biomasse […] à l'aide de nouveaux processus technologiques^{Note 3} ». Dans le cas particulier de DCRA, on doit ajouter à cette définition des applications dans les domaines de l'agriculture, de l'agroalimentaire et des produits de santé naturels.

D'après une analyse fondée sur des sources de données externes et la documentation interne du CNRC, DCRA estime que plus de 900 entreprises font partie de la bioéconomie du Canada, ce qui représente plus de 17 000 personnes et un chiffre d'affaires dépassant 5 milliards de dollars^{Note 4} . Même si l'on peut quantifier l'activité dans le domaine de la bioéconomie, il faut comprendre que cette activité n'est pas tant un secteur à proprement parler, mais l'évolution de secteurs existants vers une incarnation plus durable sur le plan écologique. L'expansion de la bioéconomie pourra s'avérer profitable pour l'environnement, promouvoir le développement rural et ouvrir de nouvelles voies pour la prospérité économique.

D'autres pays ont déjà commencé à miser sur la bioéconomie^{Note 5} . Malgré l'abondance de la biomasse dont il dispose, le Canada risque de se faire devancer par la concurrence mondiale et de demeurer un fournisseur de biens de faible valeur, plutôt qu'un valorisateur de bioressources. Les experts qui ont été consultés au sujet du programme BCS ont souligné expressément les difficultés que posait la commercialisation des technologies, en particulier dans un contexte mondial où d'autres pays fournissent un soutien à la commercialisation à leur industrie.

En dépit des progrès réalisés dans la promotion de la bioéconomie, il y a consensus au sein de l'administration publique et de l'industrie pour reconnaître que le Canada pourrait mieux exploiter les avantages qu'il possède afin d'accélérer le développement de la bioéconomie. Les représentants des hautes instances du gouvernement fédéral et des partenaires clés de l'industrie qui ont participé à l'activité Critical Conversation^MD sur la bioéconomie, à l'Université Carleton en juin 2013, ont discuté des conditions-cadres que le Canada devrait mettre en place pour réaliser le potentiel de la bioéconomie, tout en réduisant le risque de se faire dépasser par la concurrence^{Note 6} . Les participants ont reconnu que l'innovation constituait la pierre angulaire des progrès que pouvait accomplir l'industrie dans le développement de nouveaux produits et de nouvelles technologies de traitement. Le développement de cheminements pour le partage des risques dans des projets de bioéconomie a également retenu l'attention.

Certains interlocuteurs de l'externe qui ont participé aux entretiens, de même que deux ou trois experts consultés au sujet du programme BCS, ont reconnu que le CNRC avait un rôle à jouer pour aider les entreprises à nouer des liens avec des clients en amont et avec d'autres partenaires et collaborateurs stratégiques qui les aideront à progresser sur la voie de la commercialisation. Les experts de BCS ont reconnu que le CNRC faisait partie de la solution, mais qu'il était irréaliste de penser qu'il pouvait à lui seul résoudre tous les problèmes.

Constatation principale 2 : En général, DCRA concentre ses activités dans les secteurs où elles sont susceptibles d'avoir un impact.

Au cours de l'évaluation, nous avons sollicité le point de vue d'experts et d'interlocuteurs externes pour établir si DCRA concentrait ses efforts dans des secteurs de programme susceptibles d'avoir un impact. Les paragraphes qui suivent résument les constatations de ces consultations.

• CCA : Les experts au même titre que les interlocuteurs externes considèrent que ce programme présente un risque élevé, mais qu'il recèle un potentiel considérable s'il est bien mis en œuvre. Ils approuvent les efforts que déploie le CNRC dans ce domaine et pensent qu'il s'agit de la bonne stratégie pour valoriser la recherche issue des laboratoires fédéraux.
• BCS : Selon les experts, ce programme devrait avoir des impacts considérables pour certaines entreprises et d'autres plus faibles pour le secteur dans son ensemble. Cette disparité s'explique par l'investissement limité du CNRC au cours des trois premières années d'existence de DCRA. Pour maximiser les retombées, un expert a suggéré que BCS devrait choisir ses projets avec soin pour que la recherche menée assure des retombées de qualité aux entreprises et, idéalement, dote le CNRC de nouvelles capacités. Cet expert a indiqué que « le programme n'avait pas l'envergure nécessaire pour offrir des services disponibles ailleurs. » Il faut par ailleurs souligner que le programme est conçu de manière à ce que sa première phase (années 1 à 3) serve à démontrer la viabilité du secteur au Canada, sur la foi des revenus générés et des retombées pour ses différents clients. Selon les plans établis pour le programme, la deuxième phase (années 4 à 8) sera consacrée à l'expansion du programme et les investissements stratégiques y seront plus nombreux.
• ABC : Aucun expert n'a été consulté à l'égard de ce programme. Toutefois, des parties intéressées externes ont reconnu l'importance d'un programme national sur le blé et souligné le rôle de l'Alliance canadienne du blé (ACB) comme agrégateur d'acteurs et de bailleurs de fonds concernés par la sélection des variétés de blé. Ils ont souligné l'importance de la culture du blé au Canada et ailleurs dans le monde, et fait observer qu'à l'heure actuelle, elle est à peine rentable. Ils reconnaissent que le programme ABC (la contribution du CNRC à l'ACB) recélait un bon potentiel de valorisation et de retombées sous forme d'amélioration du rendement et de la productivité des cultures (en particulier dans des milieux inhospitaliers). Un grand nombre ont toutefois indiqué que ces impacts ne se réaliseraient qu'à long terme (soit dans un horizon d'au moins dix ans).
• PSN : Aucun expert n'a été consulté à l'égard de ce programme. Dans les années qui ont précédé l'abandon du programme à l'automne 2015, on a pu établir que celui-ci n'avait pas le potentiel d'engendrer les vastes impacts sectoriels escomptés et qu'il n'a d'ailleurs jamais atteint l'envergure souhaitée. Malgré le nombre passablement important de projets et de clients qu'il comptait dans toutes les régions du pays, les projets qui pouvaient être pris en charge étaient d'envergure moindre que ce qui avait été prévu au départ à la création du programme. De plus, les investissements limités du CNRC dans ce programme ne permettaient pas la prise en charge de projets plus vastes et plus stratégiques.

Au cours des prochaines années, DCRA entend se consacrer davantage sur le secteur de l'alimentation et des biens emballés pour la vente au détail^{Note 7}. Le portefeuille a en effet démontré une solide justification pour ce virage dans ses derniers plans stratégiques. Celle-ci est fondée sur la taille des secteurs visés (combinés, les secteurs des produits alimentaires et des biens emballés pour la vente au détail représentent le plus grand secteur manufacturier au Canada) et s'articule sur des possibilités de retombées bien définies pour ce secteur. Certains experts et interlocuteurs externes clés consultés dans le cadre de l'évaluation s'entendent aussi sur le bien-fondé de cette stratégie. Par ailleurs, un petit nombre de clients et de parties intéressées ont mentionné des domaines où existent des besoins que DCRA devrait explorer dans ses futurs plans pour le secteur alimentaire. Ces domaines sont les suivants :

• accroître le rendement d'autres cultures destinées à l'alimentation (certains interlocuteurs externes estiment que l'accent mis sur le blé est trop restrictif et se fait aux dépens d'autres cultures importantes);
• utiliser les oléagineuses pour remplacer d'autres protéines;
• réduire le gaspillage (emballage novateur, préservation immédiatement après la récolte);
• améliorer les ingrédients entrant dans la préparation d'aliments.

Certaines parties intéressées ont toutefois émis des réserves en raison de la densité des joueurs dans ce marché et souligné l'importance pour DCRA de se trouver un créneau bien à lui. Si le portefeuille décide de créer un autre programme autour de cet axe, il sera important qu'il mobilise le savoir-faire utile qui existe dans d'autres portefeuilles du CNRC.

3.1.2 Harmonisation des capacités de DCRA

Constatation principale 3 : La majorité des capacités de DCRA sont alignées avec des programmes approuvés, mais on a constaté que certaines capacités étaient fortement recherchées à l'extérieur des programmes approuvés (p. ex., les plateformes technologiques de développement des cultures) et avaient de la valeur aux yeux des clients.

La majorité des capacités de DCRA sont effectivement alignées sur des programmes approuvés. Toutefois, l'abandon récent du programme PSN laisse planer un doute quant au redéploiement des capacités qui étaient jusque là affectées à ce programme. Certains projets de services techniques ont été récupérés par d'autres programmes de DCRA et d'autres se poursuivront à l'intérieur du volet « Autres services techniques » du portefeuille.

DCRA possède un savoir-faire considérable dans les plateformes technologiques pour le développement des cultures. En plus de servir à des programmes approuvés (p. ex., ABC), ces capacités génèrent une partie importante des revenus que DCRA réalisent en marge des programmes approuvés. Ensemble, les technologies liées aux plateformes et les autres services techniques ont représenté 55 % des revenus gagnés par DCRA en 2014-2015. Si l'on en juge par la demande dont elles font l'objet, ces capacités répondent bel et bien à un besoin. La mise sur pied d'un programme axé sur les produits alimentaires constituerait un excellent moyen de tirer parti de ces capacités et permettrait également des investissements directs dans ce secteur afin de maintenir et de développer ces capacités importantes.

Constatation principale 4 : Les capacités de DCRA répondent généralement aux besoins en recherche-développement des clients industriels et d'autres parties intéressées.

Les experts, les clients, les partenaires et des parties intéressées externes ont indiqué que, de façon générale, les capacités de DCRA étaient en phase avec les besoins de l'industrie. Les besoins reconnus se classent en deux grandes catégories : 1) l'accès à des connaissances et à de la recherche d'avant-garde, dont les fruits peuvent ensuite être adoptés par l'entreprise, et 2) l'accès à des technologies établies et à des services techniques (la génomique, les bioprocédés et la fermentation ont été le plus souvent mentionnés). Certaines personnes ont émis des réserves quant à leur capacité d'avoir accès à de la recherche d'avant-garde, surtout du fait que DCRA voudrait privilégier de grands joueurs industriels pour les partenariats. Un client important de l'industrie a souligné que même si les capacités de DCRA étaient relativement étendues, elles étaient surtout concentrées en aval de la chaîne. Selon lui, DCRA aurait intérêt à renforcer son optique commerciale.

Certains clients et certaines parties intéressées ont également mentionné que DCRA pourrait répondre encore mieux aux besoins si la communauté industrielle connaissait mieux les capacités du portefeuille. Deux clients ont indiqué qu'ils ne connaissaient pas toute la gamme des capacités offertes par le CNRC, en dehors du travail effectué par le chercheur avec lequel ils travaillent. Deux autres clients ont mentionné qu'ils auraient tiré davantage de leur collaboration avec DCRA si ses liens avec les autres portefeuilles du CNRC avaient été plus fluides.

3.1.3 Complémentarité avec d'autres organisations

3.2 Harmonisation avec les priorités du CNRC et de l'administration fédérale

3.3 Harmonisation avec les rôles et responsabilités de l'administration fédérale

Les activités et les résultats de DCRA sont conformes au mandat du CNRC, tel qu'établi dans la Loi sur le CNRC. Plus précisément, l'alinéa 5(1)c) de la Loi stipule que le CNRC peut : « entreprendre, aider ou promouvoir des recherches scientifiques et industrielles^{Note 10} ». Cela inclut la recherche :

• ayant pour objet l'utilisation des ressources naturelles au Canada;
• visant à promouvoir le développement de nouvelles industries ou l'expansion d'industries existantes;
• visant à améliorer l'agriculture.

En vertu de la Loi, il appartient au CNRC de diriger ou de superviser les recherches entreprises par ou pour des entreprises industrielles ou d'autres organisations [alinéa 5(1)d)] et de concéder des licences sur des découvertes scientifiques [alinéa 5(1)l)].

Presque tous les clients et les parties intéressées de l'externe interrogés ont appuyé le rôle que joue le CNRC sur le front de la R-D pour contribuer à la bioéconomie du Canada. Bon nombre des personnes interrogées ont souligné que ce rôle était crucial pour la croissance économique et le maintien de la compétitivité du Canada sur la scène internationale. Un petit nombre d'entre elles ont également souligné que les options comparables à la disposition des petites et moyennes entreprises (PME) étaient souvent offertes par des organisations étrangères et à des prix prohibitifs pour des entreprises canadiennes. Les experts appelés à commenter les programmes BCS et CCA ont eux aussi reconnu que le travail du CNRC dans ces domaines de recherche était en accord avec les rôles et les responsabilités de l'administration fédérale. Dans les deux cas, les experts ont soulevé le fait que les gouvernements d'autres pays offraient un soutien comparable à leur industrie.

Un petit nombre des personnes interrogées ont fait état d'un risque de chevauchement entre le mandat de DCRA et le mandat d'AAC, pouvant découler des activités entreprises en soutien au programme ACB et à d'autres initiatives industrielles axées sur la recherche en développement des cultures et des aliments. Les intervenants ont toutefois convenu que dans la pratique, les activités menées par les deux organisations s'étaient développées dans des créneaux différents. Il faut aussi dire qu'il existe de bons mécanismes de communication entre les deux organisations (tant à l'intérieur de l'ACB qu'à l'extérieur), qui permettent d'éviter le dédoublement des efforts.

4. Rendement

L'évaluation du rendement de DCRA tient compte des facteurs suivants : son évolution en portefeuille digne d'une organisation de recherche et de technologie (ORT) (section 4.1); l'affectation et le caractère suffisant des ressources allouées aux programmes du CNRC (section 4.2); les progrès accomplis dans l'atteinte des résultats escomptés du portefeuille et de ses programmes (section 4.3); les premières retombées résultant des activités de DCRA (section 4.4) et l'efficience du fonctionnement du portefeuille (section 4.5).

4.1 Transition vers un portefeuille d'ORT

Pour établir la mesure dans laquelle l'évolution de DCRA en portefeuille d'ORT a réussi, les évaluateurs ont pris en compte le chemin parcouru par le processus de transition et les différents facteurs qui ont soit facilité cette transition ou l'ont gênée.

Facteur facilitant :

• Les personnes de l'extérieur interrogées ont souligné l'excellence de certains employés de DCRA, tant pour leurs compétences techniques que pour leur souci du client et leur sensibilité à ses besoins. Dans de nombreux cas, les clients et les parties intéressées ont affirmé avoir noué des relations étroites avec un chercheur de DCRA en particulier et ont indiqué que la collaboration avec cette personne était à l'origine de leur désir de continuer de travailler avec le CNRC.

Facteurs limitants :

• DCRA est l'un des portefeuilles qui ont subi le plus de changements au cours de sa transformation. Né du regroupement d'éléments de six anciens instituts, DCRA a dû d'abord intégrer ces éléments en un tout avant d'entreprendre son évolution vers un portefeuille d'ORT. D'autres portefeuilles, qui ont conservé une identité plus proche de celle des anciens instituts dont ils sont issus ou qui résultaient de la fusion d'instituts plus semblables, n'ont pas eu à passer par cette étape.
• Les programmes sous la tutelle de DCRA ont été créés à des moments différents, pour répondre à des attentes différentes, possédaient des structures hiérarchiques différentes et suivaient des modèles de gestion de programme différents. En particulier, les deux programmes phares qui ont été intégrés à la structure de DCRA en janvier 2015 ont des mandats différents quant à la production de revenus. Certains piliers du programme ABC ressemblent encore à ceux de l'ancien modèle, ce qui a eu l'effet d'un frein sur l'évolution vers le modèle d'ORT et engendré de la confusion sur la méthode d'application du modèle de gestion matricielle.
• De façon générale, les postes clés vacants ont nui à la transformation du portefeuille. Plusieurs personnes de l'interne et un petit nombre de personnes de l'externe consultées ont effectivement pointé du doigt cette défaillance structurelle de la direction au sein de DCRA, y compris l'absence d'un palier de direction à l'échelle locale à Saskatoon et le grand nombre de gestionnaires dans des rôles d'exécutants. Certaines ont fait valoir que la situation a engendré de l'instabilité et de l'incertitude au sein du portefeuille. Dans ses premières années d'existence, certains postes au sein de Soutien à la gestion des affaires (SGA) étaient aussi mal dotés. La mise en place de personnes compétentes dans ces postes est jugée essentielle à la transition vers le modèle d'ORT.
• La cyberintrusion survenue en 2014 a fait diversion au sein de DCRA et aussi réduit temporairement la formation en gestion de projet donnée à l'interne.

Pour évaluer la qualité de l'évolution de DCRA en portefeuille d'ORT, on a tenu compte de six dimensions : l'orientation stratégique, l'attention accordée aux enjeux de santé et de sécurité, l'accent mis sur les clients, la gestion matricielle, les pratiques de gestion efficace et la gestion de projet.

4.1.1 Orientation stratégique

Constatation principale 6 : L'effectif de DCRA travaille de façon prépondérante sur des projets stratégiques ou des projets de clients.

Selon les données sur l'utilisation de l'effectif, qui seront vues plus en détail à la section 4.5, le personnel travaille la majorité du temps sur des projets approuvés (66 % en 2014-2015). Par ailleurs, les processus appliqués actuellement par DCRA font en sorte que les projets approuvés répondent à des besoins de clients ou ont une importance stratégique. Un petit nombre des personnes interrogées ont noté que le financement des projets de recherche internes a considérablement rétréci depuis la création du portefeuille et qu'il faut une justification stratégique très convaincante pour qu'un projet ne comportant aucun engagement important de la part d'un client soit approuvé. La majorité des personnes interviewées à l'interne reconnaissent qu'il s'agit d'une différence marquée des façons de fonctionner avant la transformation, où la discrétion exercée par les chercheurs dans le choix des projets était beaucoup plus grande.

4.1.2 Attention accordée aux enjeux de santé et de sécurité

Constatation principale 7 : Le personnel de DCRA reconnaît que la santé et la sécurité sont une priorité et à cet égard, les pratiques se sont considérablement améliorées depuis la création du portefeuille.

Les personnes de l'interne interrogées ont reconnu de manière unanime que le personnel du portefeuille avait conscience que les questions de santé et de sécurité constituaient une priorité à la fois pour DCRA et pour le CNRC. Certains de ces répondants ont rappelé qu'à la mise sur pied du portefeuille, l'attention accordée à ces questions variait considérablement et que certaines pratiques inacceptables étaient en usage dans plusieurs établissements de DCRA. La plupart des répondants ont toutefois reconnu que les pratiques se sont considérablement améliorées depuis. Un grand nombre ont en effet affirmé que la santé et la sécurité étaient désormais intégrées aux activités quotidiennes. Les questions liées à ce domaine sont régulièrement abordées dans les communications, et ce, à tous les paliers de la gestion, et les plans de sécurité font désormais partie intégrante de la planification de projet.

Les données sur la santé et la sécurité propres à DCRA ne reflètent cependant pas encore ces changements de mentalité. Le nombre d'accidents avec blessure et sans blessure comptabilisés en 2014-2015 ne s'écarte pas de manière significative de celui de l'année précédente et le nombre de jours perdus pour cause d'accident s'est même accru (mais cette augmentation est attribuable à un incident isolé plutôt qu'à un manquement généralisé). Il reste que le nombre d'accidents évités de justesse s'est accru, passant de 1 en 2013-2014 à 5 en 2014-2015. Cette évolution est toutefois perçue comme une amélioration, car elle prouve que les employés sont davantage sensibilisés et qu'ils déclarent des incidents qu'ils auraient passés sous silence par le passé et de cette façon, ils contribuent à prévenir des incidents futurs.

4.1.3 Accent mis sur le client

Constatation principale 8 : L'accent mis sur le client par le personnel de DCRA varie et il y a consensus au sein du portefeuille que des efforts doivent être déployés dans ce domaine.

Les employés de DCRA comprennent de façon générale l'importance d'axer les projets du portefeuille sur les besoins des clients et de l'industrie. Cela se reflète d'ailleurs dans la majorité des comportements observés, mais la sensibilité aux besoins des clients varie entre les chercheurs. Tout en reconnaissant une amélioration générale à cet égard, certaines personnes de l'interne interrogées ont signalé que les chercheurs qui étaient les plus sensibles aux besoins du client avant la transformation du CNRC le sont encore aujourd'hui. Les clients et les personnes de l'interne interrogés conviennent que d'autres améliorations doivent être apportées dans les interactions avec les clients (p. ex., répondre rapidement aux courriels des clients), qu'il ne faut pas perdre de vue la perspective du client dans la réalisation d'un projet (p. ex., d'être proactif en présentant des rapports d'avancement sur les projets) et qu'il faut respecter les engagements donnés aux clients. La direction de DCRA reconnaît qu'il y a encore du chemin à parcourir à cet égard. Certains membres de DCRA ont déjà reçu une formation sur l'engagement auprès des clients afin d'améliorer leur capacité à interagir de manière efficace avec les clients et les partenaires du portefeuille, et pour aider à matérialiser l'engagement auprès du client dans les conférences, dans les réunions et dans leurs propres tâches à l'intérieur des projets.

4.1.4 Gestion matricielle

Constatation principale 9 : La gestion matricielle a permis une plus grande collaboration entre les établissements de DCRA.

Au départ, DCRA était un amalgame de composantes d'anciens instituts, dispersées géographiquement. Plusieurs personnes interrogées ont souligné que la gestion matricielle a favorisé une plus grande collaboration entre les différents établissements de DCRA. Toutefois, il y a des disparités d'un endroit à un autre quant à la contribution des employés à plusieurs programmes. À Saskatoon par exemple, plus de 85 % des employés ne contribuent à aucun autre programme approuvé mis à part le programme ABC (voir la figure 2).

Figure 2: Contribution des employés de DCRA à plusieurs programmes du portefeuille

Description détaillée de contribution des employés de DCRA à plusieurs programmes du portefeuille.

	Proportion des employés qui ont contribué à 1 programme	Proportion des employés qui ont contribué à 2 programmes	Proportion des employés qui ont contribué à 3 programmes	Proportion des employés qui ont contribué à 4 programmes	Total
NÉ	56 %	26 %	19 %	0	1
ON	33 %	33 %	33 %	0	1
Î-P-É	60 %	27 %	13 %	0	1
QC	52 %	44 %	0	4 %	1
SK	87 %	10 %	3 %	0	1

Source : Rapport de Sigma sur les activités effectuées en 2015-2016 (sur la base du travail prévu), daté d'octobre 2015.

Note : La figure ne porte que sur les programmes approuvés par le CNRC et pilotés par DCRA (CCA, BCS, ABC et PSN).

Constatation principale 10 : La distinction entre les rôles et les responsabilités propres au portefeuille et celles des autres programmes du CNRC ne semble pas bien comprise au sein de DCRA.

La plupart des personnes de l'interne interrogées ont l'impression que la compréhension de la gestion matricielle varie grandement à l'intérieur de DCRA. Certaines ont affirmé que, même si le concept de la gestion matricielle était compris en théorie, en pratique, il y a encore de la confusion quant aux rôles et responsabilités des programmes et ceux du portefeuille. On a notamment indiqué que la responsabilité d'exécuter un projet n'était pas toujours bien comprise. Ce flou était exacerbé par le fait que certaines personnes avaient un rôle à la fois à l'intérieur d'un programme et à l'intérieur du portefeuille (p. ex., un rôle de responsable de projet et de responsable d'équipe). Le concept de gestion matricielle est également plus difficile à saisir lorsque les ressources sont affectées à un seul projet pendant de très longues périodes, comme c'est le cas pour le programme ABC.

Plusieurs personnes de l'interne ont déploré le fait que les membres de la direction de DCRA n'avaient pas une vision uniforme du fonctionnement de la gestion matricielle à l'intérieur du portefeuille. Par exemple, les interactions et les processus liés à l'affectation des ressources aux différents projets ne sont pas les mêmes dans tous les programmes et dépendent en fait des personnes qui les assument. Les lignes directrices sur la gestion matricielle sont également très générales, la direction du CNRC s'attendant à ce que les processus soient adaptés par les portefeuilles en fonction du contexte et des besoins de chacun.

4.1.5 Pratiques opérationnelles efficaces

Constatation principale 11 : Les pratiques opérationnelles actuellement en place à DCRA sont lourdes et trop compliquées.

La quasi-totalité des personnes interrogées considère que les processus appliqués par DCRA (en particulier ceux qui ont trait à l'approbation des projets et à l'affectation des ressources) sont indûment compliqués et manquent d'uniformité d'un programme à l'autre. Ces différences tiennent au fait que les programmes ont été créés à des moments différents et parfois, sans le concours de DCRA dans les premiers temps. Les programmes de DCRA utilisent des formulaires différents, ce qui ne fait qu'ajouter à l'inefficience et à la confusion du personnel. Il faut aussi penser aux employés qui travaillent sur des projets pilotés par d'autres portefeuilles, qui utilisent encore des formulaires et des processus différents.

Les personnes interrogées ont relevé le fait que si les processus variaient entre les programmes, les processus et les exigences d'approbation à l'intérieur d'un même programme étaient par ailleurs uniformes pour tous les projets, quelle qu'en soit la taille. Cela peut être une source de frustration pour les clients, qui s'attendent souvent à des délais rapides pour des projets de petite taille. La question a d'ailleurs été soulevée par certains clients qui déploraient que pour obtenir une proposition ou la signature d'un contrat, il fallait désormais plusieurs semaines au lieu de quelques jours comme avant. Ces clients attribuaient souvent les délais au plus grand nombre d'approbations requises devant être données par des instances à l'extérieur de la zone géographique concernée. L'ordinogramme du processus de développement d'ententes de projet actuellement utilisé par DCRA a été schématisé et montre au moins huit processus et étapes décisionnelles à la phase de démarrage, auxquels s'ajoutent au moins dix processus et étapes à la phase de planification. Comme il a été mentionné ci-dessus, c'est la marche suivie pour tous les projets, quelle qu'en soit la taille. Les répondants estiment qu'il serait possible de simplifier le processus, surtout pour les projets à faible risque.

La direction de DCRA est consciente de ces problèmes et s'efforce actuellement d'harmoniser (lorsque cela est possible) et de simplifier les processus en vigueur dans les différents programmes du portefeuille. Un petit nombre de personnes de l'interne interrogées ont donné des exemples de pratiques qui ont été améliorées (p. ex., la négociation des droits de propriété intellectuelle pour les projets de BCS) et qui pourraient être généralisées au à l'ensemble du portefeuille ou du CNRC une fois qu'elles auront été peaufinées.

4.1.6 Gestion de projet

Constatation principale 12 : La plupart des employés de DCRA comprennent la valeur qu'apporte une saine gestion de projet et reconnaissent que cette pratique est essentielle au CNRC. Toutefois, un grand nombre d'entre eux ne possèdent ni les compétences ni l'accès aux ressources nécessaires pour assurer une gestion de projet efficace.

La gestion de projet manque d'uniformité au sein de DCRA, autant pour ce qui est des procédures appliquées que pour l'efficacité de celles-ci. En date du troisième trimestre de 2015 2016, DCRA avait des engagements suffisants pour atteindre ses cibles de revenus de l'année. Certaines personnes interrogées ont toutefois émis des réserves quant à la capacité du portefeuille d'effectivement gagner ces revenus dans l'exercice en cours, en raison de difficultés à respecter les délais et les budgets prévus. Un petit nombre de personnes de l'interne ont également fait observer que malgré un certain degré de suivi, les données sur la gestion de projet ne sont pas utilisées en règle générale pour guider concrètement l'exécution des projets (p. ex., pour prioriser les ressources). Le fait que la direction du portefeuille n'ait pu fournir facilement la proportion de projets terminés à temps ou dans le respect du budget alloué confirme la nécessité d'améliorer la surveillance des projets au niveau du portefeuille, ou des programmes.

L'harmonisation des modèles de gestion de projet et de programme du portefeuille constituait une priorité du plan opérationnel de 2015-2016 de DCRA pour l'exercice en cause, et ce, afin d'atténuer la diversité des pratiques en usage au sein des différents programmes. Pour atteindre cet objectif, DCRA a mis sur pied un groupe d'intégration de la gestion de projet chargé de s'étudier quatre secteurs prioritaires. Selon l'avis général, cette initiative, qui s'est échelonnée sur un an, plus ou moins, a constitué un effort important au sein du portefeuille, ce qui n'a pas empêché de nombreuses personnes de l'interne de penser que la durée de l'étude et de l'analyse a été trop longue et que les données préliminaires auraient pu être utilisées en cours de route (p. ex., pour la formation ou pour concevoir des outils). Nous approfondirons dans les paragraphes qui suivent les résultats de l'évaluation des quatre secteurs prioritaires de l'étude. Le groupe d'intégration n'ayant pas encore terminé son mandat, les résultats de ses travaux ne seront pas commentés, on se contentera de porter les constatations suivantes à son attention.

• Sensibilisation : Cette question a été réglée pour l'essentiel. La majorité des personnes de l'interne interrogées (y compris tous les responsables d'équipe de DCRA) comprennent que la gestion de projet fait partie intégrante de leur travail et souhaitent par conséquent améliorer leurs compétences dans cette discipline.
• Technologies et outils : Cet aspect a été reconnu par certaines personnes de l'interne comme un obstacle à la gestion efficace des projets, de même qu'à la gestion efficace des ressources. Dans certains cas, on a déploré l'absence d'outils, alors que dans d'autres, c'est l'absence de soutien à l'utilisation des outils disponibles à l'échelle du CNRC (p. ex., les rapports de projet devant être produits par le personnel de soutien) ou le manque de connaissances sur les outils disponibles et sur leur mode d'utilisation. Outre les outils nécessaires pour gérer les projets individuels, il faut également des outils de gestion des ressources pour aider les chefs d'équipe à mieux utiliser leur personnel (p. ex., pour obtenir une vue plus globale des engagements du personnel).
• Connaissance : La majorité des personnes de l'interne interrogées s'entendent pour dire que la formation en gestion de projet est un préalable indispensable au succès de toutes les autres mesures déployées pour améliorer cette dimension. De nombreuses personnes estiment que les employés (en particulier les responsables de projet et d'équipe actuels) profiteraient d'une formation supplémentaire. Certaines ont ajouté que le mentorat, l'encadrement ou d'autres formes de soutien accordé par le Bureau de gestion de projet (BGP) du portefeuille seraient fort utiles. En 2015-2016, 60 personnes au sein de DCRA pilotaient des projets, mais seulement 47 % d'entre elles avaient reçu une formation en gestion de projet ou programme. Si l'on ne tient compte que des gestionnaires qui supervisaient des projets d'une valeur globale dépassant 50 000 $, la proportion de personnes ayant reçu une formation s'établissait à 55 % (22 des 40 personnes). Il convient de noter ici que la formation offerte par le groupe Services de planification et de rapport (SPR) avait été temporairement suspendue durant la période de référence en raison de la cyberintrusion de 2014, mais que tout était revenu à la normale depuis. La direction de DCRA à Montréal a cependant été capable d'offrir de la formation en gestion de projet au cours de cette période grâce à un fournisseur externe.
• Rôles et responsabilités : À l'heure actuelle, les gestionnaires de projet de DCRA (c. à d. ceux au sein du BGP de DCRA) se concentrent sur l'appui aux programmes, plutôt que sur l'appui aux projets individuels, comme le font les BGP d'autres portefeuilles. Chez les personnes interrogées, les avis divergeaient quant à savoir qui des chercheurs ou des gestionnaires de projet en titre devraient assumer la gestion de projet, mais bon nombre ont reconnu que le modèle de gestion idéal dépendait de la taille et de la portée du projet, ainsi que des compétences en gestion du chercheur principal. De nombreuses personnes ont également souligné que peu importe le modèle choisi, DCRA devrait resserrer la responsabilisation quant à l'exécution des projets dans les délais convenus.

4.2 Caractère suffisant et affectation des ressources de DCRA

Constatation principale 13 : De façon générale, DCRA dispose des compétences et de l'équipement techniques et scientifiques nécessaires pour répondre aux besoins actuels de ses programmes.

Conformément au modèle de fonctionnement du CNRC, DCRA utilise une gestion matricielle dans laquelle le portefeuille gère toutes les ressources humaines, les biens et les installations qui lui sont impartis, alors que les programmes supervisent l'utilisation des fonds de fonctionnement alloués à la R-D (conformément aux décisions du Comité de la haute direction du CNRC). Le portefeuille affecte ses ressources humaines en fonction des besoins des programmes et facilite l'accès des programmes aux installations.

De façon générale, DCRA possède les compétences et l'équipement techniques et scientifiques nécessaires pour répondre aux besoins actuels de ses programmes^{Note 11}. Ses deux programmes phares semblent particulièrement bien dotés en ressources, comme le démontre le tableau suivant.

Tableau 3 : Disponibilité et caractère suffisant des ressources mises à la disposition des programmes-phares ABC et CCA

ABC

• Les partenaires de l'Alliance canadienne du blé (ACB) estiment que le CNRC contribue de manière appropriée à l'Alliance (son investissement est important par rapport à celui des autres partenaires).
• Tous les partenaires ont reconnu que le personnel de DCRA affecté à l'Alliance possédait des compétences techniques et scientifiques de fort calibre. Les principales contributions du CNRC à l'Alliance sont ses capacités en génomique, en génotypage et en bio-informatique.
• Parmi les lacunes constatées sur le plan des ressources, mentionnons les suivantes :
  • Nécessité d'agrandir l'installation de croissance des plantes de Saskatoon – conformément au plan opérationnel de 2015-2016 de DCRA, la planification de ce projet est pratiquement terminée.
  • Nécessité d'étendre la capacité en bio-informatique (à la fois sur le plan de l'équipement et de l'effectif) – Un plan d'investissement en bio-informatique a été approuvé et sa mise en œuvre doit être coordonnée avec Services partagés Canada. La cyberintrusion survenue en 2014 a interrompu ce travail et l'on ignore pour l'instant comment le plan sera mis en œuvre. Si l'attente se poursuit, il y a un risque que la crédibilité et la réputation du CNRC dans ce domaine en souffrent.

CCA

• L'excellence scientifique de l'équipe de recherche affectée au programme CCA a été confirmée par des experts internationaux et par une étude bibliométrique (meilleure installation de recherche dans ce domaine au Canada et « l'un des chefs de file sur la scène mondiale »).
• Les partenaires de CCA et les experts internationaux jugent que le niveau d'investissement du CNRC dans ce programme est approprié et raisonnable. Les experts ont louangé l'approche pointue du CNRC dans ce domaine, contrairement à d'autres pays, dont l'investissement est « trop dilué et trop superficiel ».

La mise sur pied du programme BCS a été approuvée au début de 2015-2016, il faut donc prévoir une période préparatoire avant que toutes les ressources nécessaires ne soient en place. Cela étant dit, les plans relatifs aux ressources humaines et à l'infrastructure ont été mis en œuvre pour répondre aux besoins des programmes et dans l'intervalle, on a fait appel à des tiers pour fournir les ressources requises. Le tableau 4 qui suit renferme une évaluation de la disponibilité et du caractère suffisant des ressources de DCRA allouées à ce programme.

Tableau 4 : Disponibilité et caractère suffisant des ressources allouées au programme BCS

BSC

• Deux des trois experts de BCS interrogés ont souligné l'étroitesse de l'investissement du CNRC dans ce programme vu sa portée nationale.
• Les plans de ressources humaines et d'infrastructure sont en place pour répondre aux besoins du programme.
• Il a fallu du temps pour doter certains des postes de direction clés du programme, mais le problème a été résolu depuis.
• Le programme a été bâti de manière à pouvoir prendre de l'expansion; certains de ces employés pourront ainsi être réaffectés pour mieux répondre à ses besoins.
• L'incapacité d'embaucher des ressources avant la signature de contrats constitue un facteur de contrainte pour le programme.

Comme il a été mentionné précédemment, le CNRC fonctionne à l'intérieur d'un environnement matriciel, de sorte que les ressources de DCRA sont aussi mobilisées pour appuyer les programmes d'autres portefeuilles. Comme il était prévu que le programme-phare Biomatériaux industriels (BI), qui relève du portefeuille Automobile et transport de surface, fasse appel de manière importante aux ressources de DCRA, l'évaluation a tenu compte de la disponibilité et du caractère suffisant des ressources pour appuyer ce programme. Les résultats sont présentés au tableau 5.

Tableau 5 : Disponibilité et caractère suffisant des ressources pour appuyer le programme phare BI

BI

• Dans le plan d'affaires original du programme-phare BI, environ 40 % des 90 équivalents temps plein (ETP) prévus devaient provenir de DCRA.
• En réalité, le programme fonctionne à une échelle beaucoup plus petite que ce qui avait été prévu à l'origine. Il utilise en tout 20 ETP par année, dont 2,5 proviennent de DCRA (dont un gestionnaire de projet à temps plein affecté au programme).
• Même si le programme a pu avoir accès à certaines ressources techniques, BI devait avoir également accès à des leaders techniques possédant des compétences en engagement auprès des clients, capables de cerner les occasions qui se présentent dans l'industrie et de bâtir des projets producteurs de revenus autour de ces besoins. Cela ne s'est jamais produit, les leaders techniques en place ont été affectés à d'autres programmes et aucune autre ressource n'a été embauchée.
• Il convient ici de signaler que BI a eu de la difficulté à obtenir des ressources d'autres portefeuilles et non seulement de DCRA.

Constatation principale 14 : Il existerait des possibilités d'employer le personnel sous utilisé pour qu'il contribue à accroître la capacité dans des domaines essentiels. Il existerait des possibilités d'employer le personnel sous utilisé pour qu'il contribue à accroître la capacité dans des domaines essentiels.

La demande de ressources et l'utilisation de celles-ci par les programmes sont très variables à l'intérieur des cinq emplacements géographiques de DCRA. À certains endroits, le taux d'utilisation a été de 30 % ou moins en 2014-2015 (voir une explication détaillée à la section 4.5.1, Indicateurs d'efficience). Par ailleurs, des personnes de l'interne interrogées se sont montrées préoccupées par le degré de savoir-faire limité dans certains domaines particuliers. Cela pose des risques pour la planification de la relève, impose une surcharge de travail à un petit nombre d'employés et restreint la capacité du portefeuille à répondre aux demandes des clients. Deux personnes ont dit que l'excédent de capacité constaté à l'intérieur du portefeuille ne peut pas toujours être utilisé pour répondre à des besoins particuliers à un moment donné.

Au cours de la dernière année, DCRA a multiplié les efforts pour réaffecter ou recycler à d'autres fonctions certains membres de son personnel, lorsque cela était possible. Comme les problèmes de sous utilisation perdurent dans certains établissements de DCRA, on pourrait recourir à la formation réciproque ou au jumelage pour accroître l'effectif de réserve dans certains domaines de compétences essentiels.

Constatation principale 15 : Il y a un risque que le personnel du CNRC ne demeure pas à l'avant garde dans son domaine et ne puisse offrir de nouveaux services novateurs aux clients dans les années à venir.

Certaines personnes de l'interne interrogées se sont dites préoccupées par le fait que le portefeuille ne s'intéresse surtout qu'au développement des compétences. Les projets visant à accroître la capacité à l'interne se limitent uniquement à ceux qui sont entrepris (et financés) dans le cadre des projets approuvés. Il y a donc un risque que le personnel du CNRC ne demeure pas à l'avant-garde et ne puisse offrir de nouveaux services novateurs à la clientèle dans les années à venir. Un interlocuteur de l'externe a aussi mentionné ses préoccupations quant à l'accès à la recherche novatrice. Cette personne a ajouté que « le CNRC s'intéresse aux partenariats avec les grands joueurs, mais il doit pouvoir offrir à ces partenaires des ressources auxquelles ils n'ont pas déjà accès. »

La direction de DCRA reconnaît la nécessité d'être stratégique et proactif pour bâtir de nouvelles capacités nécessaires à la croissance. Celles-ci s'ouvriront sur de nouvelles générations de produits et de programmes pour répondre aux besoins des clients. Mis sur pied au début de 2015, le comité permanent des GP sur les revenus, la stratégie et la R-D de DCRA, qui se compose de tous les directeurs et responsables de programme du portefeuille, est la tribune où seront examinées ces questions. Le comité s'est toutefois concentré jusqu'ici qu'à d'autres initiatives et priorités. Certains responsables d'équipe se sont également dits capables de jouer un rôle plus stratégique en cernant les domaines au sein de leur équipe où les compétences pouvaient être bâties ou approfondies afin d'appuyer le développement de futurs domaines de programme.

4.3 Progrès accomplis dans la réalisation des résultats escomptés

Question d'évaluation 6 : DCRA et les programmes sous sa responsabilité sont-ils en voie d'atteindre les résultats escomptés?

Évaluation : Oui, DCRA et ses programmes sont en bonne voie d'atteindre les résultats escomptés, mais l'évaluation a fait ressortir certaines possibilités d'accroître la probabilité de réaliser la totalité des résultats désirés.

Conformément au modèle logique (annexe B), le résultat que DCRA vise à tout prix est de contribuer à rendre la bioéconomie du Canada plus dynamique et plus prospère. Les programmes du portefeuille sont conçus de manière à contribuer à ce résultat fondamental, et chacun a son propre jeu de résultats qu'il souhaite atteindre. Les progrès dans la réalisation de ces résultats peuvent être quantifiés en partie en établissant la mesure dans laquelle les cibles de rendement ont été atteintes et les jalons de réalisation des programmes, franchis. L'évaluation a également sollicité l'opinion d'experts et de parties externes sur la probabilité que chacun des programmes atteigne les résultats qu'il s'est fixés. Les communications et l'engagement auprès des clients, de même que leur satisfaction, constituent également des facteurs clés pouvant influer sur la probabilité que DCRA réalise les résultats recherchés. Ils sont donc analysés de manière plus approfondie dans les sections qui suivent.

4.3.1 Atteinte des cibles de rendement et des jalons des programmes

Constatation principale 16 : Après avoir vu ses revenus plonger sous les attentes en 2014 2015, DCRA a dépassé ses cibles en 2015-2016.

Comme pour tous les autres portefeuilles du CNRC, un des indicateurs clés du rendement de DCRA est la mesure dans laquelle le portefeuille a atteint ses cibles de revenus. Après avoir atteint les cibles fixées au cours de ses deux premières années d'existence, DCRA a vu ses revenus reculer en 2014-2015, année au cours de laquelle le portefeuille n'a atteint que 77 % de sa cible annuelle (voir la figure 3). Selon les données financières provisoires pour 2015-2016 (établies au 15 avril 2016), DCRA devrait dépasser la cible de revenus de l'exercice de 35 %, ayant déjà réalisé 5,7 millions de dollars de revenus cette année, alors que la cible est de 4,2 millions.

Figure 3 : Pourcentage d'atteinte des cibles de revenus de DCRA

Description détaillée de pourcentage d'atteinte des cibles de revenus de DCRA.

	Cible	Réel	%
2012-13	4 637 846,00 $	5 158 138,00 $	111 %
2013-14	5 862 849,00 $	5 794 840,00 $	99 %
2014-15	4 571 677,00 $	3 502 857,00 $	77 %
2015-16	4 200 000,00 $	5 673 324,00 $	135 %

Source : Direction des finances du CNRC. Les chiffres réels indiqués pour 2015-2016 sont fondés sur les résultats financiers provisoires de fin d'exercice en date du 15 avril 2016.

Puisque les résultats escomptés qui restent à atteindre pour DCRA sont ceux de ses programmes, nous passerons en revue chacun d'entre eux ci-dessous.

4.3.1.1 Programme-phare Amélioration du blé canadien

Constatation principale 17 : Les données probantes collectées au cours de l'évaluation indiquent toutes que le programme devrait atteindre les résultats recherchés, mais il est encore tôt pour juger des résultats d'un programme s'étendant à long terme.

Selon les rapports d'étape, ABC a atteint la majorité de ses cibles de rendement à ce jour et devrait réaliser ses principaux livrables, attendus pour la fin de 2016-2017. Selon les données financières préliminaires établies au 15 avril 2016, ABC a gagné 1,0 million de dollars en 2015-2016, soit plus du double de la cible de revenus de 450 000 $ fixée pour l'année. Les parties intéressées externes interrogées ont également convenu que les résultats à ce jour de cette composante de l'Alliance canadienne du blé (ACB) ont répondu à leurs attentes, en particulier pour ce qui est de resserrer les interactions entre les partenaires et de faire avancer certains objectifs scientifiques. Les personnes interrogées ont toutefois souligné que l'ACB était une initiative à long terme et qu'il était encore trop tôt pour se prononcer. L'examen à mi-mandat de l'ACB effectué en 2015 est parvenu à des conclusions semblables :

• [TRADUCTION] Il est difficile d'évaluer les retombées de l'ACB après seulement trois années d'existence. Il faudra en effet du temps pour que les efforts menés à l'intérieur des six projets de l'initiative se concrétisent par l'amélioration des variétés de blé ou des connaissances de l'industrie ou par la création de nouveaux produits […] depuis 2012. Du fait, on a constaté dans la plupart des secteurs d'excellents progrès dans la réalisation des jalons établis. On en a déduit par conséquent que les objectifs d'étape étaient en bonne voie d'être atteints .^{Note 12}

Les conclusions de l'examen à mi-mandat et des entrevues avec tous les interlocuteurs pertinents font toutefois douter de la gouvernance au sein de l'ACB. Un grand nombre des parties intéressées consultées considèrent que le programme gravite trop autour du CNRC, la perception étant qu'il était piloté par l'organisation au lieu d'être une véritable alliance. À la lumière des résultats de l'examen à mi-mandat, des ajustements à la structure de l'ACB, dont la direction des projets, sont actuellement à l'étude. Les parties externes avaient en revanche une appréciation plus favorable de la direction et des comités de direction de l'ACB, et ont souligné que ces comités représentent toutes les parties prenantes à l'initiative et qu'ils favorisent la communication entre les partenaires en plus d'être efficaces. Certains interlocuteurs ont également souligné que le CNRC jouait un rôle important dans la direction et la coordination au sein de l'ACB.

4.3.1.2 Programme-phare Conversion du carbone par les algues

Constatation principale 18 : Malgré l'écart entre les plans actuels établis pour CCA et la vision initiale du programme, la démarche est jugée solide et viable, et le programme enregistre de beaux progrès.

Le plan original du programme-phare CCA prévoyait, comme étape clé, la conception, la construction et l'exploitation d'une bioraffinerie de démonstration d'une capacité de 100 000 litres dans une usine d'extraction du bitume à partir des sables bitumineux, en Alberta au cours de l'exercice 2014-2015. Cette initiative a été mise en veilleuse en janvier 2014 en raison des coûts de construction et des besoins en énergie révélés à la phase de conception technique. Depuis, les plans de mise en œuvre du programme ont été modifiés par rapport à la stratégie originale. En septembre 2015, le Comité de la haute direction du CNRC a ainsi approuvé une stratégie en deux volets pour la réalisation du programme. Le plan modifié comprend désormais une première étape de mise en œuvre dans une cimenterie en Ontario (prévue en 2016-2017), suivie d'une deuxième étape dans une installation de recherche en Alberta commanditée par la Canada's Oil Sands Innovation Alliance (COSIA) (prévue en 2018-2019). Cette démarche par étape permettra à l'équipe de recherche de valider et de peaufiner la technologie progressivement et de manière efficace sur le plan des coûts pour les deux industries (l'industrie de fabrication du ciment et celle de la production de bitume). Un nouveau contrat a été ratifié en octobre 2015 avec les partenaires industriels de CCA.

Tous les partenaires industriels du programme consultés dans le cadre de l'évaluation ont indiqué que les employés de DCRA avaient été très réceptifs tout au long du processus d'adaptation du projet et qu'ils étaient satisfaits des modifications apportées au plan. Ils ont tous également déclaré que depuis l'approbation du plan révisé, CCA connaît un essor important et ses progrès sont rapides, sans rien sacrifier à la rigueur scientifique nécessaire. La première installation de démonstration en Ontario sera opérationnelle en avril 2016, conformément au plan révisé.

4.3.1.3 Programme Bioproduits chimiques spécialisés

Constatation principale 19 : Le programme BCS a atteint ses premiers jalons, ce qui donne à penser aux experts que la conception du programme devrait permettre d'atteindre les résultats escomptés.

La première année de mise en œuvre du programme BCS tire tout juste à sa fin, mais les rapports d'étape indiquent que le programme est généralement sur la bonne voie. Il a respecté les plans initiaux et atteint un grand nombre de ses cibles de rendement liées au démarrage du programme. Selon les résultats financiers de fin d'exercice préliminaires, le programme aurait généré des revenus de 2 009 893 $ en 2015-2016, soit un dépassement de cible de 17 %. Ses carnets d'engagement qui représentent environ 3,5 millions de dollars de revenus au total lui garantissent une filière de projets pour 2016-2017.

Selon les trois experts du programme consultés, la totalité (ou presque) des résultats escomptés devrait être atteinte dans un horizon de cinq à dix ans. Deux de ces experts jugent que l'échéancier est très ambitieux, en raison de la complexité de la technologie et de la conjoncture de l'industrie. Parmi les facteurs pouvant influer sur l'atteinte des résultats attendus, mentionnons la capacité de payer des entreprises, la disponibilité de fonds de capital-risque au Canada, la nécessité pour le programme de choisir de manière judicieuse ses partenaires et ses projets, le paysage en matière de propriété intellectuelle et de concurrence internationale dans le domaine des bioproduits chimiques, la culture du CNRC et la capacité de ses chercheurs de travailler sur des projets de commercialisation, et enfin, les défis techniques inhérents au programme. On a résumé au tableau 6 l'opinion des experts quant aux probabilités que le programme BCS atteigne les quatre résultats qu'il vise.

Tableau 6 : Opinions des experts quant à la probabilité que le programme BCS réalise les résultats escomptés (dans un horizon de 5 à 10 ans)

1. Commercialisation de technologies industrielles à court terme - Probable
   • Selon les experts, le programme devrait atteindre ce résultat, mais il lui faudra au moins cinq ans (sinon huit, voire dix) pour atteindre l'étape de la commercialisation.
   • Un des experts a indiqué que certains des facteurs intervenant dans les dernières étapes de la commercialisation étaient indépendants de la volonté du programme et que les entreprises participantes auraient sûrement besoin d'autres partenaires stratégiques en cours de route.
2. Accroissement de l'investissement dans les technologies canadiennes par des entreprises multinationales - Relativement probable
   • Les opinions sur cette question sont partagées. Deux experts pensent que le programme BCS pourra attirer des investissements étrangers, en donnant une meilleure visibilité à ce secteur de l'industrie canadienne. L'accès au CNRC et à ses programmes pourrait aussi représenter un intérêt pour les investisseurs.
   • Le troisième expert était plus sceptique quant au succès de BCS d'attirer des multinationales, en raison de la taille réduite du programme et du fait qu'il se concentrait sur les technologies au stade précoce ^{Note 13}.
3. Augmentation de la productivité/rentabilité des bio-industries canadiennes grâce à l'utilisation de la technologie - Probable
   • Les trois experts ont reconnu que les activités de BCS allaient permettre d'atteindre ce résultat dans un horizon de dix ans. Ils entrevoient toutefois que le programme aura des retombées considérables sur certaines entreprises et d'autres, plus limitées, sur le secteur dans son ensemble en raison du financement somme toute modéré dont il dispose.
   • Selon deux experts, pour que les entreprises canadiennes œuvrant dans ce secteur soient viables à long terme, elles doivent nécessairement viser des marchés internationaux.
4. Intensification des activités créant de la valeur ajoutée à partir de la biomasse au Canada - Probable
   • Les experts reconnaissent à l'unanimité les nombreuses possibilités de valorisation de la biomasse au Canada ainsi que le rôle que le CNRC peut jouer dans cette activité, étant donné qu'il est l'une des rares organisations au pays à posséder le savoir-faire nécessaire dans ce domaine.
   • Le succès remporté par certains clients et partenaires renforcera le pouvoir d'attraction du programme.

4.3.1.4 Produits de santé naturels

Constatation principale 20 : La capacité d'accueil limitée des entreprises canadiennes dans le secteur des produits de santé naturels a restreint les retombées qu'aurait pu avoir le programme PSN.

En 2014-2015, le programme PSN a atteint certains de ses jalons techniques et d'avancement, mais plusieurs ont dû être reportés à l'année suivante. Même si le programme a mené à terme le nombre de projets attendus en 2014-2015, ceux-ci étaient plus modestes que prévu initialement et ont donc produit moins de revenus (46 % de la cible). En date de novembre 2015, le portefeuille comptait 50 projets actifs, dont 35 avaient une valeur inférieure à 10 000 $ et seulement 2 représentaient plus de 50 000 $ ^{Footnote 14}. Dès sa création, le faible poids des projets a été un obstacle constant pour le programme, bien qu'un grand nombre de ses clients aient été des réguliers et menaient souvent plusieurs projets de front. Un petit nombre de personnes interrogées ont fait état d'une capacité d'accueil insuffisante pour appuyer le programme, puisque de nombreux clients étaient de petite taille et incapables de s'offrir les services du portefeuille en l'absence d'un soutien financier externe.

Un changement apporté récemment à l'interprétation des politiques d'utilisation des fonds provenant de l'Agence de promotion économique du Canada atlantique (APECA) aurait rajouté à ces difficultés, selon un petit nombre de clients et de parties intéressées interrogées. En vertu des nouvelles règles, le financement obtenu par le Fonds d'innovation de l'Atlantique (FIA) ne peut plus servir à acquitter les frais de service du CNRC. Ce changement a eu des conséquences plus lourdes pour le programme PSN que pour les autres en raison de l'importante grappe en biosciences établie à l'Île du Prince Édouard (Î.-P.-É.). Un peu plus de la moitié des revenus gagnés par le portefeuille entre 2012-2013 et 2014-2015 provenaient d'entreprises du Canada atlantique, et un peu plus de 20 % provenaient directement d'entreprises de l'Î.-P.-É. Deux clients consultés ont avoué que le changement des règles sur le financement du FIA allait sûrement avoir des répercussions sur leur collaboration future avec DCRA. D'autres interlocuteurs ont parlé des effets négatifs des changements tant sur la capacité de DCRA de dégager des revenus que celle des PME locales d'avoir accès à des services scientifiques et techniques de grande qualité.

Le CNRC a ainsi pris la décision d'abolir le programme PSN au cours de la période d'évaluation. On s'attend à ce que la majorité des projets de services techniques en cours soient rapatriés par d'autres programmes du CNRC et que le reste soit regroupé sous le volet « Autres services techniques » du portefeuille.

4.3.2 Communications et sensibilisation

Constatation principale 21 : Grâce aux efforts de communication qu'il a déployés, le portefeuille a réussi à accroître la sensibilisation aux services qu'il offre, mais certains aspects des campagnes de communication ont besoin d'être améliorés.

Au cours de l'année écoulée, DCRA a été actif dans les activités de réseautage et de communication. Les interlocuteurs externes estiment que le portefeuille a été visible au sein de la communauté, surtout par l'entremise des responsables de programme, des conseillers de portefeuille et des chefs des relations avec la clientèle (CRC), et en assurant une présence lors des bons événements. Certains des responsables de programme de DCRA, ainsi que des conseillers de portefeuille et des CRC ont fait des efforts délibérés pour collaborer avec des conseillers en technologie industrielle du Programme d'aide à la recherche industrielle (PARI) dans les secteurs touchés par leur programme.

De façon générale, l'efficacité de ces efforts a été reconnue. DCRA a pu ajouter de nouveaux clients^{Note 15} chaque année à sa liste, nouant plus de 40 nouvelles relations au cours de chacune des 2 dernières années. Certains interlocuteurs externes pensent toutefois que DCRA devrait faire davantage d'efforts pour promouvoir son offre de services et les avantages qu'il y a à collaborer avec le CNRC. Selon un petit nombre de parties intéressées, les entreprises qui avaient déjà travaillé avec le CNRC avaient une compréhension étroite des services offerts par DCRA, mais celles qui n'avaient jamais collaboré avec DCRA n'avaient aucune idée des services offerts par le portefeuille. L'absence d'information détaillée au sujet de DCRA sur le site du CNRC et sur les questions d'intérêt pour les clients, sur les services offerts et sur les possibilités d'octroi de licences a été déplorée comme une occasion manquée pour le portefeuille.

Certains des clients actuels et des interlocuteurs consultés durant l'évaluation estiment qu'il n'y a pas eu suffisamment de communications extérieures émanant de DCRA et du CNRC au sujet de la transformation de l'organisation en ORT. Ils ont dit ne pas connaître la stratégie à long terme du CNRC ni le résultat qu'il souhaite atteindre à la fin de cette transformation. Un représentant d'entreprise a exprimé ses préoccupations quant à la disponibilité des services du CNRC dans l'avenir et fait remarquer que l'absence de communication empêchait les entreprises de pouvoir se fier au CNRC pour leurs programmes de recherche futurs.

Dans son plan opérationnel pour 2015-2016, DCRA a fait de l'engagement auprès du client une de ses priorités et a depuis lancé une campagne de communication extérieure et de promotion de l'engagement auprès du client. Bien qu'ils reconnaissent le travail à effectuer dans ce domaine, certains employés se sont montrés perplexes devant le temps qu'il a fallu pour lancer l'initiative et l'absence de résultats et de mesures concrètes à ce jour. Certains jugent que cette initiative devrait être pilotée par SGA plutôt que par DCRA.

Plusieurs membres du personnel ont fait part de leur inquiétude à propos des rôles joués par le personnel de DCRA et celui de SGA dans l'engagement auprès du client et la gestion des comptes, en raison de l'absence de définitions claires et du manque d'uniformité entre les programmes. Les personnes consultées ont également douté de la logique d'affecter les chercheurs à des rôles de développement des affaires plutôt que d'exploiter les possibilités dévoilées par le démarchage des CRC, d'autant plus qu'à la mi-2015, le portefeuille possédait une équipe nombreuse de CRC. DCRA avait alors obtenu des engagements à hauteur de sa cible de revenus en octobre 2015, soit un record depuis sa création en 2012.

4.3.3 Satisfaction des clients

Constatation principale 22 : La majorité des clients sont très satisfaits des services qu'ils ont obtenus de DCRA.

Interrogés au sujet de leur degré de satisfaction à l'égard des prestations de DCRA, la majorité des répondants (clients et partenaires) se sont dits très satisfaits de la qualité générale des services qu'ils ont reçus (la plupart ont attribué une note de 5 sur 5). Ils ont répondu que la qualité d'exécution du travail, le professionnalisme et les compétences de son personnel constituaient les principaux atouts du portefeuille. Pour ce qui est des faiblesses, les clients ont surtout critiqué la lourdeur administrative des interactions (c.-à-d. le temps requis pour obtenir des soumissions et des contrats); certains ont cependant adouci leurs critiques en disant que même si elles pouvaient être moins lourdes et plus efficaces, les procédures du CNRC étaient de loin meilleures que celles des autres organismes gouvernementaux et quasi gouvernementaux avec lesquels ils avaient déjà collaboré. En outre, les clients ont reconnu que le personnel de DCRA, les chercheurs comme les agents responsables des contrats, s'efforçait de réduire les lourdeurs administratives et de rationaliser le plus possible les procédures.

Figure 4 : Cote de satisfaction moyenne attribuée par les clients de DCRA (sur 5)

Description détaillée : Cote de satisfaction moyenne attribuée par les clients de DCRA (sur 5).

	Moyenne
Simplicité de l'administration des projets	3,964
Rapidité des services / d'exéction des livrables	4,179
Accent sur le client / réceptivité du personnel	4,214
Infrastructure / équipement de calibre mondial	4,308
Confidentialité / sécurité des données	4,500
Qualité générale des services	4,538
Compétences scientifiques / techniques	4,571
Qualité des données / resultats	4,615

4.4 Premières retombées

Comme le portefeuille et ses programmes sont des créations relativement récentes et un grand nombre d'activités de DCRA visent des retombées à long terme, l'évaluation s'est concentrée sur les premières retombées constatées par les clients et sur l'opinion des experts quant à la probabilité que les programmes réalisent les retombées recherchées à long terme, en se fondant sur la conception des programmes et leurs progrès à ce jour.

Constatation principale 23 : Les clients ont surtout constaté des retombées précoces comme résultats des projets effectués avec l'aide de DCRA.

La plupart des clients et collaborateurs du portefeuille considèrent que les projets qu'ils ont réalisés avec l'aide de DCRA ont atteint les résultats escomptés, et un grand nombre d'entre eux estiment que la contribution de DCRA a été non seulement excellente, mais essentielle au succès du projet mené. Dans plusieurs cas, les clients considèrent que les chercheurs de DCRA sont devenus les experts de la technologie développée par leur entreprise et se sont dits prêts à poursuivre la relation avec eux dans d'autres phases du projet ou à demander aux chercheurs du CNRC de jouer un rôle de consultation ou de dépannage une fois que le projet aura été officiellement mené à terme.

De nombreux clients ont indiqué qu'il était encore trop tôt pour que les retombées socio économiques attendues du projet qu'ils mènent avec le CNRC se réalisent. Les clients qui ont constaté des retombées ont surtout parlé de retombées précoces ou immédiates, comme on peut s'y attendre d'un programme à ce stade de maturité. Les retombées des projets menés avec DCRA ou des relations entretenues avec le portefeuille les plus souvent mentionnées par les clients sont : un accroissement du niveau de la maturité technologique (8 clients sur 12), l'accélération de la commercialisation (7 sur 12) et une augmentation des dépenses en R-D dans leur entreprise (6 sur 12). Plusieurs clients ont également souligné avoir profité de la crédibilité et de la réputation du CNRC, puisque la collaboration avec le CNRC avait conféré une crédibilité au travail de leur entreprise, favorisé les relations avec le public ou aidé à attirer d'autres collaborateurs éventuels et des investissements extérieurs dans l'entreprise ou pour le projet. Deux exemples convaincants sont présentés ci-après.

• Dycor Technologies : Cette entreprise canadienne de technologie a mené une série de projets avec DCRA qui faisaient appel à la métagénomique pour identifier et catégoriser des bactéries trouvées dans des puits de pétrole, en vue d'améliorer l'efficacité des procédés de récupération du brut. La technologie mise au point après l'essai pilote a permis d'accroître de 20 % la quantité de pétrole récupéré dans le puits d'essai (de 5 barils par jour à 6 barils par jour) et de réduire de près de 50 % le volume de solution saline hautement concentrée rejetée par le puits (solution qui exige une manipulation et un traitement soigné par la compagnie pétrolière), ce qui a eu un effet positif direct sur les coûts d'exploitation. Les projets en cause ont permis à Dycor d'accroître sa rentabilité en bâtissant autour de sa solution technologique un nouveau secteur d'activité appelé microbiologie pétrolière (secteur qui représente aujourd'hui près du tiers du chiffre d'affaires annuel de l'entreprise). Ces projets ont également eu des répercussions favorables sur les finances et les retombées environnementales d'un client de Dycor, qui est une grande entreprise pétrolière et gazière.
• Nature's Crops International (NCI) : La société canadienne NCI produit des huiles spécialisées d'origine végétale qui entrent dans la fabrication de suppléments alimentaires, d'aliments et de cosmétiques. Au cours des cinq dernières années, DCRA a fourni des services techniques à NCI à l'étape des demandes d'approbations réglementaires nécessaires pour commercialiser son produit Ahiflower®, une nouvelle huile riche en oméga-3, aux États-Unis et en Europe. Selon un porte-parole de l'entreprise, la participation de DCRA à l'élaboration de la méthodologie analytique utilisée a été cruciale, puisque la réputation et la crédibilité du CNRC ont contribué à convaincre les autorités réglementaires d'accepter la nouvelle huile produite par NCI. Cette huile extraite du grémil des champs est commercialisée en Europe et aux États-Unis, et NCI évalue les possibilités sur d'autres marchés. Comme l'a affirmé un représentant de l'entreprise, « sans la contribution du CNRC, il nous aurait très certainement fallu beaucoup plus de temps pour lancer notre produit sur le marché. »

Constatation principale 24 : Les clients et partenaires de DCRA ont indiqué que les retombées de leurs projets n'auraient pas eu la même envergure sans la collaboration du portefeuille.

On a demandé aux clients qui avaient constaté des retombées tirées de leur collaboration avec DCRA dans quelle mesure ils attribuaient ces retombées à la contribution du portefeuille. De façon générale, la contribution de DCRA aux retombées a été évaluée comme étant de modérée à élevée. Certains clients et collaborateurs ont même dit qu'elle avait été essentielle à leur projet. Cela était le plus souvent dû au fait d'une combinaison unique de compétences ou de propriété intellectuelle obtenue par l'entremise de DCRA ou par la réputation et la crédibilité du CNRC (comme cela a été le cas pour Nature's Crops International, dans l'exemple ci-dessus). Dans d'autres cas, même si le projet aurait pu suivre son cours sans la collaboration de DCRA, la perception était que le travail aurait été plus difficile, aurait pris plus de temps ou aurait été plus coûteux. Dans le cas de projets axés sur des services techniques (p. ex., le séquençage), les clients interrogés disposaient souvent d'autres options, mais ont préféré opter pour les services de DCRA en raison des avantages offerts (p. ex., l'emplacement géographique, les rapports existants, le degré de savoir-faire). Dans ces cas particuliers, les projets auraient eu les mêmes retombées même en l'absence de la collaboration avec DCRA.

Les parties intéressées externes qui ont travaillé avec les programmes phares de DCRA, soit CCA et ABC, ont affirmé que la participation du CNRC a été essentielle au succès remporté. Les répondants ont souligné le savoir-faire sans égal au Canada que possédait l'équipe de recherche de CCA et le positionnement unique du portefeuille qui lui a permis de rassembler les collaborateurs autour des projets menés. Les partenaires ont rappelé que le projet de bioraffinerie de démonstration piloté par CCA n'aurait pas été possible sans la participation du CNRC. L'apport du CNRC a également été jugé essentiel à l'établissement de l'Alliance canadienne du blé, même s'il existait déjà un effort de recherche important mené par d'autres partenaires de l'ACB avant la création de cette initiative. Les partenaires ont insisté sur le fait que les compétences et le financement apportés par le CNRC se sont ajoutés à ce qui existait déjà et ont pu ainsi accélérer la réalisation des résultats escomptés.

4.5 Efficience opérationnelle

4.5.1 Indicateurs d'efficience

Constatation principale 25 : Les indicateurs de rendement clés du CNRC ont révélé une baisse d'efficience du portefeuille au cours des dernières années.

Les données pour l'ensemble de l'organisation démontrent un glissement de l'efficience relative aux coûts indirects de DCRA en 2014-2015 comparativement aux années précédentes. L'indicateur d'efficience des coûts indirects calcule tous les coûts indirects (c.-à-d. tous les coûts qui ne peuvent être imputés directement à un projet) en pourcentage des dépenses totales. En 2014-2015, les dépenses indirectes de DCRA ont représenté 39 % des dépenses totales du portefeuille. Ce ratio est légèrement plus élevé que l'année précédente (les dépenses indirectes ont représenté 35 % des dépenses totales en 2013-2014) et a dépassé le taux prévu de 28 %.

Le taux d'utilisation de l'effectif a également diminué au cours des trois dernières années (voir figure 5). En 2014-2015, 66 % des frais de main-d'œuvre de DCRA ont été recouvrés par les programmes du CNRC. Ce ratio est également inférieur au taux cible fixé par DCRA pour l'année (70 %).

Figure 5 : Utilisation de l'effectif de DCRA

Description détaillée de figure 5 : Utilisation de l'effectif de DCRA.

	Utilisation	Cible
2012-13	92,10 %	70 %
2013-14	70,40 %	70 %
2014-15	65,70 %	70 %

Comme pour tous les autres aspects du rendement du portefeuille, les taux d'utilisation de l'effectif varient grandement d'une installation à l'autre (voir figure 6). Certaines des personnes de l'interne interrogées ont avancé des hypothèses sur les facteurs qui peuvent influer sur ce paramètre. Dans certaines installations (soit à Charlottetown, Montréal et Ottawa), les personnes interrogées expliquent le bas taux d'utilisation par la faiblesse de la demande, en particulier avant le lancement du programme BCS. Le fait que le programme BCS n'avait pas encore été approuvé à l'époque a nui au taux d'utilisation en 2014-2015 pour deux raisons : 1) les projets propres à BCS n'étaient pas encore activement poursuivis et 2) le temps consacré par le personnel de DCRA au processus d'approbation du programme ne constitue pas un coût direct imputé au programme et ne se reflète donc pas sur le taux d'utilisation.

Dans les autres installations (p. ex., à Halifax), le faible taux d'utilisation a été imputé à une augmentation des activités hors projets que doivent effectuer les chercheurs. Ces activités comprennent nombre d'activités essentielles (comme la gestion de la santé, de la sécurité, des ressources humaines), ainsi que de nombreuses autres activités qui étaient auparavant accomplies dans une plus large mesure par les services communs. Toutes ces activités finissent par réduire le temps disponible pour la réalisation des projets. En fait, certaines personnes interrogées se sont même dites surprises que DCRA puisse atteindre un taux d'utilisation de 65 %, vu les autres engagements qui grugent le temps pouvant être consacré aux projets.

Figure 6 : Utilisation de l'effectif de DCRA, par région

Description détaillée de figure 6 : Utilisation de l'effectif de DCRA, par région

Région	Utilisation
SK	78 %
NÉ	65 %
ON	37 %
QC	31 %
Î-P-É	29 %

Note: Î-P-É=Île-du-Prince-Édouard; QC=Québec; ON=Ontario; NÉ=Nouvelle-Écosse; SK=Saskatchewan.

Par ailleurs, le taux d'utilisation des installations de DCRA comptabilisé en 2014-2015 se chiffrait à 50,2 %, légèrement au-dessus de la cible annuelle (49 %). Comme il n'y avait pas de données antérieures sur l'utilisation des installations, on n'a pu établir de tendances.

4.5.1 Efficience de la prestation des services aux clients

Constatation principale 26 : Des problèmes d'efficience interne ont eu des répercussions sur les services offerts aux clients.

Les lacunes d'efficience à l'intérieur du portefeuille ont également eu des incidences sur les relations extérieures de DCRA. Bien que les clients aient de manière générale eu des commentaires plutôt favorables quant aux services reçus de DCRA, deux points sont ressortis du lot : « la rapidité avec laquelle les services et les livrables pouvaient être obtenus » et « la simplicité de l'administration des projets ». Dans le premier cas, 4 clients interrogés sur 14 ont attribué une cote de 3 sur 5 ou inférieure à cet aspect de la prestation, qui est attribuable à l'accent mis sur le client et qui a été analysé de manière approfondie à la section 4.1.3 ci-dessus. Par ailleurs, 3 clients interrogés sur 14 ont également donné une cote de 3 sur 5 ou inférieure au deuxième aspect, « simplicité de l'administration des projets ». Invités à approfondir leurs réponses, les clients ont pointé du doigt la lenteur du processus de conclusion des contrats, le manque de souplesse dans la structure des contrats (p. ex., nécessité de tenir compte des pratiques d'affaires) et la lourdeur ou l'opacité de l'administration des projets. Pour une explication détaillée de ce problème et pour connaître la recommandation formulée, se reporter à la section 4.1.5 Pratiques opérationnelles efficaces.

4.5.2 Services communs assurés par le CNRC

Constatation principale 27 : DCRA a éprouvé d'importants problèmes liés aux prestations de certains services communs assurés par le CNRC, qui ont contribué à des inefficiences et eu des répercussions négatives sur les activités du portefeuille.

Les personnes de l'interne interrogées ont fait part de préoccupations importantes quant aux interactions qu'elles ont eues avec différents services communs à l'intérieur du CNRC. DCRA possède plusieurs installations au pays et entretient des relations avec près de 90 agents de liaison des services communs dans tout son réseau. La qualité des prestations offertes par les services communs du CNRC varie considérablement d'un endroit à l'autre et semble tributaire de la bonne volonté et de la diligence des personnes en première ligne. Si certaines de ces personnes se sont montrées particulièrement aidantes, le personnel de DCRA attribue la qualité du service à la personnalité des agents et non à une stratégie globale mise en place au sein de la direction.

• Direction des services administratifs et de la gestion de l'immobilier (SAGI) : Même si l'ensemble des services communs a reçu des critiques négatives dans une certaine mesure, les SAGI sont de toute évidence la plus grande source de frustrations. La quasi-totalité des personnes de l'interne interrogées a déploré le fait que les SAGI n'étaient pas à l'écoute des clients ni de leurs besoins; une personne a même parlé « d'antagonisme » entre les SAGI et DCRA. Les SAGI semblent être le cas où la perception de déresponsabilisation quant à la qualité des services offerts et d'absence de recours en cas de mauvais service était la plus forte. La direction des SAGI reconnaît certaines des lacunes dénoncées et travaille à trouver des solutions. La Direction est sur le point de nommer des responsables des services d'exploitation d'immeuble à Halifax, à Montréal et à Saskatoon, si ce n'est déjà fait. Cela devrait réduire la pression sur les responsables régionaux, qui cumulaient les deux volets de responsabilité dans ces installations. Il convient aussi de noter que certaines mesures ont été prises au cours de la dernière année pour régler les problèmes mis en lumière, dont un processus de dialogue entre DCRA et la direction des SAGI, des communications envoyées par les SAGI aux employés régionaux pour renforcer l'importance du client dans la prestation des services et une séance de planification à laquelle participaient des représentants des SAGI et de DCRA pour établir un plan d'entretien des installations de Ketch Harbour.
• Services des technologies de l'information et de sécurité (STIS)/Services partagés Canada (SPC) : Pour de nombreuses personnes interrogées, les services des STIS et de SPC étaient inefficaces et trop lents, bien qu'on ait signalé dans quelques cas la qualité du service à la clientèle offert par les STIS à certains endroits. Comme DCRA compte des installations dans plusieurs endroits à l'extérieur d'Ottawa, le portefeuille est très incommodé par les interruptions de services fréquentes qui se produisent en région. De nombreuses personnes ont signalé que des achats d'équipements d'infrastructure approuvés par les TI et qui nécessitent l'intervention de SPC n'ont pas été effectués (p. ex., des équipements de bio-informatique) et que, dans certains cas, SPC, ne faisant pas partie du CNRC, « négligerait » les besoins de l'organisation ou ferait preuve d'« indifférence » à son endroit.
• Soutien à la gestion des affaires (SGA) : Les personnes interrogées ont reconnu la réceptivité et le souci à l'égard des besoins des clients manifestés par certaines personnes bien précises affectées au soutien du portefeuille. Selon les commentaires reçus, l'efficacité de SGA dépend énormément des personnes en place. Un grand nombre des personnes interrogées pensent que SGA devrait davantage offrir un soutien « commercial » et que la redistribution des responsabilités liées aux ventes et au développement des affaires aux chercheurs n'était pas productive. Ce problème a été examiné de manière approfondie à la section 4.1.3 Accent mis sur le client, et une recommandation y a été proposée.
• Direction des ressources humaines (DRH) : Certaines des personnes affectées à DCRA ont été reconnues pour leur réceptivité et leur sensibilité aux besoins des clients. Un grand nombre de personnes à l'interne interrogées ont toutefois déclaré que la centralisation des services des RH a eu pour effet pour réduire les services offerts par la Direction. Elles ont donné plusieurs exemples de services qui ne sont plus assurés par la DRH (p. ex., les services d'accueil et d'intégration, le soutien à la formation) et d'autres qui sont moins accessibles dans les établissements où l'on ne trouve aucun généraliste en ressources humaines. La centralisation du personnel ne semble pas être un problème particulier, quoique certaines personnes aient souligné la lenteur des processus d'embauche encore aujourd'hui.
• Direction des finances (DF) : Là encore, les personnes interrogées pensent que certaines personnes au sein de l'effectif de la DF fournissent un très bon service à DCRA. Certains répondants ont toutefois déclaré que les processus, les formulaires et les services de soutien centralisés (p. ex., les services de voyage) de la DF étaient inefficaces.
• Services de planification et de rapport (SPR) : Les commentaires au sujet des SPR étaient partagés, différents aspects de la prestation des services par les SPR ont reçu des commentaires positifs et d'autres, des commentaires négatifs. Plusieurs personnes interrogées ont déploré la « confusion » associée aux SPR. Elles pensent que les SPR multiplient indûment les processus et dédoublent les exigences de rapports existantes, plutôt que d'offrir du soutien à la prestation des programmes et des projets. Parmi les points positifs soulevés par les personnes interrogées au sujet des SPR se trouvent la formation offerte et les communautés de pratique établies par le groupe.
• Direction des communications (DC) : Les personnes interrogées ont déclaré que la centralisation des services a affaibli le soutien aux communications, mais que la qualité des services était désormais plus uniforme au sein de l'organisation. Certaines ont indiqué que la Direction avait réalisé des documents de marketing et des histoires de réussite pour le portefeuille qui se sont avérés efficaces, mais que la production de ces documents avait nécessité davantage de collaboration de la part du personnel de DCRA, puisque les employés des Communications n'étaient plus intégrés au portefeuille et connaissaient donc moins ses programmes et ses activités.
• Gestion du savoir (GS) : Les opinions étaient partagées quant aux interactions avec cette direction. Plusieurs personnes interrogées ont donné une évaluation très positive des relations avec GS et souligné la diligence de la Direction à leur fournir les informations demandées et à les tenir au courant des développements qui surviennent dans leur champ d'études. Contrairement aux évaluations données à tous les autres services communs du CNRC, la plupart des personnes interrogées ont indiqué que le personnel de GS était très serviable et réceptif aux demandes. Les personnes les plus critiques pensent que GS pourrait créer davantage de valeur en fournissant des services d'analyse ou de synthèse en plus des nombreux rapports qu'elle produit. Certaines personnes interrogées avaient également l'impression que le manque de connaissance au sein de l'organisation quant à la gamme des services offerts par GS limitait la contribution que le groupe pouvait apporter.

5. Conclusion

À de nombreuses reprises au cours de l'évaluation, DCRA a été décrit comme un microcosme au sein du CNRC. En fait, un grand nombre des problèmes auxquels se heurte le portefeuille ont également été signalés dans les évaluations d'autres portefeuilles ainsi que dans les communautés de pratique du CNRC. Il est toutefois possible que les irritants signalés soient vécus de manière plus intense à DCRA, en raison de l'historique, de la structure et de la distribution géographique du portefeuille. Les recommandations formulées dans le présent rapport visent à améliorer le fonctionnement interne du portefeuille et ses interactions avec les autres services du CNRC, afin d'optimiser l'efficience de DCRA et de l'aider à réaliser son plein potentiel. Comme un grand nombre des défis que doit relever le portefeuille sont partagés par d'autres entités, certaines des solutions élaborées pour DCRA pourraient être mises en œuvre dans toute l'organisation.

6. Réponse de la direction

Annexe A : Modèle logique de DCRA

Figure 7 : Modèle logique de DCRA

Description détaillée du Modèle logique de DCRA.

Le schéma de cette annexe est le modèle logique de DCRA qui illustre sa progression : intrants confiés du programme, activités, extrants et finalement les différents niveaux de résultats escomptés (immédiats, intermédiaires et finaux).

Le modèle logique est divisé en six niveaux progressifs comme indiqué ci-dessous. Chaque niveau alimente le niveau suivent.

• Niveau 1: Intrants
• Niveau 2: Activités
• Niveau 3: Extrants
• Niveau 4: Résultats immédiats (2 à 5 ans)
• Niveau 5: Résultats intermédiaires (5 à 15 ans)
• Niveau 6: Résultats finaux (15 ans et plus)

Niveau 1: Intrants

Il y a sept catégories d'intrants:

La plus grande catégorie d'intrant est:

Savoir-faire et installations de pointe. Dans cette catégorie, les intrants sont divisées en six sous-catégories énumérées ci-dessous.

1. Technologies des plantes :
   • technologies cellulaires;
   • amélioration génétique et;
   • installations de cultures
2. Biologie / chimie :
   • biochimie;
   • chimie des produits naturels et;
   • biochimie des lipides
3. Bioprocédés :
   • bioprocédés à petite échelle et;
   • bioprocédés à l'échelle de pilote
4. Plateformes technologiques :
   • profilage hormonal;
   • génomique / bio-informatiques;
   • métagénomique et;
   • criblage haut débit / in vivo
5. Technologies des algues :
   • technologies des algues et;
   • installations de culture
6. Technologies analytiques :
   • spectrométrie;
   • bioanalytique et;
   • résonance magnétique nucléaire

Les six autres catégories d'intrants sont:

1. Effectif flexible de calibre d'une ORT
2. Investissement / modèle d'affectation des resources
3. Ressources financières (fonctionnement / immobilisations)
4. Technologies, PI, méthodes
5. Relations et renseignement commercial
6. Modèle de gouvernance (surveillance et soutien)

Niveau 2: Activités

Il existe six catégories d'activités:

1. Développement technologique (incluand de la R-D stratégique, du codévelopment et du développement sur mesure)
2. Services de R-D
3. Contribution à l'élaboration de la politique scientifique
4. Renseignement et veille commercial
5. Communications
6. Gestion d'installations scientifiques et de consortiums

Niveau 3: Extrants

Il existe quatre catégories d'extrants:

1. Nouvel technologies / PI / méthodes (pour transfert ou profitant aux clients)
2. Relations nouvelles ou consolidées
3. Services et solutions à valeur ajoutée pour les clients industriels
4. Nouvelles chaînes de valeur dans des domaines ciblés de la bioéconomie

Niveau 4: Résultats immédiats (2 à 5 ans)

Il existe six catégories de résultats immédiats:

1. Augmentation des dépenses en R-D au sein de l'industrie canadienne
2. Hausse du niveau de maturité technologique / accélération de la commercialisation
3. Accueil plus grand des technologies de la bioéconomie par le marché
4. Absorption des technologies par l'industrie
5. Création et développement d'entreprises canadiennes
6. Interactions efficaces entre les joueurs de la bioéconomie canadienne

Niveau 5: Résultats intermédiaires (5 à 15 ans)

Il existe quatre catégories de résultats intermédiaires:

1. Commercialisation de technologies de pointe
2. Accroissement de la productivité et de la rentabilité des bio-industries grâce à la technologie
3. Intensification des activités à valeur ajoutée axées sur l'utilisation de la biomasse canadienne
4. Obtention d'avantage pour l'industrie canadienne découlant d'une approche coordonée de la bioéconomie

Niveau 6: Résultats finaux (15 ans et plus)

Il existe un résultat final: Développement d'une bioéconomie plus dynamique et plus prospère pour le Canada, axée sur un approvisionnement sûr et durable en biomasse.

Annexe B : Méthodologie

L'évaluation de DCRA a été effectuée par une équipe indépendante du Bureau de la vérification et de l'évaluation (BVE) du CNRC. La présente annexe donne un aperçu détaillé de la méthodologie utilisée par l'équipe d'évaluation et décrit les principes sur lesquels s'est appuyée l'évaluation, sa portée, sa conception et les méthodes utilisées ainsi que les difficultés auxquelles les évaluateurs se sont heurtés. Les limites de la présente évaluation y sont aussi exposées.

Conception de l'évaluation

Les questions d'évaluation, dont le libellé est donné ci-dessous, sont fondées sur des consultations qui ont eu lieu avec la direction du portefeuille et le vice-président, Sciences de la vie. Ceux-ci ont fixé les points d'intérêt précis que devait couvrir l'évaluation et défini l'information nécessaire à sa réalisation. Ceux-ci ont été intégrés au schéma de l'évaluation. Le schéma répond donc à la fois aux besoins de la direction et aux exigences de la Politique sur l'évaluation du Conseil du Trésor.

Tableau 7 : Questions d'évaluation

1. Dans quelle mesure les capacités de recherche développement offertes par DCRA répondent-elles à un besoin véritable?
2. Les objectifs et les activités de DCRA sont-ils harmonisés avec les priorités de l'administration fédérale et avec les résultats stratégiques visés par le CNRC?
3. Dans quelle mesure les activités du portefeuille DCRA et les résultats attendus cadrent-ils avec les rôles et responsabilités de l'administration fédérale?
4. Dans quelle mesure DCRA a-t-il réussi sa transformation pour devenir un véritable portefeuille d'ORT? Quels ont été les facteurs qui ont facilité cette transition ou l'ont compliquée?
5. DCRA dispose-t-il des ressources appropriées et celles-ci sont-elles attribuées de manière à assurer l'atteinte des résultats escomptés par les programmes?
6. DCRA et les programmes sous sa responsabilité sont-ils en voie d'atteindre les résultats escomptés?
7. Existe-t-il des preuves des premières retombées qu'ont eues les activités menées par DCRA et ses programmes (dans la poursuite des activités des instituts qui ont précédé la création de DCRA)?
8. Quel est le degré d'efficience du fonctionnement du portefeuille? Quels facteurs influent sur l'efficience opérationnelle du portefeuille?

L'évaluation de DCRA a surtout porté sur les problèmes de fonctionnement interne et sur les enjeux opérationnels auxquels se heurtait le portefeuille. Plusieurs raisons expliquent ce choix. Tout d'abord, DCRA est l'un des portefeuilles qui ont subi le plus de changements dans le cadre de sa transformation en 2012 en plus des changements organisationnels survenus en janvier 2015, lorsque deux programmes-phares ont été intégrés à la structure de responsabilité de DCRA. Il ne faut pas oublier les programmes et les nombreuses activités du portefeuille qui n'ont vu le jour qu'en 2012 et même après dans certains cas. Il était par conséquent trop tôt pour constater les retombées que ces activités devaient avoir à long terme.

Méthodes d'évaluation

La démarche adoptée et l'ampleur de l'effort consenti aux fins de l'évaluation ont été à la mesure du niveau de risque appréhendé pour le programme, qui a été établi entre faible et modéré par une analyse effectuée à l'étape de la planification de l'évaluation. Le choix des méthodes a aussi tenu compte d'autres études et examens pertinents entrepris par le portefeuille.

Pour maximiser l'utilité, la fiabilité et la validité des données et des résultats de l'évaluation, on a appliqué plusieurs méthodes reposant sur une diversité de sources de données qualitatives et quantitatives. Cette façon de procéder permet de présenter une analyse plus nuancée des enjeux complexes étudiés aux utilisateurs auxquels l'évaluation est destinée. De plus, le recours à des sources de données variées confère un niveau de fiabilité accru aux conclusions et recommandations formulées, tout en permettant une exploration plus approfondie en cas de divergences entre les constatations. Les méthodes particulières utilisées aux fins de cette évaluation comprennent les suivantes :

• Examen de documents internes et externes
• Examen de données administratives et des données de rendement
• Entretiens semistructurés
• Consultations d'experts pour deux programmes du portefeuille.

L'approche utilisée pour chacune de ces méthodes est décrite dans les sections qui suivent.

Examen des documents internes et externes

Des documents internes et externes ont été examinés, synthétisés et intégrés à l'évaluation afin de la situer en contexte, de dresser un historique des activités et de compléter les autres sources de données ayant servi à évaluer la pertinence et le rendement du portefeuille. Parmi les documents internes examinés, mentionnons les plans stratégiques, les plans d'activité et les plans opérationnels du portefeuille et de ses quatre programmes; des rapports de rendement; des rapports d'examen; des présentations; des articles publiés sur Internet et d'autres documents recensés par la direction et les employés du portefeuille. Un large éventail de documents et de publications externes ont aussi été examinés par l'équipe d'évaluation. Une liste des principaux documents examinés est donnée à l'annexe C.

Examen des données administratives et des données de rendement

L'équipe d'évaluation a examiné les données administratives et les données de rendement des exercices 2012-2013 à 2015-2016 afin d'obtenir de l'information sur les ressources utilisées, les extrants du programme et le degré d'activité, le rendement financier et l'efficience opérationnelle. Ces données ont contribué à l'analyse visant à établir la nécessité du programme, la matérialisation des résultats escomptés et l'utilisation des ressources. Dans la mesure du possible, les données administratives ont été extraites des systèmes organisationnels et des rapports établis au niveau central (p. ex., les rapports établis par la Direction des finances et par les Services de planification et de rapport).

Entretiens semi-structurés

Des entretiens semi-structurés ont été organisés avec des parties intéressées aux activités du portefeuille afin de collecter des renseignements et notamment des récits d'expériences personnelles, des opinions et des connaissances d'experts. Cette information a ensuite été utilisée pour compléter les données fournies par d'autres sources et pour situer en contexte les données quantitatives collectées.

Au total, 49 entretiens ont eu lieu avec des parties intéressées du portefeuille, dont 24 interlocuteurs externes. La ventilation par genre d'interlocuteurs est donnée au tableau 8. En sélectionnant les interlocuteurs potentiels pour représenter la clientèle, on a inclus de manière délibérée des personnes de l'interne (des représentants de la direction aux membres des équipes) afin d'obtenir une diversité de points de vue sur les enjeux propres au fonctionnement interne du portefeuille. La sélection des autres interlocuteurs reflète les besoins d'information de l'évaluation et a été guidée par les suggestions formulées par la direction de SME au cours de l'étape de la planification de l'évaluation. Les interlocuteurs externes comprenaient des clients de tous les programmes de DCRA, ainsi que des entreprises utilisatrices des plateformes technologiques de développement des cultures, qui représentent une large part des revenus du portefeuille. Les entreprises clientes consultées durant l'évaluation ont fourni l'équivalent de 34 % des revenus du portefeuille au cours de la période considérée. Les autres parties de l'externe choisies pour l'évaluation comprenaient des partenaires du portefeuille dans le programme-phare CCA, l'ACB et d'autres initiatives importantes, ainsi que des parties représentant l'industrie canadienne (p. ex., des associations industrielles). La sélection des interlocuteurs répond aux besoins d'information de l'évaluation cernés lors de l'examen de la documentation, et tient compte des suggestions formulées par la direction de SME au cours de l'étape de la planification de l'évaluation et des recommandations d'autres interlocuteurs interrogés.

Tableau 8 : Parties intéressées interrogées

Les entretiens avec les interlocuteurs internes ont été menés surtout en personne, tandis que les entretiens avec les interlocuteurs externes ont eu lieu le plus souvent par téléphone. Des guides d'entrevue ont été préparés afin que les questions répondent aux besoins d'information cernés dans le cadre d'évaluation. Ces guides ont été remis à l'avance aux personnes qui devaient participer aux entretiens. On s'est ainsi assuré de la pertinence de l'information sollicitée en regard des critères et des indicateurs retenus aux fins de l'évaluation.

La majorité des entretiens se sont faits sur une base individuelle, mais par souci d'efficacité et afin d'enrichir la discussion, on a procédé à des entretiens de groupe avec certains responsables d'équipe.

Consultation d'experts

Les évaluateurs ont consulté six experts en privé (entretiens individuels) afin d'établir la pertinence et le rendement de deux des programmes du portefeuille. Ces personnes comprenaient trois sommités internationales qui se sont prononcés sur le programme-phare CCA et trois experts canadiens pour le programme BCS. Le choix des experts a été fait de concert avec les dirigeants et les membres de l'effectif de DCRA. Deux des trois experts recrutés pour parler du programme BCS avaient des liens avec des entreprises du secteur privé, le troisième était affilié à un établissement universitaire. Les trois experts consultés pour le programme CCA étaient soit associés à des universités ou à des établissements de recherche publics.

Aucun expert n'a par ailleurs été consulté pour le programme-phare ABC ni pour le programme PSN. Dans le premier cas, des experts de l'industrie avaient participé au récent examen de mi-mandat de l'Alliance canadienne du blé (ACB), les évaluateurs ont donc utilisé les données collectées à cette occasion plutôt que de réitérer le processus de consultation. Dans le cas du programme PSN, des consultations avaient été prévues au départ, mais on les a annulées après l'abandon du programme à mi-chemin de l'évaluation.

Le processus de consultation s'est déroulé comme suit :

• préparation des profils de programme et des autres documents à examiner par les employés de DCRA et de la Gestion du savoir ^{Note 16} ;
• examen des profils de programme et des autres documents pertinents par les experts;
• présentation donnée aux experts par les responsables de DCRA pour leur brosser un aperçu du portefeuille et de ses résultats à ce point de son existence, et répondre aux questions;
• tenue d'entretiens semi-structurés avec des experts au cours desquels on leur a demandé de commenter la pertinence d'un programme donné, la qualité et le caractère approprié de sa démarche, et les compétences qu'il recèle, pour établir dans quelle mesure il pouvait fournir les résultats escomptés.

Les réponses fournies par les experts ont été analysées et des constatations sur le programme en ont été tirées. Ces constatations ont ensuite fait l'objet d'un exercice de triangulation avec les constatations émanant d'autres sources de données, de manière à renforcer l'analyse et l'interprétation des résultats.

Difficultés et contraintes

L'évaluation de DCRA s'est heurtée à différentes limites et contraintes, dont il a fallu tenir compte au moment d'interpréter les résultats. Les difficultés et les contraintes constatées dans la présente évaluation ne sont pas uniques. Elles sont plutôt courantes dans la plupart des évaluations menées au sein de l'administration fédérale. Afin d'atténuer les effets de ces contraintes et difficultés sur les constatations de l'évaluation, on a recouru à différentes stratégies. Les principales difficultés éprouvées par l'équipe d'évaluation dans le cadre de ce projet sont décrites ci-dessous :

• L'utilisation d'entretiens comme principale source de données et le parti pris possible des clients interrogés dans leurs réponses : Les clients et les collaborateurs interrogés sont ceux avec qui l'on a pu communiquer en utilisant les coordonnées les plus à jour fournies par le portefeuille et qui ont accepté de participer à l'entretien. Il est par conséquent possible que les personnes interrogées aient eu une opinion plus favorable du programme et par conséquent aient eu un intérêt à bonifier les résultats de l'évaluation. Pour atténuer ce risque, nous avons communiqué avec les clients à au moins deux reprises. À ceux qui hésitaient à participer, nous avons fourni de l'information plus complète sur la raison-d'être de l'évaluation, son importance (et l'importance de leur participation pour garantir la validité des résultats obtenus) et surtout, sur le caractère confidentiel des réponses fournies. Au final, les clients interrogés dans le cadre de l'évaluation représentaient des organisations à l'origine de 34 % des revenus de DCRA au cours des deux dernières années. Toutes les organisations partenaires des programmes-phares ont participé à l'évaluation. Même si les personnes de l'interne qui ont accepté de répondre ont pu être motivées à camoufler les aspects les moins reluisants du rendement du portefeuille, la direction de DCRA les a encouragées à commenter leurs expériences avec franchise et transparence.
• Changements récents apportés à DCRA et à ses portefeuilles : Au cours de la dernière année de la période d'évaluation, deux programmes-phares se sont greffés à DCRA (CCA et ABC en janvier 2015), un nouveau programme a été approuvé (BCS en avril 2015) et un programme original a pris fin (PSN à l'automne 2015). Pour que les résultats de l'évaluation soient le plus utiles possible, les évaluateurs ont tenu compte des événements survenus et des données collectées durant tout le processus d'évaluation, et ce, jusqu'à la rédaction du rapport.
• Autres examens des programmes de DCRA : Comme il a été mentionné dans ce rapport, l'ACB a récemment procédé à un examen à mi-mandat de ses activités, qui a couvert un grand nombre des activités du programme ABC du CNRC. Tous les programmes du portefeuille doivent aussi faire l'objet d'examens à mi-mandat internes après trois années de fonctionnement. Afin d'éviter le phénomène de lassitude des répondants, on a exclu dans la mesure du possible les interlocuteurs externes qui avaient participé à l'examen à mi-mandat de l'ACB. Toutefois, lorsque la contribution de ces personnes était indispensable, les évaluateurs ont tenu compte des constatations de l'examen précédent et dirigé leurs questions sur les aspects qui n'avaient pas été couverts. Ils ont aussi maximisé l'information utile qui pouvait être tirée de l'examen à mi-mandat afin de réduire les dédoublements. Enfin, pour s'assurer que l'évaluation allait apporter des renseignements nouveaux et non reproduire le travail normalement effectué au cours d'un examen de mi-mandat (examen triennal), l'évaluation a été conçue de manière à ne pas empiéter sur les aspects habituellement couverts dans ce type d'examen, mais qui revêtaient néanmoins un intérêt véritable pour DCRA et la haute direction du CNRC.

Annexe C : Sélection de documents examinés

• Amaethon Agricultural Solutions (2015). Canadian Wheat Alliance Mid-Term Impact Review.
• Carleton University. Towards an Integrated Action Plan for the Bioeconomy. Consulté sur le site : http://carleton.ca/cserc/wp-content/uploads/Bioeconomy-Final-Report-July-30.pdf.
• Gouvernement du Canada. (2015). Budget 2015. Consulté sur le site : http://www.budget.gc.ca/2015/docs/plan/budget2015-eng.pdf.
• Industrie Canada. (2014). Un moment à saisir pour le Canada : Aller de l'avant dans le domaine des sciences, de la technologie et de l'innovation 2014. Consulté sur le site : https://www.ic.gc.ca/eic/site/icgc.nsf/vwapj/Moment_saisir_rapport_ST-I-2014-fra.pdf/$file/Moment_saisir_rapport_ST-I-2014-fra.pdf.
• MTN Consulting Associates. (2013). Bio-based Chemicals: Addressing the Needs of Canada's Industry.
• Loi sur le Conseil national de recherches (L.R.C. 1985, ch. N-15). Consultée sur le site : http://laws-lois.justice.gc.ca/fra/lois/N-15/index.html.
• Conseil national de recherches du Canada. (2015). Plan opérationnel de Développement des cultures et des ressources aquatiques 2015-2016.
• Conseil national de recherches du Canada. (2015). Plan stratégique de Développement des cultures et des ressources aquatiques 2015-2016 – 2019-20.
• Conseil national de recherches du Canada. (2015). Bibliometric Study of NRC's ACC Publications 2011-2015.
• Conseil national de recherches du Canada. (2015). Bio-Based Specialty Chemicals: Transforming Biomass into Value-Added Chemicals.
• Conseil national de recherches du Canada. (2011). Plan d'activités de la contribution du CNRC au Consortium canadien pour l'amélioration du blé 2011-2016.
• Conseil national de recherches du Canada. (2011). Creating Valuable Products from Canadian CO2 Emissions via Algal Carbon Conversion.
• Conseil national de recherches du Canada. (2015). Food & CPG Dashboard.
• Conseil national de recherches du Canada. (2014). Plan d'activités du programme Produits de santé naturels (PSN).
• SHI Consulting. (2014). Canadian Agriculture Sector: Research Needs Assessment.
• SHI Consulting. (2014). Landscape Assessment of the Canadian Aquaculture Sector.
• Statistique Canada. (2013). Résultats de l'Enquête sur les aliments fonctionnels et les produits de santé naturels de 2011. (No 18-001-X au catalogue ISSN 0000-0000 ISBN 978-0-660-21219 7).