Dérives dans l'évaluation de la recherche

Un ouvrage d'Yves Gingras critique les mauvais usages de la bibliométrie pour mesurer la qualité de la recherche.
Photo
Illustration de Stéphane Chaix pour la conférence d'Yves Gingras au Coeur des sciences.

Le 5 mars prochain, le Cœur des sciences accueillera l'historien et sociologue des sciences Yves Gingras, professeur au Département d'histoire, qui parlera de son dernier ouvrage, Les dérives de l'évaluation de la recherche. Du bon usage de la bibliométrie, paru récemment en France, aux éditions Raisons d'agir. Quelques jours plus tard, le 21 mars, il donnera une conférence sur le même sujet au prestigieux Collège de France, à Paris.

Dans ce livre, le titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences montre qu'une fièvre de l'évaluation affecte le monde de la recherche et de l'enseignement supérieur. «On veut tout évaluer : les professeurs-chercheurs, les programmes de formation, les universités, dit Yves Gingras. Les indicateurs d'excellence se multiplient sans que l'on ne sache toujours sur quelles bases ils ont été construits.»

Un des outils les plus utilisés dans ce domaine est la bibliométrie, une méthode de recherche consistant à calculer le nombre de publications scientifiques – articles, ouvrages, thèses, rapports de recherche – et de citations qu'elles obtiennent.

Photo
Yves Gingras. Photo: Nathalie St-Pierre.

«J'ai voulu brosser le portrait le plus complet possible des bons et des mauvais usages de la bibliométrie», explique le professeur. Selon lui, l'application mécanique de critères d'évaluation purement quantitatifs engendre des effets pervers, notamment le développement d'une logique de compétition entre les chercheurs et entre les universités. Ces critères servent à l'établissement de classements mondiaux et nationaux des meilleures universités, tels ceux de Shanghai et du magazine canadien Maclean's, lesquels n'ont aucune valeur scientifique, soutient Yves Gingras.

Un outil indispensable

Le chercheur décrit l'évolution de la bibliométrie au XXe siècle et montre dans quelle mesure celle-ci constitue un outil indispensable pour analyser à l'échelle macroscopique la dynamique globale de la science, toutes disciplines confondues.

Une base de données bibliométriques comme le Science Citation Index (SCI), créée en 1963, contient les titres des articles scientifiques et des revues dans lesquelles ils ont été publiés, les noms des auteurs, leur adresse institutionnelle et la liste complète des références/citations des articles. «Parce qu'elles couvrent une longue période temporelle et l'ensemble des champs du savoir, les données bibliométriques permettent d'étudier les transformations de la science au cours du dernier siècle, comme les phénomènes de la collectivisation et de l'internationalisation de la recherche», souligne Yves Gingras.

Ces données facilitent l'analyse des tendances à la croissance ou à la décroissance de la recherche dans certains pays. «On observe notamment une corrélation entre le nombre total de publications dans un pays et son produit intérieur brut, signe que les pays riches peuvent se permettre de faire de la science», précise le chercheur Les données indiquent par ailleurs que les pratiques de publication varient selon les disciplines. «À la différence des chercheurs en sciences de la nature, ceux en sciences humaines et en humanités publient davantage d'ouvrages que d'articles. Il est donc dangereux d'imposer un modèle unique, fondé sur la production d'articles publiés dans des revues spécialisées, pour juger de la productivité des chercheurs.»

Une fausse équation

L'usage de la bibliométrie à des fins d'évaluation individuelle des chercheurs se répand à partir des années 1980. «Les courants du Knowledge Management et du Benchmarking, basés sur la construction d'indicateurs de productivité et de performance, transférés des entreprises vers le secteur public, puis vers les universités, ont vu dans les données bibliométriques des outils permettant de court-circuiter l'évaluation par les pairs, considérée comme trop subjective, favorisant ainsi l'équation selon laquelle bibliométrie égale évaluation», explique Yves Gingras.

Le facteur d'impact des revues (FI), par exemple, soit le nombre moyen de citations obtenues par les articles d'une revue donnée, s'est transformé en un outil d'évaluation des chercheurs. «Est-ce qu'un chercheur qui publie dans une revue de mathématiques, dont le facteur d'impact ne pourra jamais être celui d'une revue médicale, doit être considéré comme peu performant ?» L'importance accordée à ce facteur risque également de dévaloriser l'étude de sujets locaux, marginaux ou peu à la mode, notamment en sciences humaines et sociales, dont les objets d'étude sont par nature plus locaux que ceux des sciences de la nature ou des sciences biomédicales.

Évaluer n'est pas classer

Le professeur critique la tendance à confondre évaluation et classement pour juger de la qualité de la recherche qui se fait dans les universités. «Depuis 20 ans, l'OCDE fait la promotion d'un marché mondial de l'éducation supérieure et l'émergence des classements mondiaux s'inscrit dans ce courant néolibéral qui fait des universités un marché comme les autres. Or, qui dit marché dit concurrence et marketing.»

Le marketing peut devenir une pente glissante pour les universités qui veulent se positionner comme chefs de file dans un domaine donné, poursuit Yves Gingras. «Certaines universités ont même contacté des chercheurs très cités, qui sont employés dans d'autres institutions, et leur ont offert d'ajouter leur adresse dans leurs publications en retour d'une rémunération.» Autre exemple, plus comique celui-là, le classement de Shanghai utilise comme indicateur de qualité le fait qu'une université  ait hébergé ou formé un futur prix Nobel. Ainsi, l'Université de Berlin, à laquelle Einstein a été associé à l'époque de l'obtention de son Nobel de physique, continue d'obtenir des points au classement. «En quoi un Nobel décerné en 1922 peut mesurer la qualité d'une université des années 2000 ?», demande le chercheur.

L'importance de bien comprendre les propriétés spécifiques des indicateurs bibliométriques et leurs champs d'application tient au fait qu'il est impossible (et même non souhaitable) pour les chercheurs d'échapper aux évaluations, rappelle Yves Gingras. «Il est donc essentiel de critiquer rigoureusement les indicateurs mal construits dont l'utilisation engendre des dérapages», conclut-il.

La conférence «Les dérives de l'évaluation de la recherche. Du bon usage de la bibliométrie» sera d'abord présentée le 24 janvier devant les membres du Centre interuniversitaire de recherche sur la science et la technologie (CIRST), auquel est rattaché le professeur. 

Plus d'actualités

20 août 2014

Enseigner la musique de l'enfance à l'université

L'École préparatoire de musique est désormais rattachée au Département de musique.

20 août 2014

Boursiers Fulbright

Le professeur Frédérick Gagnon et le diplômé Étienne Chénier-Laflèche poursuivront des recherches aux États-Unis.

18 août 2014

Le projet GAO

Des créations de Ying Gao sont revisitées en vidéo mapping au Festival Mode & Design.

14 août 2014

De la grande visite

Les Citadins accueillaient les Hoosiers de l'Indiana le 13 août.

14 août 2014

Débattre d'agriculture urbaine

La 6e École d'été sur l'agriculture urbaine se tient au Cœur des sciences du 18 au 22 août.

Dans nos archives
Recherche et création

21 novembre 2013

De l'atome aux neutrinos

Cent ans après le modèle de l'atome proposé par Niels Bohr, les particules élémentaires n'ont pas fini de révéler leurs secrets.

15 novembre 2013

Mélissa Mongiat: magicienne de l'espace public

Les installations de l'atelier Daily tous les jours ont en commun de s'ancrer dans la trame urbaine tout en ouvrant des brèches dans l'anonymat de la ville.

15 octobre 2013

En quête d'une identité culturelle

Les nouveaux arrivants jonglent avec différentes identités culturelles. Comment arrivent-ils à les réconcilier?

Experts UQAM dans les médias