Dérives dans l'évaluation de la recherche

Un ouvrage d'Yves Gingras critique les mauvais usages de la bibliométrie pour mesurer la qualité de la recherche.
Photo
Illustration de Stéphane Chaix pour la conférence d'Yves Gingras au Coeur des sciences.

Le 5 mars prochain, le Cœur des sciences accueillera l'historien et sociologue des sciences Yves Gingras, professeur au Département d'histoire, qui parlera de son dernier ouvrage, Les dérives de l'évaluation de la recherche. Du bon usage de la bibliométrie, paru récemment en France, aux éditions Raisons d'agir. Quelques jours plus tard, le 21 mars, il donnera une conférence sur le même sujet au prestigieux Collège de France, à Paris.

Dans ce livre, le titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences montre qu'une fièvre de l'évaluation affecte le monde de la recherche et de l'enseignement supérieur. «On veut tout évaluer : les professeurs-chercheurs, les programmes de formation, les universités, dit Yves Gingras. Les indicateurs d'excellence se multiplient sans que l'on ne sache toujours sur quelles bases ils ont été construits.»

Un des outils les plus utilisés dans ce domaine est la bibliométrie, une méthode de recherche consistant à calculer le nombre de publications scientifiques – articles, ouvrages, thèses, rapports de recherche – et de citations qu'elles obtiennent.

Photo
Yves Gingras. Photo: Nathalie St-Pierre.

«J'ai voulu brosser le portrait le plus complet possible des bons et des mauvais usages de la bibliométrie», explique le professeur. Selon lui, l'application mécanique de critères d'évaluation purement quantitatifs engendre des effets pervers, notamment le développement d'une logique de compétition entre les chercheurs et entre les universités. Ces critères servent à l'établissement de classements mondiaux et nationaux des meilleures universités, tels ceux de Shanghai et du magazine canadien Maclean's, lesquels n'ont aucune valeur scientifique, soutient Yves Gingras.

Un outil indispensable

Le chercheur décrit l'évolution de la bibliométrie au XXe siècle et montre dans quelle mesure celle-ci constitue un outil indispensable pour analyser à l'échelle macroscopique la dynamique globale de la science, toutes disciplines confondues.

Une base de données bibliométriques comme le Science Citation Index (SCI), créée en 1963, contient les titres des articles scientifiques et des revues dans lesquelles ils ont été publiés, les noms des auteurs, leur adresse institutionnelle et la liste complète des références/citations des articles. «Parce qu'elles couvrent une longue période temporelle et l'ensemble des champs du savoir, les données bibliométriques permettent d'étudier les transformations de la science au cours du dernier siècle, comme les phénomènes de la collectivisation et de l'internationalisation de la recherche», souligne Yves Gingras.

Ces données facilitent l'analyse des tendances à la croissance ou à la décroissance de la recherche dans certains pays. «On observe notamment une corrélation entre le nombre total de publications dans un pays et son produit intérieur brut, signe que les pays riches peuvent se permettre de faire de la science», précise le chercheur Les données indiquent par ailleurs que les pratiques de publication varient selon les disciplines. «À la différence des chercheurs en sciences de la nature, ceux en sciences humaines et en humanités publient davantage d'ouvrages que d'articles. Il est donc dangereux d'imposer un modèle unique, fondé sur la production d'articles publiés dans des revues spécialisées, pour juger de la productivité des chercheurs.»

Une fausse équation

L'usage de la bibliométrie à des fins d'évaluation individuelle des chercheurs se répand à partir des années 1980. «Les courants du Knowledge Management et du Benchmarking, basés sur la construction d'indicateurs de productivité et de performance, transférés des entreprises vers le secteur public, puis vers les universités, ont vu dans les données bibliométriques des outils permettant de court-circuiter l'évaluation par les pairs, considérée comme trop subjective, favorisant ainsi l'équation selon laquelle bibliométrie égale évaluation», explique Yves Gingras.

Le facteur d'impact des revues (FI), par exemple, soit le nombre moyen de citations obtenues par les articles d'une revue donnée, s'est transformé en un outil d'évaluation des chercheurs. «Est-ce qu'un chercheur qui publie dans une revue de mathématiques, dont le facteur d'impact ne pourra jamais être celui d'une revue médicale, doit être considéré comme peu performant ?» L'importance accordée à ce facteur risque également de dévaloriser l'étude de sujets locaux, marginaux ou peu à la mode, notamment en sciences humaines et sociales, dont les objets d'étude sont par nature plus locaux que ceux des sciences de la nature ou des sciences biomédicales.

Évaluer n'est pas classer

Le professeur critique la tendance à confondre évaluation et classement pour juger de la qualité de la recherche qui se fait dans les universités. «Depuis 20 ans, l'OCDE fait la promotion d'un marché mondial de l'éducation supérieure et l'émergence des classements mondiaux s'inscrit dans ce courant néolibéral qui fait des universités un marché comme les autres. Or, qui dit marché dit concurrence et marketing.»

Le marketing peut devenir une pente glissante pour les universités qui veulent se positionner comme chefs de file dans un domaine donné, poursuit Yves Gingras. «Certaines universités ont même contacté des chercheurs très cités, qui sont employés dans d'autres institutions, et leur ont offert d'ajouter leur adresse dans leurs publications en retour d'une rémunération.» Autre exemple, plus comique celui-là, le classement de Shanghai utilise comme indicateur de qualité le fait qu'une université  ait hébergé ou formé un futur prix Nobel. Ainsi, l'Université de Berlin, à laquelle Einstein a été associé à l'époque de l'obtention de son Nobel de physique, continue d'obtenir des points au classement. «En quoi un Nobel décerné en 1922 peut mesurer la qualité d'une université des années 2000 ?», demande le chercheur.

L'importance de bien comprendre les propriétés spécifiques des indicateurs bibliométriques et leurs champs d'application tient au fait qu'il est impossible (et même non souhaitable) pour les chercheurs d'échapper aux évaluations, rappelle Yves Gingras. «Il est donc essentiel de critiquer rigoureusement les indicateurs mal construits dont l'utilisation engendre des dérapages», conclut-il.

La conférence «Les dérives de l'évaluation de la recherche. Du bon usage de la bibliométrie» sera d'abord présentée le 24 janvier devant les membres du Centre interuniversitaire de recherche sur la science et la technologie (CIRST), auquel est rattaché le professeur. 

Plus d'actualités

17 avril 2014

David contre Goliath

Le combat de Claude Robinson pour le respect de ses droits d'auteur fera l'objet d'une conférence publique à l'UQAM.

17 avril 2014

Infrastructures de recherche

Douze professeurs reçoivent près de 4 millions de dollars du Fonds des leaders John-R.-Evans.

16 avril 2014

Voisinage responsable

L'UQAM explique sa position sur le projet d'implantation au cœur de son campus d'un site d'injection supervisée.

16 avril 2014

Des élus à l'Assemblée nationale

Un professeur et une dizaine de diplômés de l'UQAM représenteront leurs concitoyens.

16 avril 2014

Défi Têtes rasées 2014

Près de 5 000 dollars ont été amassés jusqu'ici pour venir en aide aux enfants souffrant du cancer.

Dans nos archives
Recherche et création

29 juillet 2013

La musique adoucit la fin de vie

Le musicien Matthieu Léveillé, doctorant en études et pratiques des arts, a fait d'une unité de soins palliatifs son lieu de pratique artistique.

10 septembre 2013

Une Bourrasque à la bibliothèque

Gwenaël Bélanger a conçu une œuvre d'art public pour la Bibliothèque du Boisé, à Saint-Laurent.

11 septembre 2013

Chili : 40 ans après le coup d'État

Un colloque s'est penché sur 40 ans de luttes pour la démocratie depuis le coup d'État du 11 septembre 1973.

Experts UQAM dans les médias