Le manifeste de Leiden pour la mesure de la recherche

Par Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke & Ismael Rafols. Version française par Ghislaine Filliatreau, directrice de l’Observatoire des Sciences et Techniques du HCERES. (télécharger en PDF).
LES DIX PRINCIPES
1. La description quantitative doit servir d’appui à une évaluation qualitative par des experts.
2. Mesurer la performance au regard des missions de recherche de l’institution, du groupe ou du chercheur.
3. Protéger l’excellence dans les domaines de recherche importants à l’échelle locale.
4. Maintenir une collecte de données et des processus d’analyse ouverts, transparents et simples.
5. Permettre aux chercheurs évalués de vérifier les données et analyses.
6. Tenir compte des différences entre disciplines en matière de publication et de citation.
7. Baser les évaluations des chercheurs sur un jugement qualitatif de leurs travaux.
8. Éviter les simplifications abusives et les fausses précisions.
9. Reconnaître les impacts systémiques des évaluations et des indicateurs.
10. Réévaluer régulièrement et faire évoluer les indicateurs.
Les chiffres sont de plus en plus utilisés pour piloter la recherche. Les évaluations de la recherche qui étaient auparavant faites « à façon » par des pairs sont aujourd’hui routinisées et s’appuient sur des mesures. Le problème est qu’à présent ces évaluations ne sont plus fondées sur des réflexions mais sur des indicateurs. Et les indicateurs utilisés se sont multipliés : des indicateurs généralement bien intentionnés, pas toujours bien renseignés et souvent mal appliqués. Nous risquons de nuire au système en utilisant les outils mêmes qui ont été conçus pour l’améliorer, car les évaluations sont de plus en plus souvent réalisées par des structures qui n’en ont aucune connaissance ou ne bénéficient d’aucun conseil en matière de bonnes pratiques et d’interprétation.
Avant 2000, on s’appuyait sur le Science Citation Index via un CD-ROM de l’Institute for Scientific Information (ISI), utilisé par les experts pour des analyses spécialisées. En 2002, Thomson Reuters a lancé une plateforme en ligne, qui rend la base de données Web of Science accessible au plus grand nombre. Depuis lors, deux autres sources de citation sont apparues : Scopus de Elsevier (lancé en 2004), et Google Scholar (version bêta lancée en 2004). Des outils en ligne permettant de comparer facilement la productivité et l’impact de la recherche institutionnelle ont été introduits, comme InCites (utilisant le Web of Science) et SciVal (utilisant Scopus), ainsi qu’un logiciel permettant d’analyser les profils de citation des auteurs à l’aide de Google Scholar (Publish or Perish, lancé en 2007).
En 2005, Jorge Hirsch, un physicien de l’université de San Diego en Californie a proposé le « h-index » popularisant ainsi le comptage de citations pour les chercheurs. De même, l’intérêt pour le facteur d’impact des revues scientifiques n’a cessé d’augmenter depuis 1995 (voir encart « L’obsession pour le facteur d’impact »).
Plus récemment, les mesures liées à l’usage social et aux commentaires en ligne ont pris de l’ampleur : F1000Prime a été créé en 2002, Mendeley en 2008 et Altmetric.com (soutenu par Macmillan Science and Education, qui détient le groupe Nature Publishing) en 2011.
En tant que scientomètres, spécialistes des sciences sociales et administrateurs de la recherche, nous avons observé avec une inquiétude grandissante le mauvais usage des indicateurs dans l’évaluation de la performance scientifique. Les exemples qui suivent ne sont qu’une fraction de ce que l’on peut observer. Les universités du monde entier sont devenues obsédées par leur position dans les classements académiques internationaux (comme le classement de Shanghai et la liste du Times Higher Education), même si celles-ci sont basées, selon nous, sur des données inexactes et des indicateurs arbitraires. Certains recruteurs exigent que les candidats fournissent leur h-index.
Des universités basent leurs décisions de promotion sur des valeurs-seuils de h-index, et sur le nombre d’articles publiés dans des revues scientifiques « à fort impact ». Les CV des chercheurs sont devenus l’occasion de se vanter de ces scores, particulièrement en biomédecine. Partout, les directeurs de thèse demandent à leurs doctorants de publier dans des revues « à fort impact » et d'obtenir des financements externes avant même d’y être prêts.
Dans les pays scandinaves et en Chine, certaines universités allouent des subventions de recherche ou des primes sur la base d’un indicateur: par exemple, en utilisant le score d’impact individuel pour affecter des « financements à la performance », ou en accordant une prime aux chercheurs qui publient dans une revue ayant un facteur d’impact supérieur à 15.
Dans de nombreux cas, les chercheurs et les évaluateurs continuent à faire preuve de discernement. Pour autant, l’abus d’indicateurs concernant la recherche est devenu trop répandu pour être ignoré.
Nous présentons donc le Manifeste de Leiden, du nom de la conférence au cours de laquelle il a vu le jour (voir http://sti2014.cwts.nl). Ses dix principes ne sont pas nouveaux pour les scientomètres, même si aucun d’entre nous n’avait jusqu’ici pu les énoncer aussi clairement, faute de langage commun. D’éminents chercheurs dans ce domaine, comme Eugene Garfield (fondateur de l’ISI), ont déjà énoncé certains de ces principes. Mais ces experts ne sont pas là quand les évaluateurs rédigent leur rapport d’évaluation à l’attention d’administrateurs qui, eux-mêmes, ne sont pas des experts de la méthodologie. Et les chercheurs qui cherchent des textes de référence pour contester une évaluation ne trouvent que des informations éparses dans ce qui est, pour eux, des revues aux contenus complexes auxquelles ils n’ont pas forcément accès.
Aussi nous proposons ici un condensé des bonnes pratiques en matière d’évaluation de la recherche basée sur les indicateurs, afin que les chercheurs puissent demander des explications aux évaluateurs, et que les évaluateurs puissent interroger l’exactitude de leurs indicateurs. Voir l'article...