Évaluation de la recherche : critères et indicateurs

La Déclaration de San Francisco sur l’évaluation de la recherche (DORA) rendue publique en 2012 et le Manifeste de Leiden publié en 2015 visent à améliorer les pratiques d’évaluation, en alertant notamment sur le mauvais usage de certains indicateurs bibliométriques dans le cadre de recrutements, de promotions ou d’évaluations individuelles de chercheurs.
Ces deux textes relèvent en particulier que différentes parties prenantes des systèmes de recherche font usage de deux indicateurs, qui ont été largement critiqués par la communauté des scientomètres. DORA insiste plus particulièrement sur l’usage du facteur d’impact des revues (journal impact factor, JIF). Le mode de calcul de cet indicateur le rend biaisé en faveur de certaines revues et il peut en outre faire l’objet de manipulations. De plus, il ne tient pas compte de la diversité des pratiques entre disciplines et sous-disciplines, ce qui peut introduire des biais dans les comparaisons entre chercheurs ou unités de recherche.
Le manifeste de Leiden s’attache lui à l’indice H, proposé en 2005 par le physicien Jorge Hirsch (H index) et dont l’usage s’est très rapidement répandu. L’ambition de cet indicateur composite était de rendre compte simultanément du nombre de publications d’un chercheur et de leur impact scientifique. En réalité, la définition de cet indice, qui a séduit par sa simplicité, fait du nombre de publications la variable dominante et ne surmonte pas la difficulté qu’il y a à mesurer deux variables avec un seul indicateur. Plus...