Référentiel des critères d’évaluation des entités de recherche - Note sur la production et la qualité en Sciences humaines

L’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) publie ce jour le document intitulé « Critères d’évaluation des entités de recherche: le référentiel de l’AERES ». Ce document clarifie les principes et la méthode d’évaluation des entités de recherche. Il est mis à disposition à compter de la campagne d’évaluation 2012-2013 (Vague D).
À l’issue d’un premier cycle d’évaluations portant sur près de 3 000 entités de recherche (unités de recherche, structures fédératives, centres d’investigation clinique, etc.), l’AERES a engagé une réflexion sur ses pratiques évaluatives dont elle livre aujourd’hui une nouvelle version dans le document « Critères d’évaluation des entités de recherche: le référentiel de l’AERES ».
Instrument commun à tous les domaines scientifiques pour l’évaluation des entités de recherche, le référentiel des critères d’évaluation de l’AERES:
- explicite la méthodologie d’évaluation définie par l’AERES;
- étend les critères d'évaluation de quatre à six;
- indique pour chaque critère: le champ de l’évaluation couvert par le critère, les faits observables et les indices de qualité qui lui sont associés;
- développe la méthodologie spécifique appliquée en matière d’évaluation de la pluridisciplinarité, de l’interdisciplinarité et de la transdisciplinarité;
- spécifie le critère de la "production et qualité scientifiques" dans son application au domaine des Sciences humaines et sociales;
- définit les termes fréquemment employés dans l'évaluation des entités de recherche.
Fruit du travail de plusieurs groupes de réflexion méthodologique associant notamment des délégués scientifiques de l’AERES et des membres de son Conseil, ce référentiel a fait l'objet d’une large consultation des parties prenantes: Conférence des présidents d’universités, organismes de recherche, groupe EREFIN [Groupe de travail inter-établissements sur l'Évaluation de la REcherche FINalisée]. Il s’appuie également sur les recommandations du dernier rapport de l’OPECST et sur les réflexions méthodologiques conduites par d’autres agences européennes: l’innovation à l’épreuve des peurs et des risques, Rapport de l’Office parlementaire d’évaluation des choix scientifiques et technologiques, 2012. Recommandation IV: élargir les critères d’évaluation de la recherche.
Les informations contenues dans le référentiel ont été conçues pour aider les entités de recherche dans leur démarche d’autoévaluation. Dans le cadre d'un processus continu d'amélioration, l’AERES complètera ce document au vu des retours d’expérience collectés auprès des entités de recherche évaluées lors de la prochaine campagne d'évaluation.
Le référentiel des critères d’évaluation de l’AERES a été approuvé par le Conseil de l’AERES lors de sa séance du 12 avril 2012.
IV – Note sur la production et la qualité scientifiques en Sciences humaines et sociales
Le champ des Sciences humaines et sociales englobe des disciplines dont les pratiques diffèrent notablement et appellent des usages d’évaluation adaptés à ces différences. Telles disciplines, par exemple, mettent l’ouvrage de recherche — le « livre » — en tête des publications, tandis que d’autres privilégient les articles publiés dans des revues à comité de lecture, voire les communications prononcées dans des congrès internationaux. Moyens d’échange scientifique réputés universels, les congrès, les colloques et les conférences prennent en réalité des formes, une importance et des suites, en termes de publication et d’appréciation de ces publications, qui font apparaître de grands écarts d’une discipline à l’autre. Un précis, oeuvre de vulgarisation pour les uns, a valeur d’ouvrage de premier rang dans certaines branches du droit. Ici l’anglais sert de moyen de communication et, dans une mesure non négligeable, de langue d’évaluation; là d’autres langues sont le véhicule reconnu de la recherche. L’usage très contrasté, d’une discipline à l’autre, de la bibliométrie et des différents classements de revues, voire de simples périmètres bibliographiques, donne une idée de ces différences. Les évaluations diligentées par l’AERES n’ont pas manqué de les rencontrer, sans chercher à les niveler.
Si la méthodologie retenue par l’AERES porte une attention soutenue à ces spécificités, elle ne crée pas cependant autant de cas particuliers qu’il y a de singularités disciplinaires ou de groupes disciplinaires ayant une identité propre, comme par exemple les humanités ou les aires culturelles. Elle ne définit pas a fortiori un domaine qui serait tout entier sans commune mesure avec les autres, ce qui conférerait aux Sciences humaines et sociales un statut d’exception dans le champ de l’évaluation. En effet, les singularités sont loin de se limiter à ce seul domaine. Les recherches en mathématiques prennent des formes et obéissent à des usages singuliers pour peu qu’on les compare à celles que l’on conduit en Sciences pour l’ingénieur. Le partage comme les complémentarités entre recherche finalisée et recherche fondamentale concernent aussi bien la biologie moléculaire et la recherche clinique que l’économie et la gestion. La problématique des spécificités passe les frontières des grands domaines disciplinaires : si la liste des différences est plus longue, celle des similitudes s’élargit tout autant et pose à nouveaux frais la question de la commensurabilité des disciplines. Bien des traits qui semblent propres aux pratiques des uns sont aussi présents chez les autres, sous l’angle de l’évaluation.
C’est pourquoi l’AERES a pris le parti d’élaborer un référentiel multidisciplinaire assez souple et assez adaptable pour être à la fois commun et spécifique, parce qu’il conjoint la plus grande généralité à des caractéristiques faisant sens discipline par discipline. Ainsi, ce référentiel tient-il compte du caractère propre des Sciences humaines et sociales dans le champ de l’évaluation. Cette attention à leurs spécificités s’exprime de deux façons complémentaires. D’une part, conformément aux principes de l’évaluation qualitative, les déclinaisons disciplinaires sont laissées à l’appréciation des comités d’experts, les « pairs » qui, par définition, appartiennent aux mêmes communautés scientifiques que les entités évaluées. D’autre part, des spécifications convenant aux Sciences humaines et sociales ont été introduites dans le référentiel des critères d’évaluation, sur la base d’une réflexion collective des délégués scientifiques de l’Agence et d’experts extérieurs, qui s’est développée dans le cadre d’un séminaire hebdomadaire, de septembre 2011 à janvier 2012. La conséquence pratique de cette approche est qu’il n’en résulte pas un autre référentiel, mais un référentiel commun qui intègre les perspectives des Sciences humaines et sociales, au même titre que les autres, et peut, le cas échéant, s’y adapter.
On ne proposera donc pas ici une nouvelle déclinaison des six critères d’évaluation destinée aux seules Sciences humaines et sociales : cette démarche, contraire à l’esprit dans lequel a été conçu le référentiel des critères d’évaluation de l’AERES, serait sans objet. Il ne s’agit certes pas de gommer certaines difficultés: les interactions de la recherche avec l’environnement non-académique, sur lesquelles porte le critère 3, sont, par exemple, un sujet qui intéresse de manière variable les Sciences humaines et sociales. En réalité, les travaux de toutes les disciplines du domaine, quand on y regarde de près, intéressent des praticiens, des groupes sociaux et des acteurs du monde économique ou culturel. La difficulté ne consiste bien souvent, sans gauchir la nature et l’orientation des recherches propres à ces disciplines, qu’à mettre en évidence la réalité, souvent ignorée ou minorée, de leur incidence sur l’économie, la société, la vie culturelle. C’est pourquoi le référentiel du critère 3 (cf. p. 12) – comporte des spécifications permettant de mettre les faits observables et les indices de qualité en adéquation avec les usages des Sciences humaines et sociales.
Rappelons une fois encore ce point essentiel : les entités de recherche, du fait de leur diversité, ne sauraient se retrouver complètement et uniformément dans tous les items sélectionnés: ceux-ci doivent être modulés en fonction de l’identité de ces entités, de leurs missions et de leurs objets de recherche. C’est précisément ce qui donne sens à l’évaluation par les pairs, qui, appartenant eux-mêmes au(x) champ(s) disciplinaire(s) des entités de recherche qu’ils évaluent, savent adapter ce langage commun et lui donner l’inflexion qui convient à leur domaine, afin qu’il soit reconnu et compris par leur communauté.
Un autre sujet réputé difficile s’agissant des Sciences humaines et sociales — même si son extension est en réalité bien plus large — est le poids relatif des types de publications et des autres productions scientifiques selon les disciplines, dont découle la difficulté d’apprécier uniformément ces objets dans le critère de la production et de la qualité scientifiques (critère 1). L’exemple le plus souvent cité à l’appui de ce constat est le caractère inadéquat des outils scientométriques pour une part importante des disciplines du domaine.
L’AERES, pour intégrer au mieux la variété des formes de publication et des autres productions scientifiques en Sciences humaines et sociales, mais aussi la diversité relative des langues qui sont utilisées pour la recherche dans ce domaine, a donc jugé utile d’apporter quelques précisions aux faits observables et aux indices de qualité relatifs à ce critère. Ce sont ces spécifications supplémentaires qui figurent dans les pages qui suivent.
1. La production et la qualité scientifiques en Sciences humaines et sociales: faits observables
La production scientifique, dans de nombreux secteurs disciplinaires des Sciences humaines et sociales, notamment les Humanités, accorde une place prépondérante aux ouvrages. Ces mêmes secteurs disciplinaires sont confrontés en outre à la faible présence des revues où ils publient dans des bases de données bibliométriques pertinentes.
C’est pourquoi l’évaluation de la production et de la qualité scientifiques en Sciences humaines et sociales requiert que l’on accorde une attention particulière à la caractérisation préalable des revues et des ouvrages scientifiques. On trouvera ci-après les propositions de l’AERES.
- La caractérisation des revues
La caractérisation des revues, qui vient à l’appui des éléments du référentiel fournis pour le premier critère (v. supra, p. 10), est destinée à faciliter l’évaluation et l’auto-évaluation dans une perspective qui demeure celle de l’évaluation qualitative et collégiale par les comités d’experts. Ceux-ci sont souverains pour apprécier la production et la qualité scientifiques des entités de recherche.
Il s’agit donc de caractériser les revues, sans prétendre porter de jugement sur la qualité des articles prenant ces supports éditoriaux comme moyen de diffusion. Les éléments de caractérisation énumérés cidessous ne sont pas nécessairement tous pertinents, à un même degré, pour toutes les disciplines des Sciences humaines et sociales; ils doivent donc être appréciés à la lumière des spécificités inhérentes à chacune de ces disciplines. Voir tableau dans « Critères d’évaluation des entités de recherche: le référentiel de l’AERES ».
- La caractérisation des ouvrages scientifiques
En se fondant sur d’autres faits observables, il est possible de distinguer, sans prétention limitative et sous réserve des usages particuliers aux disciplines, diverses catégories d’ouvrages scientifiques en Sciences humaines et sociales:
Éléments de caractérisation des ouvrages scientifiques en Sciences humaines et sociales
On distinguera ainsi trois principaux éléments de caractérisation.
Le premier est le type de signature. Il permet de faire le départ entre:
— les ouvrages constituant un texte unique et homogène, signés en nom propre;
— les ouvrages constituant un texte unique et homogène signé par plusieurs auteurs;
— les ouvrages collectifs réunissant des notices, des études, des chapitres signés par des auteurs différents, sous la direction d’un ou plusieurs éditeur(s) scientifique(s).
— les ouvrages collectifs réunissant des notices, des études, des chapitres signés par des auteurs différents, sans éditeur scientifique identifiable.
Le second élément de caractérisation relève du type de démarche relativement à son objet.
Il permet d’établir une différence entre:
— les ouvrages présentant les résultats d’une recherche originale sur une question ou sur une thématique et destinés à un public restreint de spécialistes;
— les ouvrages fondés sur une recherche philologique: les éditions de textes (et, en particulier, les éditions critiques), ainsi que les traductions;
— les ouvrages faisant la synthèse d’autres travaux scientifiques pour présenter l’état d’une question ou d’une thématique de recherche. Ces ouvrages de synthèse, qui ont souvent une finalité didactique visant un public plus large que la communauté des chercheurs, se distinguent des ouvrages de vulgarisation, qui sont la valorisation d’une recherche antérieure (la sienne ou celle d’autres chercheurs), en ce que la synthèse qu’ils proposent suppose une plus-value scientifique et une recherche propre supplémentaire.
Le troisième élément concerne la présence, dans ces ouvrages, d’un appareil critique lisible, rationalisé (notes et références bibliographiques) et d’outils de consultation (index des noms, index des oeuvres, index thématique, glossaire).
2. La production et la qualité scientifiques en Sciences humaines et sociales: indices de qualité
Pour permettre à ses comités d’experts d’apprécier la production et la qualité scientifiques en Sciences humaines et sociales, l’AERES propose deux types d’instruments: des listes de revues et une définition des conditions d’accès à la catégorie d’ouvrage de recherche pour les actes de colloque et les ouvrages collectifs.
- Les listes de revues
La multiplication des périodiques à l’échelle internationale illustre non seulement la croissance de la communauté mondiale des chercheurs, mais aussi un profond changement dans la manière de publier les résultats de la recherche, comme par exemple le développement des approches pluridisciplinaires qui conduit de nombreux chercheurs en Sciences humaines et sociales à publier leurs travaux dans des revues relevant d’autres disciplines que les leurs.
Les experts qui évaluent collectivement les entités de recherche ne peuvent plus espérer connaître l’ensemble des périodiques auxquels celles-ci ont destiné un certain nombre de leurs publications. L’AERES, constatant les insuffisances des listes et des bases de données disponibles, a décidé de constituer ses propres listes de revues par discipline ou par domaine et, lorsque le permettaient les consultations conduites par les délégués scientifiques auprès des instances représentatives des chercheurs de ces disciplines ou de ces domaines (CoNRS, CNU, sociétés savantes, etc.), de parvenir à un classement destiné à fournir aux experts des indications sur la qualité éditoriale, le niveau d’exigence et la visibilité nationale ou internationale de ces supports.
Ainsi, dès 2008, ont été créées des commissions coordonnées par les délégués scientifiques de l’Agence et regroupant par disciplines ou domaines des représentants des sections du CoNRS et du CNU, des personnalités qualifiées, françaises et étrangères. Plusieurs de ces commissions ont établi des listes de revues en délimitant un périmètre scientifique, sans classement. D’autres, correspondant aux disciplines dans lesquelles les bases de données bibliométriques internationales sont majoritairement acceptées par la communauté scientifique, ont proposé une première hiérarchisation.
Toutes les listes de revues ainsi constituées ont été rendues publiques sur le site de l’AERES. Elles ont été actualisées chaque année en tenant compte du degré d’internationalisation, de l’organisation et des pratiques des milieux dans chaque discipline ou domaine. Les commissions ont pris en compte les arguments de certains périodiques qui n’avaient pas été sélectionnés dans un premier temps. Elles ont répondu aux sollicitations de certaines revues créées après la constitution de la liste de leur discipline ou de leur domaine. Elles se sont enfin employées à recenser et à intégrer les revues uniquement électroniques.
Cependant, à la suite de divers retours d’expérience qui ont souligné, entre autres, l’hétérogénéité des méthodes et des critères ayant permis de constituer les listes de revues en Sciences humaines et sociales, l’AERES s’est engagée dans une refonte méthodique de ces listes qui doit permettre d’en améliorer la cohérence et la représentativité. On trouvera ci-dessous les principes qui déterminent cette refonte. Il convient auparavant de rappeler ceci, qui est fondamental: les listes de revues établies par l’AERES et mises à jour chaque année, ne se substituent pas à l’appréciation de la qualité de la production scientifique par les experts.
Principes de révision des listes de revue en Sciences humaines et sociales
Les listes de revues en Sciences humaines et sociales sont révisées par l’AERES en fonction des principes suivants:
— l’appréciation de la qualité de ces supports s’effectue à partir des éléments de caractérisation indiqués dans ce document (v. supra, p. 26).
— les commissions d’actualisation révisent les listes déjà constituées en s’assurant de la pertinence de leur sélection et, le cas échéant, de leur classement, en référence à ces éléments de caractérisation;
— les revues qui ne figurent pas dans les listes de l’AERES et qui souhaitent y être intégrées accompagnent leur demande [communication@aeres-evaluation.fr] d’une présentation qui reprend le référentiel de caractérisation et elles joignent quelques exemplaires de leur publication.
— les commissions qui s’en tiennent à la définition d’un périmètre scientifique, ont la possibilité de structurer celui-ci en définissant une typologie des revues.
— dans les cas où une hiérarchisation des revues est décidée par la commission ad-hoc, celle-ci s’effectue selon la même échelle (à trois degrés indiqués par des lettres: A, B, C), quelle que soit la discipline (ou le domaine).
— cette hiérarchisation s’établit à la fois en fonction de la proportion et de la qualité des réponses des revues considérées aux items du référentiel de caractérisation.
- Les actes de colloques et les ouvrages collectifs
S’agissant des actes de colloques et, plus généralement, des ouvrages collectifs dans le domaine des Sciences humaines et sociales, l’AERES distingue ce qui relève d’un véritable travail d’édition scientifique, qu’il convient de prendre en compte dans l’évaluation des ouvrages de recherche, de la simple juxtaposition de communications.
L’édition scientifique des actes de colloques et des ouvrages collectifs
Parmi les ouvrages réunissant les textes issus de communications ou de conférences prononcées à l’occasion de colloques, de congrès, de séminaires ou de symposiums seront donc considérées comme des ouvrages de recherche les publications ayant donné lieu à un travail d’édition scientifique caractérisé par:
— un appareil critique lisible, rationalisé (notes et références bibliographiques) pour l’ensemble de l’ouvrage; la présence d’outils de consultation (index des noms, index des oeuvres, index thématique, glossaire);
— une élaboration disciplinaire ou interdisciplinaire approfondie, identifiable dans la présentation générale; la mise en cohérence de la structure de l’ouvrage avec cette problématique; la sélection des contributions en fonction de leur pertinence par rapport au sujet; le travail réalisé sur chacune d’elles pour veiller à la qualité scientifique.
Ce travail d’édition scientifique est aussi la condition minimale permettant de considérer les autres ouvrages réunissant des textes de différents auteurs comme des ouvrages de recherche.