La Documentation Française - la librairie du citoyenLe rapport "L'évaluation de la recherche et de l'enseignement supérieur" présente les principes de l'évaluation par le HCERES, les modalités d'élaboration et d'organisation des évaluations, l'organisation de la future Haute autorité indépendante. Télécharger le rapport "L'évaluation de la recherche et de l'enseignement supérieur".
Modalités d’élaboration et d’organisation des évaluations  
Le principe de la visite semble acquis et même indispensable pour de très nombreux acteurs, comme un dispositif adapté pour l’évaluation des établissements et des unités de recherche. Préparée par la lecture d’un dossier, encadrée par des procédures rigoureuses, la visite sur site permet une rencontre et un dialogue entre évaluateurs et évalués. Ces échanges constituent un apport d’information irremplaçable de part et d’autre et sont constructeurs de sens pour l’évaluation.
(1) Concertation amont
Parmi les demandes très largement exprimées par les acteurs, figure en premier lieu celle d’une plus grande interactivité dans le processus de mise en place de l’évaluation, avec plusieurs objectifs d’amélioration :
• La coordination des processus d’accréditation et d’évaluation. Il n’est pas rare que plusieurs autorités ou commissions interviennent lors de l’évaluation d’un même établissement : HCERES, CTI, CCNIUT, CEFDG... La synchronisation des calendriers et l’échange des informations permettraient de ne mobiliser les acteurs qu’une seule fois et d’obtenir une vision consolidée.
• La prise en compte de la politique spécifique du site et de chacun de ses acteurs qui auraient ainsi l’occasion de s’exprimer dans une phase précoce. Aujourd’hui, les laboratoires et les formations sont évalués dans un premier temps, les établissements ensuite et enfin seulement le site (regroupement d’établissements). L’évaluation des laboratoires et des formations pouvait ainsi parfois se faire sans que les comités correspondants aient connaissance de la politique de site et donc avec une grille de lecture incomplète.
• La prise en compte des missions spécifiques éventuelles de la structure évaluée, ainsi que des questions particulières liées au contexte que pourraient poser les tutelles au comité d’évaluation.
• La procédure d’évaluation elle même. La loi prévoit en effet que le HCERES puisse valider une procédure d’évaluation mise en place par les tutelles, si celles-ci s’accordent sur ses modalités.
• L’assurance de la couverture disciplinaire. Il existe en effet de plus en plus de grands laboratoires interdisciplinaires, soit nés du regroupement d’équipes existantes, soit constitués par recrutement de nouvelles compétences sur des fronts de science originaux.
• La représentation le cas échéant des instances d’évaluation des personnels, afin de permettre une coordination des évaluations des personnels avec celle des équipes de recherche
• La prise en compte d’éventuels conflits d’intérêts, inconnus des représentants du Haut-Conseil Cette concertation amont doit aussi être l’occasion d’interroger les acteurs sur leur désir éventuel de recourir à une évaluation élaborée selon des modalités internes et concertées entre les tutelles, que le HCERES pourrait alors examiner pour validation, ainsi que le permet la loi.
Cette solution de validation de procédures internes d’évaluation a été recommandée par le rapport remis par le député Jean-Yves Le Déaut au Premier Ministre en amont de la préparation de la loi. Au vu de nos entretiens avec les parties, il semble cependant très probable que pour une grande part, l’évaluation des laboratoires restera largement organisée par le HCERES. Ceci tient principalement à ce que de nombreuses tutelles sont attachées au caractère uniforme, externe et indépendant des acteurs que garantit l’évaluation organisée par une autorité indépendante, comme le sera le HCERES. On peut donc s’attendre à ce qu’elles préfèrent se reposer sur ce dernier.
Ceci n’empêche cependant pas d’envisager que localement des expérimentations puissent être menées, si les parties sont d’accord et que le processus est conforme au cahier des charges du Haut Conseil et validé par ce dernier. Dans tous les cas, la décision sur les modalités doit rester la prérogative du Haut-Conseil, mais l’existence de cette phase préalable, de concertation multi-niveau serait de nature à rendre le processus plus efficace, de meilleure qualité et plus acceptable. Recommandation : L’évaluation des laboratoires devrait être précédée d’une phase de concertation préalable permettant de prendre éventuellement en compte les demandes concertées des tutelles sur le cadrage en fonction du contexte et des missions de l’unité et sur les principes d’organisation du comité.
(2) Composition des comités
La composition des comités de visite a pu faire débat. Si elle reste en dernier ressort de la compétence du HCERES, elle pourrait faire l’objet de modalités nouvelles, destinées à entretenir le dialogue et élargir la concertation. C’est un des sujets sur lequel il n’existe pas de consensus entre les différents acteurs, ni sur la qualité des experts qui les composent, ni sur les modalités de leur désignation. Le spectre des positions exprimées allant de l’exigence de comités ad hoc entièrement internationaux, 100% extérieurs, à celle de comités composés en grande partie de représentants des instances internes d’évaluation des établissements, en passant par l’appui sur un scientific advisory board (SAB), comme il en existe dans certains grands laboratoires ou instituts. Les arguments avancés sont recevables mais malheureusement incompatibles entre eux.
• Pour les comités ad hoc extérieurs, les principaux arguments avancés sont celui de l’indépendance à la fois des tutelles et des communautés locales et celui de la vision externe et internationale. Les critiques formulées contre ce type de comité sont celles du manque de vision transversale du paysage, d’une absence d’articulation avec l’évaluation des personnels et, pour certains, d’une absence de légitimité du fait de leur mode de désignation.
• Pour les comités composés de membres des instances internes d’évaluation des établissements, il y a deux raisons avancées, celle de l’articulation avec l’évaluation des personnels et celle de permettre d’avoir une vision longitudinale dans le temps et transversale dans un même champ disciplinaire, grâce au recours à des experts ayant un mandat de plusieurs années dans les commissions d’évaluation. Ce type de comité est cependant critiqué pour son caractère peu ouvert sur l’extérieur, potentiellement endogame et surtout parce qu’il est vu comme introduisant par construction une asymétrie entre les tutelles dans le processus d’évaluation. Dans le cas d’UMR, il est vu comme donnant la primauté à l’organisme qui dispose d’un dispositif d’évaluation interne beaucoup plus structuré.
• Pour les comités s’appuyant sur les SAB, l’argument principal est celui de la simplification (pas de double évaluation par le SAB et le comité HCERES). Ils posent cependant le problème de l’indépendance du SAB, qui, s’il intervient dans le pilotage du laboratoire (recrutement d’équipes, définition des axes stratégiques), est alors juge et partie.
Pour essayer de résoudre ces difficultés, il nous semble que le premier critère pour la sélection d’un évaluateur devrait être sa compétence scientifique dans l’une des thématiques de recherche du laboratoire visité. Ceci n’interdit bien évidemment pas que des représentants des instances internes d’évaluation des établissements y siègent, puisqu’il s’agit de scientifiques compétents. Une solution mélangeant suivant les cas les trois types de comités décrits ci-dessus dans des proportions variables pourrait associer leurs avantages et limiter leurs inconvénients. La procédure de concertation amont entre les tutelles et le HCERES évoquée ci-dessus pourrait en effet être un moyen d’adapter le principe de constitution du comité aux vœux des tutelles, sous réserve de leur accord et de la compatibilité de la procédure avec le cahier des charges du HCERES.
On peut ainsi imaginer associer, après consultation des tutelles, suffisamment de représentants des instances d’évaluation interne pour garantir une bonne articulation avec l’évaluation des personnels (par exemple, en sollicitant les différentes commissions disciplinaires concernées pour qu’elles désignent des représentants), des experts internationaux et, ès qualité, un ou plusieurs représentants d’un SAB indépendant, lorsqu’il existe. Enfin, la présence d’un représentant des personnels ITA/ITRF dans les comités est souhaitée ou acceptée par une majorité des acteurs. Le rôle de ce représentant étant avant tout d’avoir un regard sur l’organisation et la vie de l’unité et de ses personnels techniques et administratifs. Dans tous les cas, c’est le HCERES, autorité indépendante, qui valide la composition du comité et la procédure.
Ce type de processus de concertation amont pourrait également inclure d’autres acteurs, comme les laboratoires eux-mêmes. Sans leur donner la possibilité d’un choix positif de certaines personnes, il pourrait leur être laissé un choix négatif, en leur accordant la latitude de récuser par avance tel ou tel évaluateur potentiel. La construction d’un répertoire commun des évaluateurs, assorti de leurs compétences, est souhaitable, en particulier pour les domaines de recherche situés aux interfaces disciplinaires. Un tel répertoire pourrait être partagé par toutes les instances nationales d’évaluation, y compris l’ANR, les modalités d’inscription devant être transparentes et fondées sur des critères aussi objectifs que possible. Les instances nationales de l’évaluation des chercheurs et enseignants-chercheurs pourraient également proposer des noms pour enrichir la base de données des évaluateurs potentiels.
Recommandation : les modalités d’intervention et de composition des comités de visite sont décidées par le HCERES après concertation avec les parties prenantes. Les évaluateurs sont sélectionnés pour leur qualité scientifique dans un répertoire public construit, entre autres, sur proposition des instances nationales de l’évaluation.
(3) Grille et cahier des charges
Le HCERES établit à partir des principes énoncés dans la loi une grille d’informations à produire pour l’évaluation, un cahier de charges. Cette grille doit être construite avec un effort de simplicité et de lisibilité mais doit aussi pouvoir être adaptée à la diversité des situations. Dans d’autres pays l’évaluation se pratique directement sur les productions de la recherche, lorsqu’elle concerne les chercheurs individuels principalement. Il semble qu’on puisse continuer à pratiquer une évaluation à partir des rapports que produisent les unités de recherche et de la qualification des productions scientifiques évaluées par les revues et les éditeurs d’ouvrages. Cependant, le dossier demandé aux unités pourrait progressivement être allégé, en étant pré-rempli, à partir des bases de données du Ministère ou des établissements, de nombreuses informations factuelles qu’il suffirait ensuite aux directeurs d’unités de vérifier. Ce travail préalable pourrait être assisté par l’OST.
Dans l’évaluation des unités, même si la notion du nombre de produisants et du volume de leur production reste un élément important d’appréciation, le rôle de la bibliométrie est à moduler très fortement selon les disciplines. Par exemple, les bases de données bibliométriques sont encore largement inadaptées dans la plupart des disciplines des sciences humaines et sociales et des humanités. Une question qui fait également débat est celle de savoir si l’évaluation des laboratoires doit aussi concerner leur(s) projet(s), ou seulement leur activité passée. Certains acteurs sont réticents à l’inclusion du projet dans le champ de l’évaluation des laboratoires. Il y a deux principales justifications à cette opposition : (i) la question de la confidentialité de certains projets que certaines tutelles ne souhaitent pas voir compromise par leur communication aux membres du comité de visite qui peuvent s’avérer des concurrents potentiels ; (ii) l’ingérence dans le pilotage par certaines tutelles qui souhaitent conserver un contrôle des moyens et de la stratégie et considèrent donc avoir un droit de regard sur le projet qui ne relève pas de la seule compétence des équipes de recherche.
A l’inverse, il semble difficile de solliciter un comité d’experts compétents et de lui demander de regarder l’activité de recherche d’un laboratoire en faisant complètement abstraction de toute projection dans l’avenir. Ce qui semblerait raisonnable serait que, sauf cas très particulier justifiant la confidentialité, le comité examine de manière macroscopique les grandes orientations envisagées par le laboratoire et donne un avis sur leur pertinence et leur faisabilité, au regard des compétences et outils dont il dispose et de ses productions antérieures. En revanche, l’examen de projets détaillés ne semble pas pertinent et risquerait de faire doublon avec les demandes de moyen auprès des tutelles ou des agences de financement (ANR). Là aussi il s’agit de bien séparer l’évaluation par le HCERES de la décision par les tutelles. Le comité d’évaluation n’est pas là pour valider tel ou tel projet détaillé, ce qui pourrait être interprété comme une préemption de la décision stratégique par la tutelle de le soutenir ou pas.
Recommandation : L’évaluation doit porter principalement sur l’activité présente et passée du laboratoire et n’a pas vocation à examiner ses projets de manière détaillée. En revanche, il semble raisonnable, sauf cas particulier, d’examiner les grands axes stratégiques envisagés, leur faisabilité et leur pertinence.
(4) Evaluations en dehors de la métropole
Notre dispositif d’enseignement supérieur et de recherche dispose d’implantations hors de la métropole, soit ultramarines, soit à l’international. Parmi celles-ci, on compte en particulier d’un certain nombre d’instituts et d’unités de recherche qui entrent dans le champ de compétence du Haut Conseil : IFRE, UMIFRE, UMI, LMI... La difficulté spécifique posée par l’évaluation des ces structures de recherche distantes est liée au coût des missions pour les évaluateurs, qui a fait que parfois les comités d’évaluation se sont tenus plutôt « sur pièces », avec un simple échange par visioconférence, sans réelle visite sur site.
Cette situation ne paraît pas optimale et les modalités de son amélioration devraient être recherchées. D’abord parce que la visite sur site est unanimement reconnue comme une dimension essentielle du processus d’évaluation, par tous les acteurs (évaluateurs, évalués, tutelles). D’autre part parce que ces structures constituent une richesse, disposant de ressources scientifiques souvent uniques et qu’elles représentent en même temps un investissement important, conséquence en particulier de leur implantation distante. Ceci justifie donc probablement une attention particulière envers ce dispositif multiforme. Deux directions devraient être explorées : la possibilité d’adapter le processus pour envoyer au moins une fraction du comité de visite sur site (a minima, l’un des membres), et l’évaluation consolidée de l’ensemble ou de parties cohérentes de ce dispositif déployé à l’international et en outremer. Télécharger le rapport "L'évaluation de la recherche et de l'enseignement supérieur".