Restitution aux parties prenantes et publicité - Rapport "L'évaluation de la recherche et de l'enseignement supérieur"

Le rapport "L'évaluation de la recherche et de l'enseignement supérieur" présente les principes de l'évaluation par le HCERES, les modalités d'élaboration et d'organisation des évaluations, l'organisation de la future Haute autorité indépendante. Télécharger le rapport "L'évaluation de la recherche et de l'enseignement supérieur".
Restitution aux parties prenantes et publicité
(1) Le rapport
L'évaluation doit faire l'objet d’un rapport circonstancié rédigé et signé collégialement par les membres du comité d’évaluation, sous la responsabilité de son président, avec le contreseing du HCERES . Ce rapport doit être conçu dans l’objectif principal de fournir des recommandations claires et constructives aux évalués et à leurs tutelles. Il doit être construit sur des argumentaires clairs et reposer le plus possible sur des données objectives (effectifs, productions, contrats, nombre/taux de diplômés, évolution temporelle...). Ses conclusions sur les différents items évalués devront être circonstanciées et ouvrir le cas échéant des pistes d’amélioration. La présence d’une telle liste d’items (référentiel ou grands critères d’évaluation) est très utile, car elle permet d’apporter un cadre d’harmonisation entre les évaluations réalisées par des comités différents. Dans le cas où des questions précises auraient été posées par les tutelles, le rapport devra bien entendu éclairer les parties prenantes sur l’appréciation qu’a pu en faire le comité d’évaluation. Le rapport en revanche ne devrait pas être prescriptif.
Il s’agit là de conserver la distinction entre l’évaluation, d’un côté, et la ou les décisions de politique scientifique ou pédagogique qui appartiennent in fine aux instances du laboratoire, du diplôme, de l’établissement et à leurs tutelles, de l’autre. Le rôle du comité d’évaluation est d’apporter à un instant donné un regard extérieur indispensable sur une structure de recherche ou de formation. Son rapport sera un des éléments essentiels pour les décisions futures, mais au travers d’une grille de lecture et d’un ensemble de contraintes propres à chaque partie prenante. Il est parfaitement envisageable qu’au vu du même rapport deux établissements tutelles d’une même structure puissent prendre des arbitrages sensiblement différents. Un des points ayant suscité un débat animé dans la communauté concerne les modalités actuelles de production des rapports définitifs d’évaluation, en particulier pour les laboratoires, il s’agit de leur éventuelle réécriture ou « lissage ». Ceci a pu être perçu comme un manquement au principe de transparence. Il existe une demande forte pour que le rapport du comité d’évaluation soit effectivement produit par lui seul et qu’il en endosse la responsabilité, le Haut-Conseil étant quant à lui garant de la procédure.
Recommandation : Il faut respecter le principe de séparation entre évaluation et décision. Le rapport d’évaluation doit refléter l’avis motivé du comité. Il n’a pas a être prescriptif et empiéter sur les décisions des tutelles.
Recommandation : Le rapport d’évaluation doit être contresigné a minima par le président et si possible par tous les membres du comité d’évaluation qui en assument ainsi le contenu.
Dans tous les cas, un droit de réponse est laissé aux instances évaluées. Cette phase permet d’expurger le rapport d’erreurs factuelles éventuelles, mais aussi de donner une interprétation complémentaire aux observations faites par le comité.
(2) La notation
Pour l’évaluation des laboratoires, la question de la production d’une notation quantitative unique ou multi- critères (A + , A, B, C...) est certainement l’une des plus controversées et des plus sensibles au sein de la communauté. L’instauration initiale de cette note répondait entres autres à un besoin par les tutelles d’avoir une grille pour décider des arbitrages en matière d’allocation des moyens (dotations, postes, surfaces...). Avant la mise en place de l’AERES, certains établissements utilisaient d’ailleurs des systèmes analogues en interne et ont parfois continué à le faire en parallèle de la notation par l’AERES.
La notation mono ou multi-critères a des avantages et des inconvénients dont certains se sont exacerbés au cours du temps, pour finir par cristalliser le mécontentement d’une partie de la communauté contre le système actuel. Compte-tenu du caractère sensible de ce point, il nous est apparu utile de les énumérer de manière explicite.
Avantages
• La transparence : Comme il a été dit ci-dessus, certains établissements avaient leur propre grille de notation, mais celle-ci était souvent interne et non-publique. A l’époque, des critiques d’opacité ou de clientélisme ont été formulées. La notation « ouverte » limite fortement ce genre de risque puisque tous les acteurs du système ont connaissance des notes.
• La diffusion d’une culture de l’amélioration : Pour certaines structures peu habituées à l’évaluation, la notation a eu indubitablement un effet bénéfique de remise en question (mais parfois au prix d’une forme de traumatisme très réel).
• La simplicité opérationnelle : pour les tutelles qui ne sont pas dotées de moyens de suivi rapproché des équipes de recherche, c’est devenu un outil de décision important. C’est en particulier le cas pour les tutelles plus lointaines (par opposition aux tutelles directes évoquées plus haut, qui ont le plus souvent une connaissance de proximité de leurs laboratoires).
Inconvénients
• Le caractère réducteur : La critique porte sur le fait que la disponibilité d’une note déresponsabilise les tutelles et autres opérateurs (collectivités, fondations caritatives, mécènes...) qui sont tentés d’utiliser par facilité la ou les notes, plutôt que de réellement analyser le rapport, véritable synthèse de l’évaluation.
• Le caractère prescriptif : C’est une conséquence de l’effet précédent, la note, par seule force de synthèse, risque souvent d’emporter les décisions des tutelles (création, renouvellement, allocation de moyens...). Ceci va à l’encontre de la séparation voulue entre évaluation et décision .
• L’effet « tatouage » à long terme : Ainsi qu’il a été dit ci-dessus, un comité d’évaluation apporte un regard extérieur à un instant t donné sur des équipes de recherche. Par nature, les laboratoires sont des structures vivantes dont le périmètre et les activités évoluent dans le temps. Avec un rythme d’évaluation quinquennal, la notation cristallise pour cinq ans cet instantané de l’évaluation, ce qui entraîne un risque de stigmatisation à long terme de certains et au contraire l’instauration d’une rente de situation pour d’autres .
• Les difficultés de mise en œuvre. Elles sont de deux ordres : (i) aboutir à une notation « absolue » à partir de rapports rendus par des comités différents, au périmètre d’intervention très limité, a nécessité la mise en place de réunions de notation / interclassement dont le fonctionnement, les modalités et la transparence ont été critiqués ; (ii) au cours du temps, l’instrumentalisation des notes par différents acteurs et leur caractère potentiellement prescriptif ( cf ci-dessus) a conduit les présidents de comité à être plus parcimonieux dans l’attribution des notes B et C, devenues souvent synonymes de restructuration voire de fermeture de laboratoire. Si bien que l’utilité même de notations comportant une très large majorité de A+ et de A perdait de sa signification .
• L’exclusion : La notation A+, A, B, C même sur plusieurs critères, a généré des effets de seuil qui se sont couplés au caractère potentiellement prescriptif des notes pour engendrer un autre effet pervers. Pour éviter les effets couperet d’une note insuffisante, certains responsables scientifiques ont parfois pratiqué une politique d’exclusion visant à faire disparaître des organigrammes des collègues jugés moins performants, dans le but de « remonter leur moyenne ». Il n’est pas certain que les sortir du système soit une stratégie qui améliore in fine la qualité de notre recherche et de notre enseignement supérieur.
Aujourd’hui, la notation par l’instance d’évaluation est largement rejetée par les organisations représentatives des personnels, qu’elle soit mono ou multi-critères. Elle n’est pas réclamée par les grands organismes de recherche qui disposent de structures propres de suivi et se servent du rapport d’évaluation comme un des éléments de leurs arbitrages. Certains pratiquent même leur propre classement aux travers de leurs instances internes. La position des universités est plus multiforme, mais semblerait pouvoir s’accommoder d’une suppression de la notation. Cette dernière permettrait de plus une simplification des procédures, en supprimant la nécessité des réunions d’interclassement permettant d’attribuer ces notes.
En revanche, les organismes internationaux d’accréditation attendent qu’une évaluation synthétique, sur critères multiples et adaptés, soit produite in fine par l’agence indépendante, et non pas par d’autres instances. D’autre part, une bonne gestion des moyens publics exigerait que les procédures d’évaluation qui aboutissent au jugement global produit par le Haut Conseil ne soient pas de nouveau opérées par d’autres instances – même si les différentes tutelles doivent conserver, par rapport à l’évaluation, une totale autonomie de leurs décisions stratégiques qu’elles assument ainsi ouvertement. Cela suppose certes que tout soit mis en œuvre pour que les acteurs du système aient la plus grande confiance dans les résultats des évaluations.
Conclusion sur la notation : Pour répondre à ses missions de haute autorité indépendante, tout en évitant les effets pervers d’une notation chiffrée, il est proposé que le Haut Conseil produise une fiche formelle d’évaluation, avec une série d’avis et de recommandations clairs sur une grille de critères qualitatifs adaptés à la situation des unités évaluées. Ceux-ci doivent aider à faire progresser la qualité scientifique de ces unités en donnant à chacune une information synthétique quant à leur situation globale par rapport aux standards nationaux et internationaux du champ scientifique concerné.
Il est proposé que les tutelles qui souhaitent disposer d’un classement plus précis destiné par exemple à allouer des moyens aux établissements puissent le faire, non pas en agrégeant les résultats de ces rapports destinés aux laboratoires, mais en employant des indicateurs plus accessibles et à plus gros grain, qu’il faudra normaliser après concertation avec les établissements, à partir d’indicateurs résultant d’autres procédures d’évaluation reconnues, comme par exemple le nombre des contrats européens déposés ou d’ANR financées, le nombre des docteurs issus de l’établissement, celui des personnes membres de l’IUF, des lauréats de l’ERC... etc. tous indicateurs dont la réunion semble étroitement corrélée à ceux auparavant construits à partir de la notation des unités.
Concernant l’évaluation des formations, la position des acteurs sur les notes est certainement moins tranchée et moins sensible. Ceci tient sans doute au fait que les notes attribuées lors de l’évaluation des diplômes ont aujourd’hui beaucoup moins d’impact direct sur l’allocation des moyens aux établissements qui, pour la formation, repose sur d’autres critères (nombre de présents aux examens, taux de réussite, insertion...). De plus, dans le cadre de la logique du passage de l’habilitation des diplômes à celle de l’accréditation des établissements, on peut se demander quelle serait dorénavant leur pertinence et leur portée. A titre de comparaison, on peut remarquer qu’il existe d’autres processus d’évaluation qui ne s’appuient pas sur une logique de notation : accréditation par la CTI, évaluation par la CCN-IUT...
Recommandation : si les notes littérales sont supprimées, le HCERES devrait fournir une fiche d’évaluation synthétique résumant les avis et recommandations sur une grille de critères adaptés.
(3) La publicité
Le caractère public des rapports et des notes mis en œuvre par l’AERES a certainement été un progrès important en termes de transparence dans le processus d’évaluation. Toutefois, c’est la publicité, couplée à la notation, qui est aussi responsable d’une partie des effets pervers décrits au point précédent: caractère prescriptif, effet tatouage... Deux autres critiques importantes ont été faites à la publicité « totale » que constitue la diffusion sur Internet : (i) le problème de la confidentialité et du risque pour la compétitivité pour certaines équipes travaillant dans des domaines très concurrentiels ; (ii) le risque d’un certain manque de franchise dans les rapports, du fait de leur caractère public, conduisant à une autocensure du comité. Pour être réellement utile aux acteurs et aux tutelles, le rapport doit exprimer véritablement ce que le comité pense des équipes, des formations ou des établissements et formuler des recommandations détaillées.
On ne peut cependant pas nier l’effet bénéfique général de la transparence du processus d’évaluation. Le retour à des rapports confidentiels pourrait être vécu comme une véritable régression, en particulier en dehors de la communauté, et pourrait constituer un handicap pour la reconnaissance internationale du futur HCERES par les organisations d’accréditation. Plusieurs hypothèses alternatives seraient envisageables : Dans tous les cas, le rapport complet serait transmis aux évalués, à leurs tutelles et à leurs instances d’évaluation internes (CoNRS, CSS, Conseil Académique ou équivalent...). Au delà de ce premier cercle, on pourrait ne rendre largement publique qu’une synthèse de l’évaluation, on pourrait aussi diffuser sur demande l’évaluation à un ensemble élargi d’acteurs (Ministères, collectivités, ensemble des unités de recherche de la même discipline...).
Si la notation devait disparaitre, le rapport devrait impérativement fournir une synthèse explicite des avis et des recommandations sur une grille de critères pertinents, afin pour chacun d’eux d’apporter un éclairage pour les évalués et leurs tutelles sur la qualité, le positionnement national et international, la dynamique et les perspectives, les enjeux... Ce rapport détaillé n’est destiné qu’aux évalués et à leurs tutelles. Un résumé de l’évaluation sous forme d’avis synthétique, qui conserve cependant trace des différents champs couverts par la grille d’évaluation, est produit pour rendre public le résultat des évaluations et est affiché sur le site du Haut Conseil.
Recommandation : Le rapport complet et détaillé pourrait n’être transmis qu’aux évalués, à leur tutelles directes et à leurs instances d’évaluation propres. Seul serait rendu public un avis synthétique. Télécharger le rapport "L'évaluation de la recherche et de l'enseignement supérieur".