Contribution de l'AERES aux Assises de l'Enseignement Supérieur et de la Recherche

Contribution de l'Agence d'Evaluation de la Recherche et de l'Enseignement Supérieur (AERES) aux Assises de l'Enseignement Supérieur et de la Recherche (ESR-31 août 2012).
Interview de Didier Houssin, Président de l'AERES.
RESUME
En cinq ans, l’AERES a organisé, de la façon la plus impartiale possible, l’évaluation par les pairs des entités prévues dans ses missions. Plus de quatre mille programmes de formation dans l’enseignement supérieur, plus de trois mille unités de recherche, et près de deux cent cinquante établissements, y compris la quasi-totalité des organismes de recherche et l’agence nationale de la recherche ont été évalués au moins une fois. Une présentation détaillée de ces données figure dans le tableau 1 du rapport d’activité 2011 de l’AERES, qui est consultable sur le site internet de l’AERES. Dans un paysage de l’ESR dispersé, ces missions permettent à l’AERES d’être un facteur d’unité, d’homogénéité et de mise en valeur du lien formation-recherche. Au terme de ce cycle, l’AERES propose de: 1-Donner plus de chances de réussite aux étudiants, en améliorant leur information sur l’évaluation des formations; ceci suppose une évaluation des formations à une échelle adaptée à la prise en compte des cartes des formations, de la synergie recherche-formation et de la dimension internationale des formations.
2-En préservant au mieux l’homogénéité et l’impartialité de l’évaluation ex-post de la recherche et en veillant à l’égalité de traitement des entités évaluées, apporter un meilleur service à ces entités, par la simplification du processus et un appui plus net sur les partenaires de l’évaluation; cette inflexion permettrait aussi de répondre à des attentes nouvelles en matière d’évaluation de la recherche.
3- Accompagner le renforcement de l’autonomie et de la capacité stratégique des établissements en accentuant l’autoévaluation, en améliorant les outils d’analyse fournis aux experts, en évaluant les stratégies de coopération des établissements, et en dégageant, suite aux évaluations, les repères les plus utiles aux établissements.
En adéquation avec les standards européens et internationaux, l’AERES organise une évaluation distincte et indépendante des instances de financement et de pilotage. Les missions confiées à l’AERES lui donnent une vue d’ensemble sur le système d’enseignement supérieur et de recherche français à deux échelons: celui des programmes de formation et des unités de recherche; celui des établissements et organismes. L’organisation intégrée des évaluations conduites par l’AERES permet en particulier de faire le lien entre recherche et formation. Ce lien, mis en avant dans le cadre des Assises, apparait déterminant en vue de « l’intégration à l’espace européen de l’enseignement supérieur et de la recherche ». Les interactions de l’AERES aux niveaux européen et international lui permettent aussi de faire des comparaisons et d’identifier des pratiques intéressantes. Acteur du système, l’AERES est enfin, comme tel, susceptible d’amélioration dans son rôle et son fonctionnement.
Compte tenu du format fixé, l’AERES se limitera à présenter ses propositions d’amélioration dans chacun des trois thèmes identifiés pour la préparation des Assises, y compris concernant l’AERES elle-même. Seules seront présentées les propositions qui peuvent s’appuyer sur des observations faites par l’AERES dans le cadre de ses missions.
1 Propositions concernant la réussite de tous les étudiants et la formation des enseignants
La réussite de tous les étudiants du premier cycle pose la question de l’évaluation de l’ensemble de ce cycle: classes préparatoires, formations courtes (BTS-DUT), licences des universités ou grades de licence. Les évaluations de l’AERES ont porté sur des formations de licence, master ou doctorat. La section des formations et des diplômes de l’AERES a placé la réussite des étudiants au centre de ses évaluations. Les observations faites permettent de présenter plusieurs propositions visant à une meilleure compréhension de la réussite des étudiants.
1.1 Améliorer l’information des lycéens et étudiants. L’AERES, via son site Web, gère la base documentaire publique la plus importante sur les formations du supérieur dispensées en France. Ces documents doivent mieux répondre aux besoins d’informations et d’orientation des étudiants et des lycéens, notamment pour ce qui concerne la construction de la formation et les résultats en termes d’insertion et de poursuite d’études. Lorsqu’une autoévaluation de qualité met ces éléments en évidence, l’AERES a constaté que les formations sont plus solides et attractives. Un effort global d’information, qui s’appuierait au mieux sur un système d’information partagé, doit mobiliser tous les acteurs. Au service des lycéens et des étudiants, il permettrait aussi de mieux cerner la question du suivi des formations et donc d’alléger des enquêtes et des dossiers parfois redondants. L’AERES pourrait alors moduler ses évaluations : par exemple, en alternant évaluations approfondies et évaluations de suivi, ou en centrant les visites sur site sur la réussite des étudiants.
L’amélioration de l’information sur les formations doit aussi offrir aux étudiants une vision d’ensemble. Même si l’évaluation interne et externe de chaque formation reste nécessaire, le regard sur chaque formation individuelle ne peut suffire. Les logiques de site (PRES ou autres), les coopérations d’établissements, les stratégies territoriales doivent aussi se fixer pour objectif l’information et la réussite des étudiants. Il est donc important que la « granularité » de l’évaluation des formations soit adaptée à la configuration locale, régionale, voire nationale. L’AERES est prête à participer à une réflexion globale sur les « cartes régionales des formations », incluant la question de la lisibilité et de la stabilité des offres de formation.
1.2 Renforcer la synergie entre formation et recherche et la dimension internationale des formations. La solidité des liens formation-recherche, qui sont une exigence fondamentale aux niveaux du master et du doctorat, est toujours le signe d’une vitalité qui profite aux étudiants. Il est donc souhaitable que les établissements (mais aussi les sites) favorisent une réflexion croisée sur leurs stratégies de recherche et de formation. L’AERES y contribue par son travail d’évaluation intégrée, mais seule une mise en oeuvre systématique de ces regards croisés au sein des établissements permettra d’offrir un service optimal aux étudiants.
La dimension internationale des formations doit être plus accessible aux étudiants, quelle que soit leur origine géographique. Un effort de clarification de la typologie de ces formations doit être entrepris. L’évaluation des constructions pédagogiques doit être renforcée, en particulier concernant aussi bien les doubles diplômes, les diplômes conjoints, et toute délocalisation de formation, que l’attractivité et la mobilité internationale des étudiants. L’AERES développe un effort en ce sens, qui doit cependant être partagé par l’ensemble des établissements.
1.3 L’apport de l’évaluation concernant la formation des enseignants au niveau master. Forte de son expérience d’évaluation des formations d’enseignement supérieur qui s’inscrivent dans un dispositif interministériel (art, architecture, santé), l’AERES pourrait proposer une méthode d’évaluation adaptée, s’inspirant de celle utilisée pour ces formations associant dimensions académiques et professionnelles.
2 Propositions concernant la recherche
La recherche s’appuie en permanence sur l’évaluation. L’AERES contribue à l’évaluation de la recherche en organisant une évaluation indépendante des instances de financement et de pilotage. Elle apporte en priorité aux entités de recherche un regard extérieur qui les aide à s’améliorer. Elle fournit aussi des instruments de pilotage et d’aide à la décision aux décideurs et aux financeurs. Elle informe les citoyens.
Portant sur les structures et non sur les personnes, l’évaluation des entités de recherche organisée par l’AERES cherche à être la plus impartiale possible. Elle est fondée sur la compétence de pairs intervenant de façon collégiale. Elle permet une égalité de traitement (par exemple, entre les équipes d’accueil et les unités mixtes de recherche). Elle vise la transparence, grâce à la publicité des rapports d’évaluation, et cherche à faire progresser la culture de l’évaluation parmi les acteurs de la recherche.
Intégrée dans un parcours qui l’associe à l’évaluation des formations et des établissements, l’évaluation de la recherche conduite par l’AERES permet de faire le lien entre les aspects opérationnels et stratégiques, et entre la recherche et la formation, ce qui est crucial dans la perspective de « l’intégration à l’espace européen de l’enseignement supérieur et de la recherche ».
Alors que de nouvelles structures de recherche ont accru le nombre et la diversité des entités évaluées, des améliorations peuvent être proposées pour accroître la transparence, pour renforcer les interactions avec les instances de pilotage, les partenaires institutionnels (comme par exemple, les Régions), et les entités évaluées elles-mêmes, et pour simplifier et rendre plus efficaces les procédures d’évaluation. Engagée dans un processus d’amélioration continue de ses méthodes, l’AERES a l’ambition d’être un service public de l’évaluation de l’enseignement supérieur et de la recherche le mieux adapté possible aux attentes de l’ensemble de la communauté scientifique.
2.1 S’appuyer davantage sur les partenaires de l’évaluation. Pour évaluer les entités de recherche, l’AERES envisage que celles-ci puissent mieux définir le profil d’activités propre à leurs missions, et qu’elles disposent de plus de latitude pour affirmer leur spécificité et la dimension qualitative de leurs activités. L’AERES a pour objectif de s’appuyer davantage sur les instances représentatives des personnels, notamment pour la constitution du vivier d’experts et la composition des comités d’experts. Elle envisage aussi de mieux associer les tutelles des entités évaluées en leur proposant de préciser, dans le dossier d’évaluation, les missions et les objectifs fixés aux entités évaluées, et d’exprimer leur souhait concernant le grain de l’évaluation et une éventuelle modulation du rythme de l’évaluation. L’AERES souhaite enfin pouvoir déléguer aux tutelles l’organisation de l’évaluation, pour certaines entités de recherche.
2.2 Simplifier, accroître l’efficacité et clarifier les enjeux du processus d’évaluation. Pour simplifier le dossier d’évaluation, l’AERES propose la création d’un portail unique de saisie des indicateurs utiles à l’évaluation des entités de recherche en concertation avec le MESR, la CPU et les organismes de recherche, avec davantage de latitude aux entités évaluées pour présenter l’autoévaluation, les résultats et le projet. Elle propose d’accroître l’efficacité de l’évaluation de la recherche grâce à une modulation au niveau des critères d’évaluation qu’elle a définis: les comités d’experts pourraient ainsi déterminer, parmi ces critères, ceux qui leur semblent les plus pertinents au vu des missions et des objectifs fixés définis par la ou les tutelle(s) de l’entité évaluée et du profil qu’elle a elle-même dessiné. Elle étudie la possibilité de mieux prendre en compte la dimension qualitative de la production scientifique dans le cadre de l’évaluation. Elle souhaite clarifier la notation par la diffusion d’un document de référence qui précise le sens des notes, l’échelle de notation et la procédure d’attribution des notes. Elle se propose enfin de développer, en son sein, les activités d’analyse et de synthèse des résultats de l’évaluation (synthèses de site, synthèses disciplinaires, synthèses thématiques).
3 Propositions concernant l’organisation et la gouvernance de l’enseignement supérieur et de la recherche
Ces propositions portent avant tout sur les établissements d’enseignement supérieur et de recherche et les organismes (gouvernance, politiques de sites et de réseaux). L’évaluation des 73 établissements de la vague B (Rapport d’activité 2011 de l’AERES, p. 39-51) a montré que, dans une dynamique positive d’évolution, la situation reste contrastée quant à la capacité des établissements à définir une ligne stratégique et à la faire partager, avec des degrés de développement inégaux et une grande variabilité des modes de management. Les politiques de site (et aussi de réseaux) mobilisent fortement les établissements, avec toutefois des résultats là aussi contrastés. En même temps, un déficit dans la traduction opérationnelle des stratégies et dans le suivi des résultats est relevé de façon constante par les comités d’experts. Selon l’établissement, il peut porter sur les finances, le patrimoine, la gestion des ressources humaines, etc.
Les évaluations organisées par l’AERES relevant, non d’une logique de contrôle ou de certification, mais d’aide à l’établissement, ainsi qu’à ses tutelles et à ses partenaires, les propositions présentées ci-après visent à développer le service rendu. Elles ne pourront toutefois être effectives que si elles sont partagées par les parties prenantes, notamment établissements, MESR et autres ministères, une structuration plus forte de leurs relations avec l’AERES étant à cet égard utile.
3.1 Contribuer à renforcer les capacités stratégiques des établissements. L’AERES envisage d’abord d’améliorer sa méthode en renforçant le rôle de l’autoévaluation (menée par l’établissement). Celle-ci est un bon révélateur de la dynamique de développement stratégique et de son appropriation, notamment lors de son couplage avec l’évaluation externe. Les rapports d’autoévaluation reçus par l’AERES sont souvent perfectibles et le guide de l’évaluation doit être plus adapté à la variété des situations. Il est donc souhaitable de favoriser, au sein des établissements, des démarches mieux fondées et plus approfondies d’élaboration de l’autoévaluation, puis de mieux articuler l’évaluation externe à l’autoévaluation préalable.
L’AERES souhaite aussi améliorer les outils d’analyse mis à disposition des comités d’experts. Pour un éclairage pertinent sur les aspects opérationnels, l’évaluation externe requiert en effet une étude précise des ressources des établissements et de la façon dont elles sont orientées au regard des choix, des contraintes et des contextes qui sont les leurs. Sans anticiper sur le travail des experts, une analyse préliminaire des données des établissements, rapportées à des éléments de comparaison adéquats, serait utile. L’AERES est prête à coopérer avec d’autres acteurs en vue de la construction de tels outils.
3.2 Accompagner les volontés de rapprochement des acteurs. En raison des contrastes évoqués plus haut, l’AERES souhaite continuer à évaluer séparément les établissements. Le développement des stratégies de coopération, en particulier sur un même site, appelle cependant d’autres évaluations au périmètre élargi, a fortiori si le processus de contractualisation évolue vers des contrats de site. Du fait du caractère variable des objectifs, des contenus et des modes opératoires des stratégies de coopération, une méthode souple devra être définie, qui sache coupler les évaluations de chacun des établissements et celles des ensembles qu’ils constituent.
3.3 Fournir des éléments d’information et des repères à la communauté. La transparence des évaluations conduites par l’AERES est un acquis, mais qui invite à s’interroger sur l’utilisation des informations contenues dans les rapports d’évaluation. Un premier travail (Rapport d’activité 2011 de l’AERES, p. 39-51) a permis de dégager les points saillants des diagnostics établis par les comités d’experts. L’AERES propose de développer cette démarche d’analyse des contenus de l’évaluation pour bien capter les dynamiques à l’oeuvre dans les établissements et leur fournir des repères les aidant à mieux se situer.
En France, le paysage de l’enseignement supérieur et de la recherche est divers et dispersé. L’AERES, par la nature de ses missions, y apparait comme un facteur d’unité, d’homogénéité et de mise en valeur du lien entre la formation et la recherche. Elle cherche à apporter le meilleur service aux entités évaluées, et aux parties prenantes. Dans le cadre des Assises, elle propose donc d’améliorer ce que les évaluations des formations apportent aux étudiants, de mieux répondre aux attentes de la communauté scientifique s’agissant de la recherche, et d’accroitre la capacité d’appui stratégique que ses évaluations offrent aux établissements, dans le respect de leur autonomie.

Συμβολή του Οργανισμού για την Αξιολόγηση της Έρευνας και της Εκπαίδευσης (AERES) οι Ασσίζες της Ανώτατης Εκπαίδευσης και Έρευνας (ESR-31 Αυγούστου 2012).
Συνέντευξη με τον Didier Houssin, Πρόεδρος AERES.
ΠΕΡΙΛΗΨΗ
Σε πέντε χρόνια, AERES οργανώνονται ως αμερόληπτα το δυνατόν, οι ομοτίμων οντοτήτων που περιέχονται σε αποστολές του. Περισσότεροι από τέσσερις χιλιάδες προγράμματα κατάρτισης στην τριτοβάθμια εκπαίδευση, περισσότερο από τρεις χιλιάδες ερευνητικές μονάδες, και σχεδόν διακόσια πενήντα ιδρύματα, συμπεριλαμβανομένων σχεδόν όλων των ερευνητικών οργανισμών και εθνικός οργανισμός έρευνας αξιολογήθηκαν τουλάχιστον μία φορά. Περισσότερα...