La Documentation Française - la librairie du citoyenLe rapport "L'évaluation de la recherche et de l'enseignement supérieur" présente les principes de l'évaluation par le HCERES, les modalités d'élaboration et d'organisation des évaluations, l'organisation de la future Haute autorité indépendante. Télécharger le rapport "L'évaluation de la recherche et de l'enseignement supérieur".
Les niveaux de l’évaluation
(1) Etablissements
Les transformations rapides du périmètre des universités et de leurs regroupements ainsi que les incitations à promouvoir une réflexion stratégique à l’échelle des ensembles territoriaux d’établissements (politique de site) conduisent à réviser assez profondément les procédures d’évaluation à ce niveau. Tout en se centrant sur l’évaluation scientifique, il s’agit pour le HCERES de prendre en considération en amont la bonne insertion de chaque établissement dans son territoire, du point de vue des formations et de la recherche, en accord avec les autres acteurs du site.
Les établissements qui sont dans le champ d’intervention du Haut Conseil peuvent se répartir en deux catégories, avec des enjeux et des problématiques assez différents : il y a d’une part les organismes de recherche et d’autre part les établissements d’enseignement supérieur. Les seconds correspondent à un modèle relativement standard et largement répandu sur le plan international, ils peuvent donc faire l’objet d’une procédure d’évaluation normalisée et sont plus faciles à appréhender par des experts internationaux. Les premiers sont en revanche beaucoup plus divers et leur évaluation est probablement plus complexe à mettre en œuvre. Dans les deux cas, organismes et établissements d’enseignement supérieur, il faut s’interroger sur la question posée et les enjeux de l’évaluation. Pour les seconds, la réponse est à nouveau plus simple, l’enjeu principal est actuellement le dialogue avec la tutelle et la répartition des moyens, en particulier par la DGESIP. Pour les organismes la réponse est moins directe, mais pourrait s’insérer dans une logique d’évaluation thématique par grand domaine.
Parmi les points qui ont été abordés lors de nos entretiens, il est en effet ressorti le besoin de pouvoir donner aux décideurs publics une vision stratégique nationale sur tel ou tel grand champ disciplinaire (exemple : la génétique, la psychologie ou la physique des plasmas), décrivant les forces des différents acteurs nationaux et territoriaux, leur positionnement international ou encore leur dynamique temporelle. Une telle étude ne peut se construire seulement par agrégation des évaluations individuelles des équipes et laboratoires de recherche mais nécessite également une approche transversale, plus macroscopique. Pour ce faire le HCERES pourrait s’appuyer en particulier sur l’OST.
Un autre élément très important de l’évaluation des établissements par l’AERES concerne les recouvrements éventuels avec les autres procédures d’audit auxquels ils sont régulièrement soumis (Cour des Comptes, IGAENR...). Le HCERES est la seule de ces instances qui aura la légitimité scientifique pour se pencher sur les aspects réellement stratégiques de la politique de recherche et de formation des établissements. L’Inspection générale, comme la Cour des Comptes sont par contre compétentes pour examiner les aspects financiers, logistiques, ou organisationnels de l’établissement. Il serait donc souhaitable que le Haut Conseil focalise sa mission d’évaluation en particulier sur les aspects qui relèvent de sa seule compétence, comme l’analyse de la politique de recherche et d’enseignement, l’articulation entre la formation et la recherche, l’existence d’outils de pilotage et d’une auto-évaluation stratégique de la recherche et de la formation. Les tutelles ministérielles pourraient indiquer de manière plus précise les termes de l’évaluation des établissements, par le biais d’une lettre de cadrage.
Celle-ci pourrait, en particulier indiquer les champs précis faisant l’objet d’une commande spécifique, ce qui permettrait d’éviter les redondances avec les évaluations par d’autres instances, ou au contraire d’attirer l’attention du comité d’évaluation sur des points de vigilance n’ayant pas fait l’objet d’évaluations récentes. Dans le cadre de la mise en place des politiques de site, l’évaluation des établissements devrait aussi s’inscrire dans une logique d’intégration renforcée entre les trois pans de l’évaluation : recherche, formations et établissements, par exemple pour que les axes de la politique de site ou d’établissement puissent être examinés en amont et ainsi servir de grille de lecture aux évaluations des laboratoires ou des formations. En plus des demandes spécifiques des tutelles ministérielles, il serait utile de faire entrer explicitement dans l’évaluation des établissements une analyse de la politique de suivi et de mise en œuvre des recommandations des précédentes évaluations. L’objectif serait de voir comment chaque établissement utilise et s’approprie les retours des comités, bien sûr pour l’établissement lui-même (c’est en général déjà le cas), mais aussi pour ses laboratoires et son offre de formation. Ceci permettrait d’avoir un éclairage sur ses outils de pilotage scientifique et pédagogique.
Recommandation : Pour éviter les redondances entre les différents audits, une lettre de cadrage fixant les termes spécifiques de l’évaluation pourrait être faite par les tutelles ministérielles. Celle-ci devrait se porter en priorité sur la stratégie scientifique et pédagogique et sur le suivi des recommandations des audits antérieurs.
(2) Formations
Le processus d’évaluation des formations doit connaître aussi une évolution profonde, en rapport avec la modification des procédures nationales d’accréditation des diplômes. On passe ainsi d’une évaluation ex ante des maquettes détaillées à une évaluation ex post des formations existantes, replacées dans un champ de formation plus large, à l’échelle des établissements et du site dans lequel ils s’inscrivent. Compte tenu du très grand nombre des diplômes, une importante simplification peut être réalisée à ce niveau grâce à cette modification du grain et de l’échelle d’observation, tout en permettant une utilisation rationnelle d’indicateurs objectifs de l’efficacité des formations.
La logique d’accréditation responsabilise les établissements qui se verront transférer une grande partie du processus au travers de la mise en place d’une auto-évaluation des diplômes par leurs instances internes. C’est ce processus que le Haut Conseil devra analyser, à un niveau beaucoup plus stratégique et macroscopique. Les critères de cette évaluation pourraient être en particulier :
• Les outils de pilotage et les principes retenus par l’établissement pour définir l’architecture de son offre de formation et évaluer le contenu de ses diplômes.
• L’articulation avec la recherche, dans une vision intégrée du site.
• Les dispositifs qualité mis en place en interne par les établissements : comités de perfectionnement des diplômes, évaluation systématique par les étudiants.
• La politique des stages, les liens avec le monde socio-économique, la qualité de l’insertion professionnelle.
• Les dispositifs d’accompagnement pédagogique, la place des technologies du numérique et l’enseignement des langues.
Ce type de procédure allégée constituerait une simplification importante et ferait des établissements et des étudiants des acteurs centraux du processus. Ponctuellement, le HCERES pourrait de plus se saisir de tel ou tel diplôme spécifique, soit à fins de sondage pour examiner en détail la manière dont un établissement construit ses maquettes, soit pour des diplômes particuliers ayant par exemple un statut expérimental ou dérogatoire et sur lesquels il jugerait utile d’effectuer un examen approfondi.
Recommandation : Dans la logique de l’accréditation, passer d’une évaluation exhaustive des maquettes individuelles des diplômes, à une analyse plus stratégique de l’offre de formation, s’appuyant en particulier sur les auto-évaluations et l’évaluation par les étudiants.
Le HCERES devra veiller à adapter ses évaluations de manière à pouvoir prendre en compte des transformations prévisibles comme celles induites par le développement des technologies numériques, par exemple les CLOM (cours en ligne ouverts et massifs, MOOC en anglais).
(3) Recherche
La majeure partie de notre système de recherche est structurée autour de laboratoires ou unités de recherche qui en constituent la « brique de base », avec une ou plusieurs tutelles de rattachement (université, organisme, école...). L’évaluation de ces structures prend en général la forme d’une visite sur site avec un comité d’évaluation. L’évaluation des unités de recherche est avant tout destinée aux évalués, elle doit leur permettre de situer leur orientation et leur production parmi celles de leurs pairs. Elle sert également aux tutelles directes à prendre des décisions stratégiques concernant leur labellisation et les moyens qui leur sont affectés.
La granularité de l’analyse dépend des disciplines. Dans certains cas, les laboratoires sont vus comme des regroupements d’équipes qui font l’objet d’évaluations indépendantes, ensuite agrégées dans celle du laboratoire et de sa politique globale. Dans d’autres disciplines au contraire, la notion d’équipe a moins de sens et les communautés sont attachées à une évaluation globale du laboratoire, pris comme un collectif. Dans ce domaine, il nous semble qu’il ne faille pas imposer un modèle unique, mais au contraire s’adapter aux logiques et aux cultures des différentes communautés disciplinaires.
. Télécharger le rapport "L'évaluation de la recherche et de l'enseignement supérieur".