Rapport sur les classements mondiaux d'universités et leur impact

Le présent rapport a été établi à la demande de l’EUA en raison du nombre croissant de classements internationaux et nationaux dans l’enseignement supérieur, en réponse aux demandes de plus en plus nombreuses d’informations et de conseils adressées par les institutions membres quant à la nature de ces classements, en raison de l’intérêt manifesté par les gouvernements nationaux à l’égard des systèmes de classement et, enfin, compte tenu de la décision de la Commission européenne d’établir un « classement européen ». Télécharger le Rapport sur les classements mondiaux d'universités et leur impact.
Dans une perspective d’avenir, les producteurs de classements prennent des mesures visant à améliorer les méthodologies utilisées, ce que nous ne pouvons qu’encourager et que nous suivrons dans le cadre de rapports ultérieurs. Le Groupe d’experts internationaux sur les classements (IREG) a annoncé qu’il réaliserait un audit des différents classements. Nous espérons que des experts indépendants seront associés à cette initiative, ce qui renforcerait considérablement sa crédibilité. Parmi les questions en suspens à examiner à l’avenir figure celle de la « démocratisation » des classements et ce que cela suppose, pour que davantage d’universités dans le monde soient en mesure d’y trouver leur place. Certaines initiatives européennes récentes qui visent à étendre la portée des classements afin de prendre en considération les différentes missions de l’université semblent indiquer que le manque de données comparables à l’échelle internationale pose problème. Le débat se poursuivra, et ces questions feront notamment l’objet de futurs rapports de l’EUA.
Résumé
Au cours des dernières années, les classements d’universités ont acquis une importance croissante dans le monde entier. Le nombre de classements mondiaux a augmenté au cours de la réalisation de la présente étude et devrait continuer à augmenter. Les classements se sont mondialisés en 2003 lors de la publication des résultats du premier classement mondial d’universités par l’Université Jiao Tong de Shanghai. L’importance des classements semble connaître depuis lors une croissance exponentielle.
Les classements ont toujours suscité des controverses. Il peut être utile à la société de disposer d’un classement qui permette de déterminer qui est « le meilleur au monde » (et qui ne l’est pas). Les responsables politiques souhaitent utiliser des informations pratiques et synthétiques – précisément ce que fournissent les classements. Dans une période caractérisée par de considérables contraintes financières, les dirigeants dans différents pays sont de plus en plus intéressés par des comparaisons de la performance d’ établissement d’enseignement supérieur (EES) divers fondées sur des indicateurs objectifs. Cependant, les résultats des classements, et en particulier des classements mondiaux, dépendent fortement du choix des indicateurs et de la manière dont ils sont pondérés. Il est en outre difficile, voire impossible, de mesurer et de quantifier la qualité en tant que telle; c’est pourquoi les classements utilisent divers indicateurs indirects, dont certains n’ont que peu à voir avec la qualité réelle de l’enseignement ou de la recherche.

TABLE DES MATIÈRES
ÉDITORIAL ET REMERCIEMENTS 7
SIGLES ET ACRONYMES 9
GLOSSAIRE 10
RÉSUMÉ 11
I. INTRODUCTION 18
Objet du rapport 18
Brève histoire des classements 19
Aperçu des implications des classements 20
Principes de Berlin sur le classement des établissements d’enseignement supérieur 21
II. MÉTHODOLOGIES DES CLASSEMENTS MONDIAUX LES PLUS RÉPUTÉS 23
1. Classements internationaux publiés sous forme de palmarès 24
2. Classements axés uniquement sur la performance de la recherche (avec ou sans palmarès) 39
3. Classements multidimensionnels 46
4. Classements Internet 60
5. L’étalonnage concurrentiel sur la base des acquis de l’apprentissage 62
III. ANALYSE DES RÉSULTATS (IMPLICATIONS POUR LES UNIVERSITÉS) 64
Quelles sont les universités prises en considération dans les classements mondiaux d’université publiés sous forme de palmarès? 64
Les classements et la mission de recherche des universités 65
Les classements et la mission d’enseignement des universités 67
Biais et défauts 68
Le risque d’accorder trop d’importance aux positions dans les classements 70
IV. PRINCIPALES CONCLUSIONS 72
V. INTERPRÉTER LES RÉSULTATS DES CLASSEMENTS 73
BIBLIOGRAPHIE 79

Principes de Berlin sur le classement des établissements d’enseignement supérieur
Il est devenu manifeste que l’amélioration de la situation supposait la définition de principes communs auxquels pourraient adhérer les producteurs de classements. Un ensemble de lignes directrices a été élaboré par le Groupe d’experts internationaux sur les classements (IREG) en 2006. L’IREG a été fondé en 2004 par le Centre européen pour l’enseignement supérieur (CEPES) de l’UNESCO et l’Institute for Higher Education Policy de Washington. Il s’agit des « Principes de Berlin sur le classement des établissements d’enseignement supérieur » (IREG, 2006), ci-après les « Principes de Berlin ». Les Principes de Berlin sont, en substance, les suivants (IREG, 2006):
• Buts et objectifs: les classements devraient être explicites quant à leur objectif et à leurs publics cibles; reconnaître la diversité des établissements et prendre en considération leurs missions et objectifs différents; faire preuve de clarté quant à leurs sources d’information; indiquer les contextes linguistiques, culturels, économiques et historiques des systèmes d’enseignement qui font l’objet de classements;
• Création et pondération des indicateurs: les classements devraient être transparents quant à la méthodologie utilisée; sélectionner les indicateurs en fonction de leur pertinence et de leur validité; mesurer de préférence, et dans la mesure du possible, les résultats plutôt que les ressources; mettre en évidence les poids assignés aux différents indicateurs (le cas échéant) et limiter les modifications qui leur sont apportées;
• Collecte et traitement des données: les classements devraient prêter l’attention voulue aux normes éthiques et aux recommandations en matière de bonnes pratiques; utiliser autant que possible des données auditées et vérifiables; inclure des données collectées par des procédures appropriées à la collecte scientifique de données; appliquer des critères d’assurance qualité aux processus de classement eux-mêmes;
• Présentation des résultats des classements: les classements devraient permettre aux utilisateurs d’avoir une compréhension claire de l’ensemble des facteurs déterminant l’établissement d’un classement et leur permettre de choisir le mode de présentation des classements; être établis de façon à éliminer les erreurs ou à en réduire le nombre dans les données d’origine; être structurés et publiés de façon à permettre la correction des erreurs et défauts éventuels. Les Principes de Berlin constituent indéniablement des éléments d’orientation utiles, et les producteurs de classements affirment souvent qu’ils s’y conforment. La réalité semble néanmoins quelque peu différente. À titre d’exemple, une équipe de chercheurs de l’Université du Minnesota a quantifié les Principes de Berlin et classé les producteurs de classements eux-mêmes en fonction de leur conformité aux meilleures pratiques exposées dans les Principes de Berlin (Stoltz et al., 2010). Cette équipe de chercheurs a classé 25 classements d’universités européennes auxquels elle a attribué un score compris entre 1 et 5: 1 (non-conformité); 2 (faible niveau de conformité); 3 (niveau de conformité satisfaisant); 4 (bon niveau de conformité); 5 (excellent niveau de conformité). 13 classements sur 25 ont obtenu un score inférieur à 3 (niveau de conformité satisfaisant), parmi lesquels

II. MÉTHODOLOGIES DES CLASSEMENTS MONDIAUX LES PLUS RÉPUTÉS
Les classements peuvent être regroupés de différentes façons: en fonction de leur objet, des paramètres mesurés, de la présentation des résultats ou des effets recherchés. Aux fins du présent rapport, les classements internationaux examinés sont regroupés comme suit:
1. Les classements d’universités qui ont pour principal objet d’établir des palmarès
1.1 Le classement académique des universités mondiales (Academic Ranking of World Universities – ARWU) – Shanghai Ranking Consultancy11
1.2 Le classement du Times Higher Education (Times Higher Education World University Ranking – THE) – Times Higher Education
1.2.1 en coopération avec Quacquarelli Symonds (jusqu’en 2009)
1.2.2 en coopération avec Thomson Reuters
1.3 Le classement des meilleures universités mondiales (World’s Best Universities Ranking) – US News & World Report en coopération avec Quacquarelli Symonds
1.4 Le classement mondial des universités – Reitor (Рейтор)
2. Les classements axés uniquement sur la performance de la recherche (avec ou sans palmarès)
2.1 Le classement de Leiden (Leiden Ranking) – Université de Leiden
2.2 Le classement du Conseil d’accréditation et d’évaluation de l’enseignement supérieur de Taïwan (Performance Rankings of Scientific Papers for World Universities) – Higher Education Evaluation and Accreditation Council of Taiwan
2.3 L’évaluation de la recherche universitaire – Commission européenne
3. Les classements multidimensionnels –classements et classifications d’universités reposant sur un certain nombre d’indicateurs et n’ayant pas pour objet d’établir des palmarès
3.1 Le classement universitaire du CHE – Centre pour le développement de l’enseignement supérieur / Die Zeit
3.1.1 Le classement des universités du CHE
3.1.2 Le classement d’excellence du CHE
3.1.3 Autres classements du CHE
3.2 La classification U-Map – Centre d’études des politiques sur l’enseignement supérieur (Center for Higher Education Policy Studies - CHEPS) de l’Université de Twente
3.3 Le système européen de classement multidimensionnel des universités (U-Multirank) – projet financé par l’UE.
4. Les classements Internet
4.1 Le classement cybermétrique des universités du monde (Webometrics Ranking of World Universities)
5. L’étalonnage concurrentiel (benchmarking) sur la base des acquis de l’apprentissage
5.1 Le projet d’évaluation des résultats de l’enseignement supérieur (AHELO) – OCDE
Pour chaque classement, les aspects méthodologiques suivants sont analysés, pour autant qu’ils soient pertinents:
• Les indicateurs utilisés;
• Ce qui est effectivement mesuré et quels indicateurs indirects sont utilisés;
• Le calcul de la valeur des indicateurs et du score final le cas échéant;
• L’évolution de la méthodologie utilisée et son impact;
• Les forces, les faiblesses et les particularités du classement;
• Les autres produits associés au classement – analyses complémentaires (par sujet, comparaisons entre pays, informations aux étudiants, classements individuels);
• Autres remarques particulières au classement.
Il convient de noter que les classements les plus récents, en particulier U-Map, U-Multirank et AHELO, en étaient encore au stade du développement au moment de la rédaction du présent rapport. Des tentatives ont été faites pour analyser ces développements et fournir des informations qui peuvent présenter un intérêt pour l’EUA. Ces développements seront examinés de façon plus détaillée dans le prochain rapport en 2012.

IV. PRINCIPALES CONCLUSIONS
1. Il ne fait aucun doute que l’apparition des classifications et classements internationaux d’universités a galvanisé le monde de l’enseignement supérieur. Depuis l’apparition des classements mondiaux, les universités n’ont pas pu éviter les comparaisons nationales et internationales, ce qui a entraîné des changements dans le mode de fonctionnement des universités.
2. Les classements, et en particulier les classements mondiaux publiés sous forme de palmarès, ont adopté des méthodologies qui s’appliquent uniquement aux universités de recherche les plus réputées. De fait, ces méthodologies ne produisent des résultats stables que pour 700 à 1000 universités, qui ne représentent qu’une faible proportion des 17000 universités dans le monde. La majorité des universités du monde n’entrent pas dans l’équation. Si cette approche peut être utile pour établir des listes d’universités les plus réputées, le tourbillon d’activité que suscitent les classements, souvent à l’initiative des producteurs de classements eux-mêmes, se répercute sur l’ensemble des milieux universitaires. Cette agitation qui accompagne la publication de ces classements donne à penser que l’ensemble des établissements d’enseignement supérieur sont concernés, alors que les critères utilisés ne sont appropriés que pour les universités de recherche les plus renommées.
3. Jusqu’à présent, les classements ne portent que sur certaines missions de l’université. Peu d’entre eux en examinent la diversité, que ce soit au niveau des types d’établissement ou des missions qui leurs sont confiées.
4. D’aucuns affirment que les classements contribuent à la « transparence » des universités. Toutefois, les méthodologies des classements existants, en particulier des palmarès les plus réputés, continuent à manquer elles-mêmes de transparence. Il est difficile, voire impossible, sur la seule base d’informations publiques, de suivre les calculs selon lesquels les données brutes sont converties en valeurs d’indicateurs, à leur tour combinées en vue d’établir un score global.
5. « Il n’existe pas d’indicateur objectif » (AUBR, 2010). Le manque d’indicateurs appropriés devient évident quand il s’agit de mesurer la qualité de l’enseignement universitaire, pour laquelle il n’existe pas d’indicateur adapté. L’évaluation de la performance de la recherche pose moins de problèmes. Cependant, même les indicateurs bibliométriques utilisés pour mesurer la performance de la recherche induisent des biais et présentent des défauts. Les producteurs de classements s’efforcent d’améliorer les méthodologies utilisées, mais ces améliorations portent généralement sur la méthode de calcul, alors que le vrai problème réside dans l’utilisation d’indicateurs indirects inadéquats ou dans l’omission d’une partie des informations imputable aux contraintes méthodologiques. Les indicateurs indirects peuvent être améliorés, mais ils restent des indicateurs indirects.
6. Actuellement, il serait difficile d’affirmer que les avantages des informations présentées par les classements, ainsi que la plus grande « transparence », surpassent les effets négatifs de ce qu’il est convenu d’appeler les « conséquences indésirables » des classements.
7. Les récentes initiatives visant à développer des classifications, des classements et des évaluations de l’ensemble des établissements d’enseignement supérieur et de leurs différentes missions, comme l’évaluation de la recherche universitaire européenne commissionnée par l’UE (AUBR), les projets U-Map, U-Multirank et AHELO, ont toutes pour intention d’améliorer la situation. Il est toutefois trop tôt pour déterminer dans quelle mesure ils atteindront leurs objectifs. Ils en sont encore à différents stades de développement ou à la phase pilote de mise en oeuvre et doivent relever de multiples défis, liés notamment à la collecte de données et à l’élaboration de nouveaux indicateurs.
8. Les décisions politiques relatives à l’enseignement supérieur ne devraient pas se fonder uniquement sur les données présentées par les classements.

V. INTERPRÉTER LES RÉSULTATS DES CLASSEMENTS
Indications générales
1. Identifier l’objet et les publics cibles du classement. Pour certains classements, ces informations permettent de comprendre la sélection des indicateurs et d’autres caractéristiques. Dans d’autres cas, elles peuvent éventuellement révéler que le classement ne répond pas aux objectifs affichés.
2. Déterminer quels éléments sont effectivement mesurés et les comparer aux informations présentées sur les indicateurs ou groupes d’indicateurs utilisés. Ceci permet de déterminer si une valeur correspond à la mesure effective d’un aspect particulier ou si elle est le résultat d’un indicateur indirect.
3. Vérifier s’il est possible de suivre la méthode de calcul utilisée pour établir le résultat de chaque indicateur à partir de données brutes. Ceci permet de comprendre ce que la valeur finale représente réellement.
• Les indicateurs ont des dimensions différentes. C’est pourquoi les résultats doivent être recalculés afin de supprimer leur caractère dimensionnel et de les convertir en un score final unique. Pour ce faire, le résultat de l’université en question est souvent divisé par le résultat de l’université qui affiche la valeur la plus élevée au regard de cet indicateur, et le résultat obtenu est ensuite multiplié par 100. Par conséquent, le chiffre qui figure dans le tableau ne correspond généralement pas au nombre de publications, de citations, d’étudiants, etc. (comme indiqué en titre de colonne), mais au pourcentage du meilleur résultat.
• Vérifier si les résultats sont normalisés selon un aspect particulier. Les résultats des indicateurs de recherche sont normalisés par champ disciplinaire dans certains classements. C’est-à-dire que les résultats sont rapportés, par exemple, au nombre moyen de publications par membre du personnel ETP dans ce champ particulier, au nombre de citations par article dans ce champ particulier, etc. Cette méthode permet d’établir des comparaisons, mais elle implique également que le score de l’indicateur ne correspond pas à la mesure effective, mais représente une valeur composée qui fait intervenir une multiplication ou une division par certains facteurs – qui résultent d’un choix fait par les producteurs du classement. À cet égard, il serait utile de connaître les valeurs de ces facteurs, mais les présentations simplifiées des méthodologies utilisées, publiées avec les classements, n’apportent généralement pas ces précisions. La normalisation par champ disciplinaire n’est pas le seul processus de normalisation appliqué. Le classement THEThomson Reuters 2010 applique par exemple un mécanisme de « prise en considération de facteurs internationaux » (Pratt, 2010). Cependant, le site Internet public n’apporte aucune précision sur ces facteurs régionaux.
4. Accorder une attention particulière à la pondération des indicateurs et des groupes d’indicateurs – les différences peuvent être importantes. À titre d’exemple, dans le classement THE-Thomson Reuters 2010, le poids des citations représente 32,5%, contre 2,5% pour le poids attribué au financement de la recherche par l’industrie. L’indicateur de citations est par conséquent 13 fois plus important que l’impact du financement de la recherche par l’industrie.
5. Examiner le mode de collecte de données et identifier les sources de données. La compréhension du classement est facilitée lorsqu’il est possible de connaître la proportion de données objectives qui peuvent être vérifiées, de données basées sur des avis exprimés par des pairs ou des employeurs, de données basées sur des opinions formulées par des étudiants ou des membres du personnel de l’université, de données extraites de statistiques nationales, ou de données autodéclarées par des universités.

Käesoleva aruande koostamisel palvel AÜE tõttu kasvava hulga rahvusvaheliste ja riiklike pingeread kõrghariduse, vastuseks üha rohkem teavet ja nõuandeid esitatud liige institutsioonide laadi need pingeread, sest huvi riikide valitsuste vastu skaala ja lõpuks, antud otsuse Euroopa Komisjoni üles looma "Euroopa kaardid." Lae aruanne maailma pingereas ülikoolide ja nende mõju. Velle...