By Amanda Murdie. Hopefully, another semester has come to a close for you and you’re catching up on some much needed research/sleep.   After I’ve doled out grades for my students, I usually get a nice big stack of evaluations of my teaching abilities, filled out by those very same students who squeaked by with a “C-“in my class. At my previous university, it was the ONLY way my teaching was evaluated; for better or worse, no senior faculty or peers ever evaluated my teaching content, style, or skills in the classroom.  A whopping 40% of my annual evaluation came from what my students recorded on bubble-sheets and, occasionally, their written comments. As a social scientist, I have had some general questions about the validity and the reliability of the whole process. Do students really know a good teacher when they see one?  Isn’t this a little bit like letting the inmates evaluate the prison warden?  I was glad to know that there has been a ton written on the topic, some of which has been summarized as implying that student evaluations of instructors are “highly reliable” and “at least moderately valid.”  Others, however, disagree or call for more research. Read more...

L’amélioration continue des processus d’évaluation de l’AERES fait partie intégrante de la méthodologie de l’évaluation externe organisée par l’Agence. Les retours d’expériences des principaux acteurs concernés en constituent le socle. Pour la campagne d’évaluation des établissements 2011-2012 (vague C), la section des établissements a, tout en adaptant la démarche mise en place pour la campagne 2010-2011 (vague B), organisé des retours d’expériences autour des axes d’amélioration suivants: la méthodologie de l’évaluation, l’outillage des experts et les relations AERES-établissement en amont et en aval de l’évaluation.
Ces retours d’expériences ont été effectués selon les modalités suivantes:

Par Les invités de Mediapart. A la veille de l'examen de la loi Fioraso par l'Assemblée nationale, mercredi 22 mai, Christian Topalov, sociologue et historien, directeur d’études à l’EHESS, rappelle à la ministre sa promesse de supprimer l'Aeres. «L'enseignement supérieur et la recherche ont besoin d'évaluations élaborées de façon collective, contradictoire et publique, au sein d'instances mandatées pour cette tâche par la communauté au nom de laquelle elles portent des jugements, jugements dont elles ont à répondre», estime-t-il.
La sénatrice chargée du rapport sur le projet de loi sur l'enseignement supérieur et la recherche, Dominique Gillot, a annoncé récemment que la suppression de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (Aeres), prévue par le texte du gouvernement, devrait encore faire l'objet d'un « débat »: « Nous n'avons pas entendu, dit-elle, de demande de suppression de cette évaluation au sein de la communauté universitaire. » Etrange surdité: s’il est une institution née du dit « pacte pour la recherche » de 2005 qui suscite la protestation générale, c’est bien celle-là. Suite de l'article...

« L'efficacité en formation : mesures et impacts » - Journée professionnelle le 30 mai à Aquitaine Cap Métiers
L’efficacité en formation sera le thème de la Journée professionnelle organisée le jeudi 30 mai de 9h à 16h30 par Aquitaine Cap Métiers, 99 rue Judaïque - 33000 Bordeaux, en présence de Paul Santelmann, responsable de la prospective à l’AFPA.
Partenaires sociaux, représentants régionaux, commanditaires, professionnels de la formation viendront échanger sur les enjeux de l’évaluation de la formation (comment mesurer son efficacité en termes d’emploi, d’insertion, son efficacité sociale auprès des bénéficiaires…). De nombreux interlocuteurs vous attendent tout au long de cette rencontre autour de table ronde et de différents ateliers: COPIRE, CESER Commission Formation et Emploi, représentants régionaux, commanditaires et sans soublier les professionnels de la formation.
Cette journée, soutenue par le Conseil régional, est ouverte gratuitement à l’ensemble des professionnels de la formation, de l’orientation et de l’emploi d’Aquitaine.
Voir le programme et s’inscrire.
Ouverture
• Jérôme Burguière, Directeur général Aquitaine Cap Métiers
• Catherine Veyssy, Vice-Présidente en charge de la Formation Professionnelle Conseil régional d’Aquitaine,
• Thierry Alvès, Directeur de la formation professionnelle continue, Pôle formation professionnelle et apprentissage Conseil régional d’Aquitaine.
L’efficacité en formation continue: Paul Santelmann, Responsable de la Prospective - AFPA
Enjeux de l’évaluation, « l’efficacité, une question de postures », les évaluations et les fonctions de la formation continue (professionnalisation, régulation socioprofessionnelle, adaptation professionnelle, engagement professionnel).
Table ronde: Région Aquitaine, COPIRE, CESER Commission emploi/formation, UROFA, FFP, DR Pôle emploi
• Les enjeux de l’efficacité en formation,
• Les moyens de sa mise en oeuvre: démarches qualités, enquêtes de devenir des stagiaires, contrôles du service fait.
Organisation de 3 ateliers en simultané:
• L’efficacité pédagogique: quels indicateurs pour mesurer la pertinence des programmes pédagogiques par rapport aux besoins du public accueilli, des objectifs visés par la formation?
• L’efficacité en termes d’emploi, d’insertion: les mesures de l’accès à l’emploi, la durée de maintien en emploi, l’acquisition de compétences sociales dans la construction des parcours
• L’efficacité sociale: comment en mesurer les effets et impacts?
Pour chaque atelier, des professionnels Aquitains viendront témoigner de leurs pratiques.
Conclusion par Paul Santelmann.

Le projet de Loi sur l'enseignement supérieur et la recherche envisage des modifications du dispositif de reconnaissance des formations par l'Etat, qui impliquent la mise en œuvre d'un processus d'accréditation par le ministère de l'enseignement supérieur et de la recherche.
Dans ce contexte, pour être en phase avec le processus annoncé, l'AERES a souhaité accompagner les établissements de la vague E (campagne d'évaluation 2013-2014) en vue de la constitution et du dépôt des dossiers d'évaluation des formations.
Dans un courrier du 29 avril 2013, le président Didier Houssin, a appelé l'attention des présidents et directeurs des établissements concernés sur différents points:
- les attendus du dossier d'évaluation;
- un rappel du calendrier de dépôt des documents.
Consulter le courrier du 29 avril 2013 adressé par Didier Houssin aux présidents/directeurs des établissements de la vague E: http://www.aeres-evaluation.fr/.
Retrouvez les modalités de la campagne d'évaluation 2013-2014 (vague E 2015-2019): http://www.aeres-evaluation.fr/. Retrouvez dans cet espace dédié, les modalités d’évaluation des établissements, des entités de recherche, des formations et diplômes, dans le cadre de la campagne d'évaluation 2013-2014 (vague E 2015-2019). Tenant compte des retours des campagnes d'évaluation précédentes, les dossiers d'évaluation ont été simplifiés.

Évaluer et démontrer la valeur de la formation - Enjeux, pratiques et tendances à l’heure des nouvelles technologies
Par Jérôme Wargnier et CrossKnowledge
Ce nouvel ouvrage n’a pas la prétention d’apporter des réponses définitives à toutes les questions que soulève l’évaluation. Son ambition est de clarifier les enjeux de l’évaluation pour chacune des parties prenantes et de faire le point sur les modèles à notre disposition à la lumière des évolutions qui se sont opérées dans le monde de la formation. Il a surtout pour objectif de partager des bonnes pratiques d’entreprises et de proposer des pistes très concrètes pour démontrer la valeur de la formation.
Le consensus veut que "suivre une formation ne fait jamais de mal". Mais peu savent mesurer ce que la formation a apporté, que ce soit en termes de gains de compétences des collaborateurs ou d'impact sur les opérations de l'entreprise. Or ce sont des milliards d'euros qui sont investis chaque année dans le secteur de la formation – 7 milliards d'euros en France en 2009 (chiffres DARES). Pourtant, on imagine mal les commanditaires investir de tels montants sans engagement à mesurer le retour sur investissement.
CrossKnowledge s'est emparé du sujet et publie un nouvel livre blanc dans lequel il revient sur les enjeux, pratiques et tendances de l'évaluation à l'heure des nouvelles technologies.
Au terme de ce riche état des lieux, CrossKnowledge recommande une démarche en trois temps:
    * cerner les objectifs métier et opérationnels de la formation en impliquant le commanditaire et en précisant les rôles de chacun.
    * organiser l'évaluation en la considérant comme un processus et non un événement.
    * communiquer afin de donner du sens à l'évaluation. Préciser ce qui sera diffusé et à qui, présenter les bénéfices pour chaque partie prenante, etc.

Sur le blog Educpros de Christine Vaufrey. Comment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois? Voilà la question qui se pose quotidiennement aux instigateurs de MOOCs (voir le billet de Matthieu, doctorant à l’ENS, si vous ne savez toujours pas ce que signifie cet acronyme). Mais pas à eux seulement: en première année de fac de médecine par exemple, on est habitué à des cohortes de plusieurs milliers d’étudiants; par exemple, plus de 5 000 étudiants de première année à la fac de médecine de Lyon 1. La masse n’est donc pas exclusivement réservée aux cours tout en ligne; certains cours en présence doivent hélas composer avec cette donnée cruciale, et il y a bien longtemps que les enseignants de Médecine ont mis au point des outils leur permettant d’évaluer rapidement les travaux de leurs étudiants.
La réponse la plus courante à ce problème s’appelle le Quiz. Et même, le quiz à correction automatique. Les LMS (Learning Management Systems) disposent tous d’une application intégrée permettant de confectionner des exercices, et notamment les fameux questionnaires à choix multiples. Sur la plateforme Spiral, conçue et utilisée à Lyon 1 et qui va bientôt fusionner avec Claroline, près de la moitié des objets (plus d’un million, quand même) déposés par les enseignants toutes disciplines confondues sont des QCM! Ils sont utiles aux enseignants bien sûr, mais ils permettent surtout aux étudiants de première année d’auto-évaluer régulièrement leurs connaissances, sachant que ces QCM reprennent la forme exacte des épreuves de sélection imposées en fin de première année. Dans ce cas précis, il y a donc coïncidence de forme (et de nature de questions) entre les épreuves intermédiaires et les épreuves finales d’évaluation. Suite de l'article...

Ce rapport est de mars 2013. Dans la partie Stratégie en matière de formation, il y a une partie VI – Un service de formation continue assez performant, trop isolé au sein de l’établissement.
VI – Un service de formation continue assez performant, trop isolé au sein de l’établissement
Mis en place à la création de l’université, le service de formation continue (SERFA) d’une part, assure la gestion administrative et financière de l’ensemble des actions de formation continue et d’autre part, propose des formations spécifiques: DAEU, capacité en droit ainsi que trois licences professionnelles et un master.
Le service dispose de 17 ETP et le chiffre d’affaires de la formation continue, stable en 2009 et en 2010 (1,662 M€), connait une hausse de 10% en 2011. Le calcul du coût complet des formations du service est effectué, communiqué à la composante responsable du diplôme mais n’est pas diffusé au niveau central de l’établissement.
Les formations diplômantes représentent 80% du chiffre d’affaires. Le nombre d’étudiants en formation continue est de 549 en 2011-2012, en légère baisse par rapport à l’année 2010. Afin de corriger la baisse du chiffre d’affaires, le responsable du service souhaite ouvrir quatre nouveaux diplômes en FC et développer les cours à distance à hauteur de 30% du temps de formation.
Le service de formation continue s’occupe également de la validation des acquis de l’expérience. 137 diplômes ont été délivrés en VAE par l’UHA depuis sa mise en place il y a dix ans, ce qui est un résultat honorable comparé à la moyenne des universités mais qui pourrait être encore amélioré, compte tenu des relations fortes avec le monde économique.
Malgré son dynamisme, le service est isolé au sein de l’UHA: il ne semble pas communiquer comme il serait souhaitable avec le reste de l’établissement. La question se pose d’en faire un véritable outil pour l’établissement. pp.16-17
Autres passages mentionnant la Formation Continue
I – De nettes avancées appuyées sur un contexte local demandeur, à conforter
Les liens étroits, très positifs, de l’UHA avec les chambres consulaires, à travers ses écoles, ses IUT, ses licences professionnelles et ses politiques d’apprentissage et de formation continue, diffusent également dans le domaine de la recherche appliquée (cf. infra projet Lamie). p.13
II – Une initiative prometteuse: La maison de l’innovation et de l’entreprise
Le projet occupera des locaux rendus vacants par la CCI, organisant une cohabitation qui commence à dépasser des coopérations déjà anciennes en matière de formation initiale et continue et d’apprentissage pour s’étendre à la recherche, et aider à familiariser les PME à un potentiel de recherche plus accessible, car plus visible. p.14
III – Une spécificité de l’UHA: le poids de la professionnalisation dans les formations
Les LP de l’UHA entretiennent une relation étroite avec le monde de l’entreprise, notamment à travers la formation continue. Toutefois, on peut s’interroger sur la rareté des conventionnements, problème déjà signalé dans le rapport précédent de l’Aeres. p.15