17 mai 2014

How to Evaluate Academic Research

HomeBy Johann Neem. Recently, the value of academic research, especially in the humanities and social sciences, has been questioned. The current majority party in the House of Representatives has proposed cutting science funding for social science research and eliminating all funding for the National Endowment for the Humanities and the National Endowment for the Arts. New York Times columnist Nicholas Kristof accused faculty of engaging in specialized research disconnected from the interests of the reading public and policymakers, resulting in a broad conversation about whether or not faculty engage in the public sphere. Read more...

Posté par pcassuto à 22:48 - - Permalien [#]


PISA « bon à mettre au cabinet »(1) ? Pas sûr…(Première partie)

Blog Educpros de Jean-Michel Zakhartchouk. Dans son excellent blog, Luc Cédelle fait part des « doutes sur PISA » qui se font jour dans la communauté de spécialistes de l’éducation (chercheurs, journalistes) , en dehors de la France cependant. Un appel a même été lancé pour un moratoire de ce programme d’évaluation des systèmes éducatifs lancé il y a quelques années par l’OCDE. (voir aussi l’article de l’Express) Les critiques portent sur plusieurs points : une contestation de la méthodologie qui tiendrait trop du bricolage statistique et aboutirait à des classements basés sur des écarts minimes et surtout très contestables, et une utilisation abusive faite par les gouvernements à partir de ces données peu fiables, ainsi qu’une standardisation des évaluations, fondée sur les QCM et un développement d’une politique de la performance qui met de côté d’autres aspects que la réussite purement scolaire dans des matières dites fondamentales. Suite...

Posté par pcassuto à 17:25 - - Permalien [#]

PISA, suite : qu’est-ce qui est évalué ?

Blog Educpros de Jean-Michel Zakhartchouk. Je poursuis mon analyse des critiques qui sont faites à PISA par certains chercheurs et journalistes éducation et j’en viens au contenu des épreuves elles-mêmes, sans oublier pour autant que celles-ci s’accompagnent aussi de questionnaires (nous y reviendrons).
On connait certaines épreuves, et celles-ci sont très loin de n’évaluer que des connaissances basiques à l’aide d’un QCM.  Je prendrai quelques exemples. Dans l’une d’elles, sur laquelle butent beaucoup de jeunes, on demande de classer le degré de fiabilité de sondages électoraux selon qu’ils partent d’échantillons purement aléatoires ou plus représentatifs, suivant la taille du groupe des sondés, etc. C’est une fausse épreuve mathématique, car il s’agit davantage de raisonner et de savoir mobiliser quelques connaissances ici assez élémentaires pour bien répondre. Suite...

Posté par pcassuto à 17:22 - - Permalien [#]

16 mai 2014

Hommage à Donald Kirkpatrick

Don 2014Par . C'est avec une bien triste nouvelle que nous commençons notre semaine de travail chez Formaeva. Nous avons en effet appris ce week-end le décès de Donald Kirkpatrick, père du célèbre modèle d'évaluation des formations éponyme, le vendredi 9 mai 2014 à l'âge de 90 ans.
Les quatre niveaux d'évaluation de la formation qu'il a proposés dès les années 1950 ont très largement influencé les pratiques d'évaluation des formations et continuent à être des références mondiales 60 ans après.
James et Wendy Kirkpatrick, son fils et sa belle-fille, poursuivront encore brillamment son héritage par l'intermédiaire de la société Kirkpatrick Partners.
Il aura montré la voie à tous les professionnels de la formation soucieux de maximiser et de valoriser l'efficacité de leurs formations et, plus largement, de leur fonction.
Ce grand Monsieur de la formation restera à jamais au "niveau 4" pour l'impact qu'il a eu et qu'il aura encore sur la profession. Voir l'article...

Posté par pcassuto à 01:21 - - Permalien [#]

11 mai 2014

1998, évaluation, autoévaluation

Sur le blog "Histoires d'universités" de Pierre Dubois. Évaluation et Autoévaluation des universités en Europe, rapport de recherche pour la Commission Européenne, 31 juillet 1998, 241 pages.
Du 1er février 1996 au 31 juillet 1998, j’ai été coordinateur de cette recherche menée dans 8 pays de l’Europe (11 équipes de recherche en sciences humaines et sociales, environ 50 chercheurs ; un budget d’un million d’Écus). Ci-dessous : le résumé de la recherche. Les recommandations (en conclusion du rapport) demeurent d’actualité. Elles n’ont cependant pas anticipé les dérives de l’évaluation : l’évaluationnite, la priorité donnée aux indicateurs de performance quantitatifs et le pilotage des universités par ces indicateurs, la pression à publier, mise sur les enseignants-chercheurs (H Index), l’accentuation de la crise financière… Pour aller plus loin : 125 chroniques du blog sur l’évaluation. Voir l'article complet...

Posté par pcassuto à 17:00 - - Permalien [#]


Rating System Critique Continues

The EvoLLLutionBy . On Tuesday, leaders from community colleges across the United States gathered at the Community College National Legislative Summit and roundly critiqued the proposed federal college rating system. Jeff Appel, deputy undersecretary of education, admitted that there are many shortcomings and obstacles to implementing President Barrack Obama’s rating system, which proposes tying federal funding to performance measured by specific metrics that are yet to be defined; rewarding high-performing institutions with more funding while reducing funding to institutions performing poorly. More...

Posté par pcassuto à 02:11 - - Permalien [#]

Student Evaluations Aren’t Useless. They’re Just Poorly Used.

By . If it’s early May, then it must be time to talk about what student evaluations of teaching are worth. In a recent essay in Slate, Rebecca Schuman claims that student evaluations are “useless” in their current form, because they encourage students to punish rigorous teachers with low scores and mean comments (and, all too often, sexist or racist ones). The article has gotten a lot of attention from academics I know, who have shared their own stories of uninformed and upsetting comments. More...

Posté par pcassuto à 01:04 - - Permalien [#]

Obama’s Rating System: an International Perspective

By . As an observer of global university rankings, I’ve followed the debate about President Obama’s proposed college-ratings system with great interest—and growing incredulity. From a distance, the concerns about the plan are curious. While some are certainly valid, I wonder how American colleges did not try to create a system of their own, or at least to work with the government to establish one. More...

Posté par pcassuto à 00:47 - - Permalien [#]
Tags :

06 mai 2014

Contribution à l'évaluation du 2ème Plan national santé environnement 2009-2013

L’évaluation du deuxième plan national santé-environnement (P.N.S.E. 2), menée avec l’IGAS et le C.G.E.D.D., a porté sur le degré de réalisation des actions du plan, sa gouvernance et son organisation notamment au regard des autres politiques publiques, sa déclinaison au niveau territorial, les moyens financiers et humains qui lui sont consacrés avec un volet "recherche" traité spécifiquement. Enfin, le traitement des problématiques de santé-environnement (S.E.) dans quelques autres pays a été abordé. Voir le rapport : Evaluation du 2ème plan national santé environnement et les Annexes du rapport Evaluation du 2ème plan national santé environnement. Voir l'article...

Posté par pcassuto à 22:40 - - Permalien [#]

Evaluation de la réingénierie de 10 diplômes d’état de travail social

Carif Oref Midi-PyrénéesLes consultants Louis Dubouchet et le cabinet Geste ont réalisé une évaluation des effets de la réingénierie de dix diplômes de travail social (Deass, Decesf, Deeje, Dees, Deets, Deme, Demf, Deis, Caféruis, Cafdes). Plusieurs centaines d’acteurs du champ ont été sollicités pour contribuer à documenter les effets de la réingénierie sur l’évolution des compétences des diplômés, sur les modalités de la certification et sur l’organisation des formations. Les analyses développées dans chacun des rapports d’évaluation (1 rapport par diplôme et un rapport de synthèse) ainsi que les préconisations d’évolution qui y sont formulées contribueront à étayer les réflexions sur une nouvelle architecture des formations et des diplômes de travail social qui se dérouleront dans le cadre de la CPC au cours de l’année 2014 et en lien avec la préparation des Etats Généraux du Travail Social.
Ministère des Affaires Sociales et de la Santé, cabinet Geste et Louis Dubouchet consultant, décembre 2013. Télécharger la synthèse et les rapports d’évaluation des diplômes

Posté par pcassuto à 12:46 - - Permalien [#]