L’évaluation des contrats de plan régionaux de développement de la formation professionnelle

Parmi les dernières publications du CNFPTLV - JALONS de la formation professionnelle:
o L’agrément des OPCA Intentions et résultats d’une réforme,
o L’évaluation des contrats de plan régionaux de développement de la formation professionnelle.
Jalons: Les intentions de la réforme du réseau des OPCA - Des pistes pour les débats en région
Les points clés qui se sont dégagés de l’Atelier de l’évaluation du 8 décembre 2011 à Châlons-en-Champagne enrichissent le cadre méthodologique commun pour l’évaluation des contrats de plan et fournissent autant de pistes pour nourrir les débats en région. Ils sont présentés ici de manière synthétique pour faciliter leur appropriation. Ils ne visent pas à standardiser les évaluations régionales qui conservent toutes leurs spécificités, ni à définir ou arrêter la ou les priorités sur lesquelles doit porter l’évaluation des contrats de plan régionaux de développement des formations professionnelles.
L’Atelier de l’évaluation du CNFPTLV
Le Conseil national de la formation professionnelle tout au long de la vie, à travers sa commission de l’évaluation présidée par Philippe Méhaut, est chargé d’une mission d’évaluation des politiques de formation professionnelle initiale et continue au niveau régional et national, dans le champ sectoriel et interprofessionnel. Il est chargé par ailleurs de défi nir les modalités générales du suivi et de l’évaluation des contrats de plan régionaux de développement de la formation professionnelle (CPRDFP) par les comités de coordination régionaux de l’emploi et de la formation professionnelle (document disponible sur www.cnfptlv.gouv.fr) et d’établir un rapport de synthèse des travaux d’évaluation réalisés dans ce domaine par les comités régionaux. Le Conseil national a organisé le 8 décembre 2011 à Châlons-en-Champagne un Atelier sur le thème de l’évaluation des CPRDFP. L’Atelier avait pour objectif d’encourager et d’accompagner le démarrage effectif dans chaque région du processus d’évaluation du contrat dès le début de sa mise en oeuvre.
Près de 100 participants, venus de 17 régions de métropole et de La Réunion et désignés par les présidents des comités de coordination régionaux de l’emploi et de la formation professionnelle ont pu échanger sur les conditions de mise en oeuvre d’une évaluation pertinente pour les contrats de plan nouvellement signés ou en passe de l’être. Cinq régions (Centre, Champagne-Ardenne, Limousin, Poitou-Charentes, Provence Alpes Côte d’Azur) ont présenté la démarche engagée dans ce domaine et ont nourri les échanges de leurs témoignages et de leurs expériences. Un grand témoin, Jacques Freyssinet, a dégagé les éléments de conclusion.
Stratégie et plan d’action - Finalités et gouvernance
Les contrats de plan régionaux de développement des formations professionnelles, signés ou en voie de signature, manifestent le souci des partenaires régionaux de traduire les principes généraux en actions concrètes et en dispositifs opérationnels. Ce souci résulte notamment du bilan de la génération précédente des documents de programmation, jugés trop déclaratifs. Cette volonté d’opérationnalité se matérialise souvent par la présence dans le document de fiches action qui identifi ent, autour d’un objectif, les partenaires, les moyens et les résultats attendus de l’action.
Il apparaît dès lors primordial aux participants de l’Atelier de distinguer ce qui relève de la stratégie et ce qui relève du plan d’action. La stratégie met en oeuvre la politique sur laquelle porte la contractualisation et qui se traduit par l’énoncé d’orientations, d’enjeux, de priorités. L’objet à évaluer est constitué par cette stratégie politique qui donne lieu à un système d’évaluation comportant une commande, un cadre formalisé, un référentiel et des matériaux collectés. Le plan d’action, constitué souvent sous forme de fiches actions, donne lieu, quant à lui, à un système de suivi matérialisé par un tableau de bord, des indicateurs, des baromètres… Les débats ont permis de mettre en avant deux niveaux dans l’évaluation de la stratégie (ou de la politique) énoncée dans le contrat de plan. Le premier niveau porte sur les finalités de l’action en terme de service collectif rendu aux personnes. Il s’attache aux résultats attendus et à l’impact mesurable ou ressenti de l’action sur les trajectoires des individus, la compétitivité des entreprises ou le dynamisme des territoires. Le deuxième niveau concerne les mécanismes d’action, en particulier la gouvernance, la dynamique des partenariats et la coordination des acteurs, en d’autres termes, l’évaluation du « C » dans le sigle CPRDFP.
Du point de vue des participants, chacun de ces deux niveaux est susceptible de faire l’objet d’un processus d’évaluation. Pour beaucoup, la demande première porte sur le niveau des mécanismes d’action (contractualisation, gouvernance) qui constitue, de leur point de vue, la plus value par rapport au PRDF. Mais beaucoup soulignent également que le système d’évaluation mis en place dans le cadre des contrats de plan ne peut pas faire l’impasse sur l’approche des résultats, malgré les difficultés méthodologiques d’évaluation à ce niveau. L’évaluation ne devrait donc pas se centrer exclusivement sur les dimensions de gouvernance et les jeux d’acteurs en faisant l’hypothèse que des progrès dans ce domaine se traduisent nécessairement par des progrès parallèles dans la satisfaction des attentes des bénéficiaires.
Commande et légitimité
La plupart des intervenants ont confi rmé que l’évaluation concernait au premier chef les signataires du contrat de plan, alors que celle-ci devait être conduite dans le cadre du CCREFP puisque le contrat engage l’ensemble des acteurs membres de cette instance. Les témoignages des régions montrent que, partout, les signataires cherchent à associer à la mise en oeuvre du contrat de plan régional d’autres partenaires, et notamment les partenaires sociaux. Le plus souvent, cet élargissement concerne également l’évaluation et une question évaluative pourrait porter sur les progrès que permet l’exercice du contrat de plan dans le croisement des logiques sectorielles et des logiques territoriales. Cette ouverture à un cercle plus large que les signataires, favorise l’acquisition d’une culture commune sur l’évaluation.
Cette volonté d’élargissement trouve un écho dans la mobilisation autour de l’évaluation par le comité de coordination régional de l’emploi et de la formation professionnelle. Les participants à l’Atelier soulignent que la multiplication des acteurs renforcent la nécessité de formaliser le partage des responsabilités des uns et des autres dans le processus d’évaluation. Qui commande (cahier des charges)? Qui porte les travaux (pilotage et financement des travaux)? Qui réalise l’évaluation? Qui valide les résultats (communication des rapports)?
Signataires et partenaires
L’évaluation, parce qu’elle comporte un jugement nécessitant donc la référence à un point de vue et à un cadre de valeurs, doit obligatoirement faire l’objet d’une commande. Les débats ont souligné que, l’évaluation étant souvent impulsée au démarrage par des services techniques, cette démarche rencontrait vite ses limites et que, pour aller au delà d’un processus de suivi permanent de l’action, la démarche des techniciens devait être légitimée par une commande d’évaluation, commande politique et explicite.
L’objet de cette évaluation étant une politique contractuelle, la commande de l’évaluation devrait par conséquent émaner des signataires. Pour les participants, une évaluation conduite de manière unilatérale par l’un des signataires ne saurait rendre compte de la dimension contractuelle et, a contrario, permettrait de s’interroger sur l’engagement réel de l’ensemble des signataires dans la mise en oeuvre de la politique contractualisée.
La formalisation, partagée par l’ensemble des signataires, du projet d’évaluation entraine plusieurs conséquences. Les débats ont souligné l’importance de revenir collectivement sur les orientations et les objectifs fi gurant dans le contrat pour les reformuler de manière plurielle, à l’occasion par exemple de la définition d’indicateurs pertinents au regard des résultats réellement attendus de l’action. L’évaluation oblige ainsi chaque acteur à révéler ses préférences. Il convient également que le projet d’évaluation soit porté collectivement sur le plan des moyens et les participants de l’Atelier insistent sur le fait que les signataires du contrat déterminent ensemble le budget des moyens humains et fi nanciers à mettre en oeuvre.
Produit et processus
De l’avis général des participants, l’évaluation ne se résume pas au rapport final: elle constitue aussi un processus qui doit être construit dans la durée afin de permettre la maturation par étapes. La démarche doit en particulier prévoir les nécessaires et inévitables tensions qui ne manquent pas de surgir dans une opération partenariale où les différents intervenants n’ont pas nécessairement les mêmes points de vue. Elle suppose de disposer de l’outillage qui permettra d’accompagner les conflits qui surviennent dans la durée. Il importe donc de prévoir les temps et les lieux de l’expression de ce dialogue critique au risque sinon de ne produire que la juxtaposition des positions.
Le processus doit aussi être construit de manière à permettre le flexibilité pour prendre en compte les évolutions du contexte en lien avec la situation socioéconomique ou avec les décisions de l’un ou l’autre des partenaires dans le pilotage de ses politiques propres et de leurs dispositifs.
La plupart des contrats de plan prévoit des indicateurs pour le suivi de l’action. Pour plusieurs participants, « un agglomérat d’indicateurs ne fait pas une évaluation ». Il convient de mener la réfl exion permettant de positionner de manière collective ces indicateurs par rapport aux thématiques prioritaires et leur valeur réelle au regard des ambitions des signataires. Comme le dit un autre participant, « ce qui est difficile, ce n’est pas la collecte, c’est de savoir ce qu’il faut chercher ».
Au delà de la pertinence de l’indicateur, il convient néanmoins de s’interroger également sur sa faisabilité (peut-on disposer de l’information de manière simple et actualisée?) et sur son coût (peut-on utiliser des données existantes?). Cette réflexion sur le coût doit d’ailleurs traverser de manière transversale toute la réflexion sur le projet d’évaluation afin de conserver une adéquation convenable entre l’effort consacré à la démarche d’évaluation et celui consacré à l’action à évaluer.
Externalité et indépendance
La responsabilisation dans le pilotage de l’évaluation du comité de coordination régional de l’emploi et de la formation professionnelle pose, aux yeux de nombreux participants, la question de l’indépendance du regard évaluatif, les membres du comité régional étant également les responsables des politiques de formation faisant l’objet de l’évaluation. Un regard présentant des garanties d’indépendance paraît ainsi nécessaire, l’indépendance ne signifiant pas nécessairement l’extériorité par rapport aux différentes institutions présentes. Chaque région dispose d’un savoir faire variable en fonction de son histoire et de ses expériences antérieures qui la conduit à arbitrer entre l’internalisation des travaux et le recours à un appui extérieur pour construire les matériaux de l’évaluation. Ce dernier incite à s’interroger sur le positionnement de cet opérateur sur le marché (organismes publics, organisme de recherche, opérateur privé) au regard de sa compétence et de sa capacité à mettre en oeuvre des techniques et des méthodes facilement appropriables par les acteurs.
Pour prolonger
Dans la perspective du rapport de synthèse des évaluations que le Conseil national doit produire au terme des contrats de plan régionaux de développement des formations professionnelles, il est envisagé que l’une des deux réunions annuelles des secrétariats permanents des comités de coordination régionaux de l’emploi et de la formation professionnelle soit dédiée au suivi et à l’évaluation des contrats de plan. Les secrétaires permanents des comités régionaux pourraient y venir accompagnés des personnes ad hoc, mobilisées dans l’évaluation du contrat, pour permettre une capitalisation des travaux engagés en matière d’évaluation dans leur région. Une évaluation coordonnée dans un ensemble de régions volontaires pourrait être engagée avec le Conseil national sur un thème commun. La mise en place de cette évaluation coordonnée supposerait l’engagement dans chaque région d’une évaluation thématique sur le thème considéré. La coordination porterait à la fois sur les éléments méthodologiques et sur la consolidation des résultats obtenus.
Rappels juridiques sur le CPRDFP
Aux termes de l’article L214-3 du code de l’éducation, le contrat de plan régional de développement des formations professionnelles a pour objet de défi nir une programmation à moyen terme des actions de formation professionnelle des jeunes et des adultes et d’assurer un développement cohérent de l’ensemble des fi lières de formation. Il défi nit également les priorités relatives à l’information, à l’orientation et à la validation des acquis de l’expérience. Ce contrat de plan détermine les objectifs communs aux différents acteurs sur le territoire régional, notamment en termes de fi lières de formation professionnelle initiale et continue, sur la base d’une analyse des besoins en termes d’emplois et de compétences par bassin d’emploi.
Le contrat de plan régional est élaboré par la Région au sein du comité de coordination régional de l’emploi et de la formation professionnelle et signé par le président du conseil régional, par le représentant de l’Etat dans la région et par l’autorité académique. Il engage les parties représentées au sein du comité de coordination régional. Le contrat de plan régional est établi après chaque renouvellement du conseil régional et prend effet le 1er juin de la première année civile suivant le début de la mandature. Le suivi et l’évaluation de ce contrat de plan sont assurés par le comité de coordination régional de l’emploi et de la formation professionnelle selon des modalités générales défi nies par le Conseil national de la formation professionnelle tout au long de la vie, qui est chargé par ailleurs d’établir un rapport de synthèse des travaux d’évaluation réalisés par les comités régionaux.
L’évaluation du CPRDFP en Provence Alpes Côte d’Azur
Pour l’élaboration du contrat de plan régional de développement de la formation professionnelle (CPRDFP), la Région Provence-Alpes-Côte d'Azur a fait le choix d’une démarche de concertation élargie basée sur les travaux d’un groupe composé de représentants de la Région, des services de l’Etat, des partenaires sociaux (collèges employeurs et salariés), des acteurs de la formation, associant Pôle Emploi et les missions locales et animé par un consultant. Un bilan, principalement physico-fi nancier, du PRDF 2002-2010 avait été réalisé par la Région. Il exposait les actions réalisées par la Région Provence-Alpes-Côte d’Azur mais ne constituait pas une évaluation. Ce manque a été souligné par tous les acteurs. Le groupe de travail multipartite a cherché à construire entre les acteurs des convergences vers des orientations stratégiques à partir d’un diagnostic partagé. Il s’agissait à la fois d’assurer la cohérence des politiques de formation défi nies par chacun des acteurs dans le cadre de sa compétence et de favoriser la défi nition de politiques partagées.
Le CPRDFP comporte 6 chapitres complétés par une partie opérationnelle de fiches chantier sur les actions à mener: la qualification professionnelle pour tous; les parcours et la continuité professionnels; l’accueil, l’information, l’orientation, l’accompagnement et la prescription; les conditions de vie des usagers de la formation; les enjeux des commandes de formation; la gouvernance et le pilotage. Le groupe a construit également les modalités d’évaluation de ces orientations autour de grands principes. L’évaluation est un outil de la gouvernance du CPRDFP et ne se limite pas à la formalisation et aux renseignements de critères et d’indicateurs. En temps que démarche collective, elle permet d’expliciter les motivations, les attendus en élaborant le référentiel et en partageant les résultats. Le CCREFP, et les commissions en cours d’installation, seront en charge de la conduite des évaluations et devront s’approprier le référentiel théorique initial, inclus dans le CPRDFP lui-même. Ces évaluations porteront sur les objectifs stratégiques défi nis dans le cadre du CPRDFP et pourront également, en tant que de besoin, cibler certains objectifs opérationnels. Ce travail d’évaluation sera alimenté par la remontée de données issues des différents acteurs/financeurs.

The latest publications of CNFPTLV - MILESTONES vocational training:
o Approval of OPCA Intentions and outcomes of reform,
o The assessment of regional planning contracts development of vocational training.
Milestones: The intentions of the reform of the network of OPCA - Paths to the debates in region
The key points that emerged from the workshop assessment of 8 December 2011 in Chalons-en-Champagne enrich the common methodological framework for evaluating and planning contracts provide both of slopes for the debates in the region. They are presented here in summary form to facilitate their appropriation. They are not intended to standardize regional assessments which retain their specific cities or to defi ne or stop or priorities to be treated in the evaluation of regional planning contracts for development of vocational training. More...