Policy making in French VET systems: trends, performance management, challenges

Governance and Effective Vocational Education and Training policies: the role of evidence, Torino, 23-24 Nov 2011

Robert FOUCHET, Dean, Institut de Management Public d’Aix-en-Provence, Université Paul CézanneAix-Marseille III

La LOLF et ses applications locales

• Les origines de la LOLF• La nouvelle architecture budgétaire• Outils de la gestion par les résultats• Le renforcement de la transparence

Besoins

ProduitsObjectifs Moyens Activités

Effets intermédiai

res (Résultats)

Effets lointains(Impacts

ProblèmesSocio-économiques

Efficience

Efficacité

Utilité et durabilitéAdapté de Pollitt & Bouckaert, 2004

Pertinence

3

Environnement: Usagers et contexte

Organisation: Mission, Programme, Action

Le cadre analytique de Bouckaert & Halligan

4

Deux axes

Intrants Processus Livrables Impacts

Macro

Méso

Micro

Périmètre

Prof

onde

ur

Les enjeux de l’analyse de périmètre:

Quels éléments sont mesurés? Quelles dimensions sont mises sous contrôle? Quel est l’horizon temprorel de l’analyse?Quelles sont les bénéficiaires pris en compte?Quel est le moment du contrôle?

Les enjeux de l’analyse de la profondeur :

La démarche de pilotage est-elle globale? Comment sont pris en compte les aspects hiérarchiques? Quelle est la stratégie de dialogue de gestion?

Mesure

Incorporation

Utilisation

Recherche d’une plus grande efficacité de la dépense:

Meilleure connaissance du contenu de la dépense Identification de marges de manoeuvres Passage à une logique de gestion par les résultats

Ordonnance de 1959 => nouvelle constitution budgétaire

Aux origines de la LOLF

• Services votés• Débat centré sur les moyens• Priorité à la consommatio• Cloisonnement et parcellisation

du budget par nature de charges…

• Justification au 1er E• Nomenclature matricielle• Indicateurs et

responsabilisation• Transparence et contrôle

parlementaire• Renforcer la réflexion

stratégique en matière de finances publiques

5

Les principes de la LOLF

La performance (recherche d’une plus grande efficacité de la dépense publique) est au cœur de la LOLF

Art. 1

Les lois de finances tiennent compte d’un équilibre économique défini ainsi que des objectifs et des résultats des programmes qu’elles déterminent

Art. 7

Un programme regroupe les crédits destinés à mettre en oeuvre une action ou un ensemble cohérent d'actions relevant d'un même ministère et auquel sont associés des objectifs précis, définis en fonction de finalités d'intérêt général, ainsi que des résultats attendus et faisant l'objet d'une évaluation

Art. 48 Débat d’orientation budgétaire de printemps : liste des objectifs et indicateurs envisagés pour le prochain PLF

Art. 51

Projets annuels de performances annexés au projet de loi de finances, pour chaque programme : présentation des actions, des coûts associés, des objectifs poursuivis, des

résultats obtenus et attendus pour les années à venir mesurés au moyen d'indicateurs précis dont le choix est justifié

Art. 54

Rapports annuels de performances annexés à la loi de règlement : explicitation des écarts entre prévisions et réalisations relatives aux

objectifs, résultats attendus et obtenus, indicateurs et coûts associés

6

Une nomenclature matricielle

Action n°1 Action n°2Action n°3

Programme X

Nomenclature par nature

Programme Y

Programme Z

Mission A

Le programme : Le programme : cadre de cadre de

spécialisation des spécialisation des créditscrédits

Action n°1 Action n°2Action n°3

Mission B

Dotations des pouvoirs publics

Dépenses de personnel

Dépenses de fonctionne-ment

Charges de la dette

Dépenses d’investis-sement

Dépenses d’interven-

tion

Dépenses d’opérations financières

7 titres et 18 7 titres et 18 catégories de catégories de dépenses fixés dépenses fixés par l’article 5par l’article 5

Action n°1 Action n°2

Un budget détaillé au Un budget détaillé au niveau des actions à niveau des actions à

présenter dans les annexes présenter dans les annexes au PLF (bleus ministériels)au PLF (bleus ministériels)

Action n°1 Action n°2Action n°3

Programme X

Nomenclature par nature

Programme Y

Programme Z

Mission A

Le programme : Le programme : cadre de cadre de

spécialisation des spécialisation des créditscrédits

Action n°1 Action n°2Action n°3

Mission B

Dotations des pouvoirs publics

Dépenses de personnel

Dépenses de fonctionne-ment

Charges de la dette

Dépenses d’investis-sement

Dépenses d’interven-

tion

Dépenses d’opérations financières

7 titres et 18 7 titres et 18 catégories de catégories de dépenses fixés dépenses fixés par l’article 5par l’article 5

Action n°1 Action n°2

Un budget détaillé au Un budget détaillé au niveau des actions à niveau des actions à

présenter dans les annexes présenter dans les annexes au PLF (bleus ministériels)au PLF (bleus ministériels)7

4Une présentation formelle devant le Parlement Des engagements pris : projets annuels de

performances (PAP), joints au PLF. Le PAP décrit l’action qui constitue le programme, mesure ses coûts, définit les objectifs recherchés et fournit les indicateurs de mesure des résultats

Des résultats atteints : rapports annuels de performances (RAP), joints au projet de loi de règlement

PAP et RAP ont la même présentation et la même structure pour comparer prévision/réalisation

Vote en première lecture sur la loi de règlement n-1 avant l’examen du PLF n+1

4Une déclinaison écrite des objectifs : - dans les budgets opérationnels de programme (BOP) et le cas échéant les unités opérationnelles (UO)- dans les documents liant les opérateurs aux ministères

Outils de gestion par les résultats: rendre des comptes

8

Des objectifs qui s’adressent au citoyen, à l’usager et au contribuable

Outils de gestion par les résultats: les objectifs et les indicateurs

Point de vue Objectif Exemple

Citoyen efficacité socio-économique

réduire la pratique du tabagisme

Usager qualité du service rendu

réduire le délai de réponse judiciaire

Contribuable efficacité de la gestion

réduire le coût de gestion de l’impôt

9

Exemples d’objectifs-indicateurs de qualité de service

Programme Objectifs Indicateurs

Justice judiciaire Rendre les décisions dans des délais raisonnables en matière civile

-Délai moyen de traitement des procédures par type de juridiction-Ancienneté moyenne du stock par type de juridiction

Aménagement, urbanisme et ingénierie publique

Assurer aux usagers et aux collectivités locales un service de qualité dans la délivrance des autorisations d’urbanisme

Taux de satisfaction des élus recueilli dans le cadre d’une grille d’appréciation identifiant des critères spécifiques à l’instruction des actes pour l’application du droit des sols.

Transports terrestres et maritimes

Améliorer l’entretien et la performance des infrastructures de transports

Taux de disponibilité du réseau ferroviaire (délai de remise en état après incident).

Accès et retour à l'emploi

Améliorer l’efficacité de la mise en relation entre offres et demandes d’emploi en tenant compte de la variété des besoins

Proportion des entreprises qui ont été globalement satisfaites des candidats qui leur ont été adressés par l’ANPE.

Objectifs énonçant la qualité attendue du service rendu à l’usager (au sens strict ou assujetti), c’est-à-dire l’aptitude du service à satisfaire son bénéficiaire.

11

Des objectifs de performance déclinés en objectifs opérationnels maîtrisables par les services

Objectifs de performance nationaux

Objectifs de performance circonscrits

Objectifs intermédiaires

à des territoires(ceux des BOP)

à des champs d’application particuliers :réseaux, dispositifs, etc.

objectifs d’activité ou de productionobjectifs de processus ou modalités d’action :mesures d’amélioration de l’organisation, de la gestion…

Les objectifs orientent le pilotage des services

12

Les différents types d’objectifs et d’indicateurs

Les objectifs de performance dans la chaîne de production

Bénéfice pourles CITOYENS :efficacité socio-économique

Bénéfice pourles USAGERS :qualité de service

Bénéfice pour lesCONTRIBUABLES :efficacité de lagestion des moyens

moyens activités produits résultats impacts lointains

13

Les autres objectifs (hors performance) dans la chaîne de production

Objectifs de volume, consommation, répartition des moyens

moyens activités produits résultats impacts lointains

Objectifs de volume ou répartition de l’activitéEx : nb d’heures

Objectifs de volume ou répartition de la productionEx : nb d’actes délivrés

Objectifs de mise en œuvre de processus ou de modalités d’action Ex : nb de plans d’action, d’amélioration de la gestion…

Objectifs généraux :impacts socio-économiques dépendants de nombreux facteurs : Ex : taux de chômage

Objectifs intermédiaires

14

Les objectifs et indicateurs dans les documents budgétaires

moyens activités produits résultats impacts lointains

Objectifs généraux

Objectifs intermédiaires Objectifs

de performance

BOP PAP

Pour justifier le choix des obj. de perf.

15

Les différents types d’objectifs et d’indicateurs

Performance, contrôle de gestion et évaluation

efficacité socio-économique

qualité de service

efficacité de gestion

moyens activités produits résultats impacts lointains

Évaluation des politiques publiques

Contrôle de gestion

Mesure de la performance

Définir/redéfinir objectifs,

indicateurs, cibles, leviers

d’action

Diagnostic initial Analyse des résultats

Mise en œuvre Résulats

Formalisation des objectifs dans le PAP au niveau national et dans les

BOP au niveau oéprationnel

Pilotage par la

performance

Passer d’une logique de moyens à une logique de résultats

- Infra-annuelle (contrôle de gestion ; dialogue de gestion)- Annuelle (RAP)- Audits CIAP, contrôles Cour des comptes, inspections, évaluation de politiques publiques

4Une démarche itérative

16

La mise en œuvre de la LOLF

1er point de passage :La construction du socle

2ème point de passage: La préfiguration

T3 T4 T1 T2 T3

2003 2004T4 T1 T2 T3 T4

2005T1

2006

3ème point de passage: La mise en œuvre

• Structuration des missions programmes actions

• Expérimentations 2004 identifiées

• Référentiel comptable• Structuration de la

nomenclature budgétaro-comptable

• Principes directeurs des nouveaux processus d'exécution

• Plans de communication

• Présentation des crédits au format LOLF

• Objectifs et indicateurs de performance

• Déclinaison ministérielle de la nomenclature budgétaro-comptable

• Bilan et développement des expérimentations

• Procédures comptables• Plans de formation

• Budget 2006 format LOLF• Décompte et modalités de

suivi des emplois• Nouveaux modes de

gestion et d'organisation• Bilan d'ouverture• Des acteurs formés pour

les nouveaux processus d'exécution budgétaire et la nouvelle comptabilité 17

La LOLF lève les obstaclesLimites de l’ordonnance de 59 Réponses apportées par la LOLF

Budgétisation par nature de dépense Pas de visibilité sur les moyens

affectés à une politique

Budgétisation par finalité de la dépense Missions, programmes, actions Analyse des coûts

Reconduction de l’existant (services votés) Absence de véritable réflexion sur

l’efficacité et la pertinence de la dépense

Peu de réflexion sur les finalités et la stratégie

Pas de retour d’expérience

Suppression des services votés Justification au 1er euro Instauration des PAP et des RAP Démarche stratégique à partir des

bénéficiaires Mesure et compte rendu des résultats obtenus Explicitation des écarts entre réalisations et

prévisions

Débat centré sur la variation des moyens (mesures nouvelles) Logique inflationniste du toujours

plus de moyens

Débat centré sur les objectifs et les résultats autant que sur les moyens Prise en compte de l’efficacité de la dépense

Parcellisation de l’autorisation budgétaire Faibles marges de manœuvres pour

le gestionnaire

Globalisation de l’autorisation budgétaire par politique (programmes) Fongibilité asymétrique L’axe nature de dépense devient indicatif

En résumé : ce qui change avec la LOLF

18

Les politiques d’orientation et de formation professionnelle tout au long de la vie

Une vision décentralisée

20

Stratégie de LisbonneProcessus de Bologne

L’Etat

Niveau régional

Citoyens, opérateurs, administrations, entreprises,

universités

Loi 29/11/11 relative à l’orientation et à la formation professionnelle tout au long de la vie

LOLF

Parlement Premier Ministre Délégué à

l’information et à l’orientation

Ministères Conseil National de la

Formation Professionnelle tout au long de la vie (CNFPTLV)

Fonds paritaire de sécurisation des parcours professionnels

Association nationale pour la formation professionnelle des adultes (AFPA)

Contrat de plan régional de développement des formations professionnelles (CPRDFP)

Conventions annuelles d’application du CPRDFP

Conseil Régional Préfet de Région Administrations Déconcentrées Rectorats Comité de Coordination

Régional de l’Emploi et de la Formation Professionnelle (CCREFP)

CESR Représentants des salariés et

des employeurs

Contexte et ambitions du nouveau dispositif d’orientation et de formation professionnelleContexte

Nouvelles ambitions des politiques nationales et locales

21

Elargissement progressif des publics concernés par les politiques de formation professionnelle

Jeunes de 16-25 ans (Loi du 20 Déc 1993)Toute personne souhaitant acquérir et actualiser des connaissances pour favoriser son évolution professionnelle

Reconnaissance en Droit d’un service public de l’orientation tout au long de la vie

Poursuite de la décentralisation des compétences au niveau des régions

2002: tous publics concernés, transmission à la région de problématiques liées à la Validation des Acquis de l’Expérience2004: transmission des formations sanitaires, sociales, formations professionnalisantes dans les domaines artistique et culturel

Signature des CPRDFP dans le cours de l’année 2011

Nouveaux modes d’intervention liés aux BTS, voies technologiques des lycées, formations professionnalisantes de l’ES

Loi du 29 Nov 2009 Un nouveau service public : « de l'orientation

tout au long de la vie est organisé pour garantir à toute personne l'accès à une information gratuite, complète et objective sur les métiers, les formations, les certifications, les débouchés et les niveaux de rémunération, ainsi que l'accès à des services de conseil et d'accompagnement en orientation de qualité et organisés en réseaux »

Création du Conseil National de la Formation professionnelle tout au long de la vie (CNFPTLV):

Mission: « favoriser, au plan national, la concertation entre l'Etat, les régions, les partenaires sociaux et les autres acteurs pour la définition des orientations pluriannuelles et des priorités annuelles des politiques de formation professionnelle initiale et continue, ainsi que pour la conception et le suivi de la mise en œuvre de ces politiques »

Contexte et ambitions du nouveau dispositif d’orientation et de formation professionnelle

22

Principales orientations du CNFPTLV 2011:

1. Prendre en compte les besoins des territoires, le contexte économique, le marché du travail, les mutations économiques et sociales, les évolutions des métiers et des qualifications

2. Proposer une offre de service d’accueil, information, orientation (AIO) cohérente et coordonnée tout au long de la vie

3. Donner à tous accès à un premier niveau de qualification

4. Développer l’alternance et l’apprentissage

5. Construire la sécurisation des parcours professionnels

6. Faire évoluer l’offre de formation vers plus de lisibilité et l'adapter aux besoins

7. Mieux coordonner les politiques de formation professionnelle

8. Développer l’expertise et les outils d’observation au service des décideurs

L’élaboration des CPRDFP en région: cas de la Région Provence-Alpes-Côte d’Azur

23

CCREFP

-Préfet, Recteurs d’Académie, Directeurs régionaux

-Président du Conseil Régional, Vice-Présidente en charge de la FP-Organisations

d’employeurs et chambres consulaires-Représentants

des organisations de salariés -Président du

CESRAnimation:Cabinet

Sémaphores

La possibilité d’innover: « « Nous considérons que les objectifs poursuivis par la loi relative à l’orientation et à la formation professionnelle tout au long de la vie du 24 novembre 2009, restent bien en deçà des attentes des acteurs de la formation professionnelle. C’est pourquoi, nous allons nous inscrire dans une démarche plus ambitieuse, qui associe étroitement les partenaires sociaux. »  (Président du CR)

Mandat

Fonctionnement- Réunions

trimestrielles- Débattre et acter

les propositions des comités

- Suivre la mise en œuvre du CPRDFP

- Assurer le lien avec le Pôle Emploi et l’AFPA

Mise en oeuvre:« Ce sera […] un CPRDFP à tiroirs, avec des contractualisations différentes selon les partenaires, [il] sera un document vivant, un véritable document de programmation, avec des engagements financiers précis de chaque signataire. Signeront ceux qui peuvent s'engager »

Opérateurs:-administrations, agences, universités, organismes de formation et d’accompagnement…

Thèmes abordésParcours et continuité

professionnels, emploi et développement

économique de territoire : la formation, investissement social et

économiqueAccueil, information, orientation, accompagnement et prescription : accompagner les personnes vers la

qualification professionnelle pour l’emploi durable… … …

- Experts -Autres

organismes invités

5 Commissions

Diagnostic- Des éléments souvent non-

chiffrées, facilement transposables à d’autres territoires français

- Données parfois anciennes (choisies en fonction de leur disponibilité), l’analyse approfondie pouvant être reléguée aux conventions d’objectifs, après signature du CPRDFP

- Des processus de diagnostic sans recours à une démarche prospective méthodique

+Implication dans la phase diagnostic d’institutions fiables (Observatoire Régional des Métiers, CARIF Espace Compétences)

Constats généraux sur la formulation et la mise en œuvre des politiques d’orientation et de formation professionnelle tout au long de la vie

24

Sources: CNFPTLV, CCREFP Rhône-Alpes, CCREFP PACAFormulation

- Evolution incessante des priorités nationales et du droit

- Poursuite de la décentralisation et multiplication des instances de concertation dans un paysage déjà touffu

+Meilleure prise en compte du contexte local et l’émergence d’innovations dans la mise en œuvre des politiques

+Concertation comme révélateur des besoins et des savoirs au plus près du terrain

-Absence des travaux du Pôle Emploi et des Présidents des universités

Décision- Un processus mené dans

l’urgence

- Rôle des instances parfois insuffisamment défini

- Portage politique et institutionnel inconstant, affectant la mise en cohérence des voies et niveaux de formation professionnelle avec les besoins en emplois et en compétences

+Transversalité: Articulation entre logiques sectorielles et de branches professionnelles, logiques de territoires, et analyses en termes de publics et de parcours de formation et d’insertion

- Diversité des parties et complexité des enjeux rendant problématique la définition d’objectifs opérationnalisables

Mise en oeuvreFaible retours d’expérience sur ce point à ce jour

- L’implication des acteurs dans le CPRDFP n’est pas analysée comme un engagement contractuel juridiquement garanti

+La diversité des opérateurs rend difficile la déclinaison des objectifs et la formalisation de conventions dans le cadre du CPRDFP

-Une attention inégale accordée à la valorisation, au suivi et à l’évaluation des productions

Suivi- La complexité des enjeux et des

mécanismes de financement posent de véritables défis dans la définition des indicateurs, leur calcul et leur suivi. Nécessité de professionnaliser ce volet des CPRDFP

-Engagements financiers difficiles sur des projets pluriannuels dans un contexte aux « règles du jeu » changeantes

Professionnalisation du système d’enseignement supérieur français suite aux réformes de Bologne:

espoirs et réalités•Professionnalisation et engagements européens

• La contractualisation de l’offre de formation en France: le contrat quadriennal (principes, processus)

•Attentes et réalités du processus en termes de professionnalisation•Espoirs et réalités des indicateurs de professionnalisation

Professionnalisation dans l’enseignement supérieur depuis BologneBologne, 1999 Leuven, 2009 (Bologne en

2020)

26

Un système de grades académiques facilement reconnaissables et comparables qui inclut l’introduction d’un supplément au diplôme commun afin d’améliorer la transparence;

Un système fondé essentiellement sur deux cycles: un premier cycle utile pour le marché du travail d’une durée d’au moins trois ans et un deuxième cycle (maîtrise) qui exige l’achèvement du premier cycle;

Promouvoir les capacités d’intégration sur le marché du travail – les parties prenantes devraient coopérer pour améliorer les qualifications initiales et renouveler la main d’œuvre qualifiée et pour améliorer l’offre, l’accessibilité et la qualité des conseils en matière de carrière et d’emploi. En outre, les placements professionnels inclus dans les programmes d’études et l’apprentissage en milieu de travail devraient être encouragés;

Améliorer la collecte de données : créer des outils multidimensionnels assurant la transparence. Ces outils devraient être basés sur des données comparables et des indicateurs spécifiques et intégrer les principes de garantie de la qualité et de reconnaissance du processus de Bologne;

Processus de contractualisation Ministère/Universités: Quadriennal de formation

27

Habilitions des diplômes nationaux par le Ministère sur proposition des Universités: Licences générales Licences professionnelles Master

Rôle de l’AERES comme agence d’évaluation

Habilitation en vagues sur des contrats de 4 ans, puis 5, voire 6 ans

Processus de contractualisation Ministère/Universités: Quadriennal de formation

28

Le processus: Négociation offres de formation (Fiches de pré-bilan, fiches de

création, autodiagnostic: SWOT, évaluation indépendante intra-universitaire, fiches RNCP, annexes descriptives diplôme)

Vote en conseils de composantes Vote en CEVU puis en CA Remontée à l’AERES Retour des évaluations aux porteurs de formations (A+,A, B,C) Réponses à l’AERES avec ou sans modification des dossiers

d’habilitation Envoi à la DGES-IP Avis et notes de la DGES-IP (favorable/défavorable, réserves,

recommandations) Réponses des porteurs de formation avec ou sans modification Négociation Universités/Ministère Offre de formation habilitée.

Quadriennal de formation et professionnalisation

Espoirs Réalités

29

Durée du contrat: Adaptation aux

réalités du marché de l’emploi

Garantie de qualité grâce aux procédures d’habilitation

Trop court/trop long: 4 ans (évaluation au bout de moins

de 2 ans) ou 6 ans (temps de réactivité).

Un très long processus (2 ans): Janvier 2010: Lancement 15 octobre 2010: envoi Ministère Avril 2011: avis AERES Octobre 2011: avis DGESIP Décembre 2011: habilitation

Indicateurs de professionnalisation peu valorisés dans le dossier d’habilitation: multiplicité d’autres indicateurs: effectifs, attractivité, coûts HETD, part des enseignements disciplinaires/transversaux (Licence)

Quadriennal de formation: les indicateurs de professionnalisation

Les indicateurs utilisés

La réalité de la professionnalisation

30

Codes métiers: RNCP: codes ROME Nomenclature spécialités de

formation: NSF Codes secteurs disciplinaires: SISE-

DGESIP

Chiffres insertion professionnelle: Enquête nationale à 30 mois après

obtention d’un Master.

Conseils de perfectionnement avec des professionnels

Réalités professionnelles plus complexes et évolutives

Logiques sectorielles et disciplinaires peu adaptées aux réalités professionnelles

Méthode peu représentative (nombre de répondants par spécialité, pas d’information sur adéquation métier/formation)

Enquêtes internes peu développées ou difficilement comparables (méthodologies différentes)

Peu développés (sauf IUT, Licences pro, apprentissage et quelques composantes/formations)