Comment les services de développement de carrière sont-ils évalués ! Le groupe pancanadien de recherche sur létude de limpact des services de développement

Comment les services de développement de carrière

sont-ils évalués !

Comment les services de développement de carrière

sont-ils évalués !

Le groupe pancanadien de recherche sur l’étude de l’impact des services de

développement de carrièreRobert Baudoin, Lynne Bezanson, Bill Borgen, Liette

Goyer, Bryan Hiebert, Vivian Lalande, Kris Magnusson, Guylaine Michaud, Céline Renald, Michel

Turcotte. ***Les noms sont présentés par ordre alphabétique***

Groupe pancanadien-impact des services -05

2

Pourquoi cet intérêt ?Pourquoi cet intérêt ?

• Symposiums internationaux, 1999 et 2001• L’étude de l’OCDE sur le développement de

carrière, 2002 -04• Le Centre international pour le développement

de carrière et les politiques publiques, 2003• Symposium pancanadien sur le développement

de carrière, la formation continue et le développement de la main-d'oeuvre, 2003


3

Qu’entend-on par développement de carrière ?

Qu’entend-on par développement de carrière ?

• Les services de développement de carrière de qualité visent à aider l’individu :• à s’informer sur les différentes options de

formation et de travail; • à choisir ce qui correspond le mieux à ses

intérêts, ses valeurs, ses aptitudes, ses croyances afin de faire des choix professionnels et de définir des projets dans un environnement en mouvement et incertain.


4

Contributions du développement de carrière

Contributions du développement de carrière

• Des services de qualité qui peuvent :• Contribuer au bien-être et au développement

global de la personne.• Stimuler la motivation aux études et au travail• Contribuer au maintien d’une bonne santé

mentale au travail et aux études• Créer une bonne assise à la construction de

systèmes efficaces de développement des compétences et de formation.


5

Bénéfices du développement de carrière pour la société

Bénéfices du développement de carrière pour la société

• Les bénéfices qui en découlent peuvent inclure :• Moins d’apprenants en mode « d’essais et d’erreurs »• Augmentation du taux de réussite dans les programmes,

les cours, les certificats et les diplômes;• Réduction de la période de temps des prestations d’aide

sociale• Coûts de santé plus bas • Moins de marginaux• Plus d’employés satisfaits, moins de congés maladie,

plus haut taux de rétention, plus de participation à la formation et l’apprentissage


6

Pourquoi est-ce important ?Pourquoi est-ce important ?

• Pour assurer le financement

• Pour mieux évaluer les retombées réelles versus les retombées escomptées

• Pour demander des investissements nécessaires à l’atteinte des retombées escomptées.


7

Problème des données probantes :Problème des données probantes :

• Nous n’avons malheureusement pas beaucoup d’information sur la manière dont les services sont évalués à l’heure actuelle.

• Avant de suggérer des moyens de régler le problème, il est essentiel d’en savoir plus sur l’état actuel de la pratique d’évaluation et ses retombées


8

Réponses au besoin de données probantes :

Réponses au besoin de données probantes :

• Automne 2004 : enquête en ligne :• Comment les fournisseurs de services évaluent-

ils l’impact de leurs services ?• Notre but : mieux comprendre l’état de la

pratique actuelle au Canada en ce qui touche la documentation des résultats des interventions et des services en développement de carrière.


9

L’objectif de l’enquête : 4 Questions principalesL’objectif de l’enquête : 4 Questions principales

1. Quelle est l’importance d’évaluer l’impact des services de développement de carrière ?

2. Comment est-ce qu’on détermine l’impact des services ?

3. Quels sont les résultats atteints par la prestation de services ?

4. Comment mesure-t-on ces résultats ?


10

Collecte des donnéesCollecte des données

• Questionnaire pour les agences (en ligne);

• Questionnaire pour les praticiens (en ligne);

• Questionnaires dans les deux langues

• Entrevues téléphoniques avec les employeurs et les responsables de politiques


11

Ce qu’on entend par « résultats »Ce qu’on entend par « résultats »• Une réaction ou un produit spécifique qui découle

d’une intervention. • Un résultat peut être l’un ou l’autre des éléments

suivants : • Changement dans les compétences du client :

démontré par des changements dans les connaissances, les habiletés ou les caractéristiques du client

• Changement dans la situation du client : par exemple la situation d’emploi, situation face aux études, etc.

• Changements généraux pour les clients et la communauté :

• Changements de la situation financière, inclusion sociale, impact sur la famille, développement économique de la communauté, etc.


12

Ce qu’on entend par « interventions » :

Ce qu’on entend par « interventions » :

Toute activité mise en oeuvre avec l’intention d’aider le client à apporter des changements à sa situation. En d’autres mots, toute action qui engendre un résultat pour un client ou un groupe de clients.


13

ÉchantillonÉchantillon

• 173 agences; 214 praticiens; 9 responsables de politiques et 7 employeurs

• Les types de services offerts couvrent l’ensemble des services attendus, soit les entrevues individuelles, les séances de groupe, l’évaluation, IMT, développement de l’emploi

• Groupe d’âge auquel s’adresse les services : en majorité les jeunes et adultes en recherche d’emploi, suivi des jeunes aux études postsecondaires et de la fin du secondaire (lycée)

• Type d’agence : en majorité (50.3 %) des O.N.G., suivi d’organismes provinciaux non scolaires (23.3 %)

• Taille des agences : 41 % avec plus de 10 employés; 20 % ayant entre 6 et 10 employés; 39 % de moins de 6 employés


14

Quelle importance est accordée à la mesure des résultats ou de l’efficacité des services ?Quelle importance est accordée à la mesure des résultats ou de l’efficacité des services ?

97.6 % des agences ont répondu que c’était « assez important » (24.4 %) ou « très » (73.2 %) important

84 % des agences font rapport sur les impacts ou l’efficacité de leurs services.


15

Il y a une relation significative entre le type de fournisseur de services et la valeur attribuée à la

mesure de l’impact ainsi que la mesure réelle

Il y a une relation significative entre le type de fournisseur de services et la valeur attribuée à la

mesure de l’impact ainsi que la mesure réelle

• Agences : Écoles primaires et secondaires sont moins enclines à répondre « très important » et les établissements postsecondaires sont moins enclins à répondre « assez important ».

• Intervenants : les intervenants des établissements scolaires sont moins portés à répondre « très important », et les O.N.G. plus enclines à répondre « très important ».


16

Agences et praticiens : Quels sont les 3 résultats les plus importants sur lesquels

vous faites un rapport ?

Agences et praticiens : Quels sont les 3 résultats les plus importants sur lesquels

vous faites un rapport ?1. Changement dans la situation du client : statut

au niveau de l’emploi ou de l’éducation;**2. Développement des compétences; indépendance

financière, confiance en soi; **

et de façon marginale :3. Nombre de clients servis4. Satisfaction du client5. Programmes complétés6. Prestation de services7. Coût/bénéfice


17

Agences et praticiens : Types de preuvesAgences et praticiens : Types de preuves

• Évaluation/rapports de suivi : Rapport du client ou d’un partenaire; enquête, entrevue

• Fréquences : nombre de clients servis/mois; nombre de clients ayant trouvé un emploi; nombre de plans d’action; nombre de clients ayant complété un programme

De façon marginale :

• Observation de changement chez le client• Analyse coût/bénéfice• Pas de différence entre les agences et les praticiens• 33 % des praticiens n’ont pas répondu


18

Commentaires reçusCommentaires reçus

• Évaluation est difficile• Il y a des résultats qui ne sont pas mesurables

• Trop d’importance accordée aux statistiques reliées à l’emploi, au détriment d’autres types de résultats

• Il y a un besoin de faire de la recherche sur des interventions en développement de carrière et des populations spécifiques


19

Quels sont les résultats que vous obtenez, mais qui ne sont ni mesurés, ni

rapportés ?

Quels sont les résultats que vous obtenez, mais qui ne sont ni mesurés, ni

rapportés ?• Développer le pouvoir d’agir du client

• Développement de compétences (p. ex., confiance en soi, autonomie; changement d’attitudes à propos de leur avenir, de leur perception du marché du travail)

• Indépendance financière• Création de réseaux de soutien• Plus d’occasions d’emploi ou autres pour les clients

De façon marginale : bénéfices pour la communauté; satisfaction du client; augmentation de la demande lobbying politique (agence); mise en oeuvre et développement de programmes (agence); clients qui nous reviennent (praticien); perfectionnement professionnel (praticien)


20

Quelles sont les preuves que vous atteignez ces résultats ?

Quelles sont les preuves que vous atteignez ces résultats ?

• Anecdotes• Rapports verbaux des clients• Rapports verbaux des employeurs

• Observations• Changements observés dans les compétences du client• Changements observés dans les attitudes du client

• Thème récurrent dans les données : croyance que plusieurs des résultats observés ou rapportés ne sont pas quantifiables ou très difficiles à mesurer (et par conséquence, ne sont pas pris au sérieux)


21

Quelles sont les difficultés auxquelles vous faites face pour collecter des preuves ou des mesures

de résultats ?

Quelles sont les difficultés auxquelles vous faites face pour collecter des preuves ou des mesures

de résultats ?

• Complexité• Difficulté à déterminer les résultats des services offerts• Croyance que certains résultats ne sont pas mesurables

• Peu d’importance accordée à l’évaluation• Manque de ressources allouées : financières et de temps

• Peu de reconnaissance accordée à la collecte de données probantes

• Manque de formation aux méthodes d’évaluation

• Difficulté à obtenir la rétroaction des clients• Perte de contact des clients; clients ne veulent pas fournir de

rétroaction


22

Quelles sont les difficultés ? (suite)Quelles sont les difficultés ? (suite)

• Manque d’uniformité ou d’accord entre les agences et les bailleurs de fonds à propos du type de résultats à collecter

• Peu de liens entre la prestation de services et l’évaluation (agences)

• Absence de protocoles d’évaluation ou de processus formels pour mener à bien des évaluations sur l’efficacité

• Manque d’expérience et accès limité à des modèles de pratiques exemplaires (praticiens).

• Rapidité des changements (praticiens)


23

Quelles sont les choses sur lesquelles vous aimeriez faire rapport si vous en

aviez l’occasion ?

Quelles sont les choses sur lesquelles vous aimeriez faire rapport si vous en

aviez l’occasion ?• L’impact social des services sur les individus, les

familles, la communauté, les employeurs• Développer le pouvoir d’agir, la croissance et la

satisfaction chez les clients• Changement dans les comportements, les attitudes

• Qualité de services• Éléments de processus; temps nécessaire pour atteindre

les buts• Impact longitudinal• Lien entre les résultats locaux et nationaux

Un autre côté de la médailleUn autre côté de la médaille

Qu’en pensent les responsables de développement de politiques et les

employeurs ?


25

Que veulent les responsables de développement de politiques ?

Que veulent les responsables de développement de politiques ?

• Résultats des clients• p. ex., satisfaction des clients, décisions éclairées et habileté du client à

déterminer des occasions de carrière.

• Indicateurs de résultats obtenus par les clients • p. ex., nombre d’emplois obtenus; nombre de transitions réussies

• Services ont fait une différence dans la vie du client; cle changement ne se serait pas produit sans le service rendu

• Valeur ajoutée des services au niveau du retour sur l’investissement ou l’amélioration de l’économie

• Études longitudinales afin de permettre des comparaisons entre ceux qui reçoivent ou non des services


26

Autre information intéressant les responsables de politiquesAutre information intéressant

les responsables de politiques

• Comment les services sont-ils rendus ?

• Nombre de clients servis; nombre de places offertes dans les programmes, évaluation des clients

• Niveau de services fourni et l’adéquation entre le niveau de service et le besoin exprimé du client

• Suivi et évaluation des contrats


27

Que veulent les employeurs ?Que veulent les employeurs ?

• Des employés bien formés, compétents, engagés, motivés, satisfaits

• Accroitre la productivité, diminuer le roulement de personnel, des postes définis par un modèle basé sur les compétences, améliorer la mobilité interne des employés

• Rétroactions des fournisseurs de services et employés qui ont reçu les services, sur ce qui fonctionne ou non


28

Sur quoi s’entendent les responsables de politiques et les employeurs

Sur quoi s’entendent les responsables de politiques et les employeurs

• Un besoin de recueillir des données probantes entre les résultats et les interventions

• Un besoin pour l’élaboration de meilleures méthodes pour évaluer les résultats.


29

Prochaines étapesProchaines étapes

• Développer des modèles détaillés de mesure de l’impact

• Développer des outils clairs, valables et fiables

• Créer un cadre d’analyse qui permet la comparaison des données (méta-analyse)

• Créer un mécanisme visant la diffusion et la promotion d’information sur l’évaluation de l’impact des services.

MerciMerci

Le Groupe de recherche canadien sur la mesure de l’impact des services de

développement de carrière

Documents

Comment les services de développement de carrière sont-ils évalués ! Le groupe pancanadien de recherche sur létude de limpact des services de développement