Upload
madeline-saunier
View
110
Download
0
Embed Size (px)
Citation preview
1
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
L’évaluation des L’évaluation des CUCSCUCS
RésO Villes
Rennes, le 7 mars 2008
Pré
sen
tati
on
du
7 m
ars
20
08
RésO
Vill
es
2
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
SOMMAIRE
Éléments de cadrage >Le développement irréversible de l’évaluation
mais des freins encore puissants>L’évaluation un outil stratégique>Des pièges à éviter
Repères méthodologiques>La nécessité d’un référentiel>Le déroulement de l’évaluation
Cahier des charges
3
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Éléments de cadrage
4
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Le développement irréversible de l’évaluation
Grandes organisations d’aide au développement
Introduite en France dans les années 90 > M Rocard (rapport Viveret en 1989)
Union européenne > évaluation de programmes financés sur fonds structurels de
l’État (règlement de 1993)
La LOLF > 1ier août 2000
Politique de la ville> Circulaires du 31 août 1998 pour les contrats 94/99 et
des 24 mais & 15 septembre 2006 pour les contras 2007/2012
Secrétariat d’État > en charge de la prospective et de l’évaluation des
politiques publiques (E Besson)
5
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Un contexte favorable
La complexité croissante du contexte > Les interdépendances sont multiples (économique,
sociales…)
> Les choix sont multiples, décider devient plus difficile
Des acteurs nombreux et des partenariats systématiques > Leurs logiques respectives, les arbitrages sont
nécessaires
Des ressources rares > Les besoins se diversifient et augmentent, la priorité
doit être donnée aux choix les plus efficaces
6
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Des freins encore puissants
Méconnaissance > On lui reproche d’être trop lourde, trop coûteuse
Un facteur de perturbation politique > Perçu comme un jugement critique car le débat a
tendance, par nature, à se focaliser plus sur ce qui fâche que sur ce qui est consensuel
La culture de l’habitude > Logique de moyens et non de résultats
Corporatisme > Différentes sphères qui ne souhaitent pas forcément
établir des passerelles entre elles
7
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
L’évaluation, un outil stratégique
Ne pas confondre le « suivi » et l’évaluation > Suivi conformité > Évaluation jugement / remise en cause
Des potentialités considérables > Lieu de rapprochement entre sciences et action> Support de la mémoire collective et de construction
d’une culture commune> Outil de démocratie locale> Processus d’apprentissage dans l’action> Levier de changement
8
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Pas de one best way mais un « art de faire »
Faire à chaque fois du « sur mesure »
Il en faut pour tous les «goûts »
Rarement dans le champ de l’analyse mais dans l’exigence absolu de la synthèse
La capacité à avancer dans le terrain miné ; des intérêts contradictoires
La capacité à déchiffrer le langage des acteurs
9
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Évaluer c’est juger Les pièges à éviter
Un jugement de valeur = un pouvoir et un risque
Des principes de base à respecter pour une évaluation
> Principes de compétence> Principe de distanciation> Principe de pluralité> Principe de responsabilité > Principe d’opportunité > Principe de respect des personnes > Principes de transparence
10
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Repères méthodologiques
11
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
La nécessité d’un « référentiel »
La (re)constitution de l’arbre logique
L’identification d’indicateurs
Le système d’acteurs
12
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
La gestion du cycle du projet Analyse des objectifs
Objectif spécifique
Résultats attendus
Activités
Analyse des problèmes Effet
Causes
Logique d'intervention IOV Sources de vérification hypothèses
Objectifs globaux
Objectifs spécifiques
Résultats
Activités Moyens Coûts
Conditions préalables
13
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
L’identification d’indicateurs
Évaluer par rapport à quoi ? > État des lieu au démarrage du projet temps « T0 »> Dispositif d’observation et de recueil de données
Type d’indicateurs (mesure du quantitatif)> De suivi : réalisation / résultats > D’effets ou d’impact
> De contexte pour établir des comparaison
Choix des « bons indicateurs> Disponibilité > Précision> Utilité
14
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Le système d’acteurs
Financeurs
Bénéficiaires
Opérateurs
Fonctionnement souhaitable ?
Type de relations attendues, partenariats ?
15
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Le déroulement de l’évaluation
Phase de lancement (évaluer pourquoi ?) Rédaction du cahier des charges
Phase de constat (évaluer quoi ?) Modalités de recueil des données
Phase de jugement (évaluer par rapport à quoi ?)
Questions évaluatives
Phase de restitution évaluer pour produire quoi ?)
Recommandations
16
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Conditions de réussite
La qualité de la commande
Implication des destinataires de l’étude
La pertinence des méthodes
17
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
La phase de lancement rédaction
du cahier des charges
Le type de démarche souhaitée et le dispositif de suivi de l’évaluation
La temporalité de l’évaluation ; à quel étapes du cycle du projet ?
Les champs de l’évaluation & les questions évaluatives
18
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Type de dispositif Les élus
> Leur donner la 1ière place, celle de la décision
Les techniciens > Ne pas se priver de leur expertise
Les habitants > Il est important de pouvoir prendre en compte leur
point de vue « décalé »
Acteurs Motivations Produits attendus
Quels sont leurs objectifs respectifs par rapport à l’évaluation ?
Les retombées qu’ils en attendent (à mettre en rela-tion avec les moyens affec-tés, en nombre de jours notamment)
19
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
temporalité
Évaluer quand ?
Evaluation ex post
Evaluation à mi-parcourt
Cycle du projet
Diagnostic de la
situation
Définition de la
stratégie
Financement
Mise en œuvre du
projet
Evaluation ex ante
Achèvement du projet
20
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Champs de l’évaluation
Choisir des priorités
Questions évaluatives
Champs à évaluer champs
21
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
La phase de constat Modalités de recueil de données
L’exploitation documentaire
L’observation directe
L’enquête : repérer les tendance
Les entretiens individuels : recueillir des ressentis
Les réunions collectives ; entretiens pied d’immeuble ; micro-trottoir ; entretien-charade » : repérer des réseaux
Le focus-group : repérer des opinion collective
L’étude de cas : comprendre des effets
Le suivi de cohorte : comprendre des évolutions
22
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
La phase de jugement
Les grands critères d’évaluation
Efficience
Impact
Cohérence interne
Efficacité
Pertinence
Contexte Problème à résoudre
Méthodes
Résultats
Moyens Objectifs
23
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
La phase de restitution formulation de recommandations
A partir des résultats, comprendre pourquoi et comment cela a été possible
Pour proposer des améliorations de l’action publique
Idéalement à cette étape, le commanditaire prend des décision
24
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Merci pour votre attentionMerci pour votre attention
Magistère de sciences sociales Paris V - Sorbonne14 décembre 2007
Pré
sen
tati
on
du
14
/12
/20
07
Pari
s V
- S
orb
onn
e
25
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Cahier des charges d’une évaluation (1)
Introduction (résumé du document) – Objet de l ’étude – Raisons pour lesquelles elle est menée – Nature de l’évaluation – Dispositif de pilotage pour l’évaluation – Mentionner éventuellement le budget affecté à cette étude
1ière partie : Rappel du "référentiel" et du contexte de l'évaluation
Présentation succincte du CUCS / Le "référentiel" – Le contexte – L'état d’avancement & situation actuelle du projet
Le système d'acteurs Arbre logique (& indicateurs)
Finalités et enjeux de l'évaluation – Motifs de l'évaluation (pourquoi maintenant ?) Les champs couverts (thèmes à traiter & niveaux d'analyse et/ou territoires) – Les objectifs stratégiques et opérationnels (qu'est ce qu'on attend de l'évaluation ?)
26
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Cahier des charges d’une évaluation (2)
2ème partie : Contenu de l'évaluation
Questions évaluatives Priorités données à l'étude et niveau d'analyse souhaité Formulation de questions explicites (nombre de questions raisonnable par rapport au
temps et aux moyens affectés à l'étude)
Type de démarche Méthodologie souhaitée : participative ou pas
Modalités de recueil de données
Formuler les suggestions sur l’approche de l’étude – Indiquer les principales organisations et personnes ressources à consulter – Répertorier documentation disponible ainsi que les études précédentes à consulter Proposer une méthode pour la collecte des données (y compris la manière de contacter
les bénéficiaires
27
Él é
ments
de m
éth
ode s
ur
l’évalu
ati
on
Pré
sen
tati
on
du
7/0
3/2
00
8R
ésO
Vill
es
Cahier des charges d’une évaluation (3)
3ème partie : structure & déroulement de l'évaluation
Dispositif de suivi Expliquer quel sera le dispositif de suivi de l'évaluation : instance d'évaluation ou comité
technique et composition
Plan de travail / déroulement Durée & calendrier détaillé pour l’étude : phasage Restitutions & produits attendus : spécifier les types de rapport (de démarrage, de fin
de mission, aide-mémoire, final) ; leur la date de livraison, leur niveau de confiden-tialité ; le nombre de copies et les destinataires des rapports
Dispositions diverses Compétences requises : Décrire les compétences, qualifications, expériences et les cri-
tères de sélection des offres Budget alloué