Le référentiel de l’évaluation interne

Présentation du guide pratique Croix Rouge

Février 2012

PRESENTATION DES OUTILS COMMUNS3 outils communs pour l’évaluation interne

le référentiel : un document regroupant un certain nombre d’exigences sous forme de critères. C’est à la fois un outil de mesure et un outil de communication interne et externe mettant en avant les critères de qualité de l’ADIMC74.

le tableur de cotation : un outil informatique qui permet l’organisation de l’évaluation, l’enregistrement des cotations et le suivi des mesures.

le guide pratique : une aide à la compréhension et à l’utilisation des deux précédents outils ainsi qu’à la structuration de la démarche.

2

Présentation de la structure du référentiel

3

Ce document comprend 5 chapitres :

CHAPITRE 1 : Un projet d’établissement adapté et respectueux du projet associatif est défini et mis en œuvre.

CHAPITRE 2 : Un accompagnement personnalisé est proposé à « l’usager »

CHAPITRE 3 : Les ressources humaines, administratives, financières et logistiques sont articulées dans une dynamique d’efficience.

CHAPITRE 4 : Un travail en réseau est structuré.CHAPITRE 5 : Un management de la qualité et de la

bientraitance est mis en œuvre.

Chaque chapitre est divisé en plusieurs sous-chapitres, eux-mêmes comprenant plusieurs items. Chaque item se décline en un ou plusieurs critères. Les critères correspondent aux exigences identifiées, le référentiel ESAT comprend 311 questions.

4

Chapitre Sous-chapitre Item Critère

les information livrées par le référentiel

5

2.1-a L’ESAT identifie différents types d’entrées.

N° CRITÈRE TYPE ADMINISTRATION DE LA PREUVE

31 Il existe une procédure permettant d’identifier tous les modes d’accueil de l’ESAT en amont de la CDAPH

P Contrôle de la documentation interne.

32 Il existe une procédure permettant de structurer une entrée après confirmation de la CDAPH

P Contrôle de la documentation interne.

Le critère qui est l’exigence à partir de laquelle l’établissement va devoir se coter. Un commentaire est parfois rajouté afin de donner des précisions sur cette exigence.

Les modalités d’administration de la preuve Les modalités de l’administration de la preuve donnent les informations nécessaires à la collecte des données permettant de coter chaque critère. Il y a 7 modalités d’administration de la preuve :

- Evaluation par le groupe de travail encadrants - Evaluation par le groupe de travail des professionnels de proximité - Evaluation par le groupe de travail CVS et/ou des représentants d’ateliers - Contrôle de la documentation interne - Contrôle du matériel et des locaux - Enquête auprès des travailleurs - Enquête auprès des partenaires de l’établissement La typologie des critères

Chaque lettre renseignée dans la colonne "Type" est un code correspondant à un type de critère. Il permet d’identifier la nature du critère et est nécessaire pour réaliser une cotation pertinente.

Correspondance lettres/critèresCode Types de critère

CPCritère de cohérence et de pertinenceExemple : L’ESAT prend en compte les capacités physiques et les capacités de compréhension ainsi que le potentiel de développement des travailleurs, dans l’attribution d’un poste de travail.

IA Critère d’implication des acteursExemple : Les travailleurs sont associés à cette évaluation.

MPCritère de moyenExemple : Tous les encadrants bénéficient systématiquement d’une formation à l’animation d’équipe.

PCritère de procédureExemple : Il existe une procédure permettant de structurer une entrée après confirmation de la CDAPH.

R Critère de réalisationExemple : Le modèle de projet personnalisé est conçu en équipe pluridisciplinaire.

SCritère de satisfaction des acteurs Exemple : La qualité des coopérations mises en œuvre avec les professionnels externes est satisfaisante.

TCritère de travaux et/ou d’équipementsExemple : Dans les ateliers, des panneaux ou des supports compréhensibles pour les travailleurs rappellent les règles d’hygiène et de sécurité.

6

2ième outil Le tableur de cotation

7

Le tableur est construit dans le logiciel EXCEL et remplit plusieurs fonctions :

Faciliter l’organisation de la démarche d’évaluation au sein de chaque structure ;

Permettre l’enregistrement des données d’évaluation par le biais de :

o une note attribuée à chaque critère

o un commentaire qui précise la note attribuée au critère et, le cas échéant, des pistes d’actions pour répondre à l’exigence du référentiel lorsque celle-ci n’est pas satisfaite ;

Contrôler l’état d’avancement de l’évaluation tout au long de la démarche ;

Faciliter l’analyse des données et par conséquent l’élaboration du plan d’actions.

Ce tableur comporte plusieurs onglets :

Les onglets

8

L’onglet "Lisez-moi" L’onglet "Lisez-moi" donne de nombreuses explications sur l’outil tableur et son fonctionnement :

- L’intitulé des colonnes de la feuille Evaluation - Les procédures de sélection (l’utilisation des filtres) - La symbolique des couleurs - Les autres onglets disponibles

L’onglet "Evaluation" Dans l’onglet "Evaluation", le tableur reprend l’ensemble des chapitres, sous-chapitres, items et critères du référentiel. Au total, 10 colonnes sont identifiées :

Les colonnes déjà renseignées et « figées » : Titre de la colonne Action

Item Le n° de l’item du référentiel ESAT CRf

Critère Le n° du critère

Libellé Le libellé du critère

PPA Indique si c’est une Pratique Prioritaire pour les Personnes Accompagnées

Type Le type de critère

Modalité La modalité d’administration de la preuve

Domaine Le domaine d’activités concerné

9

Les modalités d’administration de la preuve sont ainsi codifiées :

Codes Modalités

gdt.enc Evaluation par le groupe de travail encadrants

gdt.pro Evaluation par le groupe de travail des professionnels de proximité

gdt.cvs Evaluation par le groupe de travail CVS et/ou des représentants d’ateliers

ctrl.doc Contrôle de la documentation interne

ctrl.mat Contrôle du matériel et des locaux

quest.tr Enquête auprès des travailleurs

quest.ext Enquête auprès des partenaires de l’établissement D’autre part, les domaines d’activités sont en nombre de 11 et ainsi codifiés dans le tableur : Codes Domaine Codes Domaine

1 ACC Accueil et admission 7 RES Travail en réseau, ouverture vers l’extérieur.

2 DYS

Recueil de la satisfaction et traitement des dysfonctionnements, évènements indésirables et des réclamations.

8 GRH Gestion des ressources humaines (salariés)

3 PPP Projet professionnel personnalisé 9 RISQ Gestion des risques

4 REAL Réalisation et suivi de l’accompagnement 10 LOG Logistique et informatique

5 MAN Management de la bientraitance 11 PIL Pilotage de l’activité et gestion financière

6 DRO Respect des droits des travailleurs

10

Evaluation

Une cotation de 1 à 4 (ou n) est attribuée à chaque critère et inscrite dans cette colonne.Niveau 1 : l’exigence n’est pas satisfaiteNiveau 2 : l’exigence n’est pas satisfaite mais des mesures sont amorcées pour réduire l’écart et elles sont formaliséesNiveau 3 : l’exigence est satisfaiteNiveau 4 : l’ exigence est satisfaite et la structure a mis en place un dispositif de contrôle pour vérifier que l’exigence reste satisfaite.

Urgence La colonne « Urgence » donne des repères lors de l’élaboration du plan d’actions. Elle permet d’identifier différentes logiques de priorisation .

Analyse La case « Analyse » permet de rédiger un commentaire afin de justifier la cotation et les pistes d’actions envisagées, en particulier pour les critères côtés 1 et 2.

•Les colonnes à renseigner lors de la phase de cotation :

11

L’onglet "Organisation"Cet onglet donne des informations pour organiser la récolte des données. Suivant la proposition d’organisation qui vous est présentée dans le chapitre II (ci-dessous), ce tableau présente une répartition des critères à partir du croisement de deux variables : la modalité d’administration de la preuve et le domaine.

Exemple d’informations données :Le groupe de travail des professionnels de proximité devra coter 19 critères concernant le domaine de la gestion des risques.

12

Type Niveau 1 Niveau 2 Niveau 3 Niveau 4

CP Une partie des informations récoltées ne correspond pas à ce qui est attendu

Une partie des informations récoltées ne correspond pas à ce qui est attendu.

Des mesures sont prises pour palier ce déficit

Les informations récoltées correspondent à ce qui est attendu

Un audit interne pour contrôler la cohérence et la pertinence des informations récoltées est

réalisé régulièrement et planifié

IA Peu ou pas de consultations des acteurs

Des mesures sont prises pour consulter l'ensemble des acteurs

Le projet, les orientations, les prestations sont définis en concertation avec l'ensemble des acteurs concernés

Une analyse des résultats est réalisée avec les acteurs concernés

MP Les moyens mis en œuvre sont jugés insuffisants ou insatisfaisants

Les moyens mis en œuvre sont jugés insuffisants ou insatisfaisants.

Un plan d'actions d'amélioration est défini

Les moyens mis en œuvre sont jugés satisfaisants

Une évaluation systématique de l'efficience des moyens mis en œuvre est réalisée

P

Aucune procédure et/ou pas d'outils formalisés.

Existence de procédures et/ou d'outil, mais non finalisé.

Pas de plan d’actions pour corriger l'écart

Aucune procédure et/ou pas d'outil formalisé.Existence de procédures et/ou d'outils, mais

non finalisés.Un plan d’actions pour corriger les écarts est

établi

Les procédures et les outils sont mis en forme et actualisés. Les personnes

concernées sont informées

Une revue documentaire systématique est planifiée 1 fois par an ou tous les 2 ans pour

mettre à jour, améliorer, communiquer les procédures et/ou les outils réactualisés

RLes objectifs ne sont pas atteints.

La procédure et/ou l'instruction ne sont pas appliquées

Les objectifs ne sont pas atteints. La procédure et/ou l'instruction ne sont pas

appliquées. Des mesures sont prises pour améliorer la mise en œuvre des procédures et

des instructions

Les objectifs sont atteints.Les procédures et/ou les instructions sont

appliquées

Un audit interne est réalisé régulièrement et planifié pour :

* Contrôler la mise en œuvre des procédures ou des décisions

* Évaluer les effets de ces procédures ou de ces décisions

S 0 à 80% d'acteurs répondant satisfaits 0 à 80% répondants satisfaits.Des actions correctives sont prévues 81% à 100% répondants satisfaits

Évaluation régulière de la satisfaction.Suivi de la mise en œuvre d'un plan d'actions

correctives

TInfrastructure ou équipement inexistant

ou utilisable mais non-conforme ou encore insuffisant.

Pas de travaux ou d'achat planifié

Infrastructure ou équipement inexistant ou utilisable mais non-conforme ou encore

insuffisant.Travaux ou achat planifiés : plan,

spécifications, autorisations, budget...

Infrastructure conforme, équipement conforme et en quantité suffisante

Vérification régulière du bon état ou de la conformité de l'équipement

Ex de graphique sur les niveaux de critères atteints sur la dimension ACCUEIL

13

Cohérence et pertinence

Procédure

Satisfaction

Réalisation

Travaux

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

62.5

0

50

62.5

100

niveau atteintreste à faire

Ex de graphique sur le niveau de réalisation atteint par domaine évalué

14

Accueil

GRH

réseau

Dysfonctionnement

Accueil

Projet professionnel personnalisé

Management bientraitance

pilotage de l'activité

logistique et informatique

risque

droits des travailleurs

0 10 20 30 40 50 60 70 80 90 100

Niveau de réalisation

Niveau de réalisation

Ex de graphique illustrant le niveau d’urgence des plans d’action à mettre en œuvre en fonction des domaines évalués

15

Accueil

GRH

réseau

Dysfonctionnement

Réalisation de l'accompagnement

Projet professionnel personnaliséManagement bientraitance

pilotage de l'activité

logistique et informatique

risque

droits des travailleurs

0

50

100

Priorité d'action en fonction des niveaux d'urgence

niveau d'urgence

Ex de graphique illustrant le niveau de cotation moyen des critères par chapitre

Interprétation : le chapitre « PE » a globalement peu d’exigences non satisfaites ou peu satisfaites (20 %) par rapport aux exigences satisfaites cotées 3 et 4 qui représentent 80%

16

Le Pro

jet d'ét

abliss

emen

t

Personnali

sation de l'

accompag

nemen

t

Les re

ssource

s de l

'étab

lissem

ent

Le tra

vail e

n résea

u

la gesti

on de la b

ientra

itance

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

cotation à 4

cotation à 3

cotation à 2

Cotation à 1 (exigence non satisfaite)

Recommandations croix rouge pour réussir l’évaluation interne

17

1. Former les évaluateurs à l’utilisation du référentiel et du tableur de cotation.

2. S’approprier de façon globale le référentiel avant de démarrer la collecte des données et la cotation.

3. Toujours resituer le critère dans le contexte de son chapitre / sous-chapitre / item.

4. Répondre à la question posée à travers le critère et seulement à cette question, sans chercher à interpréter…« La procédure est formalisée. Même si elle n’est pas écrite sur papier glacé, il suffit qu’elle soit écrite ».

5. Ne coter « 4 » que lorsque l’exigence est contrôlée régulièrement.

6. Renseigner systématiquement la colonne « Analyse » aussi précisément que possible : justification de la cotation et préconisations.

7. L’animation des collectifs d’évaluateurs est assurée par le référent d’évaluation interne.

8. Par souci de rigueur et de cohérence, seul le référent saisit les cotations dans le tableur.

9. Ne pas s’affranchir des modalités d’administration de la preuve prévues dans le référentiel.

10. Assurer une information systématique et régulière des équipes pour chaque nouvelle phase de l’évaluation afin de construire un sens partagé de la démarche.