L’évaluation interne dans le secteur MS

IFSI 2013

1

Objectifs

Apprécier la capacité d’une structure à réaliser les missions qui lui sont confiées et la qualité de ses activités au regard de son autorisation.

Appréhender une démarche collective continue d’amélioration de la qualité.

Répondre aux exigences réglementaires (loi du 2 janvier 2002 du CASF, rappel avec la circulaire du 21 octobre 2011).

Améliorer le service rendu aux usagers.

2

Objectifs

Fait évoluer les pratiques et les compétences

Produit des connaissances pour nourrir la décision

Renouvelle le dialogue

Valorise l’action conduite

Permet de s’adapter et anticiper les besoins sociaux

Doit interpeller pour contribuer à l’évolution du secteur.

3

Questionnements relatifs à l’évaluation des actions

Évaluer la cohérence des actions: les finalités de l’action sont elles en cohérence avec les orientations prioritaires?

Évaluer la pertinence des actions: l’action constitue t elle une réponse au problème identifié?

Évaluer l’efficacité: les résultats atteints sont ils conformes aux objectifs retenus?

4

Questionnements relatifs à l’évaluation des actions

Évaluer l’efficience: les résultats sont ils à la mesure de l’ensemble des moyens mobilisés?

Évaluer l’impact: quels sont les effets des actions conduites, attendus ou inattendus , souhaités ou non?

5

L’évaluation interne n’est pas…

Un audit qui consiste en une vérification d’une situation par rapport à une grille pré établie. L’audit est réalisé par des « experts » extérieurs, parfois agréés

→ Dans l’évaluation interne les critères sont definis en interne en cohérence avec le projet d’établissement. Apprécier comment les écarts peuvent amener à une réflexion en termes d’amélioration

6

L’évaluation interne n’est pas …

Une certification qui est menée par un expert extérieur et qui a vocation a obtenir un  « label » certifiant de la conformité des procédures de production à un cahier des charges pré défini.

→ L’évaluation interne n’est pas destinée à l’obtention d’un «  label ». Elle contribue à une démarche autonome d’appréciation de l’activité et de la qualité des prestations

7

L’évaluation interne n’est pas…

Un contrôle qui consiste à vérifier le « bon » fonctionnement d’un système. Il est réalisé par les autorités institutionnelles compétentes. La non-conformité peut amener une sanction

→ l’évaluation interne ne débouche pas sur une sanction. Elle doit permettre une meilleure compréhension de l’établissement ou du service. elle doit permettre de construire des pistes susceptibles de faire progresser la structure.

8

Quatre conditions essentielles

Construire un référentiel simple et spécifique à la structure.

Mettre en place l’évaluation interne avec l’ensemble des salariés de la structure et la participation des représentants des usagers.

Utiliser les recommandations de l’ANESM (document intitulé La conduite de l’évaluation interne dans les établissements et services visés à l’article L. 312-1 du CASF téléchargeable sur le site de l’ANESM).

Avoir une démarche cohérente avec le projet d’établissement.

9

Intégrer les axes prioritaires retenus par l’ANESM

La promotion de l’autonomie et de la qualité de vie des personnes.

La personnalisation de leur accompagnement.

La garantie de leurs droits et de leur participation.

La protection des personnes et la prévention des facteurs de risque liés à la vulnérabilité.

L’insertion et l’ouverture de la structure sur son environnement.

L’intégration des différentes ressources internes et externes.

Son organisation interne, ses ressources humaines et financières, son système d’information.

10

Calendrier d’évaluation

Communication des résultats tous les 5 ans ou lors du renouvellement du CPOM à l’autorité ayant délivré l’autorisation initiale

ESMS de droit commun: 3 évaluations internes en 15 ans

ESMS autorisés et ouverts avant la loi du 2 janvier 2002: au moins 1 évaluation interne avant 2014

ESMS autorisé et ouverts avant loi HPST(21/07/2009): au moins une évaluation 3 ans avant date de renouvellement d’autorisation.

11

Méthodologie proposée

5 étapes

12

Étape 1

– Analyse de l’existant (ex sur la base du projet d’établissement, de questionnaires de satisfaction, d’observations etc.)

– Constitution d’un comité de pilotage (direction, représentants des personnels par catégories, représentants des usagers, représentants des familles) après une présentation de la démarche à l’ensemble des salariés.

13

Étape 2

– Adaptation et personnalisation d’un référentiel de base avec le comité de pilotage.

– Choix de x références, y thèmes et z questions en équipe

14

Étape 3

– Constitution de x groupes de travail sur la base du volontariat (chaque salarié est titulaire ou suppléant d’un groupe).

– Validation par chaque groupe des thèmes et questions.

– Proposition par chaque groupe de moyens et de preuves afin de pouvoir réaliser l’évaluation interne.

15

Étape 4

– Chaque groupe de travail réalise l’évaluation des différents thèmes de sa référence à partir du référentiel.

– Pour chaque question, le référentiel propose 4 réponses possibles : A : le personnel considère que la structure satisfait à la question

posée. B : ce sont souvent des variables où la structure satisfait à la

question, mais le personnel souhaite encore s’améliorer et préconise souvent une action d’amélioration.

C : la structure ne satisfait que partiellement à la question. Elle a souvent des moyens mais pas de preuves. C’est pourquoi des actions d’amélioration sont prévues.

D : la structure ne satisfait pas à la question posée. Elle ne dispose ni de moyens ni de preuves. Le personnel doit alors proposer des actions d’amélioration (souvent les plus urgentes à mettre en place).

16

Étape 5

– L’évaluation de chaque référence est présentée au groupe de travail concerné.

– Des actions d’amélioration prioritaires sont définies pour l’année en cours (plan d’actions d’amélioration)

– Les chefs de projet responsables de la mise en place des actions d’amélioration sont désignés sur la base du volontariat (ils s’organisent comme ils le souhaitent et s’entourent de compétences transversales). Ils ont une fiche projet comme base de travail.

17

– Rédaction du rapport d’évaluation

– réévaluation

18

Points essentiels de la démarche d’évaluation

Favoriser la participation professionnelle

Pluridisciplinarité des groupes de travail

Communication autour des résultats de l’évaluation en interne

Individualisation du déploiement des actions d’amélioration

Réévaluation des plans d’actions

19

Exercice: Construire un référentiel

20

« Les ESSMS sont libres de choisir leurs outils d’évaluation interne parmi ceux déjà existants, de les adapter ou même de les créer( …) Si les démarches et les outils ne remplissent pas les conditions citées, les ESMS seront considérés comme n’ayant pas rempli leur obligation interne. »

Circulaire du 21 octobre 2011

21

Arrêter des références (minimum 4) Définir des thèmes Poser des questions:

– Quels choix réalisés? – Comment ont-ils été mis en place?– Quelle analyse des effets? – Quelles sont les marges de manœuvre ?– Quel est le plan d’actions envisagé ?

22

Exemple

Référence relative à « la protection et prévention des risques inhérents à la situation des usagers »

Questions: quels risques? Quels objectifs? Quelles actions? Quels moyens? Quelle efficience? Quelle efficacité? Quel impact? Etc.

23

Thème: protection des usagers contre le risque de chutes

→ Quelles actions déjà en place : impact? Efficacité? Ce qui est fait en accord avec le projet d’établissement? Etc.

Rédiger les questions, actions se rapportant à celle-ci.

24

Plan d’actions?

Quels indicateurs d’amélioration? – Nbre de chutes– Satisfaction des familles/ usagers– Nbre de PEC clinique – Existence/ nbre de personnel formé sur la PEC– Personnel responsable de cette action?

25

Synthèse de l’évaluation interne de 2007 d’un EPMS (IME)

A = Satisfont à la question posée

B = Satisfont en grande partie 

C = Satisfont partiellement

D = Ne satisfont pas à la question

1. Mettre en œuvre le projet d’établissement et ses services

2. Mener à bien les interventions d’accompagnement personnalisé éducatif, social, pédagogique et thérapeutique

3. Garantir l’adaptation, la valorisation et l’évolution des compétences ainsi que l’implication des personnels

4. Assurer la mise à disposition et l’adaptation des ressources logistiques et financières

5. Fonder les interventions d’accompagnement personnalisé et collectif sur des valeurs et une éthique partagée

6. Garantir la satisfaction des usagers, des familles, des professionnels, des partenaires et de l’environnement

7. Garantir la cohérence du management « par la qualité »

Synthèse de l’évaluation interne de 2007 - ex: IME-

Mettre en œuvre le projet d’établissement et ses services

Mener à bien les interventions d’accompagnement personnalisé éducatif, social, pédagogique et thérapeutique

Garantir l’adaptation, la valorisation et l’évolution des compétences ainsi que l’implication des personnels

Assurer la mise à disposition et l’adaptation des ressources logistiques et financières

27

Synthèse de l’évaluation interne de 2007- ex: IME-

Fonder les interventions d’accompagnement personnalisé et collectif sur des valeurs et une éthique partagée

Garantir la satisfaction des usagers, des familles, des professionnels, des partenaires et de l’environnement

Garantir la cohérence du management « par la qualité »

28

Contenu minimum du rapport

Recommandations ANESM

3 parties:– Présentation de l’établissement

– Éléments de méthode (divers outils, methode d’élaboration du référentiel)

– Présentation des résultats

29

L’évaluation externe

30

Calendrier (Circulaire

du 21/10/2011)

2 évaluations en 15 ans:– 7 ans après date d’autorisation– 2 ans avant le renouvellement

ESMS ouverts et autorisés avant loi HPST: au moins une évaluation 2 ans avant le renouvellement

ESMS ouverts et autorisés avant loi du 2 janv. 2002: au plus tard avant le janvier 2015

31

Réalisé par un professionnel extérieur habilité par l’ANESM et sélectionné par l’établissement

→ Liste des organismes habilités régulièrement publiée par le bulletin officiel du ministère chargé de l’action sociale et consultable sur le site Internet de l’ANESM.

32

Objectifs

Porter une appréciation globale

Examiner les suites réservées aux résultats issus de l’évaluation interne

Examiner certaines thématiques et des registres specifiques

Élaborer des propositions et/ou préconisations.

33

Rapport

Les résultats sont remis par l’organisme évaluateur à l’établissement qui transmettra lui-même le rapport aux autorités

34

Contenu du rapport (a minima)

Éléments de cadrage Descriptif de la procédure d’évaluation externe Développements informatifs Résultats de l’analyse détaillée Synthèse Toute observation utile à l’aide à la décision Abrégé du rapport ( en cours d’expérimentation) annexe

35

L’évaluation de la performance des ESSMS: les indicateurs ANAP

36

« Tableau de bord partagé »= 3 principes:

– Commun aux champs des personnes âgées et personnes handicapées (enfants et adultes)

– Outil de pilotage pour la structure et moyen d’échange avec les « partenaires » (ARS, Conseil General etc.)

– Se situer par rapport aux autres (cf. logique de comparaison/ benchmarking)

37

3 niveaux d’indicateurs:– Indicateurs de dialogue (niveau 1)– Clés d’analyse et de pilotage interne (niveau 2)– Fiche de caractérisation de la structure:

description générale

→ Principe de complémentarité des analyses faites aux différents niveaux

38

Axe 1: prestations de soins et d’accompagnement pour les personnes

Exemples: Score moyen de dépendance GMP Taux d’occupation des lits ou places

autorisées

39

Axe 2: ressources humaines et matérielles

Exemples:– Taux d’ETP– Taux de personnes occupant une fonction de

gestion d’équipe ou de « management »– Taux d’absentéisme

40

Axe 3: finances et budget

Exemples:– Taux d’atteinte des prévisions de recette– Taux d’indépendance financière

41

Axe 4: objectifs

Échelle de maturité « politique d’amélioration continue de la qualité »

Ex: Évaluation de la mise en place du CVS (conseil de la vie sociale) et autres groupes d’expression: constitution de groupes, calendrier, modalités de fonctionnement, moyens logistiques etc.

42

Merci pour votre attention

43

SIGLES

ANAP: Agence Nationale d’Appui à la Performance

ANESM: Agence Nationale de l’évaluation et de la qualité des établissements et services sociaux et medico sociaux.

CASF: Code de l’Action Social et des Familles

ESSMS: établissements et services sociaux et medico sociaux.

44