IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne
Généralités sur les indicateurs S/E
Jean-Pierre Gervasoni, Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne
Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées
Paris, IMEA, 25 novembre au 27 novembre 2009
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne2
Objectifs
A la fin de ce cours les participants seront capables de :
Décrire les caractéristiques d’un indicateur de qualité
Décrire les critères de sélection d’un indicateur Comprendre les niveaux et l’utilisation des
indicateurs
Cette partie théorique sera suivie d’un exercise pratique sur les indicateurs
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne3
Qu’est-ce qu’un indicateur?
une variable qui mesure un aspect du programme ou du projet
Comme le nom le montre, il s’agit d’une indication
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne4
Indicateur peut être:
Taux Ratio Pourcentage Moyenne Classement Nombre Index composite
L’indicateur est toujours quantitatif
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne5
Types d’indicateurs I
Taux: le numérateur est inclus dans le dénominateur
Exemple: Taux de vaccination = nombre d’enfants vaccinés/ nombre d’enfants âgés de 12 à 60 mois
Ratio: le numérateur n’est pas inclus dans le dénominateur
Exemple: Ratio mortalité maternelle = nombre de femmes qui meurent pendant la grossesse ou à l’accouchement / nombre de naissances vivantes
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne6
Types d’indicateurs II
Moyenne: la somme des valeurs observées sur le nombre total d’observations
Exemple: Age moyen au premier rapport sexuel Le nombre:
Exemple: Nombre de préservatifs distribués par un projet
Index composite: un « score », une combinaison de plusieurs indicateurs
Exemple: Index de connaissances sur le VIH
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne7
Les caractéristiques d’un bon indicateur I
Un bon indicateur doit être SMART
S: spécifique
M: mesurable
A: adaptable
R: Réalisable
T: Temporel
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne8
Les caractéristiques d’un bon indicateur II
Spécifique: mesure claire et précise de qu’il est censé mesuré
Mesurable: erreur de mesure minime Adaptable: valeurs existantes dans différents groupes de
population et sous différentes approches du programme Réalisable: disponibilité des valeurs de l’indicateur Temporel: mesure à intervalles réguliers et appropriés en
fonction des objectifs et des activités du programme
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne9
Les caractéristiques d’un bon indicateur III
Spécifique
% du personnel formé (non)
% du personnel qui a reçu une formation en management dans les six derniers mois (OUI)
Mesurable
Nombre de personnes utilisant un condom (non)
Nombre de personnes qui savent comment utiliser correctement un condom (OUI)
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne10
Les caractéristiques d’un bon indicateur IV
Adaptable
Montant du budget alloué au programme VIH/sida (non)
% du budget alloué au programme national VIH/sida (OUI)
Réalisable
Taux de mortalité (non)
% de naissances assistées par du personnel de santé (OUI)
Temporel
L’indicateur est obtenu à des intervalles réguliers
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne11
Les caractéristiques d’un bon indicateur IV
Adaptable
Montant du budget alloué au programme VIH/sida (non)
% du budget alloué au programme national VIH/sida (OUI)
Réalisable
Taux de mortalité (non)
% de naissances assistées par du personnel de santé (OUI)
Temporel
L’indicateur est obtenu à des intervalles réguliers
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne12
Critères de sélection des indicateurs
Disponibilité des données Ressources Besoins programmés Exigences des bailleurs
5 types d’indicateurs
Inputs/ressources/intrants
Processus/activités
Outputs/produits/extrants
Outcomes/résultats/effets
Impacts/résultats finaux
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne13
Indicateurs d’inputs/ressources/intrants
Mesurent les ressources fournies pour executer les activités
Exemples:
Le montant d’argent dépensé
Les fournitures disponibles
Le nombre de personnes recrutées
Etc.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne14
Indicateurs de processus/activités
Mesurent les activités executées
Exemples:
Le nombre de formation effectuées
Le nombre de matériel d’IEC imprimé
Le nombre de sites de CTV ouverts
Etc.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne15
Indicateurs d’outputs/produits/extrants
Mesurent les produits ou les services offerts
Exemples:
Le nombre de CTV offrant des services aux jeunes
Le nombre de médecins formés en suivi/évaluation
Etc.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne16
Indicateurs d’outcomes/résultats/effets
Mesurent les changements dans le comportement des bénéficaires
Exemples:
Le % des jeunes utilisant régulièrement un condom
Le % de femmes enceintes faisant un test VIH
Etc.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne17
Indicateurs d’impacts/résultats finaux
Mesurent les résultats à long terme
Exemples:
Réduction de la prévalence du VIH
Réduction de la morbidité, de la mortalité
Réduction de l’incidence du VIH
Etc.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne18
Indicateurs de résultatsConnaissances et croyances sur le sida
Conaissance des voies de transmission du sida Connaissance des moyens de protection Croyances en de fausses voies de transmission
Attitudes face au sida et à sa prévention
Peur du sida Solidarité, discrimination
Comportements d’exposition à un risque potentiel de contamination
Nombre total de partenaires en tout ou dans un laps de temps donné
Existence de relations sexuelles avec des partenaires occasionnels
Changement de partenaire stable ou nouveau partenaire stable
Injection de drogue Partage de matériel d’injection
Comportements de protection
Usage de préservatifs avec le partenaire occasionnel Usage de préservatifs avec le nouveau partenaire stable Usage de préservatifs au dernier rapport
Chiffres de ventes des préservatifs
Effets indirects éventuels (non intentionnels) de la prévention
Précocité sexuelle (% de jeunes sexuellement actifs avant 17 ans)
Grossesses non désirées
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne
Surveillance de deuxième génération
Jean-Pierre Gervasoni, Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne
Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées.
Paris, IMEA, 27 novembre au 29 novembre 2008
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne20
Surveillance…de première génération
Surveillance épidémiologique = Système de récolte organisée et centralisée de données sur l’occurrence de maladies, de symptômes, d’examens de diagnostic de façon à pouvoir surveiller l’apparition ou suivre l’évolution d’épidémies
Dans le cas du VIH signifie un système de recueil de données biologiques du VIH (résultat de test VIH+) dans la population, en général sur la base d’un système centralisé à déclaration obligatoire
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne21
mars 2007
Département fédéral de l'intérieur DFIOffice fédéral de la santé publique OFSPUnité de direction Santé publiqueDivision Maladies transmissibles
VIH en SuisseNombre de tests VIH-positifs declarés par les laboratoires de confirmation
Année du test
Sexe masculin
Sexe féminin
Sexe inconnu
0
500
1000
1500
2000
2500
3000
3500
86 88 90 92 94 96 98 00 02 04 06
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne22
Atouts et faiblesses Atouts
aide à susciter une riposte publique au VIH aide à cibler la prévention et a planifier la riposte permet de suivre les résultats au niveau national
Faiblesses pas de suivi des comportements a risque qui sont des signes
d’alerte pour la propagation du VIH ressources souvent ciblées sur la population générale ou l’infection
est peu répandue, alors que les sous-populations à risque sont négligées
difficultés a expliquer les modifications des taux d’infection par le VIH dans les épidémies parvenues a leur phase d’état ou dans les pays où il existe un traitement
cher
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne23
Systèmes de surveillance de deuxième générationButs Mieux comprendre les tendances de l’épidémie Mieux comprendre les comportements qui sous-
tendent l’épidémie dans un pays Axer davantage la surveillance sur les sous-
populations à risque maximal d’infection (p.ex.TS, HSH, consommateurs de drogue i/v)
Etablir une surveillance souple qui s’adapte aux besoins et au niveau épidémique
Mieux utiliser les données de la surveillance pour améliorer la connaissance de l’épidémie et planifier la prévention et les soins
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne24
Surveillance de 2è génération
Les systèmes de surveillance de deuxième génération ne proposent pas de méthodes radicalement nouvelles pour la collecte des données
Au contraire, ils focalisent les méthodes existantes sur des populations et sous-populations appropriées et les combinent de façon à leur donner leur meilleur pouvoir explicatif
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne25
Combinaison de diverses sources d’information
Surveillance biologique Surveillance comportementale Autres sources de données
Registres de décès Surveillance des IST, surveillance de la
tuberculose
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne26
Système différent selon le type d’épidémie
Epidémie généralisée (prévalence du VIH supérieure à 1 % de la population totale)
Accent sur le suivi de l’infection à VIH et des comportements à haut risque au sein de l’ensemble de la population; les groupes tels que les professionnel(le)s du sexe devraient également être pris en compte
Epidémie concentrée avec taux d’infection à VIH supérieur à 5 % dans un groupe de population particulièrement exposé à un risque d’infection (consommateurs de drogues injectables, professionnel(le)s du sexe et hommes ayant des rapports sexuels avec des hommes)
Suivi de l’évolution de l’infection et observer le comportement de ces groupes, en attachant une attention particulière aux liens comportementaux existant entre les membres de ces groupes et la population générale. Les personnes établissant des liens entre les groupes exposés à un risque élevé d’infection et la population générale forment ce que l’on appelle des « populations relais »
OMS/Onusida, 2002, Mise en place de systèmes de surveillance de deuxième génération du VIH: Directives pratiques
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne27
Surveillance biologique
Sérosurveillance sentinelle dans des sous-populations definies (p.ex chez les femmes enceintes des consultations prénatales) en général dans un certain nombre de sites
Dépistage régulier du VIH dans les dons de sang Dépistage du VIH dans des échantillons prélevés lors
d’enquêtes sur la population générale ou des populations particulières
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne28
Source de données : prévalence chez les femmes enceintes dans les consultation prénatale : une petite partie de la population…
Virgins
Sexually active
Contraceptive Users
I nfertile
Pregnant
ANC
Ever had sex
All Women
Rough proportions taken f rom Zimbabwe DHS 1994
Risk groups for analysis of representation in sentinel surveillance
Centre for population studies, LSHTM, 2002
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne29
….mais utilisable pour suivre les tendances
H I V p r e v a l e n c e i n t h e c o m m u n i t y a n d i n p r e g n a n t w o m e n
E a r l y s e x u a l d e b u t , l o w c o n t r a c e p t i v e u s e
0
5
1 0
1 5
2 0
2 5
1 5 2 0 2 5 3 0 3 5 4 0 4 5 5 0
A g e
Prev
alenc
p r e v a l e n c e i n t h e c o m m u n i t y
L a t e s e x u a l d e b u t , h i g h c o n t r a c e p t i v e u s e
0
5
1 0
1 5
2 0
2 5
1 5 2 0 2 5 3 0 3 5 4 0 4 5 5 0
A g e
Prev
alenc
e
p r e v a l e n c e i n p r e g n a n t w o m e n
A N C o v e r - e s t i m a t e s A N C u n d e r - e s t i m a t e s
“ U g a n d a ” “ Z i m b a b w e ”
Centre for population studies, LSHTM, 2002
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne30
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne31
Problèmes?
Hommes non couverts par cette surveillance sentinelle
Moins de 15 ans non couverts Toutes les femmes enceintes ne viennent pas à la
consultation prénatale, biais de sélection probable Le bassin de recrutement des cliniques prénatales et
les caractéristiques de la population de ce bassin sont inconnus
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne32
Surveillance des comportements: les alternatives Enquêtes transversales répétées dans la population
générale: Enquêtes démographie et santé (DHS), parfois avec
marqueurs biologiques (DHS+) Enquêtes spécifiques sur la sexualité Dans les pays qui n’en disposent pas: enquêtes dans
la population adulte jeune dans les régions couvertes par la consultation prénatale (bassin de recrutement)
Enquêtes transversales répétées dans des populations particulières (exposées à des hauts risques): jeunes, HSH, TS, conducteurs de camion, consommateurs de drogues i/v, etc.)
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne33
Problèmes des enquêtes dans les populations particulières
Les populations les plus exposées sont souvent des populations marginalisées, difficiles d’accès
Problèmes méthodologiques: échantillonner ces populations, obtenir leur coopération, répéter les enquêtes
Problèmes de suivi des enquêtes: s’assurer que les résultats sont rendus à ces populations et sont utiles pour la prévention
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne34
D e la D e la c o n n a is s a n c ec o n n a is s a n c e à à l’u tilis a tio nl’u tilis a tio n p a r le s p a r le s h o m m e sh o m m e s , , M a la w i 2 0 0 0M a la w i 2 0 0 0
01 02 03 04 05 06 07 08 09 0
1 0 0
E n te n d up a r le r
S a i t o ù e ntr o u v e r
E n a d é jàu t i l i s é
U ti l i s é a ud e r n ie rr a p p o r t
P ré s e rv a tifs
%
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne35
P r é s e r v a t i f sP r é s e r v a t i f s u t i l i s é su t i l i s é s a u d e r n i e r r a p p o r t a u d e r n i e r r a p p o r t s e x u e ls e x u e l à à r i s q u er i s q u e : f e m m e s: f e m m e s
01 02 03 04 05 06 07 08 0
D é b u t 1 9 9 0 sF i n 1 9 9 0 s
%
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne36
Combinaison de données: clients de TS
utilisant des préservatifs et IST – Thaïlande
0102030405060708090
100
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
Clients using condom
STI cases reported
STI cases reported ( thousands)% using condoms
100908070605040302010
0
Source: Sentinel Serosurveillance, Division of Epidemiology, Ministry of Public Health.
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne37
11
6
9
13
0
100
200
300
400
500
600
700
1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002
0
2
4
6
8
10
12
14
16
18
20
cas VIH % risque 12 mois
Combinaison des informations : Comportement à risque et nouveaux cas de VIH chez les homosexuels, Suisse, 1992-2000
IUMSPInstitut universitaire de médecine sociale et préventive,
Lausanne38
Dernière étape : utilisation de l’information
Pour informer les populations concernées Pour informer les autorités concernées Pour le plaidoyer Pour la planification et l’amélioration de la prévention
et des soins