Evaluation d’impact du FBP dans le district du Haut-Katanga en RDC
Résultats, leçons et recommandations pour les futurs programmes
Design du projet du PARSS
• Objectif de développement du projet (ODP): sʼassurer que la population cible dans les zones de santé du projet a accès à un paquet bien défini de services de santé essentiels de qualité et en fait usage"
• Population cible: 10 millions dʼindividus dans 5 provinces"• Horizon temporel: 2007-2014"• Paquet dʼintervention exhaustif:"
– Construction et réhabilitation de formations"– Fourniture dʼéquipements et de médicaments"– Formation des agents de santé et du district"– Supervision renforcée"– Renforcement du système dʼinformation et de gestion sanitaire (SIGS)"– Politique de réduction du ticket modérateur"
• Lʼintervention est devenue opérationnelle en avril 2007"– Bonus liés à la performance introduits en juin 2010"
• BUDGET PARSS TOTAL: $335 millions"– Pilote de FBP en Haut-Katanga: $1.2 million"
District du Haut-Katanga
Questions de recherche de l’évaluation d’impact • Paiement fixe: "
– Basé sur le personnel (nombre dʼagents de santé sur les registres du personnel du gouvernement)"– Pas dʼautonomie dans lʼallocation des paiements"
• Paiement basé sur la performance: "– Basé sur la quantité de patients pour une liste donnée de services de santé"– Autonomie dans lʼallocation du paiement"– Vérification de la performance"
Questions de recherche (2)
Les paiements à la performance:"
• Incitent-ils les agents de santé à accroître leur efforts plus que ne le fait un paiement fixe? "
– Plus dʼoffre de services de santé?"– Plus de présence du personnel?"– Des services de santé plus intéressants (prix, qualité)?"
• Augmentent-ils lʼutilisation des services de santé? "
• Ecartent-ils les services non ciblés? "
Stratégie empirique
• Nous souhaitons comparer les résultats des formations sanitaires qui sont sous le régime de paiements à la performance à ce quʼils seraient advenus si les formations étaient sous un régime de paiement fixe. "
• 96 zones de santé dans le Haut-Katanga ont été assignées à deux groupes: "
– Paiements basés sur la performance (groupe FBP, 48 zones de santé)"– Paiements fixes (groupe de comparaison, 48 zones de santé)"– Assignation aléatoire => deux groupes identiques pour commencer "
• Le groupe de comparaison fournit un bon contrefactuel: ce quʼil serait advenu du groupe FBP si les paiements avaient été fixes, plutôt que basés sur les performances"
Diagramme de flux de l’étude
Enquête de base
Données administra3ves
Entre3ens qualita3fs
Inspec3on surprise de la présence
Enquête finale
Paiements
Vérifica3ons communautaires
Design contre mise en œuvre
Design du pilote contre mise en œuvre Design prévu Design de fait
Groupe Incita5ons financières
Groupe de comparaison
Groupe Incita5ons financières
Groupe de comparaison
Volume du Paiement Pareil
Pas de différence dans le volume des paiements au total – bien que paiements plus élevés dans le groupe de comparaison pendant les six premiers mois, neutralité du budget respectée pour le
reste du pilote
Mécanisme de
Paiement
Paiement basé sur la quan3té de services de santé fournis par la
forma3on =
Mécanisme de Paiement à l’acte
Paiement basé sur la taille de la forma3on (le nombre d’agents de santé sur le registre de
paiements gouvernemental)
Paiement basé sur la quan3té de services de santé fournis par la
forma3on avec un budget total
fixe =
Système de Points
Comme prévu
Vérifica5on technique
Une visite chaque mois par les superviseurs IRC/PARSS et l’administra3on de la zone de santé – pour vérifica3on de la concordance entre les registres de la forma3on et les
données déclaréees
Comme prévu (pas de visite quand il n’y avait pas de paiement)
Design du pilote contre mise en œuvre (2)
Design prévu Design de fait
Groupe Incita5ons financières
Groupe de comparaison
Groupe Incita5ons financières
Groupe de comparaison
Vérifica5on communau-‐
taire
Une vérifica3on par mois de 30 pa3ents par zone de santé dans un sous-‐
échan3llon de zones de santé – pour
vérifier la véracité des registres et détecter les pa3ents fantômes. Sanc3ons au cas par
cas.
Pas de vérifica3on prévue
Bien que 28 vérifica3ons étaient an3cipées, seules 6
furent menées. Pas de sanc3on excepté l’ajustement du
paiement propor3onnel aux
divergences.
2 vérifica3ons communautaires dans
un objec3f de comparaison (pas de conséquence sur les
paiements)
Autonomie
Le manager de la forma3on pouvait
décider de l’alloca3on du paiement dans la
forma3on
Le manager de la forma3on suivait le registre de paiements gouvernemental qui indique qui doit recevoir quoi
Comme prévu
Design du pilote contre mise en œuvre (3)
Design prévu Design de fait
Groupe Incita5ons financières Groupe de comparaison Groupe Incita5ons
financières Groupe de comparaison
Sou5en d’inves5ssem
ent en équipement
Certains équipements fournis par le PARSS Comme prévu
Médicaments Médicaments pour le stock de la pharmacie fournis par le PARSS Comme prévu
Forma5on Forma3on clinique des agents de santé (par IRC) Comme prévu
Ticket modérateur
Toutes les forma3ons sanitaires du pilote engagées à réduire la réduc3on du 3cket modérateur
Plus grande réduc3on du 3cket modérateur dans le groupe Incita3ons financières que dans le groupe de comparaison, malgré des varia3ons substan3elles dans le niveau de réduc3on entre forma3ons
sanitaires
Enquête de base Oui
Du fait de délais dans le lancement du projet et de changements des forma3ons sanitaires inclues dans le pilote, l’échan3llon de l’enquête de base n’était
pas exactement le même que l’échan3llon du pilote. L’enquête de base a été u3lisée pour contrôler l’équilibre, mais pas pour es3mer l’impact
Enquête finale Oui Comme prévu
Résultats de l’évaluation d’impact
Résultats: Impact sur l’effort du personnel et l’offre de services
• Les formations sanitaires dans le groupe FBP ont fourni plus des services ciblés que les formations dans le groupe payé sur une base fixe:"
– La présence du personnel sʼest révélée 14% supérieure"– Le nombre de sessions de prévention pour les services ciblés dans la formation sʼest révélé 43% supérieur"– Le nombre dʼactivités de sensibilisation liées aux services ciblés dans la communauté sʼest révélé de 30% à 50% supérieur"
• Les formations ont aussi essayé de rendre les services ciblés plus intéressants"
– de 20% à 60% de réduction du ticket modérateur pour les services ciblés et les médicaments"
• Les services non ciblés nʼont pas été écartés: "– Pas de réduction dans lʼoffre de services non ciblés"– Pas de réduction dans la qualité des services (mais pas dʼaugmentation non plus)"
Résultats: Impact sur l’utilisation des services
Lʼutilisation des services sʼest révélée similaire quel que soit le mécanisme de paiement"
• Même nombre de patients lors du dernier mois (800 par formation sanitaire) "
• Même utilisation des services lors des 12 derniers mois:"– Accouchement en institution (82%)"– Enfants immunisés contre la TB (60%)"– Visites prénatales par femme enceinte (3,4)"
• Même résultats de santé lors des 12 derniers mois: "– Nouveau-né toujours vivant = 98% contre 99%"– Nombre de décès par ménage = 0.14"– Ratio poids-pour-taille des moins de cinq ans "
Résultats: Impact sur les ressources des formations sanitaires
• Le revenu total sʼest révélé 42% plus faible dans le groupe de FBP lors du dernier mois"
– Revenus du ticket modérateur plus faibles"– Revenus de la vente de médicaments plus faibles"
• 28% de salaire en moins pour les agents de santé du groupe de FBP "
• Indices dʼéquipement plus faibles (à la fois en matière de quantité et de qualité) (écart type -0.6)"
Résultats: Impact sur la motivation du personnel
• La motivation du personnel a augmenté sous le régime de FBP"
• Mais quatre mois après la fin du pilote:"– La présence du personnel sʼest révélée plus faible dans lʼancien groupe de FBP comparée à celle de lʼancien groupe de comparaison (-25%)"– La satisfaction vis-à-vis de lʼemploi était plus faible (-14%)"– Les directeurs de formation sanitaire étaient plus inquiets vis-à-vis de la volatilité du financement (+72%)"– Les agents de santé se sont révélés plus enclins à attacher de lʼimportance dans la rémunération de leur emploi (+34%)"
Liens potentiels entre le design du FBR et les résultats
Effets potentiels des caractéristiques du design Design et mise en œuvre conseillée"
Pilote du Haut-Katanga, RDC" Effets potentiels dʼun design et dʼune mise en œuvre faibles"
Paquet de bénéfices équilibré à tous les niveaux
Seul un niveau couvert et qui plus est couvert de manière incomplète (seulement 7 services). Trois services addi3onnels au centre de santé de référence.
Poten3el pour les prestataires de se focaliser sur certains services au détriment des autres; moins de lien et de référence entre centre de santé et le niveau hospitalier
Vérifica5on des résultats rigoureuse
Vérifica3on ex-‐ante très limitée; au lieu de 28* (une par mois); seulement 6*. Les sanc3ons pour les divergences étaient légères. Pas de contre-‐vérifica3on.
Opportunités pour l’accroîssement des pa3ents fantômes; des mécanismes de vérifica3on incomplets ou faibles peuvent entraîner un manque de confiance dans les résultats
Usage de la vérifica5on communautaire et d’enquêtes de sa5sfac5on clients
Enquêtes de sa3sfac3on auprès de la communauté/des clients très limitées; résultats peu clairs et inconnus
Manque de confiance dans les résultats; augmenta3on des pa3ents fantômes; pas de retour sur la percep3on des clients sur les services rendus
Usage d’une checklist de qualité quan5fiée dont les résultats sont liés aux paiements
Pas d’usage d’une checklist de qualité quan3fiée; pas de mesure de la qualité liée au paiement
Pourrait poten3ellement entraîner une augmenta3on de la quan3té combinée à une augmenta3on plus faible de la qualité, pas d’augmenta3on de la qualité, ou même une réduc3on de la qualité
Effets potentiels des caractéristiques du design (2) Design et mise en œuvre conseillée"
Pilote du Haut-Katanga, RDC" Effets potentiels dʼun design et dʼune mise en œuvre faibles"
Usage d’un mécanisme de paiement à l’acte pour le paiement des prestataires
Pas un vrai paiement à l’acte; plutôt une pondéra3on pour la valeur rela3ve, et ensuite une répar33on du budget disponible sur la base de la valeur obtenue.
Récompense pour l’effort pas clair, accroître la produc3vité pourrait conduire à une déprécia3on de la valeur de chaque service fourni. Peut être interprété par les prestataires comme être pénalisé pour une performance élevée
Tarifs individuels et gains totaux qui sont significa5fs et payés régulièrement
Paiements irréguliers; les gains totaux sont restés les mêmes pendant l’interven3on à $550 par mois par forma3on sanitaire en moyenne
De pe3ts paiements de bonus peuvent se révéler insuffisants pour remédier aux mécanismes d’adapta3on du personnel; pour acheter des médicaments, de l’équipement et faire des répara3ons mineures. Des récompenses plus
faibles donnent moins d’opportunité d’inves3r dans l’améliora3on de la quan3té et la qualité des services
Recommandations pour un design du FBP amélioré
1. Augmenter les budgets pour les résultats pour des opérations dans des contextes similaires à environ $3 par tête par an;"
2. Utiliser un mécanisme de paiement des prestataires de paiement à lʼacte; "
3. Introduire la checklist de qualité au niveau de la formation sanitaire et de lʼhôpital et rendre les paiements à la performance dépendants de la qualité;"
4. Introduire des outils de gestion de la formation sanitaire (plan dʼactivité, outils dʼindice, évaluations de la performance individuelle);"
5. Renforcer la vérification communautaire et la contre-vérification;"
6. Renforcer la vérification ex-ante et le coaching;"
Merci"