Decentralized evaluation for evidence-based decision makingWFP Office of Evaluation

Système d’Assurance Qualité des Evaluations Décentralisées

Liste de Vérification pour un Rapport de Démarrage de évaluation Décentralisée

Version Juin 2018

[titre de la ’évaluation décentralisée]Général

Général Commentaire/Statut

Longueur: Le rapport n’excède pas 20 pages (hors Annexes) Accessibilité Ecrit de façon claire et accessible Le rapport clarifie et s’appuie sur les Termes de

Référence, élargissant sa base de données et son analyse

Le rapport fournit un plan opérationnel clair pour la façon dont l’équipe mènera l’ évaluation décentralisée

Le rapport reflète une compréhension commune entre l’équipe d’ évaluation et le Responsable d’ évaluation sur les attentes et les standards

Le rapport démontre la prise en main du processus par

l’équipe d’ évaluation.

Vérification

Le format et les modèles ont été suivis Le sommaire est inclus et liste les tableaux, les

graphiques, les chiffres et les annexes Les tableaux et diagrammes sont utilisés si nécessaire Une liste des acronymes est incluse.

Page de Couverture

Utilise le Modèle pour la page de couverture Le titre de l’évaluation décentralisée est identique à

celui dans le TDR La date et le statut du rapport (ébauche/final) sont

indiqués sur la page de couverture

1. IntroductionGénéral: Les informations importantes sur l’évaluation et le sujet sont incluses en 1-2 pages.

Contenu Attendu Critères de revue Commentaire/statut

Objectifs principaux de la évaluation clairement décrits (responsabilité et apprentissage)

But du Rapport de Démarrage clairement décrit

Utilisateurs ciblés du Rapport de Démarrage clairement décrits

L’introduction prépare clairement le terrain pour la revue, y compris son sujet, calendrier et objectifs

But du Rapport de Démarrage clairement décrit, et utilisateurs ciblés spécifiés

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 2 | 15

2. Contexte Général: Vue d’ensemble du contexte alentour qui est directement pertinent pour l’évaluation, préparant le terrain pour l’évaluation, en 3-4 pages.

Contenu Attendu Critères de revue Commentaire/statut

Vue d’ensemble du contexte géographique qui est directement pertinent pour l’ évaluation, y compris :

La pauvreté, le manque de nourriture

Les politiques et priorités des gouvernements, y compris les lacunes dans les politiques

Les données et tendances clés liées aux ODDs 2 / ODDs 17 dans le contexte (région, pays au niveau sous-national/local).

La situation humanitaire La situation

sexospécifique dans le contexte de la sécurité alimentaire, de la situation nutritionnelle, de l’architecture dans le pays et les indicateurs

Les informations contextuelles sont ciblées et concises

Les informations sont pertinentes et nécessaires pour comprendre les implications pour le sujet d’ évaluation

Les informations sont explicitement tournées vers le sujet d’ évaluation, plutôt que présentées de façon générique.

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 3 | 15

Aide internationale dans la région

Les évènements extérieurs importants

Autre travail du PAM Le travail d’autres

organisations

3. Sujet de l’ évaluation

Général: Description exhaustive du sujet d’ évaluation en 1-2 pages.

Contenu Attendu Critères de revue Commentaire/statut

Les caractéristiques principales de l’ évaluation devraient être incluses :

Le type d’intervention (opération, activité, champ thématique, modalités de transfert, projet pilote)

Zone géographique du sujet d’évaluation

Dates pertinentes : date d’approbation ; date de début ; date de fin

Les produits visés par rapport à ceux réalisés :

o Nombre de bénéficiaires (prévu et effective) désagrégé par sexe/âge/ année et activité/s.

o Montant des transferts (planifié et effective) des

Les informations sont pertinentes et importantes pour la compréhension du sujet de l’ évaluation

o Ce que c’est o Quand il a été

conçu o Quels sont les

contributions importantes (valeur en $)

o Quels sont les produits prévus et effectives? (bénéficiaires, MT, liquide et coupons en $)

o Quelle est la cible/ quel est le champ ?

o Quels sont les résultats prévus et

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 4 | 15

produits alimentaires, des espèces ou des bons distribués, désagrégé par année et par activité/s

o Tout autre produit Résultats prévus lors de la

conception et resultats effectives

Activités principales Partenaires principaux

(Gouvernement; ONG; Bilatéral; Multilatéral)

Ressources (% financé des exigences totales) et donateurs clés, si le sujet est financé à partir de fonds mis en commun ou est un composant/une activité d’une opération, montrez les ressources allouées au sujet de l’ évaluation

Revue du Cadre de Travail Logique ou outil similaire de la perspective de l’ évaluation

Autres activités/interventions/opérations précédentes/se déroulant en même temps

Tout amendement à la conception d’origine

Les questions d’égalité des sexes et d’émancipation des femmes pertinentes au sujet d’ évaluation et au contexte

Revue pour savoir si les

effectives? o Qui est impliqué

dans sa mise en oeuvre ?

Revue de la solidité du cadre de travail logique. Si reconstruit, il a été discuté et agréé avec la personne qui a commandé l’évaluation.

Souligne les questions pertinentes provenant d’ évaluations et études passées qui concernent l’ évaluation

Les dimensions sexospécifiques sont expliquées

Les différences entre conception d’origine et mise en oeuvre sont expliquées si nécessaire

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 5 | 15

analyses sexospécifiques ont été entreprises et si cette analyse a été correctement intégrée dans la conception du programme

Inclure des références aux: Évaluations passées/études

liées au sujet Cartes/graphiques pour

illustrer.

4. Analyse des Participants Général: Cartographie exhaustive des participants, y compris leurs intérêts et leur implication et besoins pertinents à l’ évaluation, en 1-2 pages.

Contenu Attendu Critères de revue Commentaire/statut

En s’appuyant sur la section du TDR liée, l’analyse des participants devrait identifier : o Qui sont les différents

groupes impliqués dans le sujet d’ évaluation (y compris les bénéficiaires)

o Pourquoi ils ont un enjeu lié au sujet d’ évaluation ‘et à l’ évaluation elle-

Tous les participants concernés ont été identifiés

Une analyse pertinente de qui devrait être impliqué dans l’ évaluation est incluse, ainsi que les intérêts respectifs des différents groupes de participants

Les outils analytiques pertinents sont appliqués

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 6 | 15

même o Comment ils seront

impliqués dans le processus d’ évaluation

Les considérations concernant les perspectives des bénéficiaires sont incluses

L’analyse des bénéficiaires est divisée par genre

L’analyse des participants est en conformité avec la méthodologie proposée et la matrice d’ évaluation

5. Approche et Méthodologie de l’ évaluation

Général: La méthodologie et les méthodes spécifiques présentent une approche exhaustive et systématique qui suffit à donner confiance en la crédibilité de l’ évaluation, ainsi qu’en son indépendance et son impartialité, en 3-4 pages.

Contenu Attendu Critères de revue Commentaire/statut

5.1 Approche proposée et Méthodologie Explication et

justification des critères de sélection sélectionnés,

Inclusion des

L’approche méthodologique est cohérente, logique, et en conformité avec le TDR L’approche

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 7 | 15

questions d’ évaluation devant être abordées

Description complète de l’approche méthodologique, y compris une approche de méthodes mixtes

Description claire de la matrice d’ évaluation et de la façon dont elle sera utilisée

Description claire de la façon dont le genre sera abordé dans la méthodologie

Décrivez la disponibilité et la fiabilité des données désagrégées par sexe, y compris l'existence (ou les lacunes) des données relatives aux résultats sexospécifiques.

méthodologique est exhaustive et présente une approche systématique qui induit de la confiance en la crédibilité de l’ évaluation

L’approche mixte est spécifiée

La matrice d’ évaluation est présente : elle contient les éléments requis (voir « contenu attendu », ci-dessous) et est conforme aux critères de qualité standards ;

Les propositions pour intégrer les questions sexospécifiques dans la méthodologie sont suffisantes pour assurer une approche crédible et exhaustive

5.2 Cartographie du Site

Présentation de la couverture géographique de l’ évaluation

Explication de

Les outils cartographiques appropriés ont été utilisés pour présenter l’analyse si nécessaire

La cartographie du site

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 8 | 15

l’échantillonnage pour les zones à visiter sélectionnées (critères de sélection explicites)

Assurance de l’impartialité du processus de sélection

est lité à l’analyse de l’opération

Les considérations sexospécifiques sont expliquées

L’analyse renseigne la sélection de zones à visiter pendant la mission, selon une logique valable et une approche impartiale

5.3 Méthodes de collecte des données et outils

Description et justification des méthodes spécifiques devant être appliquées

Les méthodes choisies sont liées de façon explicite à la Matrice d’ évaluation et renseignées par l’analyse des participants

Il doit y avoir une considération particulière pour la façon dont les méthodes proposés aborderont les questions sexospécifiques

Les approches pour aborder toute lacune dans les données sont

Les méthodes de collecte de données devant être appliquées dans la évaluation sont justifiées et décrites de façon exhaustive, avec description des stratégies pour aborder les lacunes dans les données

Considération de la façon dont les méthodes de collecte des données aborderont les questions sexospécifiques

Considération de la façon dont les activités de collecte de données seront entreprises de façon à respecter les différences de genre

Présentation transparente des outils de collecte de données

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 9 | 15

identifiées au stage de Démarrage

Outils de collecte de données décrits et fournis (en Annexes)

Description de la stratégie d’échantillonnage

Explication des méthodes analytiques devant être appliquées, y compris la façon dont les données seront recoupées pour tirer des conclusions

La façon dont les données seront nettoyées, si nécessaire

Les méthodes d’échantillonnage sont fortes et impartiales

Il est probable que les propositions pour l’analyse, y compris les méthodes de triangulation (recoupement) arrivent à des conclusions crédibles

5.4 Limitations et risques Les limitations ou les

lacunes dans les données sont présentées

Indication de la façon dont l’équipe de évaluation atténuera les limitations

Les risques sont identifiés et des stratégies d’atténuations sont

Les risques sont identifiés correctement, et les stratégies d’atténuation sont réalistes

Les limitations anticipées dans la évaluation, par exemple à cause de la disponibilité des données, du calendrier de visites sur le terrain, ou des considérations de sécurité, sont clairement décrites, ainsi que la façon dont ces limitations seront

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 10 | 15

proposées atténuées.

5.5 S’assurer de la qualité

Description des processus d’assurance qualité pour s’assurer de l’impartialité, de l’indépendance, de la crédibilité et de l’utilité de la évaluation

Décrivez comment la phase de démarrage a pris en compte les questions d’éthique, et quels mécanismes de protection seront mis en place pendant l’évaluation.

Les processus pour s’assurer de l’utilité (par ex., plan de communication et d’apprentissage en place), de la crédibilité (méthodologie forte, processus clairs pour minimiser les prises de partie, c.à.d. l’impartialité) et indépendance (utilisation d’une équipe de évaluation externe) sont clairs et explicites

La façon don’t l’évaluation a pris en compte les questions d’éthique, et quels mécanismes de protection seront mis en place pendant l’évaluation

6. Organisation de la évaluation Général: Un plan organisationnel exhaustif qui donne confiance dans le fait que la revue peut être mise en oeuvre comme prévu, peut faire jusqu’à 6 pages.

Contenu Attendu Critères de revue Commentaire/statut

6.1 Composition de l’équipe et plan de travail

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 11 | 15

Description de l’expertise de chaque membre d’équipe en conformité avec les exigences du TdR (y compris expertise sexospécifique) et leurs rôles et responsabilités respectifs

Inclusion d’un plan de travail pour chaque membre de l’équipe en conformité avec les produits à délivrer si nécessaire

Processus prévus pour s’assurer du travail d’équipe et de la coordination

L’expertise de l’équipe correspond aux compétences requises dans le TdR (y compris le genre)

Il y a une complémentarité claire dans l’ensemble de compétences des membres de l’équipe

Une expertise sexospécifique est incluse

Les tâches devant être entreprises par chaque membre de l’équipe sont claires et en conformité avec les profils des conseilleurs

Il y a un plan clair pour s’assurer de la coordination et du travail d’équipe entre les membres de l’équipe

6.2 Calendrier

Présentation claire du calendrier, révisée le cas échéant, avec les produits à délivrer associés

Le calendrier (révisé) respecte le temps requis pour chaque phase de la évaluation

Le calendrier (révisé) a été agrée avec le Responsable de la évaluation

Les produits à délivrer associés, avec les dates spécifiques, sont inclus

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 12 | 15

6.3 Calendrier de la collecte de données de la mission

Calendrier de la mission de évaluation (par jours/membres d’équipe/locations/participants, etc.)

Le calendrier de la mission de évaluation fournit un outil pratique pour faciliter la planification du PAM

La liste des participants est conforme à l’analyse des participants

Un plan détaillé est présenté en annexe

6.4 Informations/Aide requise

Description de l’aide (logistique/opérationnelle) requises durant la évaluation

La liste d’aides requises est claire et a été agréé avec le Responsable de évaluation PAM

Annexes Commentaires Commentaires/Statut

Les annexes devraient appuyer et développer le texte dans le rapport principal. Y compris : Carte de

l’intervention/zone du projet

Matrice de évaluation

Outils de collecte de données

Calendrier de la Mission de évaluation

Une carte pertinente et mise à jour est incluses

Les annexes sont listées et numérotées

Les annexes sont référencées, là où c’est approprié dans le rapport

Les outils de collecte de données sont inclus

Tous les documents de travail ne sont pas inclus

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 13 | 15

Documents Réunis

Revue Qualité – Matrice de revue

Matrice de revue – Contenu Attendu

Critères de revue Commentaire/statut

La Matrice de revue devrait fournir une vue d’ensemble de la façon dont chacune des questions clés de l’évaluation, telles qu’elles sont identifiées dans les Termes de Référence, seront abordées. Cela devrait inclure : Une répartition des

questions principales en sous-questions

Un ensemble d’indicateurs pour mesurer la performance, faisant explicitement référence au modèle logique utilisé

Des repères possibles (y compris des standards de meilleure pratique, la revue de performance d’agences de

La matrice résume la méthodologie de l’ évaluation et aborde chacune des questions de revue dans les TdRs

Le nombre de sous-questions est adéquat pour que l’équipe de revue reste concentrée sur les réponses aux questions principales, et fasse une analyse en profondeur (c.à.d. pas trop nombreuses et pas trop peu)

Les sous-questions sont développées pour guider l’équipe de revue, mais ne sont pas aussi détaillées qu’un instrument d’étude ou un guide d’interview

Pour chaque question de revue, sous-questions, indicateurs de performance (en s’appuyant sur ceux dans le modèle logique ou le cadre logique), des repère possibles et des sources

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 14 | 15

référence, etc.) Liens vers les parties

pertinentes de la méthodologie qui contribueront à répondre aux sous-questions

Explication de la façon dont les observations seront triangulées (recoupées)

Les sources d’information (spécifier si des données secondaires seront utilisées et là où des données primaires sont nécessaires)

d’informations sont spécifiés La matrice démontre

clairement qu’une triangulation (recoupement) aura lieu

La matrice de revue est renseignée par l’analyse des participants

La matrice fait référence aux critères de revue pertinents (y compris pertinence, cohérence (interne et externe), couverture, efficience, efficacité, impact, durabilité, et exactitude) et aux standards (par ex., standards SPHERE)

I R Q C – V e r s i o n J u i n 2 0 1 8 P a g e 15 | 15