Évaluation indépendante du Centre du commerce international ......participé aux activités de l'ITC. Le rapport définit ensuite les méthodes et principales sources d'informations

Évaluation indépendante du Centre du commerce international (ITC)

Rapport initial

30 octobre, 2013

Bernard Wood, Chef d'équipe

:

Évaluation indépendante de l'ITC – Rapport initiali

Table des matières

Liste des encadrés, diagrammes et tableaux ........................................................................ ii

Liste des acronymes ............................................................................................................. iii

Sommaire ............................................................................................................................. v

1. Objectif et historique du Rapport initial .......................................................................... 1

2. Objectifs et champ d'application de l'évaluation ............................................................ 2

2.1 Objectifs de l'évaluation ......................................................................................... 2

2.2 Champ d'application .............................................................................................. 5

2.3 Gestion, gouvernance et indépendance de l'évaluation ......................................... 6

3. Approche et méthodologie ............................................................................................. 8

3.1 Approche ............................................................................................................... 8

3.2 Processus d'évaluation .......................................................................................... 9

3.3 Conception méthodologique ................................................................................ 10

3.3.1 Résultats de l'évaluation de « l'évaluabilité » ................................................. 10

3.3.2 Questions principales et matrice d'évaluation ................................................ 11

3.3.3 Méthodes spécifiques .................................................................................... 13

3.3.4 Triangulation et validation .............................................................................. 17

3.3.5 Sélection des cas d'étude pour le portefeuille et les missions sur le terrain .... 17

3.3.6 Consultations avec les bénéficiaires potentiels de l'ITC ................................. 20

3.3.7 Analyse et synthèse des résultats de l'évaluation .......................................... 21

3.4 Stratégie de communication et diffusion ............................................................... 23

3.4.1 Une approche cohérente de la communication .............................................. 23

3.4.2 Cadre stratégique pour la diffusion et la communication promotionnelle ........ 24

3.4.3 Produits et services projetés .......................................................................... 25

4. Risques de l'évaluation et mesures de réduction ........................................................ 26

5. Calendrier, plan de travail, rapports et produits finaux ................................................. 28

5.1 Calendrier ............................................................................................................ 28

5.2 Plan de travail ...................................................................................................... 29

5.3 Responsabilités ............................................................................................................................................... 31

6. Annexes ....................................................................................................................... 32

Annexe I : Matrice 1 - Évaluation de l'organisation et de la gestion de l'ITC, et des changements depuis 2006 ............................................................................................. 32

Annexe II : Matrice 2 - Évaluation de l'évolution des opérations et des résultats de l'ITC depuis 2006 .................................................................................................................... 40

Annexe III : « Story-boards » des sections par produit et région .................................... 44

Annexe IV : Réponses de l’Équipe d’évaluation indépendante aux commentaires sur la version préliminaire du Rapport initial ............................................................................ 48

Évaluation indépendante de l'ITC – Rapport initialii

Liste des encadrés, diagrammes et tableaux

Encadré 1 : Aperçu général de l'ITC depuis l'évaluation de 2006 .......................................... 3

Encadré 2 : Analyses de la performance du portefeuille ...................................................... 15

Encadré 3 : Critères de sélection des études de cas par pays ............................................ 19

Diagramme 1 : Le processus d'évaluation ........................................................................... 10

Diagramme 2 : Composantes de la méthodologie ............................................................... 11

Tableau 1 : Champ d’application géographique .................................................................. 18

Tableau 2 : Choix des pays ................................................................................................. 20

Tableau 3 : Outil d'analyse .................................................................................................. 21

Tableau 4 : Risques et stratégie de réduction des risques .................................................. 26

Tableau 5 : Plan de travail de l'évaluation ........................................................................... 29

Tableau 6 : Répartition des responsabilités ......................................................................... 31

Évaluation indépendante de l'ITC – Rapport initialiii

Liste des acronymes

ALC Amérique latine et Caraïbes

AOA Afrique orientale et australe

AOC Afrique de l'ouest et centrale

AP Asie-Pacifique

APC Aide pour le commerce

ATLC Assistance technique liée au commerce

BID Banque interaméricaine du développement

BM Banque mondiale

BSCI Bureau des services de contrôle interne des Nations unies

CBI Centre pour la promotion des importations en provenance des pays en développement

CCITF Comité consultatif du fonds de dépôt de l'ITC

CICDD Centre international de commerce et de développement durable

CIR Cadre intégré renforcé

CNUCED Conférence des Nations unies sur le commerce et le développement

CRDI Centre de recherches pour le développement international

DBIS Division – Support aux entreprises et institutions (ITC)

DCP Division des programmes pays (ITC)

DMD Division − Développement des marchés (ITC)

DPS Division − Appui aux programmes

EA Environnement des affaires (DBIS)

EC Section - Compétitivité des entreprises (DBIS)

EMU Unité d'évaluation et de suivi

EOAC Europe orientale et Asie centrale

EQCP Examen quadriennal complet de la politique de l'ONU

GAR Gestion axée sur les résultats

GF Gestion financière

IAC Institutions d'appui au commerce

ITC Centre du commerce international

JAG Groupe consultatif commun

MENA Moyen-Orient et Afrique du Nord

OCDE Organisation de coopération et de développement économiques

OMC Organisation mondiale du commerce

OMD Objectifs du Millénaire pour le développement

ONUDI Organisation des Nations unies pour le développement industriel

Évaluation indépendante de l'ITC – Rapport initialiv

PIB produit intérieur brut

PMA Pays les moins avancés

PME Petites et moyennes entreprises

RH Ressources humaines

SFI Société financière internationale

STDF Fonds pour l'application des normes et le développement du commerce

TS Section - renforcement des institutions d’appui au commerce (DBIS)

Évaluation indépendante de l'ITC – Rapport initialv

Sommaire

Le Rapport initial présente le plan d'action détaillé pour l'évaluation indépendante du Centre du commerce international (ITC). Conformément aux bonnes pratiques en matière d'évaluation, le Rapport initial définit très précisément les attentes : sa fonction est de présenter les informations clés concernant les objectifs, le champ d'application, et le cadre de l'évaluation ; expliquer la méthodologie utilisée ; décrire la stratégie de communication et de diffusion ; et définir le calendrier, le plan de travail, et les rapports et produits finaux. Le Rapport initial reflète les termes de référence et le point de vue de l'équipe choisie pour la réaliser, ainsi que les résultats d'une première phase de recherche documentaire (dès août 2013) et de consultations à Genève (en septembre et début octobre), comprenant notamment 35 entretiens ciblés, à divers niveaux de l'organisation.

Les objectifs de cette évaluation sont les suivants : évaluer les changements accomplis par l'ITC en termes de son organisation et de ses programmes depuis l'évaluation complète de 2006 ; évaluer les résultats des actions de l'ITC sur cette même période de six ans ; et soumettre des conseils indépendants pour l'avenir. Les conclusions de cette phase préparatoire confirment la faisabilité du type d'évaluation envisagé, c'est-à-dire une évaluation de type « rapport intermédiaire simplifié ». Le rapport indique également que cette évaluation devra faire appel à des méthodes éprouvées en combinaison avec des adaptations créatives, en accord avec des spécificités de l'ITC.

Le Rapport définit clairement les dispositions en matière de gestion, de gouvernance et d'indépendance de l'évaluation, tout comme les obligations et la responsabilité de rendre compte au Bureau de l'évaluation et de suivi (qui est responsable de la gestion de l'évaluation) ; celles du Comité directeur, responsable de sa supervision ; et de l'Équipe d'évaluation indépendante. Conformément aux normes d'évaluation de l'ONU, les principes fondamentaux qui orientent et structurent l'évaluation sont : l'indépendance, l'utilité et la crédibilité. D'autres principes clés sont la transparence et la participation de toutes les parties intéressées, dans une optique d'apprentissage.

L'évaluation fera appel à une méthodologie rigoureuse qui a fait ses preuves lors d'évaluations similaires. Il s'agit d'une approche structurée, transparente et vérifiable, qui répond aux questions d'évaluation au travers de deux matrices (voir Annexes I et II). Celles-ci servent de « colonne vertébrale » à l'évaluation, présentent et synthétisent ses constatations, et permettent de formuler des conclusions valables, et des recommandations robustes et utiles. Cette approche applique les critères d'évaluation qui sont spécifiés - pertinence, efficacité, efficience, viabilité et impact potentiel - au moyen de méthodes mixtes, qui associent sources et techniques quantitatives et qualitatives, et recoupent les informations de plusieurs sources différentes.

Au vu de l'importance accordée au travers de cette évaluation à la situation actuelle de l'organisation, à la gestion et aux changements au sein de l’ITC depuis 2006, une approche particulière s'est imposée. Cette approche s'appuie sur des éléments adaptés à partir d’un cadre reconnu, largement utilisé pour des évaluations institutionnelles. Cette première apparaît clairement dans la matrice d'évaluation de l’Annexe I, qui présente les questions principales, les éléments clés permettant d'y répondre, les problèmes, les indicateurs, les sources et les méthodes de collecte et d'analyse de données. Cette matrice permet également de traiter systématiquement toutes les questions importantes concernant cette partie de l'évaluation, et sera adaptée par la suite sous forme de guides pour les entretiens, sondages ciblés ou autres outils, selon les besoins.

Sur le volet des programmes, la recherche initiale met en lumières des défis de taille pour l'évaluation du résultat global des activités de l'ITC sur la base des critères agréés, à commencer par l'identification et la catégorisation des nombreuses et très diverses lignes de produits de l'ITC, ce qui nous demande d'élaborer des méthodes cohérentes et stratégiques

Évaluation indépendante de l'ITC – Rapport initialvi

permettant d'agréger les produits et résultats dans des évaluations de niveau organisationnel. Une technique qui a déjà fait ses preuves consiste à reconstituer des « histoires » structurées qui « racontent » les divers produits et projets de l'ITC. Le Centre met actuellement en place ses propres systèmes d'agrégation des informations concernant les projets et programmes ; l'évaluation aura recours autant que possible à ces nouveaux systèmes, tout en évaluant leur validité et facilité d'utilisation. À l'heure actuelle, plusieurs divisions opérationnelles de l'ITC mettent à jour les informations relatives aux produits et services qu'elles proposent ; l’Équipe d’évaluation collabore déjà à ces efforts en tant que premier utilisateur de ces informations. La matrice en Annexe II, « Évaluation de l'évolution opérationnelle et des résultats de l'ITC depuis 2006 », explique comment l'analyse s'articule autour des trois principaux résultats attendus définis dans le Cadre logique officiel de l'ITC, en lien avec ses trois principaux groupes de bénéficiaires : les PME exportatrices, les décideurs politiques et les institutions d'appui au commerce.

Comme l'explique le rapport, l'élaboration d'une stratégie d'échantillonnage adéquate en constitue un autre aspect important : l'équipe indépendante a défini des critères d'échantillonnage clairs (détaillés dans ce rapport) afin de garantir l'objectivité de la sélection des cas d'étude et prendre en compte les contributions spécifiques des collaborateurs de l'ITC. Etant donné que des évaluations séparées seront certainement nécessaires pour un certain nombre de projets et services à visée mondiale, l'ITC n'ayant pas à proprement parler de « programmes pays » au sens où l'entendent nombre d’agences plus grandes, il est néanmoins important d’étudier des projets de portée nationale, plurinationale et régionale, avec des contextes nationaux très diversifiés.

Cette approche de l'évaluation du portefeuille d'activités de l'ITC s'apparente à une sorte d'entonnoir. Au bout large de l'entonnoir, l'évaluation passera en revue l'éventail complet des projets de l'ITC et les décrira sommairement. Au niveau intermédiaire de l'entonnoir, 24 analyses de portefeuille sont prévues dans plusieurs pays, issus de toutes les régions géographiques (voir liste). Au petit bout de l'entonnoir, l'équipe indépendante effectuera des missions sur le terrain dans sept pays (comme prévu dans le budget de l'évaluation) avec une répartition semblable entre les différentes régions. Ces missions exploratoires visent à relier les conclusions générales de l'évaluation à la réalité, au travers de consultations avec les parties prenantes et d'observations sur le terrain. L'équipe s'efforcera tout particulièrement de solliciter des bénéficiaires potentiels qui n'ont pas encore ou peu participé aux activités de l'ITC.

Le rapport définit ensuite les méthodes et principales sources d'informations utilisées pour l'évaluation. L'étude comprendra des recherches documentaires et statistiques approfondies (sur les programmes et projets), des entretiens ciblés, et des sondages des principales parties prenantes. Le Rapport initial précise également l'approche de l’analyse et de la synthèse des résultats de l'évaluation, et de la rédaction du rapport final.

Le mandat de la présente évaluation insiste tout particulièrement sur la mise en place d'une stratégie de diffusion et de communication, et ceci dès le départ. Cette stratégie a été élaborée de concert avec les spécialistes en communication de l'ITC afin d'assurer une collaboration efficace et un passage du témoin réussi, après la fin de la mission de l'équipe indépendante. Un premier pas important de cette stratégie a été franchi avec la création sur le site de Saana Consulting d'une page web à but informatif et consultatif (http://www.saana.com/itc-evaluation/). Cette page restera active pour la durée de l'évaluation, afin de permettre des mises à jour rapides, soutenir l'accès à l'information, et faciliter les contacts directs avec l'équipe indépendante.

Le rapport présente ensuite la liste des risques susceptibles d'influencer l'évaluation, ainsi que leur probabilité et gravité, ainsi que les mesures pour les réduire. En général, les conclusions du rapport sont positives sur presque tous les fronts.

http://www.saana.com/itc-evaluation/

Évaluation indépendante de l'ITC – Rapport initialvii

La partie finale du Rapport initial présente le calendrier, le plan de travail, les rapports et les produits et supports finaux de l'évaluation. Il est précisé ici que la phase d'implémentation débutera immédiatement après l'examen du Rapport initial, afin que toutes les composantes de l'évaluation puissent être réunies avant avril 2014, pour une diffusion à partir de juin 2014.

Évaluation indépendante de l'ITC – Rapport initial1

1. OBJECTIF ET HISTORIQUE DU RAPPORT INITIAL

1. La fonction du Rapport initial est de définir précisément le mandat et le plan de mise en œuvre de l'évaluation, afin de clarifier les attentes mutuelles concernant les objectifs et la portée de la mission. Le travail de la phase initiale suit de près le plan établi.

2. Après s'être vu attribuer le mandat au terme d'un concours, l'équipe sélectionnée démarre la phase préparatoire par une démarche de recherche documentaire. Plusieurs collaborateurs de l'équipe se rendent à Genève à trois reprises, entre septembre et début octobre 2013. La première visite vise à consulter le Chef de l’Unité de l'évaluation de l'ITC et de réaliser une recherche documentaire approfondie, afin de mieux cerner les problèmes fondamentaux. Lors de la deuxième visite, le Chef et trois membres de l’équipe se rendent à Genève pour présenter l'évaluation aux principaux groupes de parties prenantes au siège1 et pour approfondir leur analyse initiale de l'organisation, de la gestion et du fonctionnement de l'ITC, avec l’objectif d'améliorer leurs questions et les méthodologies d’évaluation. Cette étape comprend six présentations et 11 entretiens ciblés, portant sur les sujets clés.

3. Lors de la troisième mission, début octobre, un seul membre de l'équipe réalise 25 entretiens structurés, visant à tester les approches et outils qui serviront d’abord à comprendre et analyser les nombreuses lignes de produits et types de projets proposés par l'ITC, et qui seront ensuite déployés à plus large échelle pour l'évaluation complète. Simultanément, l'équipe met au point les critères d'échantillonnage des programmes pays de l'ITC à inclure dans le portefeuille d'analyses, ainsi que les critères de sélection d'un nombre plus limité de missions de validation sur le terrain, sous réserve de l'accord final de la Division des programmes pays (DCP).

4. Cette phase initiale permet à l'équipe d'intégrer les Termes de référence préliminaires et sa propre proposition au plan d'action détaillé en vue de la réalisation de l'évaluation.

5. Dans le cadre des recherches et consultations de la phase initiale, l'équipe complète une « estimation de l'évaluabilité » approfondie, afin d’identifier les domaines dans lesquels les programmes, les activités et la gestion de l'ITC remplissent, de façon complète ou partielle, les conditions préalables pour une évaluation qui soit robuste. Cette démarche nous permet de structurer l'évaluation de manière à la rendre aussi fiable et utile que possible, compte tenu des données disponibles, du contexte, du genre d'informations que l'évaluation doit produire, et des ressources à disposition. Elle permet également de définir à quel niveau chaque question devra être évaluée (niveau mondial, régional, national, ou plurinational ; par priorité ou objectif stratégique ; et/ou par programme ou projet). Des ajustements substantiels ont été apportés à la suite de cet exercice ; ceux-ci sont résumés et expliqués dans le rapport, et sont répercutés dans le plan de travail (qui comprend également les questions d'évaluation et la matrice des données et méthodes) et dans le calendrier de mise en œuvre.

1 Les parties prenantes comprennent : le Comité directeur, la direction et le personnel de l’ITC, les missions

permanentes des pays bénéficiaires, et les représentants de l'OMC et du CNUCED.


2. OBJECTIFS ET CHAMP D'APPLICATION DE L'EVALUATION

2.1 Objectifs de l'évaluation

7. Les analyses et consultations de la phase initiale confirment la faisabilité des trois objectifs fondamentaux de l'évaluation (décrits ci-dessous), ainsi que ses principaux axes d'approche. Bien que les trois objectifs soient d’importance égale, il est évident que le troisième comprend des éléments prévisionnels qui dépendent des conclusions des deux premiers. De toute façon, il ne fait aucun doute que toutes les parties prenantes, y compris la direction de l'ITC, donneront plus de poids à des recommandations pour l'avenir provenant d’un acteur externe et objectif. Il est d’ailleurs dans l'intérêt de toutes les parties concernées d'encourager un débat autour des résultats et conclusions de l’évaluation pendant le processus de mise en œuvre de l’évaluation, plutôt qu’après la publication du rapport final. Cette mise à profit du processus d’évaluation fait d'ailleurs partie des bonnes pratiques qui permettent de garantir l’utilité de l’évaluation2.

8. Objectif 1 - Changements depuis 2006 : Passer en revue les progrès accomplis et les enseignements tirés depuis la précédente évaluation de l'ITC en 2006. La phase initiale comprend un examen approfondi de l’évaluation de 2006, de ses nombreuses recommandations, des réactions et commentaires de la direction à l'époque, et des rapports ultérieurs détaillant les modifications apportées, les performances réalisées, et les directions stratégiques définies depuis 2006. Le but ici est de déterminer les domaines pour lesquels les progrès sont directement évaluables sur la base de l'évaluation de 2006, et ceux pour lesquels les critères permettant de juger le progrès de l'ITC sur cette période proviendront d’autres sources de données - résultats organisationnels, décisions, stratégies ou déclarations d'intention diverses. Les Termes de référence invoquant la notion de « progrès », l'évaluation conserve ce mot, mais met l'accent sur la notion de changement, car ce dernier englobe autant les progrès que des possibles régressions. L'évaluation s'efforcera d'identifier les enseignements tirés et les actions qui s'ensuivirent, ainsi que les enseignements qui auraient éventuellement été tirés, mais pas entièrement mesurés, assimilés, ou diffusés auprès des parties prenantes de l'ITC. (Voir encadré 1 : Aperçu général de l'ITC depuis l'évaluation de 2006).

9. Objectif 2 - Résultats des activités de l'ITC : Soutenir la responsabilité de rendre compte envers les organisations de tutelle, donateurs et pays bénéficiaires de l'ITC, en démontrant les résultats et retombées des activités de l'ITC depuis 2006. L'évaluation devra répondre de façon transparente et impartiale aux intérêts prioritaires et aux exigences en matière de responsabilité qui sont propres aux différentes parties prenantes, tout en reconnaissant leur diversité, et en étant parfaitement transparent sur la méthodologie et les critères d'évaluation utilisés. Ce but sera atteint au moyen d'une démarche impliquant les parties prenantes de façon continue. Nous mettrons l'accent sur les appréciations émanant des bénéficiaires visés par l'ITC, dans la mesure où les effets sur ces derniers constituent la raison d'être du Centre : ce sont en effet eux qui génèrent les résultats finaux sur le plan du développement économique, et c'est d’autant plus, un groupe nombreux et dispersé, plus difficile à contacter que d'autres. L'évaluation devra, dans la mesure du possible, donner des réponses claires aux questions d'évaluation qui ont été agréées, eu égard au champ d'application et à la fiabilité de l'information obtenue.

2 Dans une forme plus avancée - et si les circonstances le permettent - l'évaluation peut jouer un rôle encore plus

dynamique pour le développement de l'organisation, au travers d’une démarche "d'accompagnement" intensif, comme celui décrit dans l'ouvrage suivant: Quinn Patton, M. (éd.) (2012) Canadian Journal of Program Évaluation, Volume 27 No 3, Special Issue 2012 : Évaluation of the Paris Declaration on Aid Effectiveness.


10. La phase initiale souligne que l'éventail de produits et de projets proposés par l'ITC est complexe et diffus, et que les systèmes actuels du Centre disposent d'une capacité limitée pour fournir des informations claires sur les résultats et les réalisations découlant de ses activités. La manière dont nous aborderons ce problème est décrite au chapitre « méthodologie » ci-dessous. Par ailleurs, nos recherches initiales suggèrent que les conclusions de l'évaluation sur l'impact des activités de l'ITC seront probablement limitées, dans la mesure où la gestion axée sur les résultats n'a été introduite que récemment à l’ITC, et parce que son portefeuille d’activité est très dispersé. L'évaluation fera preuve de rigueur et de prudence dans la définition des liens de causalité directe entre les diverses interventions de l'ITC et leurs impacts, car les autres facteurs d’influence sont nombreux. Des techniques d'analyse des contributions3 permettront, le cas échéant, de tester la plausibilité des liens entre les actions de l'ITC et les changements observés sur le plan du développement économique.

11. Objectif 3 - Leçons et conseils pour la direction stratégique de l'organisation au cours des prochaines années : identifier, pour les publics spécifiés, un nombre restreint de recommandations facilement réalisables - avec parfois plusieurs options à choix –, qui découlent formellement des constatations et conclusions de l'évaluation et qui reflètent une démarche consultative large. Ces recommandations, conseils et enseignements s'appuient sur des modèles pertinents et, dans la mesure du possible, sur des comparaisons (benchmarking) avec des organisations comparables. Ils portent également sur le positionnement de l'ITC et sur ses avantages/désavantages compétitifs dans le domaine de l'assistance technique liée au commerce et l'aide au commerce au sens large, qui est en rapide évolution.

Encadré 1 : Perspective d’ensemble de l'ITC depuis l'évaluation de 2006

Les Termes de référence de l'évaluation demandent que cette perspectivesoit inclue dans le Rapport initial. À l'heure actuelle, il est sans doute trop tôt pour porter un jugement évaluatif – voire même de proposer une analyse ou description définitive qui devra plutôt être le résultat de l'évaluation après son implémentation. Il est toutefois essentiel à ce stade de résumer les axes principaux de notre compréhension de la situation, en citant quelques pistes préliminaires, mais sans prétendre à une étude exhaustive. Ces informations ont été obtenues lors de la phase initiale, au moyen d'une recherche préparatoire approfondie et des consultations avec l'ITC, puis intégrées aux connaissances de l'équipe au sujet de l'assistance technique au commerce et l'organisation et la gestion d'organismes multilatéraux.

Il apparaît d’ores et déjà clairement que l'évaluation majeure de l'ITC réalisée en 2006, en particulier les réponses qui lui ont été apportées, constitue une étape importante dans l'histoire relativement longue de l'ITC - une organisation de taille modeste à ses débuts, qui jouissait autrefois d’un quasi-monopole dans l'assistance technique liée au commerce. L'évaluation de 2006 présente 34 recommandations, visant notamment :

la durée, le niveau et la flexibilité du soutien des donateurs ;

les dispositifs de gouvernance et de responsabilité de rendre compte ;

des programmes plus réactifs, plus grands, avec un ancrage national et une plus grande présence sur le terrain ;

une orientation axée sur les résultats, dans une perspective OMD ;

3Voir Mayne, J (2001) « Addressing Attribution through Contribution Analysis: Using Performance Measures

Sensibly », The Canadian Journal of Programme Évaluation, Vol.6, No.1, Canadian Évaluation Society.


un renforcement des systèmes de GAR, le suivi, la capacité de documenter et l’évaluation ;

une évaluation des coûts des activités de l'ITC ;

un renforcement des ressources humaines de l'ITC ;

des actions visant à renforcer les partenaires de projet et les impacts durables ;

des partenariats internationaux plus solides ; et

la création d'une fonction « marketing stratégique et identification des priorités ».

Les premières réactions de la Direction de l’ITC furent plutôt tièdes, mais peu après, suite à d'importants changements au niveau de la direction, l'ITC s’est engagé à mettre en œuvre une grande partie des recommandations de l'évaluation 2006. Cet effort prit la forme d'un ambitieux « processus de gestion du changement », suivant les recommandations des évaluateurs.

Environ six ans plus tard, après de nombreux changements internes, parfois contestés, et un bilan de progrès mitigé dans les différents domaines où les tentatives de changement ont eu lieu, l'ITC a adopté (et mis en place, à des degrés divers) de nouveaux systèmes internes dans plusieurs domaines clés, et a posé les bases d'une approche plus moderne des programmes. On constate, entre autres, une amélioration indéniable sur le plan de la communication : le Centre « raconte » beaucoup mieux son « histoire », y compris l'histoire de la transformation qui se poursuit encore aujourd'hui.

Sur le plan de la réputation, il existe des indices qui permettent de penser que ces efforts ont permis à l'ITC de renforcer sa crédibilité auprès des principaux donateurs et agences multilatérales. Par contre, son image générale auprès des bénéficiaires actuels et potentiels est moins claire : cette question sera un point important de l'évaluation. L'utilisation accrue de sondages clients, déjà mentionnée ci-dessus, est un premier pas utile dans la bonne direction. De même, il faudra attendre les résultats de l'évaluation avant de pouvoir déterminer les progrès réalisés en réponse aux problèmes observés en 2006 : une organisation fragmentée et peu cohérente, la complexité des dispositifs de gouvernance et de responsabilité, les difficultés sur le plan des ressources humaines, et les partenariats externes de l'ITC.

Sur le volet des programmes, l’offre est particulièrement diverse et complexe compte tenu de la taille modeste de l’organisation, avec plus de 50 produits et services. Par conséquent, c’est un vrai défi de comprendre, déployer et gérer ces outils (qui fonctionnent souvent en combinaison) pour tous les programmes et les sections géographiques du Centre et ce, en fonction de ses objectifs stratégiques. L'évaluation doit éclairer le fonctionnement de ce système et évaluer ses résultats. Il faudrait pour cela évaluer également l'expérience pilote du bureau de l’ITC au Mexique, dans le cadre des efforts de décentralisation des capacités. En même temps, nous constatons que l'ITC a su conserver et renforcer certains de ses atouts traditionnels, notamment l'intelligence économique et l'assistance technique à petite échelle pour des entreprises exportatrices des pays en développement, tout en explorant des domaines nouveaux, au travers de projets à plus grande échelle. Certains de ces projets - l'initiative « Mode éthique », par exemple - ont un retentissement international. Le Centre s’efforce aussi d’explorer des approches innovantes, au travers du Programme sur les femmes et le commerce, par exemple. Quant aux services, nous constatons que, dans plusieurs domaines, l'ITC répond à la demande de façon créative et fort appréciée, par exemple, en ce qui concerne l'analyse des chaînes de valeurs et des mesures non-tarifaires. Il semblerait que le Centre ait ainsi trouvé de nouvelles niches, où son expertise est largement reconnue.

De plus, ces tendances dans le travail de l'ITC se développent dans le contexte d’un marché international de l'assistance technique liée au commerce, très diversifié et


compétitif. À l'heure où l'ITC aborde la prochaine étape de sa transformation, et l'évaluation se prépare à présenter ses constatations, adopter une perspective de marché apparaît comme un choix tout à fait pertinent. L'ITC se positionne au sein d’une « industrie » d'aide internationale pour le commerce, qui est florissante et dont la valeur est en constante augmentation : de $24,8 milliards en moyenne annuelle en 2006-2008 à $33,6 milliards en 2011.4 Même sur le marché plus restreint de l'assistance technique liée au commerce, la « part de marché » de l'ITC, qui totalise $76 millions en 2012, est plutôt modeste, et tendrait à diminuer.

Il y a trois autres raisons essentielles d’adopter une perspective de marché pour mener à bien l’évaluation de la situation actuelle et future de l’ITC. Premièrement, du point de vue de l'offre, l'ITC dépend de « ressources extrabudgétaires », qui sont soit flexibles soit assignées à des finalités diverses, pour 55% de son financement total. Ce « marché » du financement constitue un facteur de complexité et d'incertitude, tant à l'intérieur comme à l'extérieur de l'organisation, mais est dans le même temps, un facteur vital pour soutenir les prestations globales, les capacités, l’organisation et la gestion du Centre. Deuxièmement, au niveau de la demande, les clients actuels et potentiels de l'ITC sont eux-mêmes confrontés à des changements incessants de leurs besoins d’assistance technique liée au commerce. La bonne gestion par ITC (et d'autres agences) de l'interface complexe entre l’offre de financement et la demande, est essentielle à la performance et aux bonnes pratiques, conformément aux principes de la Déclaration de Paris. Troisièmement, on observe actuellement un net resserrement du financement des donateurs. À l'heure où l'ITC constate un ralentissement du flux de projets importants et autres financements, alors que l'attitude des donateurs reste généralement positive, une évaluation crédible, actuelle et indépendante des capacités et de la performance de l'ITC comme celle de ce rapport, permettra de justifier les décisions de financement aux donateurs actuels et potentiels.

Il apparaît clairement que tous les domaines évoqués dans l'évaluation 2006, sans compter d'autres, plus récents, restent d'actualité pour la présente évaluation de type « rapport intermédiaire ». Les matrices analysant l'organisation et de la gestion du Centre d'une part, et l'évolution de ses opérations et résultats de l'autre, garantissent que tous les problèmes seront systématiquement abordés. Dans un environnement en mutation, cette évaluation nous aidera de dégager des informations nouvelles afin de les confronter à certains choix stratégiques fondamentaux, qui furent déjà évoqués en 2006, sans toutefois être suivis d’actions concrètes.

2.2 Champ d’application

12. Période étudiée : Selon les TR, le champ chronologique de l'évaluation s'étend de 2006 à fin 2012 ; elle a pour fonction de passer en revue et de rendre compte des changements intervenus sur cette période, dans la forme, le fonctionnement, le contexte et les programmes de l'ITC.

13. Exhaustivité et méthode d'échantillonnage : L'évaluation prendra en compte « tous les projets et programmes développés par l'ITC, ainsi que sa gouvernance, son ordonnance juridique, sa structure et ses processus organisationnels et opérationnels dans leur ensemble. » Une approche cumulative par étapes successives, détaillée dans le plan de travail et la matrice d'évaluation ci-après, permettra de relever ce défi.

14. Une évaluation de haute qualité, allégée, claire et simple : Le cahier des charges précise qu'il s'agit d'une évaluation de type « rapport intermédiaire », ce qui implique un « processus allégé et simplifié par rapport à l'évaluation complexe de 2006, autant par le nombre que le volume des produits finaux, qui seront conviviaux, facilement assimilables,

4 OMC (2013). Panorama de l'aide pour le commerce.


simples, brefs, utiles et clairs, tout en remplissant les exigences d'une évaluation de haute qualité. » L'accent est mis sur la réalisation d'une évaluation de haute qualité, utilisable, facile à comprendre, rédigé dans un langage clair, simple et sans jargon. L'évaluation sera être crédible, facile à comprendre, et soutenue par une stratégie de communication et de diffusion efficace, afin de permettre à l'ITC de toucher et d'informer un large public.

15. Enseignements et recommandations : L'équipe suit une approche transparente, itérative et participative afin d'identifier et d'assimiler au mieux les enseignements. L'identification des enseignements (assimilés ou non) et les recommandations soulignent les réalisations – et, dans la mesure du possible pour la période 2006-2012, aussi les impacts - des projets et programmes, ainsi que les aspects clés de la stratégie, des processus organisationnels, et de la gestion d'ITC.

2.3 Gestion, gouvernance et indépendance de l'évaluation

16. Gestion de l'évaluation : La gestion et le contrôle qualité de l'évaluation tombent sous la responsabilité de l'Unité d'évaluation et de suivi (EMU) de l'ITC. La gestion quotidienne de l'évaluation sera assurée par une l'équipe de gestion de l'EMU. Cette équipe interne à l'ITC servira de point de collecte des documents nécessaires à l'évaluation. Dans la mesure du possible, l'EMU assistera aussi l’Équipe d’évaluation sur des questions logistiques et pour l'organisation des voyages. L'équipe de gestion, en collaboration avec la direction de l'ITC, a constitué un groupe de liaison et de référence interne, dans le but de faciliter les échanges entre diverses sections de l'organisation. Les rôles et responsabilités de l'équipe de gestion/secrétariat de l'évaluation sont les suivants :

a. gérer l'évaluation et son budget ;

b. gérer la logistique des réunions à Genève dans le cadre de l'évaluation ;

c. mettre à disponibilité des places de travail, ordinateurs et téléphones, selon les besoins ;

d. consulter les parties intéressées, noter et agréger leurs commentaires concernant d'éventuels erreurs factuelles, omissions ou malentendus apparaissant dans les produits de l'évaluation ; communiquer ces commentaires à l’Équipe d’évaluation et s’assurer qu’elle réponde de manière satisfaisante à toutes les observations de fond communiquées dans les délais précisés dans le Rapport initial ;

e. contribuer ses commentaires techniques sur les réalisations de l'évaluation ; évaluer les versions préliminaires et finales des rapports en termes de validité, fiabilité des informations et clarté de l'analyse (c.-à-d. s’assurer que les conclusions sont justifiées par des constatations ; que ces dernières concordent avec les données recueillies ; et que les recommandations et enseignements tirés découlent logiquement des conclusions) ;

f. évaluer et confirmer la conformité, la qualité et l'accessibilité de tous les produits réalisés par l’Équipe d’évaluation par rapport aux Termes de référence et au Rapport initial qui oriente le travail de l'équipe, mais aussi les Normes de qualité en matière d'évaluation. L'assurance et le contrôle qualité n’équivalent pas forcément à accepter des conclusions de l'évaluation. La responsabilité finale des contenus du rapport incombe à l'équipe indépendante ;

g. coordonner le processus de réponse de la Direction ;

h. veiller à l'absence de conflit d'intérêt dans le processus de sélection ;

i. assurer la diffusion et la communication de l'évaluation en collaboration avec l'Unité de communications et l’Équipe d’évaluation ; et


j. sous la responsabilité de la direction de l'ITC, assurer le suivi de la mise en œuvre des recommandations acceptées.

17. Comité directeur et d'évaluation de l'ITC : L’évaluation est supervisée par le Comité directeur, composé de représentants des pays donateurs et bénéficiaires. La coordination du comité est assurée par un représentant d'un des pays donateurs. Sa fonction est d'encourager la participation des parties prenantes externes dans le processus et les résultats de l'évaluation, assurer l'indépendance de l'évaluation, et soutenir la diffusion et l'utilisation de ses résultats. Il assurera par ailleurs le suivi du processus et passera en revue ses produits, c'est à dire :

a. le Rapport initial, comprenant la méthodologie finale, les questions d'évaluation, le processus, le calendrier et la stratégie de diffusion ;

b. Les rapports intermédiaires à plusieurs étapes clés de l'évaluation ; et

c. La qualité, la clarté et la crédibilité de la version préliminaire et finale du rapport d'évaluation.

Le Comité directeur passera en revue les produits évoqués ci-dessus et communiquera ses observations. Afin de garantir l'indépendance, la crédibilité et l'utilité de l'évaluation, le Comité directeur n’est pas en position d’approuver ou de désapprouver les rapports rendus par l’Équipe d’évaluation indépendante.

18. L'équipe d'évaluation indépendante : L'équipe assume les responsabilités suivantes :

a. Elle réalise une évaluation indépendante selon des normes internationales reconnues (et en conformité avec la Politique et les recommandations en matière d'évaluation de l'ITC) afin de mesurer : la pertinence, l'efficacité et l'efficience du travail de l'ITC ; l'impact de ses activités ; et la viabilité de ses interventions. Elle dresse le bilan des progrès accomplis dans la mise en œuvre des recommandations de l'évaluation de 2006. Elle répond aux Termes de référence et aux questions d'évaluation, définies dans les TR et élaborées, corrigées et confirmées dans le Rapport initial. Elle fait appel à des méthodes diverses pour répondre aux questions d'évaluation et établir des liens crédibles entre, d'une part, ses constatations et recommandations, et, d’autre part, des preuves fiables.

b. Elle rédige, en anglais, des produits conviviaux, facilement assimilables, simples, brefs, utiles et clairs, répondant aux exigences d'une évaluation de haute qualité. En tant que « rapport intermédiaire », cette évaluation stratégique est définie comme une démarche allégée et simplifiée par rapport à l’évaluation complexe de 2006.

c. Son approche est exhaustive. Une recherche documentaire permet de passer en revue tous les projets et programmes développés par l'ITC, ainsi que sa gouvernance, sa structure et l’ensemble de ses processus juridiques, organisationnels et opérationnels. L'évaluation prend aussi en compte d'autres évaluations des activités de l'ITC réalisées entre 2006 et 2012. Afin de vérifier les conclusions préliminaires des études documentaires et procéder à une analyse plus approfondie, l'évaluation étudie un échantillon représentatif des opérations de l'ITC de façon plus détaillée, au moyen d'une évaluation de la programmation de l'ITC au siège de Genève, assortie de sept missions sur le terrain dans des pays et régions où l'ITC est active, mais avec un intérêt particulier pour l’Afrique.

d. Dans cette perspective, l'évaluation utilise une méthodologie consultative et participative, comprenant notamment des entretiens des principales parties prenantes (surtout les bénéficiaires, c.-à-d. les Institutions d'appui au commerce et des entreprises privées sur le terrain, mais aussi les donateurs, le personnel et la direction de l'ITC, les organisations de tutelle et partenaires). La participation des parties prenantes joue un rôle essentiel à toutes les étapes, afin de


permettre à l'évaluation de se dérouler dans le consensus et la transparence, tout en respectant les normes, telles que le principe d'indépendance. Cet engagement permet de réaliser les objectifs de l'évaluation tout en renforçant la confiance, l'apprentissage, et la participation de divers publics et parties prenantes, condition du succès de l'exercice et de ses résultats.

e. Elle répond aux commentaires des parties prenantes sur les rapports préliminaires, dans le respect du principe d'indépendance, pour autant qu'ils soient communiqués dans les délais définis par le Rapport initial. L'équipe indique comment ces commentaires ont été intégrés au rapport, et si non, pourquoi. Le chef d'équipe s'assure que le rapport reflète, par des commentaires dans le texte, notes de bas de page ou dans une section spéciale, toute divergence d'opinion parmi les membres de l’Équipe d’évaluation, ou entre l’Équipe d’évaluation et les partenaires, qu'elle estime importante pour les conclusions et les recommandations du rapport.

f. Elle met en place des systèmes internes d'assurance et de contrôle de la qualité. Le chef d'équipe est responsable de : l'organisation et de la coordination du travail de l’Équipe d’évaluation (il assure la qualité et la pertinence de leurs contributions) ; la communication des constatations, conclusions et recommandations au fur et à mesure de l'avancement de l'évaluation ; et la rédaction d'un rapport final exhaustif, selon les normes et dans les délais spécifiés par le contrat. Le Responsable de projet principal, nommé par l'entreprise retenue, est responsable de la gestion de tous les aspects du contrat : du contrôle des coûts à la trésorerie ou la gestion des factures. L'entreprise a également nommé un deuxième responsable principal, afin de renforcer l'assurance qualité. Sur la base du résumé inclus dans la proposition et distribué à tous les membres de l’Équipe d’évaluation, une mise à jour du plan et de la politique en matière d'assurance de la qualité a été préparée.

g. Elle aborde les enseignements à tirer du fonctionnement de l'ITC sur les six dernières années, en termes d'impact, de stratégie, et de gestion, et émet des recommandations.

h. Elle produit des rapports - transmis à l'Equipe de gestion de l'évaluation, le Comité directeur ou la direction, selon les cas - détaillant sa progression à certaines étapes clés ; réalise les produits convenus (les versions préliminaire et finale du rapport, entre autres) dans les délais ; et complète les tâches convenues pour diffuser et communiquer les résultats de l'évaluation.

3. APPROCHE ET METHODOLOGIE

3.1 Approche

19. les principes fondamentaux qui orientent et structurent l'évaluation sont l'indépendance, l'utilité et la crédibilité. La phase initiale montre que, pour rendre compte des spécificités de l'ITC, cette évaluation devra faire appel à un mélange ad hoc de méthodes éprouvées et d'adaptations créatives. Bien qu'il s'agisse ici d'un « rapport intermédiaire » à vocation plus « formative » que « récapitulative », le rapport doit non seulement remplir une fonction de suivi et d'évaluation des résultats, mais aussi présenter des conseils pour l'avenir. Afin de répondre aux questions importantes touchant à l'organisation et à la gestion, nous devons adapter nos méthodes d'évaluation des organisations. Guidée par l'objectif global de l'ITC - c'est-à-dire la gestion axée sur les résultats en termes de développement économique -, cette approche de l'évaluation s'appuie sur les connaissances générales en évaluation sur la possibilité, et les limites, des liens de causalité entre activités d'aide au développement et impacts.


20. L'évaluation fera appel à une méthodologie rigoureuse qui a fait ses preuves dans d'autres évaluations du même genre. Il s'agit d'une approche structurée, transparente et vérifiable, permettant de : répondre aux questions d'évaluation ; présenter et synthétiser les constatations ; et formuler des conclusions bien fondées et des recommandations robustes et utiles. Cette approche applique les critères d'évaluation définis - pertinence, efficacité, efficience, viabilité et impact potentiel - au moyen des méthodes mixtes, qui associent des sources et des techniques autant quantitatives que qualitatives.

21. Les composantes clés de la conception et de l'approche de l'évaluation sont :

a. encourager l'ITC à mettre plus l'accent sur les résultats en regroupant les évaluations de l'utilisation et des résultats des projets et produits selon les réalisations définies dans le cadre logique officiel du Centre ;

b. préparer et suivre une matrice d'évaluation détaillée - véritable « colonne vertébrale » de l'évaluation - qui précise comment les questions centrales seront adressées, et définit la provenance et les méthodes de récolte et d'analyse des données ;

c. expliquer clairement comment les constatations issues des divers axes de recherche et d'analyse des données serviront à formuler les conclusions et recommandations ;

d. créer des opportunités pour les parties prenantes de participer non seulement à la démarche de recherche de données, mais aussi à la validation des constatations et à la formulation de conclusions et recommandations ;

e. établir un plan de travail et un budget pragmatiques, qui permettent à l'équipe d'avancer rapidement, développer progressivement ses conclusions, et disposer du temps et des ressources nécessaires pour favoriser la participation des parties prenantes.

3.2 Le Processus d'évaluation

22. Le processus d'évaluation est représenté visuellement dans le diagramme suivant, puis détaillé au chapitre « méthodologie » ci-dessous, et dans le diagramme 2. Dans ce chapitre, nous résumons les diverses étapes de l'évaluation et faisons le lien entre les objectifs de la mission, l'approche adoptée, et les principales activités qui composent l'évaluation. La répartition des tâches, la chronologie et les produits finaux sont présentés dans le plan de travail, le calendrier et la liste de produits finaux.

23. Ce Rapport initial marque l'achèvement de la première des trois grandes étapes préparatoires qui précèdent la mise en œuvre complète de l'évaluation (c.-à-d. l'examen des Termes de référence et l'évaluation de « l'évaluabilité » ; la préparation de la matrice ; et la finalisation du plan de travail et du calendrier). La proportion relativement importante représentée par la recherche et les consultations dans cette phase initiale, par comparaison avec d'autres évaluations, s'explique par la complexité de l'ITC et la dispersion de ses activités, malgré sa relativement petite taille. Par conséquent, de nombreux ajustements ont été nécessaires ; ceux-ci sont détaillés dans le chapitre « évaluabilité » ci-dessous.

24. Le diagramme suivant illustre le processus d'évaluation envisagé :


Diagramme 1. Le processus d'évaluation

3.3 Conception méthodologique

3.3.1 Résultats de l'évaluation de « l'évaluabilité »

25. Lors de la phase initiale, l'équipe réalise une évaluation visant à identifier les domaines dans lesquels le programme remplit les conditions nécessaires à une évaluation solide, et assurer que l'évaluation est conçue de manière à être aussi a) crédible et b) utile que possible.

26. Notre première conclusion est qu'une approche spéciale s'impose, étant donné l'importance accordée par cette évaluation au sujet de la situation de l'organisation et de la gestion de l'ITC et des changements réalisés depuis 2006. La tâche est vaste et complexe, mais elle est facilitée par l'utilisation d'un cadre reconnu, ou liste de contrôle, énonçant les composantes essentielles d'une évaluation organisationnelle, comme celle proposée dans la matrice d'évaluation en Annexe I. 5 Par ailleurs, deux facteurs soutiennent cette évaluation : d'une part, les questions concernant l'organisation et la gestion de l'ITC ont suscité une attention considérable, et donc une importante documentation pour la période à évaluer ; d'autre part, pour un grand nombre de questions, les données de référence et les recommandations émises par le passé sont relativement claires.

27. Toutefois, l'une des constatations importantes de cette étape de vérification de l'évaluabilité est qu’il y a des divergence d’opinion importantes au sein de l'ITC, concernant les implications du « processus de gestion du changement » depuis 2006. Pour les besoins du cadre analytique choisi pour cette évaluation, nous avons meilleurs temps d’abandonner cette étiquette pour nous focaliser sur les mérites intrinsèques des changements entrepris ou réalisés. Finalement, dans la mesure où l'évaluation est définie comme un « rapport intermédiaire allégé », il est utile de rappeler qu'il s'agit

5 Lusthaus, Charles, Adrien, Marie-Hélène et al., Organizational Assessment : A Framework for Improving

Performance. 2002, Banque interaméricaine de développement, Washington, D.C. et Centre de recherches pour le développement international, Ottawa, Canada. "Ce cadre a été publié par la CRDI pour la première fois en 1995. La BID l'a rapidement adopté et mis en pratique, et a joué un rôle central dans les essais d'usage. Considérablement mis à jour et élargi, ce cadre est le fruit de nos expériences combinées. La CRDI et Universalia ont utilisé ces outils au sein d’organisations en Afrique de l'Ouest, en Asie du Sud, ainsi qu’en Amérique latine, en collaboration avec la BID." Avant-propos, p. x


essentiellement d'une évaluation externe, bien documentée et objective, et non d'une analyse complète de l'organisation et de la gestion du Centre.

28. D'autre part, la recherche initiale met en lumière des défis de taille quant à l'évaluation des résultats globaux des activités de l'ITC selon les critères choisis, à commencer par l'identification et la catégorisation des nombreuses et très diverses lignes de produits de l'ITC, ainsi que l'élaboration de méthodes stratégiques cohérentes pour regrouper les produits et leurs résultats dans les évaluations de l'organisation. Des systèmes internes à l'ITC, qui permettent d’obtenir une vision d'ensemble de cette information, sont en train de prendre forme. L'évaluation devra s'y référer autant que possible, tout en évaluant la validité et la facilité d'utilisation de ces nouveaux systèmes. À l'heure actuelle, plusieurs divisions de l'ITC mettent à jour les informations relatives à leurs produits et services ; l’Équipe d’évaluation collabore déjà à ces efforts en tant que premier utilisateur de cette information.

29. Concernant les données disponibles, hormis le problème de taille noté ci-dessus, dès le lancement de cette évaluation, EMU a mis à disposition de l'équipe une documentation complète et fort bien organisée, qui comprend des évaluations existantes et des documents institutionnels. Ces informations contribuent considérablement aux chances de succès de l'évaluation dans plusieurs domaines clés.

30. Au stade initial de l'évaluation, tout semble indiquer un contexte positif, ce qui nous permet d'affirmer que les parties prenantes et les destinataires visés feront preuve de l’engagement, de la disponibilité et de la confiance nécessaires, et que la manière dont elles comptent utiliser les constatations de l'évaluation est suffisamment claire. Les missions de l'équipe à Genève en septembre et octobre 2013, ont été l’occasion de réaliser 35 entretiens avec des groupes de parties prenantes et le personnel de l’ITC. Elles indiquent que la direction et les collaborateurs interviewés, les membres du comité directeur, et un groupe plus large représentant les bénéficiaires considèrent comme opportune et appropriée cette évaluation de type « rapport intermédiaire », qui intervient sept ans après l'évaluation complète de 2006, suite à une période de changements importants, tant à l'intérieur qu'à l'extérieur de l'ITC. Tous saluent son aspect indépendant, qui la distingue de l'exercice 2006, piloté par les donateurs. Une première séance d'information pour le personnel attire des personnes intéressées issues de départements variés, qui expriment leurs attentes quant aux prochaines consultations au sujet des programmes et les questions organisationnelles.

31. Comme l'équipe sélectionnée l'a noté dans sa proposition, la liste des questions d'évaluation établie sur la base des Termes de référence est longue, répétitive, et comprend des questions d'ordre très différent, dont certaines sont sans doute impossibles à évaluer. Ces problèmes ont été documentés et débattus lors de la phase initiale. En partant de la première liste de questions d'évaluation, nous avons réorganisées, raffinées et focalisées les questions, suite aux consultations réalisées lors de notre première mission à Genève, puis confirmées dans le Rapport initial. Nous les avons ensuite développées dans la matrice de travail, qui permet par ailleurs de traiter toutes les questions suggérées originellement.

3.3.2 Questions principales et matrice d'évaluation

32. Le diagramme ci-dessous présente les composantes fondamentales de la méthodologie.

Diagramme 2 : Composantes de la méthodologie


33. La méthodologie est centrée sur les principales questions auxquelles l'évaluation doit répondre. Ainsi que nous l'avons déjà mentionné, après une première analyse de la situation, l’option retenue est de structurer les principales questions en fonction de l'évaluation de la gestion et de l'organisation de l'ITC, d'une part, et de l'évaluation de ses projets, produits et activités, de l’autre. Ces questions font référence aux critères d'évaluation spécifiés, qui sont, selon le cas, la pertinence, l'efficacité, l'efficience, la viabilité et l'impact potentiel.

34. L'équipe s'assure que tous les thèmes des questions comprises dans les Termes de référence sont couverts, et vérifie que les conclusions correspondantes apparaissent dans le rapport final.

35. Au stade de la mise en œuvre, une majorité de notre temps et de nos efforts sera consacrée à la collecte et à l'analyse des données, en fonction des questions directrices et de la matrice d'évaluation. Cette étape sera suivie d'une synthèse des données collectées par divers moyens (de nouveau, en fonction de la matrice) pour aboutir à la rédaction de la version préliminaire du Rapport d'évaluation, puis de sa diffusion.

36. Afin de piloter la collecte et l'analyse des données, et garantir une approche rigoureuse et systématique, l'Equipe d'évaluation a développé deux matrices principales, qui suivent les questions d'évaluation respectives. Servant de « colonne vertébrale », elles relient leurs composantes respectives et structurent les rapports et produits finaux.

37. Évaluation institutionnelle : Ayant adapté son approche systématique dans le but de garantir que toutes les facettes clés de l'organisation et de la gestion de l'ITC soient prises en compte, l'évaluation se focalisera, dans cette partie, sur quatre questions fondamentales, notamment :

l’environnement favorable à la performance organisationnelle de l'ITC et son évolution depuis 2006 ;

la capacité organisationnelle de l'ITC à remplir efficacement sa mission, et son évolution depuis 2006 ;

Evaluation de l'évaluabilité

Questions d'évaluation et matrice de travail

Examen de la documentation

Portefeuille

portefeuille organisationnel, profils de portefeuille, 24 études de portefeuilles régionaux, 7 missions de "validation" sur le terrain et analyses de programmes

Entretiens et sondages ciblés

Guides thématiques pour les entretiens, sondages plus larges, réunions et ateliers structurés

Analyse et synthèse systématique

Rédaction de rapports

Finalisation, rédaction, validation et diffusion


la motivation organisationnelle de l'ITC pour remplir efficacement sa mission, et son évolution depuis 2006 ; et

la performance organisationnelle de l'ITC, et son évolution depuis 2006 (ces questions sont amplement couvertes par la matrice 2, du point de vue des prestations et projets.)

38. La Matrice 1 (Annexe I) précise les dimensions clés à explorer pour chacune de ces quatre questions. Elle les ventile ensuite en fonction des problèmes et axes de recherche identifiés lors de l'analyse documentaire préliminaire et des premières réunions à Genève : l'orientation axée sur les résultats de l'ITC, par exemple. La matrice ne représente pas une analyse institutionnelle complète, mais définit un certain nombre de paramètres, afin d'orienter la collecte de données en fonction des questions d'évaluation. Elle reconnaît également qu'il y aura une certaine redondance entre l'analyse des portefeuilles/projets et les sondages.

39. La fonction de la Matrice 2 (Annexe II) est d'évaluer les progrès et les résultats de l'ITC sur le plan de la prestation de produits et services. Elle est adaptée aux objectifs stratégiques de l'ITC (notamment ses « réalisations attendues » pour la période 2008-2009, qui reflètent les changements intervenus depuis 2006 et sont restés relativement constants depuis). Ce cadre d'évaluation, qui doit encore être corrélé avec la structure organisationnelle de l'ITC, vise à tester et encourager l'orientation stratégique axée sur les résultats, que l'ITC s'est engagé à adopter. Au niveau de l'analyse complète du portefeuille, ces questions seront de nouveau abordées au moyen d'une étude documentaire et statistique, puis progressivement approfondies au travers de 24 études de portefeuilles plus détaillées, suivies de sept « études de cas » de pays (représentant des régions et des types de programme différents), qui nous permettront de valider les conclusions par les expériences concrètes des principaux bénéficiaires visés.

3.3.3 Méthodes spécifiques

40. La finalisation des matrices d'évaluation permet de confirmer les méthodes employées. Comme indiqué dans les matrices, l'équipe prévoit d'utiliser toutes les méthodes d'évaluation mentionnées dans la Politique d'évaluation de l'ITC, ainsi que d'autres documents, dans la mesure où elles sont adaptées aux questions qui nous intéressent. Par exemple, nous pensons pouvoir réaliser des analyses quantitatives et qualitatives des contenus, des analyses de contribution de façon plus limitée (surtout en ce qui concerne les effets des interventions de l'ITC sur les résultats et impacts) et, selon les cas, des analyses comparatives (benchmarking).

41. Il faut souligner dès le départ que l'évaluation n'aura qu'une capacité limitée à établir des liens de causalité entre les activités, d’une part, et les réalisations et impacts, de l’autre, dans les domaines et secteurs ciblés par le programme, idéalement au moyen d’indicateurs prédéfinis. Le Cadre logique de l'ITC révèle une démarche encore en pleine évolution, soutenue, dans une certain mesure, par use série des sous-cadres logiques. Mais le modèle des résultats n'est pas encore assez solide pour servir à une évaluation fortement structurée. L'évaluation analysera la pertinence et l'efficacité du Cadre logique et proposera des améliorations, au moyen d'une étude « de bas en haut » sur les liens entre le modèle des résultats et les résultats au niveau des projets ou des programmes, associée à une étude « de haut en bas » permettant de cerner les besoins, les attentes et l’utilisation en termes de mesure des résultats et des impacts au niveau de l'organisation.


42. Cette approche méthodologique de l'évaluation s'appuie sur des solides bases pratiques et théoriques6, et peut être mise en œuvre rapidement, au moyen du plan de travail et de la structure d'équipe présentés ci-après. Grâce à l'accent mis sur ces éléments fondamentaux et outils associés, nous disposons d'un cadre clair et pratique pour répartir les responsabilités entre les divers membres de l'équipe et relier les données ou informations récoltées aux objectifs et aux questions de l'évaluation, ainsi qu'aux objectifs stratégiques de l'ITC.

43. Examen systématique de la documentation : Les listes de contrôle des documents et les guides thématiques pour les entretiens seront conçus à partir des questions d'évaluation. La documentation étudiée dans le cadre de l'évaluation comprend des documents organisationnels (plans stratégiques, rapport annuels, etc.) et les projets (propositions, rapports intermédiaires, etc.), ainsi que d'autres documents de référence. Grâce à la coopération de l'EMU et des sections opérationnelles concernées, et un accès facilité à toute la documentation de l'ITC, l'étude de portefeuille sera en mesure d'analyser toutes les données disponibles sur les processus en place pour divers types de projets, à chaque étape de leur déroulement. Etant donné la diversité des activités de l'ITC, cette étude s'efforcera de « cartographier », autant que possible, les principaux processus et points de décision du système de l’ITC dans son intégralité. L'étude documentaire passera aussi en revue les principales stratégies, politiques et programmes d'autres agences d'aide au commerce afin de situer l'ITC à l’intérieur de cet univers.

44. L'analyse organisationnelle donnera un aperçu complet de la direction stratégique de l'ITC, son modèle de fonctionnement et ses ressources, ainsi que des changements depuis 2006. Le temps et les ressources à disposition ne permettent pas d’effectuer une analyse institutionnelle complète ; néanmoins, le rapport abordera tous les principaux axes et les questions révisées. Afin de garantir une approche systématique, nous prévoyons d'utiliser une version adaptée de l'outil d'évaluation organisationnelle développée par l'IRDC, en y intégrant les questions spécifiques aux conditions de fonctionnement de l'ITC. Cette démarche s'appuie sur la recherche initiale réalisée lors de la première mission à Genève, et fait référence aux axes de recherche, méthodes de collecte de données et sources pertinentes.

45. Au stade de l'analyse, on pourra « tester la résistance » des constatations émises depuis le siège en les confrontant aux études de terrain, afin de déceler les points de cohérence, divergence ou tension entre les intentions officielles de l'ITC et leur aboutissement concret sur le terrain.

46. Les analyses des portefeuilles et programmes constituent un volet critique de cette évaluation, car elle doit examiner un grand nombre de projets, services et activités à divers niveaux de fonctionnement de l'ITC. L'information factuelle disponible est sans doute relativement bonne, mais nous devons d'abord résoudre un certain nombre de questions d'ordre analytique, afin de mieux comprendre et évaluer le fonctionnement réel de divers types de projets et portefeuilles. Dans ce but, lors des premiers entretiens avec le personnel de l'ITC, l'équipe a testé une technique très utile, qui consiste à développer des « story-boards »7 pour chaque projet. Cette technique sera développée par la suite sous forme de guide/questionnaire plus conforme à une évaluation standard de la chaine des résultats et de la performance des projets en fonction des résultats recherchés. Les réponses seront ensuite recoupées avec des entretiens de parties

6 Quinn Patton, M. (éd.) (2012) Canadian Journal of Program Évaluation, Volume 27 No 3, Special Issue 2012 :

Évaluation of the Paris Declaration on Aid Effectiveness. 7 L'outil développé pour élaborer ces historiques structurés des projets et produits de l'ITC s'appelle le "story-

board produit" - un exemple du modèle utilisé est inclus en Annexe III. Nous avons utilisé outil semblable pour nous familiariser avec les divers rôles des sections géographiques de l'ITC ; cet outil est aussi inclus dans l'Annexe III.


prenantes et des sondages plus larges. Pour la phase d'analyse principale, nous prévoyons de développer des outils systématiques qui permettent de collecter des données en fonction de champs prédéfinis en les reliant avec les indicateurs de la matrice pertinente, ce qui devrait nous donner une base de comparaison solide au stade de l'analyse.

47. Entretiens, sondages et missions sur le terrain : Les entretiens et missions sur le terrain seront réalisés par les membres de l'équipe travaillant seuls. Dans le but d'assurer l'exactitude des données capturées et une approche très systématique de leur collecte, les outils suivants seront développés afin de soutenir les méthodes énoncées dans la matrice :

a. Des guides thématiques pour les entretiens, qui définissent un format semi-structuré pour les entretiens. Sur la base des axes de recherche/indicateurs de la matrice pertinente, les guides regrouperont et cibleront les questions en fonction de l'organisme ou de la personne interviewée, soit au niveau du programme, soit à celui du pays. Cet outil garantit que chaque membre de l'équipe séparément couvre systématiquement tous les thèmes importants lors d'entretiens avec des parties prenantes, tout en laissant une certaine marge de flexibilité, afin qu’ils puissent explorer des nouveaux axes qui apparaitraient en cours d'évaluation.

b. Réunions structurées et ateliers L'évaluation fait appel à un nombre non-négligeable d'entretiens avec des interlocuteurs clés. Il s'agira généralement de rencontres individuelles, mais quand des regroupements sont possibles, les membres de l'équipe pourront opter pour des discussions de groupe. Lorsque une validation ou une triangulation est nécessaire, il est également possible d'organiser des réunions structurées ou des ateliers réunissant diverses parties prenantes de niveau mondial, régional ou national.

c. Sondages plus larges : Il est essentiel de ne pas se reposer entièrement sur des entretiens, dont le nombre est par définition limité, et de recueillir les avis d'un groupe beaucoup plus large de parties prenantes de l'ITC. Dès le début, une des tâches prioritaires de l'équipe sera d'identifier les principaux interlocuteurs visés et de préparer des questionnaires à leur intention, ainsi que de suivre des stratégies et techniques pour les engager et les inciter à participer. Ces éléments en place, on pourrait opter pour la solution peu coûteuse du sondage en ligne ; l'équipe a déjà utilisé et adapté ce genre d'outil à plusieurs reprises dans des conditions similaires.

Encadré 2. Analyses de la performance du portefeuille

Comme prévu, l'évaluation de la performance des activités de l'ITC se déroulera en quatre

étapes. Il faudra toutefois prendre en compte plusieurs facteurs importants, déjà évoqués

lors de la phase initiale. Les activités de l'ITC sont très dispersées par type, niveau

(mondial, régional ou national), genre de bénéficiaire visé (décideurs politiques, IAC ou

entreprises) et pays. Il n'existe pas vraiment de programmes pays, tels qu'on les entend

dans certaines grandes agences d'aide au développement. De plus, la gestion des

activités de l'ITC est également dispersée en termes de fonctions, alors que, selon les

informations reçues, plusieurs services sont souvent déployés de manière plus ou moins

coordonnée. Ces arrangements très particuliers ont une incidence sur la première partie

de l'étude du portefeuille.

Etude complète du portefeuille (Lancée lors de la phase initiale, à poursuivre jusqu'en

décembre 2013). Cet exercice prend en compte les efforts actuels de l'ITC pour


développer une liste courante de tous ses services et produits, et est constitué de deux

pans. Le premier implique un énorme travail de récolte de données organisationnelles,

afin d'identifier tous les produits de l'ITC, leur fonction, volume, diffusion, modèle de

gestion, et les informations disponibles concernant les résultats. Le portefeuille sera

analysé dans son ensemble au moyen d'une recherche documentaire et statistique,

accompagnée d'entretiens ciblés au siège de l'ITC, afin d'aboutir à des profils sommaires.

Le deuxième pan, qui se déroule en parallèle, vise à comprendre comment les divers

produits de l'ITC (au nombre d’environ 50 selon les derniers calculs) sont réellement

utilisés dans des projets. Cette tâche est actuellement assurée par un seul membre de

l'équipe, au moyen d'un échantillonnage aléatoire d'une vingtaine d'exemples d'utilisation

de projets/produits, provenant des diverses sections du Centre, et d'entretiens structurés

au siège, qui tournent autour des principaux thèmes/questions de l'évaluation, et visent à

mieux cerner « l'histoire » de chaque projet. Nous avons aussi lancé en parallèle une

troisième recherche sur les rôles et activités des sections géographiques.

Étude du portefeuille régional. (De l'acceptation du Rapport initial à décembre 2013.)

Sur la base des leçons de la première phase, sept membres de l'équipe seront chargés

d'élargir l'analyse du portefeuille au portefeuille complet d'une région chacun. Ils

prépareront également plus de 70 « story-boards projects » supplémentaires, organisés

selon un format standard et choisis de manière à représenter au moins trois pays de

chaque région ou sous-région et toutes les principales lignes de produit. Ces « histoires »

seront plus étroitement reliées à la Matrice 2 que dans l'approche initiale. Cette démarche

structurée permet de rendre compte des styles de fonctionnement très diversifiés de l'ITC,

tout en répondant à plusieurs questions clés. Les services et projets d'envergure

mondiale (ou les projets régionaux pas encore suffisamment couverts dans les

études par pays) seront analysés en fonction de formulaires élaborés à partir des

questions d'évaluation pertinentes.

Consultations plus larges. (De l'acceptation du Rapport initial à janvier 2014.)

Simultanément, nous réaliserons des sondages ciblés et des groupes de discussion dans

le but de sonder les clients actuels (et potentiels) de l'ITC et d'autres parties prenantes,

notamment des partenaires institutionnels actuels et potentiels, des bénéficiaires, des

représentants des pays donateurs, le personnel, etc. Si, à ce stade, le travail est

suffisamment avancé, nous pourrons commencer à tester nos hypothèses en organisant

des petits groupes de discussion avec des parties prenantes de l'ITC à Genève ou ailleurs

dans le monde au moyen de réunions virtuelles. En parallèle, nous solliciterons l'avis

d'interlocuteurs bien informés, représentant des bénéficiaires potentiels de l'ITC qui n'ont

pas encore participé à ses activités (voir « Consultations auprès des bénéficiaires

potentiels de l'ITC » ci-dessous).

Validation sur le terrain. (De novembre 2013 à janvier 2014.) L'étape finale de la récolte

de données consistera à examiner de manière plus approfondie les projets de l'ITC -

d'ordre national, régional, et, dans la mesure du possible, mondial - au niveau du pays.

L'objectif de cette démarche est de valider les constatations et conclusions de l'évaluation

en les confrontant aux réalités sur le terrain, au travers de sept missions pays, choisies

selon les même critères de représentativité que l'échantillon plus large de 24 pays, et de

manière à représenter une grande diversité de produits et de programmes pays. À ce

stade, le but est de recouper et trianguler les conclusions approfondies concernant les

pays et programmes avec les hypothèses cumulées des étapes précédentes, en

analysant de « l'autre bout de la lorgnette » les processus et réalisations démontrables, et


les impacts et perspectives des bénéficiaires de l'ITC, en particulier les IAC, les

entreprises ou d'autres parties prenantes sur le terrain.

Aperçu du processus d'évaluation en « entonnoir »

Au bout large de l'entonnoir, via une recherche documentaire et statistique et des entretiens ciblés au siège, l'étude aboutira à des profils sommaires sur la base de l’ensemble du portefeuille de projets de l'ITC sur cette période, et retracera les tendances en matière de financement, utilisation, répartition et disponibilité des informations concernant les résultats des produits (organisés en fonction des trois « réalisations attendues » de l'ITC dans la Matrice II).

Au niveau intermédiaire de l'entonnoir, qui suit la même structure de matrice et un format standard, l'échantillon représentatif de 24 analyses de portefeuille détaillées se focalisera sur trois projets très différents par portefeuille (au moyen de la technique des « story-board projects », que nous développerons à ce stade sous forme de guide d'entretien/questionnaire). En supposant que tous ces niveaux génèrent des résultats fiables, nous disposerons au final de 72 (ou plus de 60) cas d'étude de projet, auquel il faut ajouter les 20 « story-boards project » de la phase initiale.

Finalement, au petit bout de l'entonnoir, toujours dans la même démarche, nous choisirons sept « cas d'étude » dans autant de pays (répartis sur diverses régions et types de programmes) parmi les 24 portefeuilles pays, afin de valider les constatations en les confrontant à l'expérience concrète des principaux bénéficiaires visés, dans leur contexte actuel.

Nous entamerons ensuite un processus critique de triangulation et de synthèse, visant à comparer les informations récoltées à ces trois niveaux, toujours avec l'aide de la même Matrice. Dans la mesure où les données organisationnelles globales récoltées au siège ont pour fonction de répondre à des objectifs de gestion et de responsabilité de rendre compte, les constatations du terrain permettront de tester ces données « de bas en haut ».

3.3.4 Triangulation et validation

48. Afin d'assurer une triangulation et validation complète, toutes les constatations issues de la recherche institutionnelle au niveau du portefeuille et des pays seront recoupées au moyen d'analyses comparatives, d'entretiens ciblés et de sondages ; les avis du personnel, d'autres agences, de donateurs et de spécialistes reconnus seront aussi pris en compte. Au stade de la synthèse, ces différents points de vue seront ensuite réunis au moyen d'un processus systématique de triangulation, pour aboutir à des constatations et conclusions globales sur la performance de l'ITC à divers niveaux.

3.3.5 Sélection des cas d'étude pour le portefeuille et les missions sur le terrain

49. Tout en tenant compte du fait qu'il faudra sans doute évaluer séparément un certain nombre des projets et services d'envergure mondiale, l'ITC n'ayant pas à proprement parler de « programmes pays » au sens où l'entendent nombre d'agences plus grandes, il est néanmoins important d'inclure dans l'étude des projets au niveau national, plurinational et régional, représentant des contextes très divers. Nous tenons à rappeler à toutes les parties prenantes, surtout les bénéficiaires, que les pays de notre échantillon ont été sélectionnés à des fins d'évaluation rétrospective, et que ce choix n'aura aucune incidence positive ou négative sur la répartition des activités de l'ITC par pays à l’avenir.


50. Cette approche de l'évaluation du portefeuille d'activités de l'ITC par pays s'apparente à une sorte d'entonnoir. Au bout large de l'entonnoir, l'évaluation passera en revue l'éventail complet des projets de l'ITC et les décrira sommairement. En effet, au vu de l'étendue et de la diversité des projets, le champ des évaluations approfondies sera forcément plus limité, mais doit néanmoins rester aussi représentatif que possible. Afin de garantir la crédibilité de ses conclusions, l'équipe indépendante a défini les critères d'échantillonnage pour les cas d'étude et soigneusement contrôlé leur sélection, en tenant compte des commentaires des responsables de programmes de l'ITC. 8

51. Les Termes de référence et la proposition spécifient que le rapport porte une attention toute particulière aux pays d'Afrique francophone et anglophone, sans négliger les autres régions desservies. Conformément à cette demande, au stade intermédiaire de l'entonnoir, le plan prévoit 24 analyses de portefeuille dans autant de pays répartis sur toutes les régions ; puis, au petit bout de l'entonnoir, sept missions sur le terrain (déjà prévues dans le budget de l'évaluation) réparties entre les régions (voir tableau ci-dessous). Ces missions ont pour objectif de relier les conclusions générales de l'évaluation aux réalités concrètes, au moyen de consultations avec les parties prenantes et d'observations sur le terrain.

Tableau 1. Champ d’application géographique

Région géographique

Nombre de pays à inclure dans l'analyse de portefeuille

Nombre de missions sur le terrain

AFRIQUE (orientale et méridionale) 6 anglophones 6 2

AFRIQUE (occidentale et centrale) 5 francophones / 1

lusophone 6 2

Amérique latine et Caraïbes 3 1

Asie-Pacifique 3 1

États Arabes 3 1

Europe orientale et Asie centrale 3 0

Total 24 7

52. Afin de garantir la crédibilité de ses conclusions, l'équipe indépendante a défini les critères d'échantillonnage des cas d'étude et soigneusement contrôlé leur sélection. Les critères de base pour la sélection des pays à étudier au deuxième et troisième niveau sont définis de manière à inclure toutes les régions où l'ITC est actif et ses activités assez récentes (c.-à-d. entre 2010-2012) pour permettre et justifier une étude approfondie. À la suite de ce double test, sur la base de la documentation fournie, l'équipe a identifié 61 pays9 ayant accueilli des projets de l'ITC entre 2010 et 201210, sans exclure la possibilité d'étudier des projets plus anciens dans les pays ainsi sélectionnés. Au-delà de ce seuil, l'équipe applique les critères suivants pour permettre

8 Le processus d'échantillonnage associe une démarche de sélection par quota – c.-à-d. selon un ensemble de

catégories définies visant à une échantillon bien « distribué » parmi toutes les catégories - et une sélection aléatoire parmi les groupes de cas restants. 9

L'équipe a reçu de SPPG une feuille de calcul recensant tous les projets actifs depuis 2006, à partir duquel nous avons réduit le champ aux seuls projets actifs entre 2010 et 2012, pour identifier au final 61 pays ayant des projets au niveau national. L'équipe part du principe que l'information de base est correcte, et que seules des erreurs ou omissions importantes auraient une incidence réelle sur la sélection des cas. 10

Ces trois années ont été choisies de manière à pouvoir étudier des projets pays avec une activité conséquente (en parallèle avec des projets plurinationaux et régionaux, si possible), qui sont assez avancés pour permettre une évaluation de leurs résultats et réalisations, et assez récents pour que de nombreux interlocuteurs potentiels s'en souviennent bien.


la répartition la plus adéquate possible des pays à l'intérieur et entre les différentes régions (voir encadré ci-dessous).

Encadré 3. Critères de sélection des études de cas par pays

Variables fondamentales

Groupe de revenu (PIB par habitant)

Taille de l'économie (PIB)

Nombre de projets de l'ITC et valeur

Nombre de produits et services de l'ITC utilisés (y compris quelques projets au niveau de la région et quelques-uns qui vont au-delà)

Variables énoncées dans les Termes de référence de l'ITC :

PMA, PMA sans littoral, petit état insulaire

Accent sur l'Afrique sub-saharienne

Toutes les régions d'activité de l'ITC et tous les niveaux de développement économique représentés

Variables commerciales (reflétant diverses forces, profils, et conditions pour les

échanges commerciaux et l'appui au commerce) :

Exportations de produits/services (en % du PIB)

Exportations de produits manufacturés (en % des exportations de marchandises)

Exportations de produits agricoles, minerais et métaux (en % des exportations de marchandises)

Index de performance logistique (2012)

Note selon « Trading Across Borders » (2013) (exprimé sous forme d’écart avec la meilleure note)

Membre de l’OMC

Montant de l'aide pour le commerce par personne, toutes provenances confondues

Questions pratiques (pour les missions pays) :

Suffisamment de réseaux et de personnes connaissant le travail de l'ITC

Difficulté d'accès et coût de la mission

Conditions actuelles de sécurité/accès

53. Au moyen des critères ci-dessus, l'équipe a sélectionné 24 pays parmi les 61 pays possibles. Apparaissant dans le tableau suivant, ils feront l'objet d'études détaillées. Parmi ces 24 pays, qui représente environ 40% du total, nous en avons ensuite choisi sept pour des missions pays, indiqués par un astérisque (*). Ces derniers sont sélectionnés de manière à représenter une grande diversité de programmes et de types de pays de toutes les régions. Ces sept pays présentent en plus l'avantage d'accueillir suffisamment d'activités de l'ITC pour justifier le coût d'une mission, mais notre choix a


aussi été guidé par les connaissances préalables de l’Équipe d’évaluation et la facilité d'accès du pays.

54. À la demande de l'équipe, les sections régionales du DCP ont fourni une estimation rapide de l’influence possible des critères relatifs aux produits et services de l'ITC, de la disponibilité des réseaux dans ces pays, et de la situation actuelle en termes de sécurité/accès. Suite à cela, nous avons modifié le choix d’un pays qui avait récemment fait l'objet d'autres évaluations d'aide au commerce : la mission d'évaluation de l'ITC aurait indument imposé aux partenaires locaux une charge de travail supplémentaire. Ce pays a été néanmoins retenu pour l'analyse de portefeuille, qui s’enrichira également d'autres résultats de l'évaluation.

Tableau 2 : Choix des pays

Région Pays

Région Pays

1

AFRIQUE (orientale et méridionale)

Ethiopie* 13

AP

Bangladesh

2 Kenya 14 Cambodge*

3 Malawi 15 Fidji

4 Afrique du Sud 16

ALC

Haïti*

5 Tanzanie* 17 Pérou

6 Ouganda 18 Uruguay

7

AFRIQUE (occidentale et centrale)

Bénin 19

États Arabes

Egypte

8 Cap Vert 20 Jordanie

9 Rép. dém. du Congo 21 Tunisie*

10 Côte d'Ivoire* 22

EOAC

Albanie

11 Mali 23 Tadjikistan

12 Sénégal* 24 Kirghizistan

3.3.6 Consultations avec les bénéficiaires potentiels de l'ITC

55. Il est important que cette évaluation dépasse le cercle des bénéficiaires actuels de l'ITC, pour les raisons suivantes :

il s’agit de sous-groupes de bénéficiaires potentiels (par ex. récemment seulement 61 parmi 150 pays éligibles) et les motivations/processus actuels de sélection et répartition des activités de l’ITC ne sont pas encore très clairs ;

il est bien sûr important d'évaluer la satisfaction des clients existants, mais ceux-ci ont généralement un intérêt particulier et/ou une prédisposition positive envers les activités auxquelles ils participent. Ils ne sont donc pas nécessairement les mieux placés pour évaluer la priorité relative des activités de promotion des échanges ou la réponse de l'ITC à la demande globale dans ce domaine ;

il existe clairement des demandes non satisfaites et une certaine insatisfaction parmi certaines parties prenantes, auxquelles l'ITC semblerait incapable de répondre ; et

à l'avenir, il sera important d'évaluer la capacité potentielle de l'ITC à prendre en charge une clientèle plus importante, et les étapes nécessaires pour y parvenir.


56. Faire en sorte que l'évaluation touche ce groupe élargi de bénéficiaires potentiels n'est pas une mince affaire. Nous proposons de procéder en plusieurs étapes, comme suit :

chercher des exemples concrets de demandes adressées à la direction de l'ITC et comprendre comment elles ont été traitées ;

identifier des décideurs politiques à des postes clés, des IAC et des représentants d'entreprises de pays bénéficiaires potentiels et tester leurs connaissances des activités de l'ITC, leurs besoins, et leur intérêt pour les services de l’ITC, au moyen d'un bref sondage ciblé (en ligne, accompagné d'une version papier si nécessaire). Dans les 48 PMA ou le CIR est actif, des interlocuteurs idéaux seraient, par exemple, les points de coordination et les coordonnateurs des unités nationales de mise en œuvre. Les personnes ayant répondu au questionnaire de l'OCDE/OMC en vue de l'Examen global de l'aide pour le commerce seraient aussi d’excellentes sources d'information, pour autant que nous puissions avoir accès à ces contacts. Il serait aussi intéressant de contacter des organisations de promotion du commerce et/ou chambres de commerce dans des pays non desservis par les programmes nationaux de l'ITC, afin solliciter leur avis et/ou des suggestions de personnes à contacter dans les entreprises.

3.3.7 Analyse et synthèse des résultats de l'évaluation

57. Processus d'analyse : pour analyser les données disponibles dans les délais impartis, tout en relevant les nombreux défis évoqués ci-dessus, l'équipe développera un modèle standard de rapport d'analyse. Pour ce faire, les membres de l'équipe devront identifier et analyser les constatations des analyses de portefeuille, rapports de missions et autres sources, en suivant les paramètres définis dans la matrice.

58. Simultanément, afin de garantir que les constatations ainsi extraites sont confirmées par l'information disponible, les relecteurs évalueront la qualité de l'information présentée et la clarté de l'analyse. Ceci est une condition nécessaire pour calibrer les constatations en fonction de la solidité des données, et assurer ainsi qu'elles tiennent la route. Il sera ensuite possible de développer un modèle composite par question et sous-question et d’identifier les points où l'information est faible ou lacunaire.

59. L'outil analytique comprendra des échelles de notation en fonction des paramètres suivants :

Tableau 3 : Outil d'analyse

Pour les constatations Pour les conclusions

Transparence des données et champ d’application

Degré de réponse aux questions

Fiabilité et exactitude des données Clarté de l'analyse

60. Agrégation des constatations : à ce stade de la rédaction du rapport, l'équipe procédera de la manière suivante pour agréger les diverses informations disponibles :

en extrayant les premières constatations des fiches, tout en procédant à une première vérification de leur validité au moyen du système de notation développé au stade de la recherche documentaire ;

en recoupant les formulaires entre membres de l'équipe de rédaction, afin de garantir leur rigueur et leur intégralité (chaque formulaire est vérifié/évalué par une deuxième personne) ;


en compilant les constatations issues de tous les rapports par question et sous-question ; et

en analysant cette compilation afin de regrouper les réponses par catégorie, avec, à ce stade, des références spécifiques aux rapports individuels.

61. Cette approche systématique, qui met l'accent sur la triangulation et la validation des données en continu, permet d'assurer une analyse aussi rigoureuse que possible, et, par conséquent, des constatations solides.

62. Synthèse : lors de cette étape, l'équipe fera la synthèse des résultats des divers volets de la recherche et des autres documents, et la présentera sous forme d'un rapport retraçant les objectifs de l'évaluation, les questions définies et les critères spécifiés (la pertinence, l'efficacité, l'efficience, l'impact et la viabilité). Dans son évaluation de la performance, l'équipe superposera aussi les quatre autres « perspectives sur la performance de l'ITC » comprises dans le Cahier des charges. Elle devra par ailleurs être attentive à d'autres catégories ou tendances qui se profilent durant l'analyse, et les expliquer.

63. Par rapport aux conclusions globales du rapport de synthèse concernant le rythme de changement, ainsi que la distance à parcourir pour atteindre les buts fixés en 2006 et les autres objectifs de l'ITC, l'équipe rappelle qu'il s'agit d'une « évaluation intermédiaire » dont les résultats seront sans doute incomplets et inégaux. Dans cette optique, les réalisations attendues seront jugées selon une combinaison de normes absolues et normes relatives, et prendront en compte d'importantes différences de contexte.

64. Rédaction du rapport La rédaction du rapport de synthèse se basera, de manière systématique et démontrable, sur les données, les constatations et les conclusions des analyses générales, les rapports de mission et autres documents confirmés. Le rapport devra rendre compte des informations sur lesquelles il se base pour ses conclusions et s'y référer, sans s'alourdir de nombreuses notes de bas de page.

65. La rédaction du rapport de synthèse se déroulera en plusieurs étapes :

Identification des principaux thèmes en fonction des informations de la matrice et des questionnaires.

Vérification du lien logique entre les thèmes et les informations à partir desquelles ils sont basés.

Après vérification, élaboration d'une trame narrative reliant les thèmes.

Après mise en place de la trame, élaboration des conclusions.

Vérification du lien logique entre les conclusions et les constatations dont elles découlent.

Résumé des principales conclusions, leçons et recommandations émergeant de ces constatations. Les recommandations se focaliseront sur les défis identifiés au niveau stratégique, et seront adressées directement aux personnes en mesure de mettre en pratique les actions recommandées. Plusieurs solutions seront parfois proposées.

Amélioration du niveau du rapport, afin de lui donner les caractéristiques d'un document traitant des questions politiques et qui soit accessible. Lors de la rédaction, nous serons attentifs à l'utilité de ce rapport. Dans ce but, nous vérifierons continuellement que les textes rédigés sont pertinents et utiles pour la direction de l'ITC, les parties prenantes, les décideurs politiques nationaux et internationaux, et les autres intervenants. En même temps, le document devra être lisible et susciter l'attention d'un plus vaste public.


3.4 Stratégie de communication et diffusion

66. L'évaluation complète - des processus aux produits finaux - doit répondre non seulement à des objectifs d'apprentissage, de partage des connaissances et de transparence, mais aussi de communication et de diffusion des résultats utiles qui en découleront. Ses principaux destinataires sont, premièrement, les personnes appelées à agir (en interne où en externe) sur la base de ses conclusions, et deuxièmement, les personnes en mesure de transmettre l'information, et de créer un climat favorable à l'action, ou la faciliter directement. (Voir « Groupes ciblés » ci-dessous). Par conséquent, l'évaluation s'adresse à la direction, au personnel et aux parties prenantes, dont les clients, bénéficiaires, donateurs et partenaires, ainsi que d'autres acteurs de l'aide au commerce partout dans le monde.

67. Le principe d'une communication ouverte et bidirectionnelle, ainsi que l'utilité des produits finaux et processus de l'évaluation, conditionnent chaque aspect de l'effort d'évaluation et des interactions entre l'équipe indépendante, l'EMU et les groupes de parties prenantes. Dans un travail collaboratif avec des nombreux intervenants de langues et cultures différentes, la transparence est non seulement souhaitable mais aussi une condition préalable pour créer un climat de confiance, coopération et apprentissage. Une évaluation rigoureuse sera combinée avec une grande transparence et disponibilité pour les personnes qui y participent, ainsi que les clients et partenaires potentiels de l'ITC.

3.4.1 Une approche cohérente de la communication

68. Les principes et objectifs centraux seront mis en œuvre à l'interne de la manière suivante ; ils guideront aussi la communication et diffusion externe de l'évaluation.

Un texte court rédigé dans un style simple Tous les rapports et communications internes entre les intervenants de l'évaluation seront rédigés dans un style simple, concis et facile à comprendre, avec un minimum d'acronymes, de jargon ou de termes techniques. Cela nous permettra de renforcer la participation et la communication des constatations et conclusions à un public plus large - dont les décideurs politiques et leaders d'opinion.

Une page publique sur le site web de Saana Consulting, http://www.saana.com/itc-evaluation/ Cette page web restera active durant toute la durée de l'évaluation, afin de permettre une mise à jour rapide, un accès facilité à l'information, et un contact direct avec l'équipe indépendante. Cette page mettra à disposition 1) les premières versions du Rapport initial et intermédiaire et autres produits 2) des documents de référence utiles 3) tous les supports de communication et présentations 4) une zone pour les questions et les commentaires. Un membre de l'équipe se chargera de la maintenance du site, afin de garantir la mise à jour des contenus et le traitement efficace des questions. Le site web sera aussi mis en ligne sur les pages pertinentes du site intracen.org, et une annonce diffusée lors de son lancement.

Une plateforme innovante pour la diffusion et la communication. Comme expliqué ci-dessous, au fur et à mesure que le processus d’évaluation comprend des activités de communication et de promotion du rapport et des autres produits, nous proposons que le site web de l'ITC intègre une plateforme réservée, permettant d'assurer la cohérence des efforts de communication, suite à la réalisation par l'équipe des produits finaux et le transfert de la page web du site web de Saana. Ce site doit être organisé de manière à pouvoir l'adapter en fonction des opportunités et ressources disponibles - par ex. en y ajoutant des messages vidéo ou podcast, qui sont parfois plus adaptés pour certains publics que des articles de presse.

http://www.saana.com/itc-evaluation/


Réseaux individuels. L'existence d'une plateforme de partage des connaissances, qui encourage la participation et les commentaires, permettra de développer un réseau « d'ambassadeurs » informés et motivés, en mesure de communiquer les résultats et conclusions directement à leurs collègues et à leurs réseaux respectifs. Le bouche-à-oreille reste un moyen de promotion très efficace, surtout à l'intérieur de groupes bien délimités, tel que le personnel d'ITC ou les IAC, les décideurs politiques ou les entreprises.

3.4.2 Cadre stratégique pour la diffusion et la communication promotionnelle

69. Les supports de communication seront adaptés aux besoins des destinataires ; grâce aux entretiens avec les parties prenantes et les bénéficiaires que cette évaluation se propose de réaliser, nous disposerons d'indications très utiles sur les habitudes de communication et les canaux préférés des principaux publics visés. L'équipe d'évaluation indépendante collaborera au développement d'une approche stratégique de la communication de l'évaluation, et contribuera de nouveaux produits au fur et à mesure de leur réalisation. Toutefois, l'ITC aura la responsabilité principale de communiquer les conclusions du rapport aux parties prenantes externes, ceci afin d'assurer une cohérence avec ses autres activités de communication.

70. Objectifs :

Informer le public sur l'avancement et les résultats de l'évaluation 2013 de l'ITC et encourage le dialogue et les actions concrètes.

Promouvoir une meilleure compréhension des répercussions possibles des conclusions de l'évaluation 2013 de l'ITC sur les activités du Centre, et améliorer sa contribution à l'Aide pour le commerce et le développement.

71. Groupes ciblés :

Les principaux groupes ciblés sont constitués de personnes appelées à agir en fonction des conclusions de l'évaluation (membres du Groupe consultatif commun ; organisations de tutelle de l'ITC - OMC et CNUCED ; personnel et direction ; bénéficiaires ; donateurs actuels et potentiels).

Le deuxième groupe visé est constitué de personnes qui pourront transmettre l'information et soit créer un climat propice à l'action, soit le faciliter directement (par ex. agences actives dans l'aide pour le commerce, experts, leaders d'opinions ou médias spécialisés, au niveau national et international).

72. Principaux messages, produits et canaux :

Le contenu et les principaux messages contenus dans les supports de communication viseront à répondre aux trois questions centrales de l'évaluation ci-dessous, et s’appuieront sur des informations détaillées, présentées de manière engageante et facile à comprendre :

Quels progrès ont été accomplis et quels enseignements peuvent être tirés depuis la précédente évaluation de l'ITC en 2006 ?

Quels sont les résultats et impacts des activités de l'ITC depuis 2006 ?

Quelle direction stratégique et opérationnelle l'évaluation recommande-t-elle à l'ITC pour les années à venir ? Comment la direction de l'ITC utilisera-t-elle l'évaluation et quels changements les parties prenantes peuvent-elles s'attendre à voir dans leurs interactions avec l'ITC ?


3.4.3 Produits et services projetés

73. L'équipe réalise les produits et les services suivants, en anglais, et comme spécifié dans le contrat. Ces produits suivent la ligne graphique de l'ITC afin d'assurer l'homogénéité des communications de l'ITC.

74. Rapports et documents (en format PDF) :

Stratégie de diffusion et communication recommandée, accompagnant le Rapport initial.

Rapport d'évaluation final, résumant les informations et processus utilisés, sujet à validation et approbation.

Un bref sommaire en introduction au rapport principal, qui peut aussi être utilisé seul, pour une diffusion plus large, ou transmise aux médias.

Une fiche d'information d'une page expliquant l'évaluation (motivation, indépendance, processus, champ d'application, participation, etc.). Dans la phase suivante, une note d'information, déjà été préparée et diffusée à Genève, sera révisée pour un plus large public.

Rédaction d'un communiqué de presse sur le rapport final, en collaboration avec l'ITC.

Projet d'article sur le rapport final pour www.intracen.com et la revue Forum.

Au plus trois notes d'information de deux pages, résumant les principaux problèmes et questions identifiés par l'ITC et les parties prenantes lors de discussions suivant la communication du rapport.

75. Présentations, ateliers, événements médiatiques

Présence du chef d'équipe pour des présentations, ateliers, événements médiatiques immédiatement après la présentation officielle du rapport, puis, dans les trois semaines qui suivent, trois jours de présence ou de participation virtuelle à des événements. (Sous réserve de conflits d'agenda ; frais de voyage à la charge de l'ITC.)

76. Supports web

Création d'un sous-site de www.intracen.org visant à soutenir les efforts de communication et pouvant accueillir aussi d'autres informations. Le moyen le moins cher et le plus efficace de toucher les principaux publics existants serait d'intégrer l'évaluation aux sites web actuels de l'ITC. Le référencement des contenus par des moteurs de recherche permettrait une diffusion à très grande échelle. Un nom de domaine de redirection (par ex. www.itcevaluation2.org) défini en accord avec l'ITC permettrait de rediriger les internautes vers une page de garde.

Une présentation PowerPoint et une présentation en ligne Prezi (www.prezi.com) réalisés à partir de la présentation du chef d'équipe sur le rapport final.

En fonction des besoins de la campagne de diffusion et de communication, d'autres supports et services évoqués dans la proposition de Sanaa pourraient être réalisés.

http://www.intracen.org/


4. MESURES DE REDUCTION DES RISQUES POUR L'EVALUATION

77. Le tableau suivant présente les risques et mesures de réduction des risques identifiés par l'équipe lors de la phase de recherche initiale.

Tableau 4 : Risques et stratégie de réduction des risques

Risque Probabilité

Niveau de risque

Stratégie de réduction

1. Attentes divergentes par rapport à l'ampleur, la profondeur et la nature de l'évaluation, de type « rapport intermédiaire », stratégique, simple et allégé.

L'évaluation 2006 a fait face à des problèmes de ce genre.

Moyenne Moyenne Au stade initial, des consultations avec toutes les parties prenantes ont mis en évidence un accord général sur la nécessité de réaliser une « évaluation de qualité, allégée, claire et simple », comme précisé dans le Cahier des charges. Le Rapport initial, au travers des matrices d'évaluation et stratégies d'échantillonnage, entre autres, indique clairement que l'évaluation abordera tous les aspects clés de manière suffisamment détaillée pour permettre une solide évaluation externe. Toutefois, en tant que rapport intermédiaire, elle ne prétend approfondir tous ces aspects. La présentation de chaque constatation, conclusion et recommandation sera calibrée selon la fiabilité de l'information qui la sous-tend.

2. Difficulté à accéder aux ressources documentaires de l'ITC et à s'assurer la coopération d’interlocuteurs du siège.

Ce genre de problème pourrait survenir surtout en ce qui concerne des aspects touchant à l'organisation et la gestion, mais pas seulement.

Basse Elevée Jusqu'à présent, nous avons bénéficié d’un excellent accès au siège de l'ITC : l’EMU a fourni de nombreux documents préparatoires, la direction a soutenu la mise à disposition de documents internes, et le personnel concerné a activement participé aux entretiens et à la recherche documentaire. La gestion de la documentation pour un programme aussi diversifié et dispersé est en soi un défi, que nous avons résolu au moyen de stratégies d'échantillonnage et la méthode du « story-board ».

En contrepartie, l'équipe s'engage à respecter la confidentialité de ses sources, et garantit que les demandes adressées aux interlocuteurs sur le terrain restent dans les limites du raisonnable.

3. Difficulté à obtenir la participation de personnes connaissant les projets de l'ITC, notamment des bénéficiaires, dans le cadre des études de portefeuilles, missions pays ou consultations de bénéficiaires potentiels qui ne participent pas encore activement.

Même en ce qui concerne les bénéficiaires ayant déjà été appuyés par l’ITC, ce risque est accru du fait de la présence limitée de l'ITC dans les pays, de l'envergure et de la durée limitée de ses actions. Par

Moyenne à élevée

Moyenne à élevée

Anciens bénéficiaires : L'équipe demande à

l'Unité d'évaluation et de suivi, la direction et le personnel d'ITC, et les représentants des pays bénéficiaires de les aider à contacter les personnes adéquates et obtenir les informations nécessaires pour les études par pays, les sondages et les missions. La planification et la gestion efficace des agendas permettra de s'assurer que les informateurs clés soient disponibles (éviter par ex. des conflits avec la réunion ministérielle de l'OMC à Bali).

Bénéficiaires potentiels : Des représentants

de pays bénéficiaires potentiels ont été sollicités pour aider l'ITC à contacter leurs propres gouvernements, les entreprises et les IAC. D'autres réseaux sont aussi mis à


conséquent les bénéficiaires sont souvent dispersés et ne sont plus en contact avec le Centre.

Pour les bénéficiaires potentiels, le risque est encore plus grand : le risque est que nous manquions d'informations sur les besoins ou demandes non assouvis et le potentiel que cela représente pour le travail de l'ITC.

contribution (par ex les points de coordination du CIR dans les PMA). Si nous pouvons l'obtenir, la liste des contacts sondés pour Rapport global sur la compétitivité serait également un excellent moyen de toucher des bénéficiaires actuels et potentiels.

4. Attitude défensive envers l'évaluation et ses conclusions

Moyenne Moyenne A ce stade, rien n'indique qu'une telle attitude existe, mais elle pourrait se manifester à l'avenir. Autant que possible, on anticipera et on réduira ce risque au travers d’une politique proactive de transparence et par la création de nombreuses opportunités pour les parties prenantes de participer aux consultations. Un autre élément important consiste à communiquer sur l'équipe, en mettant en avant son statut indépendant et impartial, et le respect de la confidentialité des informations internes récoltées et des individus sondés.

5. Problèmes transversaux pas assez bien intégrés Basse

Moyenne à élevée

Ces problèmes sont intégrés aux matrices et aux compétences de l'équipe.

6. L'évaluation ne mène à aucune action de suivi ou aucun avantage

Moyenne Elevée Dès le début, l'accent est mis sur les parties prenantes. L'intérêt montré par direction, le Groupe consultatif commun et le personnel est prometteur. La participation de missions diplomatiques de pays bénéficiaires doit être maintenue et soutenue, par ex. via des briefings spéciaux à Genève.


5. CALENDRIER, PLAN DE TRAVAIL, RAPPORTS ET PRODUITS FINAUX

5.1 Calendrier

78. Les délais et les principaux produits finaux sont détaillés ci-dessous :

15 octobre : version préliminaire du Rapport initial

25 octobre : délai de réception des commentaires sur la version préliminaire du Rapport initial

30 octobre : version finale du Rapport initial

4 novembre : présentation de la version finale du Rapport initial, début de la mise en œuvre intégrale

11-16 novembre : les membres restants de l'équipe se rendent à Genève pour réaliser les consultations avec l'ITC et les parties prenantes, les analyses organisationnelles, régionales, et de portefeuille, et préparent les 7 missions pays.

Décembre 2013 - janvier 2014 : missions sur le terrain

Mi-mars 2014 : présentation de la version préliminaire du rapport final

Fin avril 2014 : rapport final

Fin juin 2014 : diffusion et communication du rapport final et des résultats de l'évaluation


5.2 Plan de travail

79. Le tableau ci-dessous présente le plan de travail de l'évaluation

Tableau 5 : Plan de travail de l'évaluation

Stades et étapes clés Délais et produits Responsabilités (jours de travail prévus)

Stade initial

Évaluation de l'évaluabilité et finalisation des questions d'évaluation

Consultation et accord sur tous les problèmes clés, présentation et révision

Semaines 1-8

Version préliminaire du Rapport initial (15 oct.)

Version finale du Rapport initial (30 oct.)

Présentation du Rapport initial (4 nov.)

Bernard gère l'évaluation de l'évaluabilité et finalise des questions d'évaluation en consultation avec la Direction de l'évaluation

(EMU) ; rédige le Rapport initial complet, comprenant un aperçu global du fonctionnement de l'ITC de 2006 à 2012, la méthodologie, le plan de travail, le plan de réduction des risques et la stratégie de communication ; et initie l'étude exploratoire des questions organisationnelles et institutionnelles. (28)

Julia participe aux aspects techniques de l'évaluation de l'évaluabilité et de la méthodologie finale, et passe en revue les diverses

théories du changement et cadres d'analyse, en vue de tester la solidité des questions d'évaluation. Le travail débute par une étude exploratoire des questions organisationnelles et institutionnelles. (8)

Joachim participe aux aspects techniques de l'évaluation de l'évaluabilité et de la méthodologie finale, et réalise une étude

exploratoire intensive des programmes, projets et fonctionnements de l'ITC. (12)

Tom, Marie-Jo, Cissy, Immaculee et Huong font des commentaires sur les questions d'évaluation finales et le Rapport initial. (1

chacun)

Ilmari soutient Bernard pour l'évaluation de l'évaluabilité et le Rapport initial, et initie la recherche documentaire initiale : il analyse

les principaux documents stratégiques, évaluations précédentes, cadres logiques de gestion et d'organisation, données de performance. (16)

Petra soutient le développement de la stratégie de communication de l'évaluation.

Stade de mise en œuvre

Examen complet et profil du portefeuille

Analyse de l'échantillon régional ciblé (24 pays)

Missions pays (7 pays)

Consultations avec l'ITC et les parties prenantes (à Genève, par sondage)

Rédaction du rapport

Semaines 9-28

Bilan écrit et briefing oral (4 mars)

Version préliminaire du rapport (18 mars)

Bernard gère l'étude du portefeuille global et les entretiens au siège, et supervise l'analyse de l'échantillon ciblé, les missions pays

et les supports de sondage. Il dirige l'analyse pour l'Afrique de l'ouest et centrale et l'Europe oriental et Asie centrale, et réalisera les missions pays dans les deux pays de l'AOC. Bernard dirige la synthèse et la rédaction du rapport final. (48)

Julia est principale responsable de l'analyse des questions organisationnelles et des entretiens au siège autour de ces questions.

Elle est aussi responsable de l'assurance qualité du rapport final. (11)

Tom est principal responsable de l'analyse des projets en Afrique orientale et australe (y compris une mission dans un pays de

l'AOA). Il prodigue aussi des conseils sur des questions de résultats/progrès concernant l'objectif institutionnel de soutien aux décideurs politiques. (19)

Cissy collabore avec Tom sur l'analyse de portefeuille de la région AOA et réalise la deuxième mission dans la région. (19)

Marie-Jo dirige l'analyse des opérations dans la région MENA (y compris la mission pays). Elle prodigue des conseils sur les

questions de résultats/progrès, concernant l'objectif institutionnel de soutien aux décideurs politiques et le développement des capacités des IAC. (19)

Joachim dirige l'analyse des opérations dans la région ALC (y compris la mission pays). Il fournit un soutien technique pour les

résultats/progrès/conseils concernant l'objectif institutionnel développement des capacités des IAC et de la compétitivité des PME exportatrices, et contribue son expertise sur la question transversale d'environnement durable. En tant que principal expert de


l'équipe en promotion des échanges, il est aussi responsable de l'assurance technique des analyses régionales et compile les

informations pour le rapport final. (17)

Huong dirige l'analyse des opérations en Asie-Pacifique et réalise les missions pays dans cette région. Elle contribue aussi son

expertise sur la question transversale d'environnement durable et l'objectif institutionnel de renforcement des PME. (19)

Immaculee collabore avec Bernard sur l'analyse des opérations en AOC et réalise la deuxième mission pays dans la région. Elle

contribue son expertise sur les questions d'intégration et d'inclusivité, surtout en ce qui concerne les produits/services visant des PME dirigées par des femmes. (19)

Ilmari assiste Bernard pour l'étude du portefeuille global, fournit un soutien technique à l'équipe principale sur les objectifs, et

coordonne les entretiens, sondages et missions pays. Il coordonne également la diffusion, la collecte et l'analyse des sondages électroniques. Il soutient Bernard sur l'analyse régionale des opérations en AOC et EOAC, et participe à la synthèse et la rédaction du rapport. (56)

Tous les experts ci-dessus participent à des réunions à Genève après l'acceptation du Rapport initial (sauf Joachim, qui a réalisé de nombreux entretiens préliminaires durant la phase initiale). L'équipe a ainsi l'occasion de travailler ensemble au développement d'une méthodologie solide pour l'analyse des opérations et de l'organisation.

Petra soutient l'équipe dans le cadre des consultations en analysant les efforts de communication de l'ITC et en offrant un soutien

technique pour la diffusion des sondage électroniques. (5)

Stade final

Finalisation du rapport et synthèse

Présentation et diffusion du rapport

Semaines 28-44

Rapport final (29 avr.)

Présentations (dates à définir)

Bernard finalise le rapport d'évaluation sur la base des commentaires de l'ITC et des parties prenantes. Il le présente aux

principales parties prenantes et supervise sa diffusion électronique. (12)

Julia et Joachim sont responsables de l'assurance qualité du rapport final. (1 chacun)

Tom, Marie-Jo, Cissy, Immaculee et Huong commentent le rapport final. (0.5 chacun)

Ilmari soutient Bernard pour la finalisation et la diffusion du rapport. (6)

Petra soutient la mise en œuvre de la stratégie de distribution, y compris par voie électronique. (5)


5.3 Responsabilités

80. Le plan de travail de l'évaluation est présenté dans le tableau suivant :

Tableau 6 : Répartition des responsabilités

Equipe

Concentration par pays Concentration par thème

AO

C

AO

A

AL

C

Éta

ts A

rab

es

AP

EO

AC

Po

rte

feu

ille

glo

ba

l

Dé

cid

eu

rs

po

liti

qu

es

IAC

En

tre

pri

se

s

En

vir

on

nem

en

t

du

rab

le

Ge

nre

Org

an

isa

tio

nn

el

Co

mm

un

ica

tio

n

Bernard Wood X X X X X

Immaculee Habiyambere X X X

Tom Pengelly X X

Cissy-Ann Kirambaire X X

Joachim Eissler X X X X

Marie-Jo Char X X X

Bui Thi Thu Huong X X

Ilmari Soininen X X X

Julia Betts X X

Petra Vallila X

`Évaluation indépendante de l'ITC – Rapport initial32

6. ANNEXES

Annexe I : Matrice 1 - Évaluation de l'organisation et de la gestion de l'ITC, et changements depuis 2006

Aspects clés Problèmes/axes de recherche Méthodes de récolte des données

Sources clés Méthodes d'analyse

A.

Es

t-c

e q

ue

l’e

nv

iro

nn

em

en

t fa

vo

rise

la

pe

rfo

rman

ce

org

an

isa

tio

nn

elle

de l

'IT

C

et

co

mm

en

t a-t

-il

év

olu

é d

ep

uis

200

6 ?

A1. Structures et processus de gouvernance et responsabilité

Rôle et fonctionnement des processus et structures de gouvernance pour soutenir la crédibilité, l'efficacité et l'efficience de l'organisation (règles formelles, relations CNUCED-OMC-ONU, rôle du Groupe consultatif commun et du CCITF)

Rôle et fonctionnement des exigences externes et processus de responsabilité pour soutenir la crédibilité, l'efficacité et l'efficience de l'organisation (par ex. exigences en termes de reporting et responsabilité de rendre compte de CNUCED-OMC-UN, rôle de surveillance du Groupe consultatif commun)

Prescriptions internes, administratives, politiques, budgétaires et audits (réguliers ou extrabudgétaires) et leur effet sur l'efficience/efficacité

Doublons ou lacunes.

Analyse documentaire systématique

Entretiens avec des interlocuteurs informés/ groupes de discussion

Accords, rapports (formels et informels) du Groupe consultatif commun ; plans stratégiques, rapports CCTIF, rapports financiers, rapports annuels et recommandations (ONU, OMC et CNUCED). Cadres stratégiques de l'ONU, décisions de gestion et gouvernance, documentation de la gestion du changement et précédentes évaluations

Entretiens avec la direction

Entretiens avec le Comité directeur, l'OMC, la CNUCED, les missions diplomatiques, les donateurs

Analyse annuelle et analyse des tendances 2006-2012

Analyse et interprétation des résultats des entretiens et sondages

Triangulation entre sources différentes

Comparaisons sélectives (benchmarking, si possible)

A2. Cadre institutionnel

Effet de l'environnement (localisation à Genève, proximité des partenaires, rôle dans le système multilatéral/ONU) sur l'efficacité, l'efficience et la crédibilité de l'organisation (facteurs positifs / obstacles)

Influence des programmes de développement majeurs sur la définition des priorités de l'organisation (par ex. OMD, Paris/Busan, priorités APC, réforme de l'ONU)


Entretiens avec des interlocuteurs informés/ groupes de discussion

Procès-verbaux de la réunion du SMC, rapports annuels et recommandations, rapports (formels et informels) des sessions du Groupe consultatif commun, cadres stratégiques et plans bisannuels de l'ONU, documentation de la gestion du changement et précédentes évaluations

Entretiens avec la direction et le personnel opérationnel

Entretiens avec le Comité directeur, OMC, CNUCED,

Analyse comparative et de tendance 2006-2012






missions diplomatiques, donateurs

Documents clés des réforme OMD/ post-2015/ Busan/ APC/ ONU (par ex. EQCP)

A3. Avantages comparatifs de l'ITC et

réputation

Identifiés par :

Clients et clients potentiels

Personnel et direction de l'ITC

Partenaires onusiens (CNUCED, OMC)

Donateurs

Missions pays et personnes sondées

Autres parties prenantes

Capitalisé ? Si oui, comment, où ?

Analyse documentaire systématique, y compris mise à jour de l'évaluation 2006 de « l'avantage comparatif »

Entretiens avec des interlocuteurs informés/groupes de discussion

Sondage ciblé (niveau pays)

Plans stratégiques ITC, DPC, rapports annuels, évaluation 2006 de l'avantage comparatif

Objectifs stratégiques et fonctionnement d'autres institutions APC

Entretiens avec les partenaires ONU, donateurs, missions diplomatiques et autres partenaires

Réponses au sondage (niveau pays)

Analyse de situation des programmes et acteurs APC



B. D

e q

ue

lle

s c

ap

acit

és

org

an

isa

tio

nn

elle

s

l'IT

C d

isp

os

e-t

-ell

e p

ou

r re

mp

lir

eff

ica

ce

me

nt

sa

mis

sio

n ?

Co

mm

en

t

l'o

rga

nis

ati

on

a-t

-elle

ch

an

gé

de

pu

is 2

00

6 ?

B1. Direction stratégique

Rôle des objectifs de l'organisation dans la définition de la direction stratégique (clarté, crédibilité, orientation axée sur les résultats, appropriation)

Effets du leadership et de la planification stratégique sur le renforcement de la crédibilité, de l'efficacité et de l'efficience de l'organisation (gestion du changement ; orientation axée sur les résultats)

Rôle de la direction et de la planification stratégique dans l'identification/le déploiement des avantages comparatifs et opportunités de l'ITC, sa gestion des faiblesses, et sa capacité à concevoir et effectuer des activités selon une perspective unifiée et coordonnée

Attribution des ressources au niveau stratégique

de manière à maximiser l'efficacité (réalisation des buts stratégiques) et l'efficience (ponctualité,




Plans stratégiques de l'ITC, DPC, arguments de soutien, documentation de la gestion du changement, précédentes évaluations

Audits et évaluations OIOS


Entretiens avec le Comité directeur, les partenaires ONU, donateurs, missions diplomatiques et autres partenaires

Précédents sondages du personnel







maîtrise des coûts, etc.)

B2. Structure organisationnelle et déploiement des capacités

Conception de la structure organisationnelle et aptitude par rapport à sa fonction (réalisation des objectifs/missions de l'organisation)

Distribution et équilibrage des capacités par

rapport à une optimisation de l'efficacité et de l'efficience organisationnelle (équilibre Siège/bureaux régionaux ; projet pilote de décentralisation au Mexique ; capacités liées à des projets ou pays ; niveaux de gestion)




Structure organisationnelle de l'ITC, gammes de produits, plans stratégiques, DPC, arguments de soutien, documentation du processus de gestion du changement, précédentes évaluations



Entretiens avec le Comité directeur, les partenaires ONU, donateurs, missions diplomatiques et autres partenaires

Précédents sondages du personnel/sondage ciblé




B3. Ressources humaines

Volume/recrutement d'experts et de compétences en lien avec la réalisation des résultats stratégiques (compétences techniques, de gestion, politique de recrutement, contrats, titularisation, postes vacants, etc.)

Rôle des règles et procédures de l'ONU dans la planification, la politique et les procédures de RH de l'ITC

Création, intégration et mise en œuvre de plans et mécanismes de responsabilité pour la diversité et de l'égalité homme-femme au niveau institutionnel

Qualité et gestion du développement professionnel et du rendement, et utilisation des systèmes d'évaluation pour améliorer l'efficience et l'efficacité organisationnelle


Analyse des statistiques RH

Entretiens avec des interlocuteurs informés/groupes de discussion avec le personnel

Documents de politique RH de l'ITC, Règles et procédures de l'ONU/l’OMC, plans et politiques de promotion de la diversité et de l'égalité

Statistiques RH de l'ITC


Entretiens avec la direction et le personnel opérationnel, surtout des RH

Cadres, systèmes et mécanismes de gestion du rendement/développement professionnel

Précédents sondages du person-nel/archives et procès-verbaux du comité de gestion du personnel




B4. Gestion Rôle de la planification financière et des Analyse documentaire GF de l'ITC (préparation du budget Analyse




financière systèmes de responsabilité et de suivi dans la transparence et la crédibilité/efficacité de l'organisation

Influence du système ONU environnant sur les systèmes et processus de gestion

systématique

Analyse financière et budgétaire

Entretiens avec des interlocuteurs informés

et contrôle de la mise en œuvre, comptabilité), arguments de soutien, procédures de gestion du cycle de vie des projets


Entretiens avec le personnel DPS

comparative et de tendance 2006-2012



B5. Infrastructure

Disponibilité de systèmes technologiques et d'information pour soutenir l'efficience, la crédibilité et la transparence de l'organisation (interne et externe ; disponibilité et datage)

Examen des politiques de gestion et systèmes informatiques

Analyse de l'intranet et du site web


Examen du système GAR, intranet et site web


Entretien avec DPS, la direction, le personnel opérationnel et les partenaires externes clés (ONU, missions diplomatiques et donateurs)

Précédents sondages du personnel et des clients


Analyse et interprétation des résultats des entretiens


B6. Gestion des projets et programmes

*ceux-ci sont aussi largement couverts dans l'analyse opérationnelle – l’analyse au siège d'ITC met l'accent plus sur le processus que le contenu

Fonction du processus d'identification des projets pour soutenir une approche/un déploiement axé sur la demande des avantages comparatifs/utilisation optimale des capacités

Influence de la taille des projets identifiés/conçus (y compris expérience avec des projets plus vastes ou de portée régionale) sur l'aptitude à ajuster les capacités de l'ITC pour une utilisation optimale/efficacité et efficience maximale

Volume et qualité de la formation et du développement des compétences visant à

soutenir des logiques de projet et des concepts d'intervention solides (manuels, guides, boîtes à outils, équité et égalité homme-femme, etc.)

Rôle du processus de gestion du cycle de vie des

Examen systématique des documents clés (processus/projet et programme)


Sondages ciblés

Gestion/suivi du cycle des programmes de l'ITC et procédures d'évaluation

Exemple de documentation projet/programme, rapports de suivi et d'évaluation

Entretiens avec des collaborateurs opérationnels sélectionnés (branche d'activité) du DCP et DBIS


Précédents sondages clients

Réponses au sondage (niveau







projets pour soutenir la mise en œuvre efficace et assurer le suivi des résultats (y compris en termes d'équité et d'égalité homme-femme)

Ampleur des capacités d'adaptation et aptitude à initier des actions correctives en fonction de changements de contexte

Processus de sélection des canaux de distribution et des partenaires selon le contexte de mise en œuvre/ maximisation de l'efficacité (IAC et autres)

Rôle des systèmes de suivi et d'évaluation dans

l'optimisation de l'efficacité et de l'efficience (évaluation indépendante, gestion des réponses, questions d'équité et d'égalité homme-femme)

pays)

B7. Processus de gestion

Rôle des processus internes de prise de décision pour améliorer l'efficacité et l'efficience (flux de prise de décisions, communication des décisions)

Fonctionnement des procédures de communication interne pour améliorer l'efficience et l'efficacité (rapidité et fréquence de communication, disponibilité des informations)

Utilisation de la surveillance interne en vue d'optimiser les systèmes et processus (types d'études, contenu, saisie et flux des informations)


Analyse de l'intranet


Analyse de la documentation concernant la planification, communication, gestion, S&E, audits internes

Analyse de l'intranet

Entretiens avec DPS, la direction et des membres sélectionnés du personnel opérationnel

Précédents sondages du personnel, archives et procès-verbaux des réunions du comité

Précédentes évaluations




B8. Liens interorganisations

Rôle des partenariats, coentreprises et réseaux pour soutenir la cohérence et la coordination interagences, ainsi que des résultats plus larges (OMC-CNUCED, Une ONU, groupes interinstitutionnels, IAC partenaires)

Fonctionnement des systèmes de gestion de la relation client pour soutenir la crédibilité et la

légitimité de l'organisation (conception, mise en œuvre, formation)

Rôle des partenariats au niveau régional et



Sondages ciblés

Plans stratégiques de l'ITC, rapports annuels, DPC, protocoles d'accord, etc.

Documentation de projet et programme (partenariat clés et réseaux)

Procès-verbaux pertinents (partenariats et réseaux)

Systèmes de gestion des clients et

Analyse des méthodes de sélection des organisations partenaires et des critères utilisés ;

Analyse comparative et de tendance




national pour encourager la cohérence /coordination/réalisation de résultats au niveau régional/national

dossiers

Entretiens avec la direction et des membres sélectionnés du personnel opérationnel

Entretiens avec le Comité directeur, Groupe consultatif commun, OMC, ONU/CNUCED et autres institutions partenaires (ONUDI, CICDD, SFI/BM, STDF, CBI, banques de développement, institutions régionales, etc.)



Réponses aux sondages (niveau pays)

2006-2012



C. Q

ue

lle

es

t la

mo

tiv

ati

on

org

an

isa

tio

nn

elle

de

l'IT

C

po

ur

rem

plir

eff

ica

cem

en

t sa

mis

sio

n,

et

co

mm

en

t

a-t

-ell

e é

vo

lué

dep

uis

20

06

?

C1. Vision et mission

Influence de la vision de l'ITC pour la promotion d'un objectif clair auprès de son principal public, dans une optique « l'ensemble est plus que la simple somme de ses composantes ».

Ampleur de la compréhension de/ adhésion à la vision de l'ITC parmi les partenaires clés et le personnel

Concordance entre la vision de l'ITC et sa direction stratégique/systèmes internes

Examen des décisions de gestion et gouvernance



Sondages ciblés

Plans stratégiques de l'ITC, rapports annuels, DPC, etc.

Documentation de la gestion du changement


Entretiens avec le Comité directeur, le Groupe consultatif commun, l'OMC et l'ONU






C2. Culture et incitations

Caractéristiques et valeurs clés de l'organisation (par ex. transition depuis le modèle « artisanal »; diversité et égalité homme-femme)

Facteurs motivants/dissuasifs du point de vue du personnel et des partenaires (par ex. performance, rétention, recrutement, etc.)



Plans stratégiques, DPC, etc.


Entretiens avec des organisations partenaires clés


Analyse et interprétation des






résultats des entretiens et sondages


D.

Qu

ell

e e

st

la p

erf

orm

an

ce o

rga

nis

ati

on

nell

e d

e l

'IT

C e

n t

erm

es

de

réa

lis

ati

on

de

so

n m

an

da

t, e

t c

om

me

nt

a-t

-ell

e é

vo

lué

de

pu

is 2

00

6 ?

(C

es

pro

blè

mes

so

nt

au

ss

i a

bo

rdé

s d

an

s l

'an

aly

se

op

éra

tio

nn

ell

e c

i-d

es

so

us

, à

pa

rtir

du

niv

ea

u d

e l

a

mis

e e

n œ

uv

re e

t d

u p

roje

t.)

D1.Par rapport à l'efficacité

Qualité et rôle du modèle des résultats de l'organisation dans la direction stratégique de l'ITC / appropriation et adhésion (y compris orientation axées sur les résultats et intégration de questions d'équité et d'égalité homme-femme)

Qualité et rôle du système de GAR pour la facilitation du suivi/reporting sur les résultats, (ajustement au niveau des impacts, questions d'équité et d'égalité homme-femme)

Qualité et rôle de la fonction d'évaluation indépendante dans le soutien de la responsabilité de rendre compte et la réalisation de résultats, et influence sur la prise de décision stratégique


Analyse des systèmes de GAR


GAR de l'ITC et systèmes d'évaluation, politiques, canaux hiérarchiques et documentation







D2 Par rapport à l’efficience

Rôle du cadre et des systèmes de responsabilité financière dans la facilitation du contrôle de l'efficience administrative

Déploiement des mécanismes et systèmes de transparence des coûts pour soutenir la responsabilité de rendre compte au niveau interne



Rapports annuels, plans stratégiques, DPC, arguments de soutien


Précédentes évaluations de l'ITC

Entretiens avec DPS et des membres sélectionnés du personnel opérationnel

Entretiens avec le Comité directeur, le Groupe consultatif commun, l'OMC, UNCTAD et les donateurs




D3. Par rapport à la pertinence

Mise en œuvre des cadres de développement clés (OMD, besoins nationaux) afin d'identifier et

Examen de la documentation Plans stratégiques de l'ITC, DPC, rapports annuels et arguments de

Analyse comparative et




actuelle de s'adapter aux besoins et priorités des clients (bénéficiaires)

Priorisation des interventions pour maximiser les résultats en termes de développement

Mise en œuvre des cadres APC clés pour répondre à un environnement en mutation (négociations commerciales, etc.)


Sondages ciblés

Constatations de l'analyse du portefeuille de projets

soutien, précédentes évaluations

Documentation de la gestion du changement

Entretiens avec le Groupe consultatif commun, OMC et CNUCED, les donateurs et d'autres sources bien informées concernant les besoins et priorités pour l'aide pour le commerce

Entretiens avec la direction de DPS, DBIS et DCP et des membres sélectionnés du personnel administratif

de tendance 2006-2012



D4. Par rapport à la viabilité financière

Effets de la stratégie de mobilisation des ressources sur la création des ressources nécessaires pour la croissance sur le court, moyen et long terme

Ampleur des flux diversifiés de ressources (mobilisées/disponibles)



Sondages ciblés



Précédentes évaluations de l'ITC

Entretiens avec DPS, la direction et des membres sélectionnés du personnel opérationnel

Entretiens avec le Comité directeur, le Groupe consultatif commun, l'OMC et l'ONU

Entretiens avec les donateurs actuels et potentiels





Annexe II : Matrice 2 - Évaluation de l'évolution opérationnelle et des résultats de l'ITC depuis 2006

Réalisations attendues de l'ITC

Liées aux trois groupes de clients principaux

Problèmes/indicateurs

Selon les cas, les critères appliqués sont la pertinence (P), l’efficacité (F), l’efficience (C), l’impact (I) et la viabilité (V)

Méthodes de collecte des données

Sources clés

(sources de données principales et secondaires)

Méthodes d'analyse

Décideurs politiques

Soutenir les décideurs politiques en intégrant le secteur des entreprises à l'économie mondiale

11

Sélection appropriée des pays/activités/prestataires (processus d'évaluation des contributions/besoins des bénéficiaires// influence du financement) [P]

Conception rigoureuse et réactive (comprenant la base de référence pour la GAR et intégrant les questions d'égalité homme-femme, de réduction de la pauvreté et d'environnement durable) [F]

Capacité de mise en œuvre suffisante et utilisation efficiente des ressources ; réalisation dans les délais et budgets [C]

Efficacité de la mise en œuvre (une place centrale sera données aux perspectives des bénéficiaires) et compréhension de la notion d'optimisation (« value for money ») [F]

Suivi et preuves de contributions plausibles aux impacts, y compris les OMD pertinentes. [F, I]

Efficacité de la coordination/coopération avec des acteurs nationaux/internationaux (valeur ajoutée pour l’APC) [P, F, C]

Réalisations majeures, innovations, questions de viabilité, amélioration de la qualité ou utilisation accrue des outils existants [P, F, I]

Implications pour la taille et la durée des projets de l'ITC, perspective pour des projets larges et obstacles [F, C]

Principaux problèmes ou contraintes

Examen systématique de la documentation


Sondages ciblés

Analyse du portefeuille/ études de cas des missions pays

Sources de données secondaires :


Précédentes évaluations de programmes/projets

Sondages de clients existants

Audits OIOS pertinents

Sources de données primaires :

Entretiens avec des cadres et des membres sélectionnés du personnel de DCP, DMD et BE (DBIS)

Résultats des entretiens/sondages de décideurs politiques de pays en développement (par ex. ministères responsables du commerce et des PME, agences nationales pour le développement des exportations, etc.)

Résultats des entretiens/sondages d'interlocuteurs sur le terrain (par ex. conseillers politiques, donateurs, etc.)

Analyse annuelle et analyse de tendances 2006-2012 afin de mesurer les progrès



Benchmarking sélectif, si possible

Analyse de la contribution à l'impact

IAC

Développer la

Sélection appropriée des pays/IAC/activités/prestataires (processus d'évaluation des contributions/besoins des

Examen systématiqu


Rapports annuels, plans

Analyse annuelle et des tendances

11

NB: ceci devrait comprendre des activités d'intelligence commerciale (disponibles pour tous les groupes de clients) et des documents de politique.







Sources clés


Méthodes d'analyse

capacité des institutions d’appui au commerce à soutenir les entreprises

bénéficiaires // influence du financement/processus de certification) [P]

Conception rigoureuse et réactive (comprenant la base de référence pour la GAR et intègre les questions d'égalité homme-femme, de réduction de la pauvreté et d'environnement durable) [F]

Capacité de mise en œuvre suffisante et utilisation efficiente des ressources ; réalisation dans les délais et budgets [C]

Efficacité de la mise en œuvre (les évaluations des bénéficiaires auront une place centrale) et compréhension de la notion d'optimisation (« value for money ») [F]

Suivi et preuves de résultats/contributions plausibles aux impacts, y compris les OMD pertinents [F, I]

Efficacité de la coordination/coopération avec d'autres acteurs nationaux ou internationaux (valeur ajoutée pour le programme APC) [P, F, C]

Réalisations principales, innovations, questions de viabilité, amélioration de la qualité ou utilisation accrue des outils existants [P, F, C]



e de la documentation


Sondages ciblés

Analyse du portefeuille/études de cas, sur la base des missions pays

stratégiques, DPC, arguments de soutien


Suivi et rapports GAR




Entretiens avec des cadres et des membres sélectionnés du personnel DCP, DBIS (surtout TS), et DMD

Résultats des entretiens/sondages d'IAC (au niveau direction et opérationnel)

Résultats des entretiens/sondages de PME concernées

Résultats des entretiens/sondages d'interlocuteurs sur le terrain (par ex. conseillers, donateurs, etc.)

2006-2012 afin de mesurer les progrès











Sources clés


Méthodes d'analyse

Entreprises

Renforcer la compétitivité des entreprises à l'international (renforcer les exportations)

Sélection appropriée des pays/ secteurs/ activités/ entreprises/ prestataires (processus d'évaluation des contributions/besoins des bénéficiaires / influence du financement) [P]

Conception rigoureuse et réactive (comprenant la base de référence pour la GAR et intégrant les questions d'égalité homme-femme, de réduction de la pauvreté et d'environnement durable) [F]

Capacité de mise en œuvre suffisante et utilisation efficiente des ressources. réalisation dans les délais et budgets [C]

Efficacité de la mise en œuvre (les évaluations des bénéficiaires auront une place centrale) ; Compréhension de la notion d'optimisation des ressources (« value for money ») [F]

Suivi et preuves de résultat / contribution plausible aux impacts, dont les OMD pertinentes [F, I]

Efficacité de la coordination/coopération avec d'autres acteurs nationaux ou internationaux (valeur ajoutée pour le programme APC) [P, F, C]

Réalisations principales, innovations, questions de viabilité, amélioration de la qualité ou utilisation accrue des outils existants [P, F, I]





Sondages ciblés

Analyse du portefeuille/ études de cas sur la base des missions sur le terrain




Suivi et rapports GAR




Entretiens avec EC, DCP (sections régionales), et DMD choisis si nécessaire

Résultats des entretiens/sondages de PME, chambres de commerce et autres organismes du secteur privé


Analyse annuelle et des tendances 2006-2012 afin de mesurer les progrès











Sources clés


Méthodes d'analyse

Performance globale intégrée

Capacité à combiner diverses compétences, afin de proposer des solutions coordonnées et cohérentes [F, C, V]

Cohérence globale des projets et programmes [P, I]



Sondages ciblés

Analyse du portefeuille/ études de cas sur la base des missions sur le terrain






Principaux rapports GAR à ce jour


Entretiens avec EC, DCP (sections régionales), et DMD choisis, si nécessaire

Résultats des entretiens/sondages de PME, chambres de commerce, ou autres organismes du secteur privé


Synthèse de :

Analyse annuelle et des tendances 2006-2012 afin de mesurer les progrès






Annexe III : « Story-boards » des sections par produit et région

Story-boards produits

Produit/service : Division :

Nom du projet/budget : Section :

Période : Unité :

Aspect

Brève description

Lancement du projet :

- Comment le projet a-t-il été lancé ?

- Qui était responsable de la première prise de contact ?

- Qui en était le « promoteur » au sein de l'ITC ?

- Sélection du pays ? Raisons ?

- Implication des bénéficiaires ? À quelle étape ?

Évaluation des besoins et conception :

- Quel type d'évaluation a été réalisé ?

- Alignement avec les stratégies nationales/institutionnelles des bénéficiaires ?

- Quels processus/outils ont été utilisés ? Reporting intégré ?

- Preuves que le projet est centré sur les priorités spécifiques des bénéficiaires ?

Gestion :

- Qui était responsable de la gestion du projet ? Comment le choix a-t-il été fait ?

- S'agissait-il d'un rôle plutôt administratif ou d’un poste de véritable direction de projet ?

- Qui étaient les autres acteurs clés au sein de l'ITC ?

- La coopération/coordination était-elle bonne ? Si problèmes, pourquoi ?

Financement :

- À quelle étape le financement a-t-il été confirmé, reçu ?

- Est ce que les conditions de financement ont contribué au succès du projet ? Problèmes ou limitations ?

Capacité et implémentation:

- Comment se déroule la mise en œuvre du projet ?

- Dans les délais ?

- Dans les budgets ?

- Ajustements nécessaires ? Flexibilité ?

- Forces et limitations

Coordination et coopération :

- Interne : à l'intérieur de l'ITC

- Externe : avec les partenaires de projet ou bénéficiaires, autres prestataires APC, donateurs, parties prenantes


Mesure des résultats et de l'impact :

- Niveau projet : indicateurs, cadre logique, suivi réel et rapports

- Niveau organisation : lien vers la GAR

- Preuves :

- d’impact économique

- d'impact social

- d'impact environnemental

- de viabilité

Enseignements clés :

- Réalisations principales, innovations, viabilité, amélioration de la qualité ou utilisation accrue des outils existants ?

- Principaux problèmes ou limitations ?

Autres commentaires et suggestions :


STORY-BOARD DES SECTION GEOGRAPHIQUES

Section géographique : Division :

Chef de Section : Personnel (total) :

Aspect Brève description

Organisation de la section :

- Combien de collaborateurs travaillent dans la section ?

- Par catégorie d’emploi ?

- Consultants ?

- Evolution du nombre des collaborateurs : stable, en augmentation, en baisse ? Sur les 3 dernières années.

- Autres remarques ?

Rôle principal de la section pays :

- Rôle(s) principal(aux) ?

- Responsabilités clés ?


Capacité de la section :

- Nombre de collaborateurs vs. charge de travail ?

- Les compétences et qualifications des collaborateurs sont elles adaptées à leur travail ?


Participation à la durée de vie des projets :

- A quoi ressemble en général la participation de la section à différentes étapes de la vie d'un projet (identification des pays/partenaires/financements pour les activités, la conception, la mise en œuvre, le suivi) ?


Portefeuille de projets :

- Projets de 2006 à 2012 ?

- Projet(s) le(s) plus important(s) ? Pourquoi ?

- Projet(s) le(s) plus difficile(s) ? Pourquoi ?

- Projet(s) le(s) plus innovant(s) ? Pourquoi ?

Coordination et coopération :

- Interne : divisions, sections, unités de l'ITC ?

- Externe : avec les partenaires de projet ou bénéficiaires, autres prestataires d'aide pour le commerce, donateurs, parties prenantes ?


Mesure des résultats et de l'impact :

- Participation au processus de GAR ?


Enseignements clés :

- Réalisations principales, innovations, viabilité, amélioration de la qualité ou utilisation accrue des outils existants ?

- Principaux problèmes ou limitations ?



Autres commentaires ou suggestions :


Annexe IV : Réponses de l’Équipe d’évaluation indépendante aux commentaires sur la version préliminaire du Rapport initial

NB : Comme convenu dans les Termes de référence, la proposition d'évaluation, les présentations et les discussions accompagnant la mission initiale, l'équipe indépendante apporte les réponses suivantes aux commentaires reçus dans les délais requis. Ainsi que le précise ce rapport (para. 2.18 e), l'équipe s'engage à : répondre « aux commentaires des parties prenantes sur les rapports préliminaires, dans le respect du principe d'indépendance, pour autant qu'ils soient communiqués dans les délais définis par le Rapport initial. L'équipe indique comment ces commentaires ont été intégrés au rapport, et si non, pourquoi. Le chef d'équipe s'assure que le rapport reflète, par des commentaires dans le texte, notes de bas de page ou dans une section spéciale, toute divergence d'opinion parmi les membres de l’Équipe d’évaluation, ou entre l’Équipe d’évaluation et les partenaires, qu'elle estime importante pour les conclusions et les recommandations du rapport. » Il est entendu que ces commentaires et réponses constituent un document de référence, qui sera joint au Rapport initial final. Dans la mesure du possible, l’équipe prendra également en compte pour son travail les commentaires reçus après ce délai.

Date

Personne de contact

Para Commentaire Réponse

1 22.10.13 Olov Atterfors, Responsable de programme, SIDA ([email protected])

9 D'accord avec votre prudence par rapport à l'impact. Par contre, nous aimerions plus d'explications concernant les résultats obtenus. Où en est l'ITC aujourd'hui ? Qu'en est-il des questions transversales comme le genre et l'environnement ?

Oui, le para. 9 entend souligner que l'évaluation poussera l'analyse des résultats/réalisations des projets de l'ITC et leur contribution aux impacts en termes de développement aussi loin que le permettent les données existantes et la plausibilité des liens de causalité. Ces évaluations se baseront sur des données tangibles issues des systèmes de suivi et reporting de l'ITC, d'autres sources principales fiables selon le cas, ou d'entretiens structurés avec des interlocuteurs informés, surtout des bénéficiaires, qui seront ensuite validés par l'équipe au travers de la sélection de portefeuilles par pays et missions sur le terrain.

La Matrice 2 comprend « une conception rigoureuse et réactive (y compris la base de référence pour la GAR et intégrant les questions d'égalité homme-femme, de réduction de la pauvreté et d'environnement durable) » et « preuves de contributions plausibles aux impacts, y compris les OMD pertinentes. » Ces questions seront intégrées aux outils spécifiques d'évaluation et reflétées au niveau institutionnel dans la Matrice 1.


53-54 Nous sommes d'avis que les PMA choisis sont peu représentatifs de l'Amérique latine. Haïti est un pays intéressant, mais très différent des pays latino-américains. Le Pérou représente bien l'Amérique du Sud, mais l'Amérique centrale n'est pas représentée du tout. Nous aimerions remplacer l’Uruguay par un

Nous comprenons et partageons votre point de vue. Haïti est un cas particulier en Amérique latine et Caraïbes, mais il faut souligner que pour éviter un échantillonnage biaisé, la sélection a été faite selon des critères très rigoureux, définis au para 53 et dans l'encadré 3 p. 18. Ainsi, le para. 53 précise : que les critères de sélection des pays étudiés au deuxième et troisième niveau sont définis de manière à inclure toutes les régions où l'ITC est actif, et où ses


des pays suivants : le Salvador, Honduras ou le Guatemala.

activités sont assez récentes (c.-à-d. entre 2010-2012) pour permettre et justifier une étude approfondie. Parmi les 61 pays répondant au deuxième critère, seuls six sont en ALC (Brésil, Cuba, Haïti, Mexique, Pérou, Saint Lucia, et Uruguay), et aucun en Amérique centrale. Haïti participe en fait à des projets intéressants au niveau régional et mondial, et fournira donc potentiellement une perspective différente, tout en satisfaisant à d'autres critères importants (PMA). Nous venons d'apprendre que des actions à Haïti sont prévues ; nous avons donc de nouveau vérifié et confirmé ce choix, de concert avec la section régionale responsable. Dans la mesure où plusieurs activités importantes sont actuellement à l'étude pour Haïti, dans un contexte difficile de suite de catastrophe naturelle, ce cas d’étude sera peut-être intéressant à comparer non seulement à ceux du Pérou et de l'Uruguay, deux pays plus « typiquement » latino-américains, mais aussi d’autres pays de notre échantillon. Notons également que l'équipe avait d'abord choisi le Pérou pour une mission pays, mais les responsables de l'ITC nous ayant informé que le Pérou avait récemment fait l'objet d'importantes évaluations (financées par le SECO) portant sur de l'aide au commerce, il nous a semblé plus conforme aux bonnes pratiques d'effectuer une analyse documentaire sur la base de ces documents afin de ne pas surcharger nos partenaires péruviens par l'organisation d'une mission. L'Uruguay est inclus en tant que pays à revenu plus élevé ayant eu une expérience de l'ITC et des perspectives intéressantes - malgré une concentration sur les pays les plus pauvres, L'ITC s'intéresse encore à quelques pays de cette catégorie.


53-54 Pour la région EOAC, nous préférerions remplacer la Turquie par des pays comme la Moldavie et/ou la Géorgie.

Pour la région EOAC, les pays qui répondent au critère « nombre suffisant de projets récents » sont l'Albanie, la Géorgie, le Kirghizistan, la Pologne, le Tadjikistan et la Turquie. Le choix de la Turquie nous permettait d'inclure quelques pays à plus haut revenu. Suite aux commentaires de plusieurs lecteurs, nous avons rectifié ce choix. Etant donné la situation particulière de la Turquie et le fait que l'ITC y est peu actif (voir aussi comm. 46 et 47), l'équipe, en collaboration avec la section régionale de l'ITC, a révisé les données pour la sélection EOAC, et toujours selon les mêmes critères, a choisi l'Albanie, le Kirghizistan et le Tadjikistan.


Annexe I ; A1

Dans ce contexte, nous voudrions inclure une discussion sur le conseil de direction. Nous aimerions aussi parler du soutien essentiel relatif aux directives de financement du premier compte.

L’évaluation traitera les questions relatives aux structures de gouvernance actuelles et les structures alternatives possibles (voir Matrice I, A1), mais l'équipe est pleinement consciente qu'une recherche dans ce sens a été recommandée par l'évaluation de 2006, puis lancée, sans conclusion satisfaisante. Malgré sa portée moins ambitieuse de « rapport intermédiaire », cette évaluation s'efforcera de répondre à ces questions si elles le méritent; au vu de l'évolution de la situation, elle recommandera éventuellement des actions ou options, en fonction de ses constatations.


Comme indiqué dans l'encadré 1, les questions concernant les mécanismes de financement de l'ITC, donc les directives de premier compte, sont indubitablement des questions centrales de l'évaluation Elles comprennent la dotation en ressources et la responsabilité de rendre compte, et sont énoncées sous le chiffre A1 et D4 de la Matrice 1 (organisation et gestion) ainsi que dans la Matrice 2 (opérations), qui vise à évaluer « l'influence du financement » sur les projets et programmes étudiés.

5 23.10.13 Nneka Henry, Conseiller ITC ([email protected])

encadré 2 et para.

49

Par deux reprises, le document affirme que l'ITC n'a pas de « programmes pays » (encadré 2 et para 49). Je ne comprends pas ce que vous voulez dire, car cela semble contredire nos efforts au Tadjikistan, en Côte d'Ivoire, au Myanmar ou au Pakistan. Si c'est parce que nous n'avons pas de bureaux sur place pour gérer ces programmes pays, il faudrait le dire plus clairement. Pouvez-vous fournir des explications ?

Selon les informations à notre disposition et les premiers entretiens avec l'ITC, il semblerait que l'ITC n'ait pas vraiment de « programmes pays au sens où l'entendent nombre d'agences plus grandes. » Un tel programme pays impliquerait par exemple, que l'ITC ait la capacité nécessaire pour entretenir un dialogue continu avec les parties prenantes nationales, une stratégie clairement énoncée et un suivi régulier et coordonné de toutes ses interventions dans le pays, mais pas forcément un bureau permanent sur place. Nous apprenons avec intérêt que les activités dans ces quatre pays pourraient constituer des programmes pays ; nous ne manquerons pas de prendre en compte cette information et ses possibles implications, d'autant plus que l'un de ces pays fera l'objet d'une mission.


Tableau 2 :

page 19

Aucune mission pays n'est prévue pour la région EOAC (voir p. 19), ce qui me semble un vrai problème, au vu de l'excellent travail effectué au Tadjikistan, au Kirghizistan et au Kazakhstan, et des interventions que nous espérons développer prochainement avec la Moldavie, l'Ukraine et la Géorgie (réf. ALE avec l'UE. Pouvez-vous expliquer ?

Comme noté dans les réponses 4 et 5, l'équipe a revu la sélection des pays pour les trois analyses de portefeuille de la région EOAC et rectifié son choix, sans déroger aux critères définis. Comme le souligne le Rapport initial, il ne faut pas donner trop d'importance à la sélection très limitée de pays pour les missions ; si aucune mission n'est prévue dans une des régions d’activité de l'ITC c'est essentiellement pour des raisons de budget. La proposition soumise par l'équipe répond à une condition énoncée dans les TR: réaliser sept missions sur le terrain, en mettant l'accent sur l'Afrique, au moyen d'experts anglophones, francophones, hispanophones et arabophones. Par conséquent, aucun des membres de l'équipe n’est russophone, une aptitude essentielle à toute mission dans la région, mais a la capacité de lire le russe, si nécessaire. Les programmes au Kirghizistan et au Tadjikistan ayant été évalués assez récemment pour le donateur, nous disposons déjà d'informations supplémentaires très utiles. Si une mission dans la région devait être organisée, il faudrait ajouter au budget un montant correspondant aux jours de travail d'un membre de l'équipe et le coût de l'interprétation russe.


Annexe I et II

Dans les Annexes, j'ai repéré quelques lacunes au niveau des ressources documentaires (et des personnes de référence, Siba Das, par ex.) La liste est-elle fermée ?

Non, la liste n'est ni exhaustive, ni fermée en ce qui concerne les documents et les personnes, et l'équipe accepte volontiers d'autres propositions, avec mention de la question pertinente de la Matrice.


8 25.10.13 François Jérôme Michel, Ministre conseiller Mission de Haïti ([email protected])

para. 20,

page 9

Dans l'approche adoptée, serait-il possible d’inclure des tables rondes et des débats interactifs ?

Oui, nous avons l’intention d’inclure des tables rondes et débats interactifs comme méthodes de collecte des données. (Voir la mention de « groupes de discussion » au para. 47 c, encadré 2, et à plusieurs reprises dans la Matrice l). Cette méthode aurait dû être comprise dans la Matrice 2 au même titre que les « entretiens avec des interlocuteurs informés » ; nous faisons la correction.

9 25.10.13 François Jérôme Michel, Ministre conseiller Mission de Haïti ([email protected])

Généralités

Du point de vue général, on a constaté qu'on n'a pas beaucoup mis l'accent sur l'évaluation de la production et l'offre. Pour certains PED et PMA en particulier, l’accès aux marchés d'exportation ne suffit pas pour devenir compétitifs à l'échelle internationale. Pour participer pleinement aux activités commerciales, ces pays ont besoin d'une aide visant principalement à augmenter leur offre exportable en vue de leur permettre de surmonter les obstacles au commerce non tarifaire. La méthodologie d'approche doit aussi prendre en compte la mise à disposition d'une aide garantissant l'accès au crédit.

Nous avons bien noté ces observations sur l’orientation des programmes de l'ITC comme contributions à l’analyse. Merci beaucoup.

10 25.10.13 Miguel Jiménez Pont, Chef, Unité de suivi et d'évaluation ITC ([email protected])

15 1. J'aimerais ajouter quelque chose de ce genre : Afin de remplir sa fonction de contrôle qualité et de soutien, EMU sera informée par/recevra de l’Équipe d’évaluation : a. les informations récoltées et les analyses complétées à chaque étape de réalisation des produits finaux (?) pendant l'évaluation (étude globale du portefeuille, études de projets, études des portefeuilles régionaux, rapports de mission pays, etc.) et b. Une description du fonctionnement des outils et critères d'évaluation, et des méthodologies de collecte et organisation/interprétation des données (modèles de filtrage, systèmes d'agrégation des données, entretiens ciblés, questionnaires, etc.)

L'équipe est disposée à donner accès à toutes les données brutes à l'EMU, dans sa fonction de contrôle qualité, lors de la livraison de la version préliminaire du rapport final. Il n'est ni possible, ni convenable de rajouter des exigences de reporting formel et exhaustif, ou de contrôle en continu, car cela pourrait porter atteinte à l'indépendance de l'évaluation, mais l'équipe s'engage à travailler de manière parfaitement transparente avec l’EMU, en tant que le Gestionnaire de l'évaluation. L'équipe voit cette coopération comme constructive et indispensable à une bonne compréhension et collaboration avec l'ITC.


11 Voir les 10 questions/commentaires suivants Nous sommes disposés à répondre en détail à toutes les questions de l'EMU sur la manière dont les outils et méthodes seront mis en œuvre, afin que le présent document serve de document de référence concernant ces questions. Toutefois, dans la mesure où la question du « comment » intéresse surtout les professionnels de l'évaluation, nous proposons de ne pas rectifier le Rapport initial, afin de ne pas perdre les autres lecteurs. Des corrections seront apportées à quelques points où ces questions indiquent un besoin de clarification.


43 1. Concernant les listes de contrôle des documents et les guides pour les entretiens, quand seront-il crées et utilisés ? 2. Concernant l'approche cartographique visant à identifier les processus clés et points de décision du système ITC dans son ensemble: - En quoi consiste l'approche cartographique que vous développez ? Qui en est responsable ? - Sa fonction est-elle de relier les constatations concernant les aspects opérationnels à celles concernant les aspects organisationnels ? Quand aura lieu ce processus, et qui s'en chargera ? - Quel lien avec le mouvement inverse, expliqué au para. 45, lorsque vous reprenez la perspective du siège à partir des constatations développées au travers des 7 études de cas analysant des programmes pays ?

Comme noté au para. 43, « Les listes de contrôle des documents et les guides thématiques pour les entretiens seront conçus à partir des questions d'évaluation. » Dans la mesure où le processus en cours vise à confirmer les questions (et les Matrices), ce travail peut maintenant commencer. Julia Betts s’en chargera pour la Matrice 1 (avec l'aide d'Ilmari Soininen et Bernard Wood) et Ilmari Soininen pour la Matrice 2 (avec l'aide de Bernard Wood et Joachim Eissler). Les listes de contrôle sont élaborées à partir des documents organisationnels (plans stratégiques, rapports annuels, etc.), documents de projets (propositions, rapports intermédiaires, etc.) et autres documents de référence. Une grande partie de ces documents a déjà été consultée pour la recherche préparatoire, et une étude plus approfondie est désormais possible. D'autres documents viendront sans doute enrichir cette recherche.

2. a. À présent, la cartographique devient plus claire, en partie grâce à la technique du « story-board », ainsi que les directives et modèles de conception de projets (versions de juillet 2012 et antérieures) obtenues par l'équipe. Étant donné la très grande diversité des produits de l'ITC et la façon dont elles sont gérées, l'équipe ne veut pas investir trop de temps dans cette démarche, et ne s’engage pas a produire une « carte » simple et uniformisée.

b. Le lien entre les constatations opérationnelles et organisationnelles se fera surtout lors de la phase de synthèse, sous la direction du chef d'équipe, même si les analystes continueront toujours de vérifier mutuellement leurs données (ce qu'ils font déjà), afin de contrôler l’information et traiter les problèmes de redondance, surtout pour certains aspects de la performance organisationnelle (Matrice I, section D).

c. Le retour au point de vue du Siège à partir des constatations opérationnelles fait partie de la démarche de synthèse, dirigée par le Chef d'équipe, et prendra en compte des éléments des différentes perspectives.



46 Comment la technique du « story-board project » est-elle articulée avec les questions d'évaluation de la matrice de l’Annexe II ? 2. Quels outils systématiques seront créés afin de relier les données récoltées (au travers des études de projets ?) aux questions d'évaluation et indicateurs de la matrice ? 3. Quand seront-ils développés - sur la base des 60 études de projets ou après avoir réalisé les 24 études de portefeuilles régionaux ? Qui s'en chargera ?

1. La technique du « story-board projet » est : i. un premier moyen pour l'équipe de comprendre les diverses manières dont les différents produits et projets de l'ITC sont conçus et réalisés ; ii. un moyen de tester le champ à couvrir dans les guides thématiques pour les entretiens et les questionnaires élaborés à partir des questions de la Matrice II. La rédaction des guides pour les entretiens, sur la base des résultats des « story-boards », a déjà commencé.

2. Les données récoltées au travers des études de portefeuilles et de projets seront automatiquement reliées aux questions et indicateurs de la Matrice II en indexant les instruments de récolte de données selon la numérotation des questions dans la Matrice.

3. Ilmari Soininen sera responsable de la compilation, éventuellement avec l'aide de quelques autres employés de Saana ; le Chef d'équipe interprétera les résultats lors de l'étape de synthèse, en vérifiant les informations avec ses collègues, si nécessaire, et en vérifiant les conclusions qui en découlent .

14 25.10.13 Miguel Jiménez Pont, Chef, Unité de suivi et d'évaluation, ITC ([email protected])

47 1. J'ajouterais « sondages » après « entretiens ». D'accord.


Encadré 1

Dans cette séquence, quand est-ce que l'on passe du story-board projet aux données correspondant aux questions de la matrice d'évaluation ?

Voir réponse à la question 14 (1) ci-dessus.


48 Quand est-ce que la triangulation aura lieu ? A-t-elle lieu pendant toute l’évaluation, ou seulement dans la phase de synthèse et d’évaluation des résultats ?

La triangulation des constatations est effectuée tout au long de l'évaluation, en identifiant les points de vue des divers interlocuteurs et sources, puis en agrégeant et en comparant les réponses qui émergent de ces différents points de vue. De même, les résultats provenant de pays ou types de projets différents seront codés de manière à pouvoir les agréger et les comparer lorsque les constatations sont réunies. La comparaison des constatations provenant des trois niveaux de l’analyse « en entonnoir » est une démarche de triangulation essentielle portant sur les résultats opérationnels (voir réponse 23 ci-dessous). Une triangulation supplémentaire aura lieu pendant la phase de synthèse ; dirigée par le Chef d'équipe, elle sera validée par les membres de


l'équipe.


57 & 58 1. Quand est-ce qu'elle aura lieu qui sont les relecteurs ? Serait-il possible d'en savoir plus sur le format de données standard et le lien avec l'analyse des données ?

Le modèle standard (ou modèle de « filtrage ») de rapport d'analyse est le principal outil utilisé par les membres concernés pour identifier, analyser (notamment pour la qualité des données et la triangulation des sources), agréger et remonter les constatations des études de portefeuilles et missions pays au niveau supérieur, en suivant toujours la structure des questions de la Matrice. Cette démarche interviendra lorsque l'équipe aura réuni les résultats des études régionales et nationales. Forts de leur expérience dans différentes régions, les membres de l'équipe assureront la relecture au moyen de l'outil présenté dans le Tableau 3.


60 1. Même question pour les modèles de filtrage : qu'est ce que c'est et comment ça marche ?

Voir réponse 18 ci-dessus. Nous regrettons que l'utilisation de deux terminologies différentes - « rapport standard » et modèles de « filtrage » - pour un même outil ait créé une certaine confusion, conséquence du délai de rédaction très serré. La notion de « filtrage » implique simplement l’élimination d’un excès de détails lors le passage un niveau d'analyse supérieur, tout en s'assurant que les résultats agrégés reflètent bien les constatations détaillées.


77 L'évaluation 2006 n'a pas réussi à définir des priorités parmi ses constatations et recommandations, car il lui manquait une vue d'ensemble. Aujourd'hui, au vu de la dispersion des données et la complexité du contexte, l'évaluation 2014 risque aussi de ne pas aboutir à une perspective concise sur l'ITC (y compris sa théorie du changement pour les bénéficiaires). Si j'ai bien compris, l'approche « en entonnoir » apporte une réponse à cette situation en ce qui concerne les opérations et les résultats, mais je crains que la question soit plus complexe, et comprenne également des aspects organisationnels.

Sur la base de nos efforts lors de la phase initiale, nous partageons vos craintes par rapport à la difficulté à avoir une « vue d'ensemble », étant donné la complexité de l'ITC pour un organisme de sa taille. Par exemple, il n'existe probablement pas une seule « théorie du changement » (même implicitement) pour tous les bénéficiaires de l'ITC, sauf dans un sens très général. Notons aussi que la liste des objectifs clés dans les supports de communication publics de l'ITC, notamment le Rapport annuel et le site web, diffère légèrement des « réalisations attendues » de la soumission officielle validée par l'ONU, alors que cette dernière s’éloigne aussi un peu de la version validée par JAG. L'évaluation en étudiera les implications.

Nous estimons qu'il fait partie de notre mission d'étudier certaines de ces questions dans leur contexte, d'évaluer indépendamment leur signification pour la politique de l'organisation, et proposer des possibles améliorations pour les aspects organisationnels et opérationnels. Comme mentionné plus haut, sur le volet opérationnel, nous avons développé une méthode visant à organiser et analyser un échantillon suffisamment représentatif de projets - la méthode « en entonnoir ».


Sur le volet organisationnel, nous pensons que le cadre d'analyse adapté par nos soins permettra de réaliser la meilleure évaluation possible dans les délais et les budgets spécifiés et avec les moyens à disposition. Dans les deux cas, les compétences et l'expérience de l'équipe viennent renforcer ces outils et méthodologies ; ces compétences seront aussi essentielles lorsqu'il s'agira de relier les dimensions organisationnelles et opérationnelles. Là où ce « rapport intermédiaire » n'aboutit pas à des évaluations définitives, les constatations et recommandations pour chaque question seront calibrées en fonction de la robustesse des preuves, et plusieurs alternatives proposées si une seule réponse ne s'impose pas.


79 1. J'aimerais développer un peu plus le plan de travail. Idéalement, ce plan devrait être organisé en fonction des produits finaux (ou étapes clés) de l'évaluation, et les responsabilités devrait être réparties entre membres de l'équipe en fonction de ces produits. 2. Il faudrait donner plus de détails concernant les activités dans la phase d'implémentation. Les évaluateurs ont une expertise dans une région géographique + catégorie de client, alors que les produits finaux sont essentiellement des synthèses, ce qui demande une collaboration intense et une supervision globale, voire un point de vue stratégique unifié. Comment tous ces éléments différents seront-ils assemblés ?

Il n'est ni souhaitable, ni possible, au stade du Rapport initial, de décrire plus précisément les responsabilités de l'équipe dans le plan de travail. Aussitôt que nous recevrons le feu vert pour le plan proposé dans le Rapport initial, il incombera à l'équipe de développer les outils, le cahier des charges de chaque membre de l'équipe, etc. en suivant le plan - c.-à-d. une longue liste de tâches à compléter en peu de temps, entre le 30 octobre et le départ en mission des membres de l'équipe en novembre. Dès qu'ils seront prêts, ces documents détaillés seront transmis à l’EMU, en sa qualité de Gestionnaire de l'évaluation. Nous ne manquerons pas de demander un soutien si nous en avons besoin.

2. Nous répondons à ces questions au chiffre 13-19 ci-dessus.


Annexe 1

1. Sous B1, ajouter : La capacité à concevoir et réaliser des activités d’un point de vue unifié et coordonné. (La question n'est pas forcément à sa place ici, mais d’après les conclusions de précédentes évaluations, c'est certainement une dimension importante qui fait actuellement défaut.) 2. Sous C2, ajouter la dimension « mobilité interne » à la suite de « rétention, recrutement, etc. »

Cette dimension est implicite sous B1, mais pourrait être rendue plus explicite. Veuillez vous référer à la réponse 23 (2) ci-dessous.

2. En effet, on pourrait inclure la mobilité interne, mais nous tenons à rappeler que plus nous rajoutons des dimensions, moins nous pourrons les traiter de façon exhaustive dans l'évaluation (voir la discussion du risque 1).



Annexe 2

1. Comment les constatations de la Matrice 2 seront-elles reliées aux données collectées au moyen de « l'entonnoir », notamment l'étude du portefeuille global, les 60 story-boards et les 24 études pays/portefeuille régional ? 2. Je pense qu'il faudrait encore développer les indicateurs de la dernière réalisation attendue (?), « la performance globale intégrée ». Les précédentes évaluations indiquent systématiquement qu'un manque de vision stratégique lors de la conception et mise en œuvre, et le manque de suivi après, limitent la valeur ajoutée pour les bénéficiaires.

Si le Rapport initial n'est pas assez clair sur ce point pour tous les lecteurs, nous clarifierons en intégrant certains des éléments suivants.

Au bout large de l'entonnoir, l'étude de portefeuille large, réalisé au moyen de recherches documentaires et statistiques et entretiens ciblés au siège, aboutira à des profils sommaires du portefeuille complet de projets de l'ITC sur cette période, retraçant les tendances en matière de financement, utilisation, répartition et disponibilité des informations relatives aux résultats des produits (organisés en fonction des trois « réalisations attendues de l'ITC » énumérées dans la Matrice II).

Au niveau intermédiaire de l'entonnoir, qui suit la même structure de matrice et un format standard - l'échantillon représentatif de 24 analyses de portefeuille plus détaillées se focalisera sur trois projets très différents par portefeuille (au moyen de la technique du « story-board projet », que sera développée à ce stade sous forme de guide d'entretien/questionnaire). En supposant ces deux niveaux génèrent des résultats fiables, nous disposerons au final de 72 (plus de 60) cas d'études de projets, auquel on peut ajouter les 20 « story-boards » projet réalisés lors de la phase initiale.

Finalement, en suivant toujours la même structure, au petit bout de l'entonnoir, nous choisirons sept « cas d'étude » de niveau pays (répartis entre les pays et types de programmes) parmi les 24 portefeuilles pays, dans le but de valider les constatations en les reliant à l'expérience concrète des principaux bénéficiaires visés, dans le contexte réel du pays.

Nous utiliserons ensuite un processus critique de triangulation et de synthèse pour comparer les informations récoltées à ces trois niveaux, toujours avec l'aide de cette même matrice. Dans la mesure où les données organisationnelles globales récoltées au siège doivent servir des objectifs de gestion et de responsabilité de rendre compte, les constatations sur le terrain permettront une validation « de bas en haut ».

2. La « performance globale intégrée » n'est pas à proprement parler une « réalisation attendue », mais au vu de son importance dans les précédentes évaluations et suite aux constatations initiales de l'équipe, elle a été incluse dans les questions centrales de la Matrice d'évaluation. Pour cet élément, l'approche évaluative a été volontairement définie très largement, car il s'agit surtout de générer des conclusions et synthèses à partir des constatations issues des trois domaines essentiels, ainsi que de l'évaluation organisationnelle. Les indicateurs des trois autres domaines et de la Matrice 1 fourniront des informations relatives à chacune des questions mentionnées comme hypothèses dans ce commentaire, ainsi que d'autres explications possibles, sans préjuger des conclusions.


23 25.10.13 Kebur Azbaha, Premier secrétaire pour le commerce et le développement, Mission du Royaume-Uni à Genève ([email protected])

Sommaire,

page v, para. 2

Je suis d'accord avec l'objectif de produire un « rapport d'évaluation intermédiaire allégé » pour la période 2006-2012. Mais attention à ne pas « alléger » à tel point que certaines questions importantes des TR restent sans réponse dans le rapport final.

dans le tableau 4, présentant les risques et la stratégie de réduction des risques 1, nous expliquons comment nous comprenons l'équilibre visé par ce rapport intermédiaire entre concision et simplicité, d'une part, et exhaustivité, de l’autre. Les limites sont nettement définies par les ressources et le temps alloués à cet exercice ; la différence avec l’exercice 2005-2006 est claire dans les TR et le budget.

24 25.10.13 Kebur Azbaha, Premier secrétaire, Commerce et développement, Mission du Royaume-Uni à Genève ([email protected])

Sommaire,

page v, para. 5

Evaluer la gestion et l'organisation de l'ITC, et la « réforme de la gestion du changement » depuis 2006, est une étape essentielle pour définir la direction stratégique du Centre pour les 5 à 8 années à venir. Il faudra affronter ces problèmes de front, objectivement, en soulignant ce qui fonctionne bien ou mal dans la structure actuelle de gouvernance et de gestion. Nous espérons que vous pourrez faire des recommandations spécifiques et adaptées concernant les améliorations possibles, afin que l'ITC reste une agence efficace et efficiente pour les bénéficiaires ultimes (les PME et habitants de pays en développement).

La Matrice 1 montre que l'évaluation de la gestion et de l'organisation de l'ITC, ainsi que des réalisations issues des efforts de changement depuis 2006, est un volet essentiel de notre mission et un aspect important des conclusions et recommandations du rapport final.


Sommaire,

para 3, page vi

Le modèle « en entonnoir » pour la sélection des programmes, projets et pays à évaluer est un choix sensé, car il permet de concilier une vue d'ensemble et une vue détaillée de la performance de l'ITC. En complément, lors du choix final des programmes et pays pour les cas d'étude, il sera sans doute important de vérifier que l'analyse couvre toutes les régions où l'ITC a des activités importantes, et que les programmes/pays choisis comprennent des exemples de programmes plus et moins réussis. Le but serait d'identifier ce qui fonctionne bien ou, à contrario, mal, dans la manière dont l'ITC conçoit, met en œuvre et évalue ses programmes.

Par définition, un échantillon ne peut pas être exhaustif, mais notre stratégie de sélection est transparente et rigoureusement conçue de manière à refléter aussi fidèlement que possible tous les axes différents des programmes très complexes de l'ITC. Toujours selon les mêmes critères, nous procédons actuellement à une ultime vérification, visant à optimiser la représentation géographique dans deux régions. La sélection des projets détaillés touchera proportionnellement tous les domaines de produits de l'ITC.

Nous ne préjugeons pas de l'inclusion de « programmes/pays plus ou moins réussis » dans la sélection, mais nous nous engageons à « identifier ce qui fonctionne bien ou, à contrario, mal, dans la façon dont l'ITC conçoit, met en œuvre et évalue les programmes. »



Chapitres 1 à

3

Excellent résumé du plan d'action de l'évaluation, largement en lien avec les TR.

Merci, nous sommes heureux d’apprendre que le lien ressort clairement.


Para. 8, chapitr

e 2, Objectif

s et champ

d'application

de l'évalua

tion, chiffre

2.1

Objectif 2 – l’aspect le plus important pour le Royaume-Uni est l'évaluation des activités de l'ITC en termes de résultats atteints ou non. Nous aimerions savoir quelles réalisations et quels impacts en termes de développement économique procèdent des US$ 80 million du budget annuel de l'ITC. Nous voudrions aussi plus d'informations sur l'impact durable et à long terme du soutien de l'ITC envers les bénéficiaires clés dans les pays en développement, surtout les PMA (c.-à-d. micro, petites et moyennes entreprises, institutions d'appui pour le commerce, ministères du commerce, etc.). Le rapport final devrait donner autant d'exemples que possible de réalisations et impacts concrets de l'ITC, soit dans le texte principal ou dans une annexe. En particulier, nous voudrions plus d'informations de ce type sur le programme Femmes et Commerce et le projet de recherche sur les mesures non tarifaires.

Concernant le point 1, voir réponse 3 ci-dessous.

Quant à « l'impact durable et à long terme du soutien de l'ITC envers les bénéficiaires clés dans les pays en développement, les PMA en particulier », l'évaluation fera de son mieux pour découvrir des informations fiables, et proposera, si nécessaire, des mesures pour renforcer à l'avenir la récolte de données pertinentes.

« Le rapport final devrait donner autant d'exemples que possible de réalisations et impacts concrets de l'ITC, soit dans le texte principal ou dans une annexe. » En effet, les questions de la matrice visent explicitement à identifier et expliquer des exemples de réalisations importantes et de cas problématiques, pour autant que nous puissions trouver des preuves crédibles.

« En particulier, nous voudrions plus d'informations de ce type sur le programme Femmes et Commerce et le projet de recherche sur les mesures non tarifaires. » L'évaluation apportera certainement un éclairage indépendant sur certains aspects importants de ces programmes, mais veuillez tenir compte du fait que nous ne sommes pas en mesure d'évaluer séparément des programmes spécifiques.


28 Kebur Azbaha, Premier secrétaire, Commerce et développement, Mission du Royaume-Uni à Genève ([email protected])

46 Dans le chapitre « méthodologie », les auteurs mentionnent l’utilisation de la technique du « story-board ». En général, l'approche me semble bonne, mais j'aimerais insister sur l'évaluation de la validité de la « chaîne des résultats » pour des projets précis, notamment certains projets de grande envergure (Femmes et commerce, MNT), c'est-à-dire tester la validité de l'hypothèse initiale selon laquelle telle ressource/activité mène à telle réalisation/impact escompté. Si l'hypothèse initiale s'avère correcte, cela nous permettrait de mieux ajuster les prochaines activités.

Oui, la technique du story-board était d’abord essentielle pour comprendre le fonctionnement des produits et projets de l'ITC et leur cycle de vie, et continuera à nous servir pour cela. Comme nous l'avons expliqué plus haut, les outils d'évaluation de projet sont actuellement en cours d'élaboration, et reflèterons plus clairement une évaluation plus standard de la chaîne des résultats et de la performance par rapport aux résultats escomptés.


Encadré 1,

pages 3-4

J'apprends avec intérêt que vous avez l’intention de comparer la performance de l'ITC avec celle d'autres agences d'appui au commerce semblables. J'approuve cette initiative. Comparer objectivement la performance de l'ITC avec celle de ses concurrents sur le marché est un excellent moyen de souligner les domaines où l'ITC ajoute de la valeur à l'aide mondiale pour le commerce.

En effet, une comparaison objective entre la performance de l'ITC et celle de ses concurrents est pour nous un élément central de l'évaluation et un très bon moyen de déterminer la valeur ajoutée par ITC à l’APC mondiale. Cette comparaison devra prendre en compte la grande diversité des missions et organes de contrôle de ces autres agences ; la tâche n'est donc pas simple, mais l'équipe a les connaissances nécessaires pour porter un jugement indépendant.

30 25.10.13 Claudia Uribe, Cheffe, bureau pour l'Amérique latine et Caraïbes, ITC ([email protected])

7 Objectif 1. Changements depuis 2006. On pourrait également ajouter une question portant sur la présence d'ITC sur le terrain, notamment le bureau du Mexique. La création du bureau « ITC Mexique » est une initiative issue de l'évaluation « danoise » (2006), une de ses recommandations principales consistant justement à renforcer la présence de l'ITC sur le terrain afin de mieux connaître les besoins de ses clients et optimiser son efficacité. Le bureau mexicain fut inauguré fin 2007 et défini comme un projet pilote de décentralisation du siège genevois vers le terrain. C'est actuellement le seul bureau décentralisé de l'ITC qui n'est pas directement associé à la mise en œuvre de projets. Finalement, l'encadré 1 pourrait faire référence au bureau du Mexique.

Oui, l'expérience du Mexique sera certainement prise en compte dans l'évaluation et mentionnée dans la version finale du Rapport initial. Ce bureau représente à la fois un des changements réalisés depuis 2006 et une facette de l'organisation et de la gestion globale de l'ITC, en ce qui concerne le défi de proximité et réactivité aux besoins de ses clients, au niveau mondial, régional et national. Une évaluation complète de cette expérience ne sera pas possible, mais il serait très utile pour l'équipe de pouvoir consulter des copies d'un ou deux documents originaux précisant les motivations, attentes et critères initiaux pour évaluer le bureau mexicain en tant que projet pilote de décentralisation.



52. Encadr

é 3

Variables définies dans les Termes de référence de l'ITC : Pays à moyen revenu et pays émergents Bureaux sur le terrain

Oui, le « niveau de développement des pays » faisait originellement partie des critères. Ceci a été interprété, en accord avec l'ITC, comme étant la nécessité d'inclure différents niveaux dans l'échantillon ; la sélection finale reflète ce critère. Cette indication a été ajoutée à l'encadré 3 pour information.

Les « bureaux sur le terrain » ne faisaient pas partie des critères, mais la sélection a pris en compte la présence ou non d'unités de soutien à des projets dans les pays.


54. Tablea

u 2.

Haïti. Il s'agit du seul PMA dans la région. Mais les projets pour ce pays sont en cours de planification, les derniers mis en œuvre datant de 2008. D'accord pour le Pérou. D'accord pour l'Uruguay, un deuxième pays d'Amérique du Sud, mais pourquoi pas le Mexique ou la Jamaïque ?

Concernant la sélection de pays en Amérique latine et Caraïbes, Veuillez vous référer à la réponse 4 ci-dessus. Jusqu'à présent, il n’était pas clair que des projets à Haïti figurant sur le portail projets étaient en fait en phase de planification. Mais cela ne nous empêche pas forcément d’utiliser le pays comme cas d'étude, car nous pourrons ainsi d'étudier le fonctionnement du processus de planification.

Le Pérou nous permettra de compléter une étude de portefeuille large et bien documentée.

Il nous faudrait des arguments précis pour remplacer le cas de l'Uruguay par le Mexique ou la Jamaïque.

33 25.10.13 Zorica Maric Djordjevic, Représentant permanent du Montenegro à l'OMC & Ambassadeur à l'ONN et HRC ([email protected])

Généralités

Je salue la qualité du Rapport initial de l'évaluation indépendante de l'ITC. Nous approuvons votre choix de pays dans la région EOAC, mais nous aimerions comprendre pourquoi la région ne fera pas l’objet d’une mission pays.

Merci pour votre appréciation de notre approche. Veuillez vous référer aux réponses 5 et 8 plus haut concernant la mission sur le terrain en EOAC.

34 25.10.13 Katja Karppinen-Njock, Premier secrétaire, Mission permanente de la Finlande ([email protected])

9 Nous attirons votre attention sur le para 9, page 2, qui qualifie de récente l'orientation axée sur les résultats. En réalité, cela fait plusieurs années que les questions de GAR ont été mises à l'ordre du jour de l'ITC. Nous aimerions donc que le rapport évalue l'adéquation des systèmes actuels de GAR. C'est-à-dire, permettront-ils à l'avenir de mesurer les impacts ? Si ce n'est pas le cas, l'évaluation devra émettre des recommandations concernant la GAR.

Oui, l'évaluation étudiera l'adéquation des systèmes actuels de GAR, de « bas en haut » au moyen de la Matrice 2 et de « haut en bas » au moyen de la Matrice I. Elle comprendra une évaluation des perspectives d'avenir pour la mesure des impacts, et des recommandations pertinentes concernant l'orientation axée sur les résultats.


35 25.10.13 M. Williams, Ambassadeur de la Barbade, (Geneva2foreign.gov.bb)

Généralités

Le Rapport initial indique que l'évaluation sera large et complète. Sa conception semble très bien réfléchie. Avez-vous pris en compte l’impact potentiel de cette évaluation sur les actions en cours ? Ou bien les recommandations déboucheront-elles des actions concrètes uniquement après la fin du processus et une décision de mise en œuvre ?

Merci pour votre appréciation de notre approche. Nous prévoyons en effet des commentaires et un dialogue à plusieurs moments précis de l''évaluation, afin de permettre à l'ITC d'agir en fonction des premières constatations, sans devoir attendre la version préliminaire ou finale du rapport.


19-21 Comment les principes fondamentaux d'utilité, crédibilité et indépendance s'articulent-ils avec l'approche GAR, dans la mesure où les résultats sont le fondement même de la GAR ? Appliquer-vous un système de pondération, ou est-ce un jugement de valeur ?

Les principes d'utilité, de crédibilité et d’indépendance qui guident l'évaluation sont cohérents avec l'accent sur l'évaluation des résultats. L'évaluation est explicitement conçue de façon à soutenir et tester l'orientation axée sur les résultats : la Matrice opérationnelle (2) est centrée sur les réalisations attendues, telles que définies dans le modèle des résultats agréé.


66-68 Les bénéficiaires sur le terrain n'ont souvent pas accès à des moyens techniques sophistiqués pour communiquer avec l'équipe. Comment comptez-vous régler ce problème ? Les communications se limiteront-elle aux autorités ?

Prendre contact avec les bénéficiaires (ou bénéficiaires potentiels) sur le terrain est un défi de taille ; le Rapport initial précise quelques-unes des mesures spéciales qui seront prises dans le but d’identifier et de contacter ces interlocuteurs. Les sondages sont un outils essentiel, et l'équipe prévoit des versions papier et électroniques, comme nous l'avons fait dans d’autres cas.

38 25.10.13 Yuen Ching Ho, Chef, Unité d'évaluation et de suivi Conférence des Nations unies pour le commerce et le développement (CNUCED) (yuen.ching.CNUCED.org)

10 Le rapport fait état de difficultés concernant « l'identification et la catégorisation des nombreuses et très diverses lignes de produits de l'ITC » mais ne dit pas si elle en analysera les raisons sous-jacentes. Dans quelle mesure les fonctions/missions officielles de l'ITC sont-elles en lien avec ce qu'elle fait réellement ? À notre avis, c'est un point essentiel si nous voulons analyser correctement le dernier élément de l'objectif 3 ; cela pourrait d'ailleurs nous aider à résoudre les problèmes de redondance et dispersion de l'expertise et des ressources de l'ITC.

Les difficultés concernant « l'identification et la catégorisation des nombreuses et très diverses lignes de produits de l'ITC » sont mentionnées dans le Rapport initial comme étant un défi pour la conception et mise en œuvre de l'évaluation. C'est une simple observation sans jugement, sur la base de notre expérience considérable du domaine ; il se pourrait que ce soit un problème pour l'ITC et ses contributions substantielles ; il se pourrait aussi que cela reflète une démarche particulière mais justifiée. Dans le cadre de sa mission et le contexte de la mutation de l'aide pour le commerce, l'évaluation devra en étudier les raisons, toujours sans préjuger d'une éventuelle « redondance » ou « dispersion de l'expertise et des ressources de l'ITC ».


39 25.10.13 Yuen Ching Ho, Chef de l'Unité d'évaluation et de suivi Conférence des Nations unies sur le commerce et le développement (CNUCED) (yuen.ching.CNUCED.org)

18d Ajouter une référence aux organisations de tutelle/partenaires dans le passage concernant les parties prenantes clés. Ainsi : « fait appel à une méthodologie consultative et participative, comprenant des entretiens de parties prenantes clés (notamment les bénéficiaires, en particulier les Institutions d'appui au commerce et les entreprises privées sur le terrain, les donateurs, le personnel et la direction d'ITC, et les organisations de tutelle). »

Les organisations partenaires et de tutelle d'ITC auraient dû faire partie de la liste ici comme ailleurs. La correction a été faite.


Annexe I ; A2

Bien que la matrice s'y réfère d'une manière générale, nous voulons insister sur la nécessité d'examiner l'identité et le positionnement actuel et futur de l'ITC dans le système ONU, ses liens avec la CNUCED et l'OMC, et les implications possibles pour toutes les agences mentionnées.

Comme le suggère votre commentaire, l'équipe a bien l’intention d’examiner l'identité et le positionnement actuel et futur de l'ITC dans le système ONU et l'univers de l'aide pour le commerce, ses liens avec la CNUCED et l'OMC, et les implications possibles. Nous prenons note de l'insistance de la CNUCED sur ce point.


Annexe I ; B3

1. Nous proposons de rajouter « efficacité et efficience » en référence aux règlements et procédures RH de l'ONU. Ainsi, « Rôle, efficacité et efficience des règles et procédures de l'ONU dans la planification, la politique et les procédures de ressources humaines de l'ITC ». 2. Nous pensons aussi que le rôle des organisations de tutelle en matière de RH, ainsi que la délégation de l'autorité du Bureau de la gestion des ressources humaines du Secrétariat des Nations unies, méritent d'être étudiés dans le contexte des besoins organisationnels de l'ITC et son modèle d'affaires. 3. Dans la colonne « Sources clés » nous pensons que des entretiens avec la CNUCED, l'OMC et le Service des politiques RH du Bureau de gestion des ressources humaines du Secrétariat des Nations unies pourraient contribuer des informations essentielles sur ce thème.

Vos commentaires sont très appréciés et nous en prenons note pour la phase de mise en œuvre de l'évaluation, tout en rappelant que ce rapport n'est pas en mesure d'apporter des réponses définitives à des problématiques qui dépassent de loin l'ITC.



Annexe I ; B8

Dans la colonne « sources clés » nous pensons que des entretiens avec la CNUCED sont aussi essentiels à toute évaluation sur ce thème, étant donné le rôle prépondérant de la CNUCED dans le Groupe interinstitutionnel sur le commerce et les capacités productives. Des informations sur le travail du groupe interinstitutionnel sont disponibles via ce lien : http://unctad.org/en/Pages/TC/TC_United-Nations-Inter-Agency-Cluster.aspx

Dans ce passage, le terme « ONU » englobe aussi à la CNUCED, mais il est possible de la nommer spécifiquement, comme ailleurs dans le document. La correction a été faite. Les implications du « groupe interinstitutionnel » de l'ONU seront prises en considération.


Annexe I ; D1

Dans la colonne « sources clés », des entretiens avec le personnel de l'ITC sont envisagés, mais des parties prenantes externes pourraient aussi être une source d'information utile concernant l'efficacité du cadre de la responsabilité de rendre compte et des produits de l'ITC.

Merci. Concernant la qualité et le rôle des systèmes de responsabilité de rendre compte, nous prévoyons aussi des entretiens avec des parties prenantes jouant un rôle de gouvernance. Concernant l'efficacité des produits, les consultations avec les bénéficiaires visés auront un rôle central. C'est fait.


Annexe I ; D3

Dans la colonne « sources clés », vous envisagez des entretiens avec des parties prenantes externes, mais la direction et le personnel concerné de l'ITC ne seraient-il pas mieux placés pour vous renseigner sur ces questions ?

Nous pensons que les deux points de vue sont nécessaires, sans négliger d'autres sources bien informées sur les besoins et les priorités de l'aide pour le commerce. Nous mettons bien sûr l'accent sur les constatations des analyses de portefeuilles et évaluations structurées des bénéficiaires visés, via les recherches au moyen de la Matrice I. C'est fait.

45 25.10.13 Elena Boutrimova, Cheffe, OEECA/DCP ITC ([email protected])

51/Tableau 1.

Aucune mission n'est prévue pour la région EOAC, alors qu’au moins une mission pays aura lieu dans les autres régions. Pourquoi ?

Veuillez vous référer à la réponse 8 concernant les contraintes budgétaires et

linguistiques. Bien que la fonction de ces missions sur le terrain soit limitée,

nous pensons aussi que l’évaluation cours le danger de ne pas rendre compte

des particularités des pays ex-soviétiques. Selon les informations que vous

nous avez communiquées, les programmes au Kirghizistan et au Tadjikistan

ont été évalués assez récemment pour le donateur, ce qui nous donne des


informations supplémentaires très utiles. Si une mission dans la région devait

être ajoutée au programme, il faudrait aussi augmenter le budget d’un montant

correspondant aux jours de travail d'un membre de l'équipe et le coût de

l'interprétation russe.

46 25.10.13 Elena Boutrimova, Cheffe, OEECA/DCP ITC ([email protected])

53/tableau 2

À notre avis, le choix de la Turquie est une erreur. ITC n'a pas d'activités en Turquie depuis longtemps. De plus, l'objectif actuel de l'ITC est d'engager la Turquie en tant que donateur pour des projets dans d'autres pays. La Turquie n'est donc pas un bénéficiaire « traditionnel » de l'ITC. Nous proposons de remplacer la Turquie par le Kirghizistan ou le Kazakhstan.

Veuillez vous référer à la réponse 5 ci-dessus.

La Turquie fut choisie à l’origine parce que le portail projet indiquait des projets actifs dans ce pays. Après vérification de ces informations auprès de vous, nous avons révisé la sélection et remplacé la Turquie par le Tadjikistan, qui remplissait les conditions voulues. Il est intéressant d'apprendre que l'ITC vise à engager la Turquie en tant que donateur pour des projets dans d'autres pays - c'est une perspective que l'évaluation ne manquera pas d'explorer concernant la Turquie, ou d’autres pays.

47 26.10.13 Stephan Blanc, Chef, Services d’information commerciale (TIS), ITC

Page v Pouvez-vous expliquer le sens de la phrase suivante : « …pour rendre compte des spécificités de l'ITC, cette évaluation devra faire appel à des adaptations créatives. »(Sommaire, page v). Quelles sont les particularités de l'ITC qui exigeraient des adaptations créatives ? En quoi consistent ces adaptations ?

Les réponses à cette vaste question sont signalées dans le Rapport initial et pourraient d’ailleurs faire l'objet d'une longue discussion méthodologique, mais pour n'en citer que quelques exemples :

i. Une combinaison d'évaluation organisationnelle/de gestion et

opérationnelle dans les TR - d'où l'adaptation du cadre d'évaluation

organisationnel pour l'ITC

ii. Le besoin d’associer analyse des produits et évaluation géographique

- d'où la stratégie d'échantillonnage en « entonnoir » et la recherche

de points de vue différents

iii. Comprendre la diversité des projets « sur mesure » et des processus

de l'ITC : une technique déjà développée et testée consiste à

reconstruire des « story-board » structurées pour « raconter » les

divers produits et projets de l'ITC.


Annexe I p.31

(colonne de

gauche –

aspects clés)

Le document fait référence à l'examen des systèmes administratifs et procédures, et des fonctions de soutien interne de l'ITC (RH, finances) en sus de nos projets/programmes d'ATLC. L'équipe d'évaluation peut-elle préciser comment elle compte évaluer l'efficacité et l'efficience d’aspects tels que : les mécanismes de suivi et de décision de la section juridique ou financière, les processus de recrutement des RH, les processus de suivi du SPPG, ou l'approche de l'ITC à l'évaluation en général et à

Comme mentionné dans les présentations initiales, le Rapport et la réponse au commentaire 25 provenant de DFID, ce rapport d'évaluation intermédiaire a pour objectif d'examiner les questions de la Matrice dans tous les domaines évoqués, mais ne sera pas en mesure de tous les approfondir, ni d’émettre des recommandations sur chaque point.


l'évaluation des impacts en particulier.

49 Stephan Blanc, Chef, Services d’information commerciale (TIS), ITC

Généralités

Cette évaluation analyse, entre autres, les progrès réalisés et les enseignements tirés suite à l'évaluation 2006. Pouvez-vous expliquer comment Sanaa prévoit de prendre en compte l'environnement de travail actuel de l'ITC, qui a beaucoup évolué depuis 2006, notamment en ce qui concerne la situation économique, le climat commercial, l'impact sur les donateurs de la crise économique en Europe, les contraintes (budgétaires) de l'ONU, l'évolution des besoins des clients... En bref, le monde a changé depuis 2006, et l'ITC aussi. En rétrospective, donc, certaines des recommandations de 2006 ne sont peut-être plus valables.

Le Rapport reconnaît que le contexte changé, et l’Équipe d’évaluation dispose d'excellentes connaissances de tous ces aspects. Nous n'avons pas l'intention d’emboiter tout simplement le pas à l'évaluation de 2006.


Généralités

L'évaluation examinera-t-elle les réalisations/résultats définis par l'ITC et les indicateurs et cibles y relatifs, et plus particulièrement la manière ils ont été définis à l'interne puis communiqués à New York ?

Oui.


Généralités

Comment l’Équipe d’évaluation assure-t-elle la confidentialité des retours qui lui sont communiqué dans le cadre des projets / visites sur le terrain ?

Nous disposons de l'expérience, des compétences, des systèmes et de l’éthique nécessaire pour garantir le respect de la confidentialité.


Généralités

Serait-il possible de transmettre au personnel de l'ITC les retours communiqués à l’Équipe d’évaluation ?

Selon ce que nous avons compris, c’est possible via EMU.


53 26.10.13 Hanna Bucher, Expert associé, Division − Développement des marchés ([email protected])

Page v Qu'entendez-vous exactement par « adaptations créatives » ? Pouvez-vous citer des exemples ?

Voir question 48 ci-dessus.

54 26.10.13 Hanna Bucher, Experte associée, Division − Développement des marchés ([email protected])

9 Pendant combien de temps et jusqu'où l'équipe tentera-t-elle de « tester les liens plausibles entre les actions de l'ITC et les changements sur le plan du développement économique » ? Plusieurs personnes à l'ITC travaillent déjà depuis plus d'un an à mettre au point des méthodologies d'évaluation des impacts. L'équipe d'évaluation pourrait-elle fournir au personnel concerné plus de précisions sur la méthodologie et le principe de « prudence rigoureuse » ?

L'équipe testera indépendamment ces liens au travers des analyses, approches méthodologiques et autorités spécifiées dans le rapport, mais aussi en se basant sur son expérience reconnue en la matière, par exemple son évaluation de la Déclaration de Paris, qui a été récompensée par un prix. L'évaluation examinera également le travail poursuivi actuellement à l'interne sur l'évaluation de l'impact. Les explications données concernant la prudence par rapport à l'attribution des impacts nous semblent suffisamment claires, tout comme son principe.

55 26.10.13 Hanna Bucher, Experte associée, Division − Développement des marchés ([email protected])

10 Ces recommandations, conseils et enseignements devront s'appuyer sur des modèles pertinents et des comparaisons (benchmarking) avec des organisations comparables. » - plus spécifiquement quelles organisations ?

Cela reste à définir.


Encadré 1

« la diversité de l’offre est particulièrement large et complexe pour une organisation de taille modeste, avec plus de 50 produits et services»/ p. 10 para 23 : « la complexité de l'ITC et la dispersion de ses activités, malgré sa relativement petite taille. » p. 2 para. 9 « 10. La phase initiale souligne que l'éventail de produits et de projets proposés par l'ITC est complexe et confus, et que les systèmes actuels du Centre disposent d'une capacité limitée à fournir des informations claires sur les résultats et les réalisations» : le rapport fait plusieurs fois référence au nombre important de produits et services de l'ITC, généralement en des termes qui laissent à penser que l'équipe les juge trop nombreux ou peu

Veuillez vous référer à la réponse no. 39 ci-dessus.


cohérents. J'aimerais enjoindre l'équipe à ne pas préjuger de cet aspect, pour les raisons suivantes :

1. Il est possible qu'un produit ou service donné apparaisse peu clair hors contexte - pour citer le cas de notre division, par exemple, on nous a demandé de communiquer une liste de tous nos produits et services (sur la base des rapports stratégiques, qui précisent leur fonction stratégique et leur orientation axée sur les résultats).

2. Dans l'encadré 1, le Rapport initial remarque que « les clients de l'ITC doivent eux-mêmes composer avec une évolution constante de leurs besoins prioritaires en assistance technique liée au commerce... », ce qui sous-entend que l'ITC doit constamment innover et mettre à jour ses produits et services afin de mieux servir les besoins de ses clients.


43 L'équipe de liaison aura-t-elle accès à la liste de documents passés en revue par l’Équipe d’évaluation ? Cela permettrait d'identifier des éventuelles lacunes (c.-à-d. l'équipe de liaison pourrait vous aider en vous communiquant des documents et rapports si nécessaire).

Oui, merci. Nous mettrons à jour la liste initiale et nous vous invitons à communiquer vos propositions via EMU.


58 « afin de garantir que les constatations ... sont suffisamment confirmées par l'information disponible, les relecteurs évalueront la qualité de l'information présentée et la clarté de l'analyse. » - Qui sont ces relecteurs ?

À ce stade, une première relecture est assurée par les membres de l'équipe eux-mêmes au moyen d'une approche rigoureuse et testée. Par la suite, bien sûr, toutes les parties prenantes auront l'occasion de commenter la version préliminaire du rapport final, et ce dès la deuxième quinzaine de mars 2014, comme il est précisé dans le Rapport. EMU, en tant que responsable de l'assurance qualité, aura accès à tous les documents de travail de l'équipe lors de la soumission du rapport.