Country Programme Evaluation UNICEF – Tunisia (2015-2020)

Country Programme Evaluation UNICEF – Tunisia (2015-2020)

FINAL REPORT | JUNE 2020

Evaluation Team:

Silas Mvulirwenande, PhD (Team Leader) and Luc Franche, Consultant

Copyright © Universalia 2020, all rights reserved Universalia Management Group 245 Victoria Avenue, Suite 200 Westmount, Montreal, Quebec

Canada H3Z 2M6

www.universalia.com

http://www.universalia.com/

FINAL EVALUATION REPORT i

© UNIVERSALIA

Executive Summary

Introduction

This evaluation of UNICEF’s Country Programme (CP) in Tunisia had a dual purpose: (a) accountability of UNICEF Tunisia for results to diverse stakeholders (including UNICEF, donors, the Government of Tunisia (GoT), communities and rights holders); and (b) learning from the implementation of the CP to inform the next programme cycle.

The Country Programme Evaluation (CPE) covered UNICEF Tunisia work for the period 2015-2020 (until the field work of the evaluation in February 2020) and focused on all programmatic components of the CP (including the adjustments made following the 2018 Mid-Term Review (MTR)). The management, monitoring and reporting systems of the Country Office (CO) in Tunisia were also assessed. While aligning with the countrywide scope in the high-level analysis, only four governorates (Tunis, Sfax, Kairouan and Kasserine) were identified for in-depth examination of selected interventions.

The UNICEF CP under review aimed to contribute to the realization of the rights of children and adolescents in Tunisia. The CP initially focused on four outcome areas: equitable social and health policies; quality of education for all children; protection of children and adolescents; and inter-sectoral support. Following the mid-term review at the end of 2018, the CP was restructured and prioritized around the child early years; quality learning for children and adolescents; and accountability of the systems to children.

Approach and Methodology

Given the implementation status of the CP, the evaluation combined summative and formative approaches. The summative approach was used for the completed components of the CP, assessing their performance towards achieving or not the expected results and under what conditions. The formative approach was used for

interventions that are ongoing, notably the innovative models introduced by the CP, to determine progress made towards testing the models and their robustness and relevance, in particular their potential for scale-up.

In line with the CPE objective to inform the next UNICEF Tunisia programme cycle, a utilization-focused approach was adopted to respond to the needs and priorities of primary and secondary users of the evaluation results, by engaging them throughout the evaluation. Finally, the evaluation followed a systems approach, assessing both the CP progress towards achieving results and the systemic factors influencing them.

The evaluation triangulated data and information from the different lines of inquiry to improve the reliability of the findings and to ensure that the recommendations are grounded in reality. The following data collection methods were used: (a) document review; (b) key stakeholder interviews with actors at national level and in the governorates of Tunis, Sfax Kairouan and Kasserine; and (c) focus group discussions (FGDs) with adolescents in Tunis. In total, 106 individual and collective interviews (involving 52 males and 54 females) were conducted from February 17 to 28, 2020.

Relevance

Strategically, the CP was designed in the spirit of the SDGs’ principle of “leaving no one behind” (i.e., ensuring that every child in Tunisia has the same safeguards and life opportunities) and has remained coherent with evolving global priorities in relation to the rights of children and adolescents. The design of the CP has been consistent with the needs and priorities of the GoT as described in the national development plan and/or sectoral plans. Many of CP strategic interventions mirror the United Nations Development Assistance Framework’s (UNDAF) strategic areas and interventions, implying that the CP aligns well with the priorities of implementing partners, other than the GoT.

ii FINAL EVALUATION REPORT

© UNIVERSALIA

Programmatically, the relevance of the CP stems from its ability to meaningfully integrate child rights-based principles. The CP (both initially and following the MTR) was designed based on a sound analysis of the situation of children’s and adolescents’ rights in Tunisia. Thus, the CP interventions provided responses to the most pressing needs of vulnerable groups of children and adolescents in Tunisia.

The CP combined a series of interventions that together are expected to create real changes in children’s conditions. By deciding to implement part of its interventions in governorates with poor social indicators such as Kasserine and Kairouan in Centre-West of Tunisia, the CP attempted to address the needs and priorities of the poorest children in the country.

Effectiveness

The overall effectiveness of the Country Programme has been satisfactory. The CP components have performed differently in achieving the planned activities and results, but overall the CO has been on track towards achieving the targets of output-level indicators under the major outcome areas of the CP, before and after the 2018 MTR. The results achieved consist mostly of a series of building blocks (e.g., policies, plans, institutions, human capacity development through trainings) that were created across different components of the CP and which constitute a necessary condition for promoting and creating lasting changes in the conditions of children and adolescents in Tunisia.

The CP interventions have successfully influenced policy makers, political and social leaders at all levels, leading to the creation of an enabling policy and legislative infrastructure for promoting children’s rights in Tunisia. In particular, the CP’s advocacy and technical assistance activities resulted in significant improvements of policies, implementation strategies and regulations to solve children’s rights problems. In other cases, the CP interventions drew the attention of policy makers and other stakeholders at national or regional levels on some new children’s rights issues (e.g.,

water, sanitation and hygiene in schools, violence against children).

Most stakeholders informing this evaluation acknowledged that the basic policy and legal infrastructure has been put in place and argued that the government and its partners should now focus more on the interventions that directly affect the conditions of children and adolescents in Tunisia.

The CP supported partners in designing and piloting innovative models that, if scaled up, could have a significant impact in creating lasting changes for children in the country. These experimental initiatives have enabled the GoT and other children’s rights duty bearers to move a step from improved policies to actual policy implementation, thus helping to bridge an important gap in the public policy cycle.

UNICEF Tunisia’s partners were generally enthusiastic about these models, but the evaluation revealed that the design of the models was not always informed by a complete analysis of the necessary structural conditions for the models to be effectively piloted and scaled up. For example, while the E2C and ECD standards seem promising for scaling up, the M4D and WASH in Schools have achieved more limited results than anticipated and are unlikely to be sustainable or scaled up. Thus, despite the models being perceived as “good” practices, it is still too early to know if they are “best” practices in the Tunisian context since they are still in the piloting phase and the costing analysis is yet to be done.

The CP has made great contributions in terms of capacity strengthening of implementing partners (e.g., ministries, civil society organizations). In particular, the CP has empowered adolescents, notably through supporting their active participation in concrete activities promoting children’s rights (e.g., preparation of an alternative Report on the situation of the Rights of the Child in Tunisia and presentation of the report in the pre-session of the UN Committee on the Rights of the Child in Geneva). Despite these efforts, implemented mostly in partnership with civil society organizations, the participation of adolescents in public life remains limited in Tunisia.

FINAL EVALUATION REPORT iii

© UNIVERSALIA

UNICEF Tunisia also provided technical assistance (TA) to a variety of actors, spanning from those working in rule/policy making, to government policy implementing agencies and civil society organizations. Although the TA provided is generally perceived to be effective, there is room for improvement regarding the ownership of partners with regard to expert engagement processes. In particular, government partners across the board indicated that they would like to be involved more in the recruitment processes for the experts.

The CP has made a strong contribution to knowledge management related to children’s rights issues, notably by helping relevant institutions establish appropriate information systems and/or structures that enable effective monitoring and reporting on the human rights of children in Tunisia. The CP has also supported the development of studies and research activities that generated knowledge and evidence for policy decision making processes, most notably the MICS 6.

Other important contributions of the CP include the promotion of a multi-sectoral approach in Tunisia, as different actors have learned how to converge towards a common vision, compromise and agree on priorities; and shifting individual and community beliefs values and social norms among a variety of societal groups in Tunisia (e.g., families, community members at different levels) through C4D activities.

The cross-cutting dimensions of equity and social inclusion have been at the core of the CP interventions and are well reflected in the programme results. The most salient evidence for this includes the Universal Child Grant initiative (part of the social protection floor of which a draft law is now awaiting adoption by the Assembly of the Representatives of the People), which aims to ensure children’s rights in an equitable manner and advocates for access to early childhood education services and quality education for all children in Tunisia.

Equity and social inclusion results are further reflected in the successful advocacy for access to early childhood education services and quality education for all children in Tunisia, and the many CP interventions that are implemented in regions

with different levels of development, sometimes targeting areas with poor accessibility.

While gender equality was integrated into programme interventions before the MTR (e.g., in the education curricula modules of life skills, citizenship education and teacher training programmes), the evaluation underscored insufficiency in integrating gender equality during the period after the MTR. During this period, the CP suffered from a lack of gender-targeted actions, notably by including clear and realistic targets and quotas for boys’ and girls’ participation in all programmatic areas and at different programme results and outcomes.

A broad range of contextual factors influenced the effectiveness of the CP. The broad post-Revolution context and the spirit of change characterizing it at all levels provided the CP with the opportunity to advance the children’s rights agenda. However, the country difficult economic realities over the past years and the political instability in Tunisia have seriously constrained the successfully implementation of the CP interventions.

Efficiency

The implementation of the CP was extended by a full year (until 2020), mainly for the purpose of aligning the UN system programming cycle with the government planning cycle 2021-2025. Many of the CP projects experienced delays during implementation, but these delays were due mostly to factors external to UNICEF Tunisia, some of which were not adequately assessed during the project inception phase.

The UNICEF CO in Tunis has suffered from staff shortages during the entire programmatic cycle, negatively affecting implementation. The CP outcomes and results were rather ambitious in view of the limited human and financial resources available. The staffing issue was further complicated by significant levels of staff turnover during the programme cycle, with many qualified and experienced staff leaving the CO. The lack of a systematic and effective induction system within the CO led some new staff to implement interventions of which they had an

iv FINAL EVALUATION REPORT

© UNIVERSALIA

incomplete understanding, thus creating delays in implementation.

The CO was proactive to remedy the staffing issue, notably by contracting external consultants, mainly firms, to implement some of the initiatives. However, the reliance on external consultants included potential adverse impact on the overall implementation of the programme. While external consultants bring technical expertise and carry out a significant portion of the planned activities, they cannot serve as UNICEF representatives in the eyes of UNICEF partners nor can they help UNICEF to have a strong institutional memory.

The UNICEF Tunisia partnership procedures are generally well perceived by partners, notably as being simple and flexible. By comparison, the CO procurement system and procedures have suffered from drawbacks limiting organizational effectiveness. Notably, the CO did not have a strong prior procurement experience and therefore lacked consistency in its procurement procedures. Due to a lack of corporate procurement plans (or supply plans), the Operations team has been overwhelmed by procurement requests that flushed over them from management and other units, delaying procurement processes and therefore the implementation of projects.

The 2018 MTR represented an important milestone in the CP. Acting upon the recommendations of the MTR, the CO adopted the life cycle approach, restructuring both its theory of change (ToC) and results framework as well as its staffing. These adjustments and restructuring yielded results, including: ensuring that UNICEF provides TA to its partners in a multi-sectoral way; ensuring that the results statements and indicators included in the results framework better reflect the projects carried out by UNICEF, were specific and concrete. However, the restructuring also had negative effects. Notably, consulted staff reported that units within the Tunisia Country Office still worked in silos after the restructuring. In addition, the changes created stress and frustration among staff, with some people perceiving their career interests threatened, which resulted in some key staff leaving the CO.

Sustainability

The CP produced some tools and results that are likely to be used and sustainable in the long run. Notable examples include the many instruments developed with the technical support of UNICEF Tunisia for the education sector. The main factors contributing to the likelihood of results sustainability include the CO’s strategic choice to conceive social change as a multi-actor, multi-level and multi-sector process. This inclusive engagement strategy has increased ownership of interventions and results by partners.

Another sustainability factor appears to be the CP’s focus on interventions that strengthen systems and develop the capacity of relevant institutions dealing with children’s rights issues. These interventions include technical assistance to government partners, training of professionals from relevant government institutions and civil society organizations, provision of training of trainers (ToT), and support to development of standards and tools that are likely to be used in the long term.

For interventions that have not been fully implemented, notably the experimental interventions that UNICEF and its partners are still piloting in Tunisia, it is difficult to speak of sustainability of ultimate results. However, the CP has taken two main steps, in addition to the measures explained above, to ensure sustainability of the results and the scaling up of the models. These steps include the explicit effort made by UNICEF and its partners to use existing structures to lower the cost of the pilots (e.g., the second chance education Centre in Tunis was established in a renovated existing building), and the selection of low-cost models tested elsewhere and adapted to the Tunisian context, and provision of support in the preparation of costing studies for the models.

There are two main factors that are likely to undermine the sustainability of results achieved during the CP implementation. On the one hand, there is the short-term nature of some interventions, particularly for activities implemented in partnership with civil society organizations and which lasted only a few months. Examples include the C4D activities (e.g.,

FINAL EVALUATION REPORT v

© UNIVERSALIA

positive parenting education, social media campaigns, and festivals) and the four regional platforms established to raise awareness on violence against children. Such interventions have achieved quick results, but they are unlikely to be sustained because they have not been further supported by either UNICEF Tunisia or its partners. On the other hand, partners’ financial and human resources are insufficient to ensure sustainability of results.

Lessons learned

The key lessons from the analysis of the findings are as follows: (1) a sound political economy analysis of the country of intervention is of critical importance for designing an effective country programming: it allows actors to identify and consider the critical factors that are likely to drive or impede their interventions; (2) political transitions provide fertile ground for promoting children’s rights agendas; (3) capacity needs assessment is a key prerequisite for designing a sound and applicable CP; (4) organizational restructuring that occurs in the middle of a CP implementation can have counter-productive effects; (5) innovation processes in the public sector are, by virtue of their nature, complex processes and this should be taken into account when designing innovative interventions.

Recommendations

On the basis of the findings and the conclusions of this CPE, the following recommendations were formulated, specifically for UNICEF Tunisia, the Government of Tunisia and other partners. They were validated and refined through a consultation process that involved: (1) a debriefing workshop in Tunisia (attended by a wide range of partners); (2) discussion of preliminary recommendations with a few members of the UNICEF team in Tunis; and (3) feedback received from UNICEF staff from the CO in Tunisia, MENARO, and other stakeholders on the draft report.

Recommendation 1: UNICEF and its partners

should develop a CP that focuses on prioritized

initiatives and that takes into account potential

risks.

Recommendation 2: In the next programming

cycle, UNICEF and its partners should focus on

advocating for the scale-up of existing initiatives

rather than embarking on new innovation

projects.

Recommendation 3: UNICEF should work

more on the “programme integration” aspects -

that is, by promoting more collaborative work

between units and their respective interventions

- to improve efficiency in the delivery of

programme results.

Recommendation 4: The Government of

Tunisia should consider institutionalizing the

coordination and multi-sectoral approach

fostered by the CP, with the technical support of

UNICEF Tunisia.


cycle, UNICEF Tunisia and its partners should

strive to relate more to children themselves, by

involving them in the CO’s decision-making

processes. This would involve going beyond

“listening” to children and encouraging them to

participate in strategic choices as well as in

programme monitoring and evaluation systems.


cycle, the equity and inclusion agenda should be

continued, and the gender equality dimension

should be better considered, through

collaboration with relevant partners, and better

articulated in the CP.

FINAL EVALUATION REPORT vii

© UNIVERSALIA

Acronyms

AfDB African Development Bank

AICS Italian Agency for Development Cooperation

C4D Communication for Development

CO Country Office

CP Country Programme

CPD Country Programme Document

CPE Country Programme Evaluation

CRC Convention on the Rights of the Child

DAC Development Assistance Committee

DFID Department for International Development (UK)

DPE Délégués de la Protection à l’enfance

E2C École de la deuxième chance

ECD Early Childhood Development

EQ Evaluation Question

ET Evaluation Team

EU European Union

FGD Focus Group Discussion

FTP Financial and Technical Partner

GoT Government of Tunisia

HACT Harmonized approach to cash transfers

HAICA Haute Autorité Indépendante de la Communication Audiovisuelle

ILAC Institutional Learning and Change

KAP Knowledge, Attitude and Practice

LTA Long Term Agreement

viii FINAL EVALUATION REPORT

© UNIVERSALIA

M4D Modèle à quatre dimensions

MDICI Ministry of Development, Investment and International Cooperation

MENARO Middle East and North Africa Regional Office

MFFES Ministry of Women, Family, Children and Seniors

MICS Multiple Indicator Cluster Survey

MINEDUC Ministry of Education

MoRES Monitoring Results for Equity System

MTR Mid-Term Review

NGO Non-Governmental Organization

PIPE Integrated State Policy for Child Protection

SDGs Sustainable Development Goals

TA Technical Assistance

ToC Theory of Change

ToR Terms of Reference

ToT Training of Trainers

UN United Nations

UNDAF United Nations Development Assistance Framework

UNICEF United Nations Children’s Fund

UNOPS United Nations Office for Project Services

UTSS Union Tunisienne de Solidarité Sociale

WASH Water, Sanitation and Hygiene

WHO World Health Organization

FINAL EVALUATION REPORT ix

© UNIVERSALIA

Contents

EXECUTIVE SUMMARY ............................................................................................... I

1 INTRODUCTION .................................................................................................. 1

2 COUNTRY CONTEXT AND UNICEF-TUNISIA PROGRAMME ................................... 2

2.1 Country Context ......................................................................................................................... 2

2.2 UNICEF Tunisia Country Programme ......................................................................................... 3

3 EVALUATION PURPOSE, OBJECTIVES, AND SCOPE ............................................... 4

3.1 Purpose ...................................................................................................................................... 4

3.2 Objectives .................................................................................................................................. 4

3.3 Scope ……………………………………………………………………………………………………………………………………4

3.4 Evaluation Users ........................................................................................................................ 5

4 EVALUATION APPROACH AND METHODOLOGY .................................................. 6

4.1 Overall Approach ....................................................................................................................... 6

4.2 Evaluation Criteria and Questions ............................................................................................. 6

4.3 Data Sources, Collection and Analysis Methods........................................................................ 7

4.4 Limitations ................................................................................................................................. 8

5 FINDINGS ........................................................................................................... 9

5.1 Relevance ................................................................................................................................... 9

5.2 Effectiveness ............................................................................................................................ 12

5.2.1 Overall effectiveness ..................................................................................................... 12

5.2.2 Policy change contribution ............................................................................................ 14

5.2.3 Policy implementation support ..................................................................................... 15

5.2.4 Contribution to shifting social norms ............................................................................ 20

5.2.5 Contribution to knowledge management ..................................................................... 21

5.2.6 Integration of cross-cutting dimensions ....................................................................... 23

5.2.7 Contextual factors affecting the CP interventions ........................................................ 24

5.3 Efficiency .................................................................................................................................. 25

5.3.1 Time use efficiency ........................................................................................................ 26

5.3.2 Human resources (and staffing) .................................................................................... 26

5.3.3 Programme adjustments and restructuring .................................................................. 28

5.3.4 Organizational procedures ............................................................................................ 29

5.4 Sustainability ............................................................................................................................ 30

5.4.1 Factors enabling sustainability ...................................................................................... 30

5.4.2 Factors limiting sustainability ........................................................................................ 31

6 CONCLUSIONS .................................................................................................. 34

7 LESSONS LEARNED ............................................................................................ 36

x FINAL EVALUATION REPORT

© UNIVERSALIA

8 RECOMMENDATIONS ....................................................................................... 38

Figures

Figure 4.1 Evaluation Phases, Data Collection and Analysis Methods .................................................. 7

Figure 5.1 Integration of child rights-based programming in UNICEF CPD ......................................... 11

Tables

Table 3.1 Scope of UNICEF Tunisia Country Programme Evaluation ................................................... 4

Table 4.1 Main evaluation questions ................................................................................................... 7

Appendices

Appendix I Terms of Reference ............................................................................................................... 43

Appendix II UNICEF CP in Tunisia Theory of Change ............................................................................... 51

Appendix III Evaluation Matrix ................................................................................................................ 52

Appendix IV Changes to the Questions in the ToR .................................................................................. 63

Appendix V List of Stakeholders Consulted ............................................................................................. 65

Appendix VI List of Documents Consulted .............................................................................................. 69

Appendix VII UNICEF Country Programme, progress on outcome and output achievement before the MTR ............................................................................................................................... 71

Appendix VIII UNICEF Country Programme, progress on outcome and output achievement after the MTR ............................................................................................................................... 72

FINAL EVALUATION REPORT 1

© UNIVERSALIA

1 Introduction 1. The Universalia Management Group Limited (hereinafter, “Universalia”) is pleased to submit this draft report to the United Nations Children’s Fund (UNICEF) Middle East and North Africa Regional Office (MENARO) for the evaluation of the UNICEF-Tunisia Country Programme (2015-2020).

2. The Country Programme evaluation (CPE) covers the full programme cycle, in accordance with the Terms of Reference (ToR) (see ToR in Appendix I). The evaluation assignment extends from January 9 and April 3, 2020, including a field mission in Tunisia in the governorates of Tunis, Sfax, Kasserine and Kairouan, from February 17 to 28, 2020.

3. The purpose of this evaluation is to provide impartial and independent evidence to assist the Country Office and the Government of Tunisia (GoT) to identify and fill knowledge gaps required for the development of the new Country Programme Document 2021-2025. The primary audience for this evaluation is the UNICEF Tunisia Country Office (CO), UNICEF MENARO and the GoT.

4. Following this introduction, the evaluation report is organized as follows:

▪ Section 2 – Country Context and UNICEF-Tunisia Programme

▪ Section 3 – Evaluation Purpose, Objectives, and Scope

▪ Section 4 - Evaluation Approach and Methodology

▪ Section 5 – Findings by Evaluation Criterion

▪ Section 6 – Conclusions

▪ Section 7 – Lessons Learned

▪ Section 8 – Recommendations

5. Complementary material has been appended to this draft final report as follows:

▪ Appendix I: Terms of Reference

▪ Appendix II: Theory of Change

▪ Appendix III: Evaluation Matrix

▪ Appendix IV: Changes Made to the Questions in the ToR

▪ Appendix V: List of Stakeholders Consulted

▪ Appendix VI: List of Documents Consulted

▪ Appendix VII: Progress on outcome and output achievement before the MTR

▪ Appendix VIII: Progress on outcome and output achievement after the MTR

2 FINAL EVALUATION REPORT

© UNIVERSALIA

2 Country Context and UNICEF-Tunisia Programme

2.1 Country Context

6. On December 17, 2010, Tunisia plunged into a 28-day revolution, called the Jasmine Revolution, starting then what is known today as the Arab spring.1 Following the end of Revolution in January 2011, Tunisia entered into a political transition period of four years (2011-2014). During that time, a new Constitution was implemented, establishing the basis for a democratic state, and an article reiterating the principles of the United Nations Convention on the Rights of the Child (CRC) was added.2

7. While the poverty rate decreased from 25.4 % in 2000 to 23.1% and 15.2 in 2005 and 2015 respectively, the situation deteriorated in the country during the transitional period. In fact, the 2015 National Survey on Household Budget, Consumption and Standard of Living showed that the prevailing socio-economic situation had left one out of five children under the age of five in poverty.34 Moreover, social disparities are reflected geographically, with inland regions having the most significant poverty levels. The western governorates such as Siliana, Tozeur, Le Kef and Kasserine have the highest ratio of families benefiting from the Programme National d’Aide aux Familles nécessiteuses.5

8. Despite an economic growth rate of 2.6% in 2017 and the progressive improvement of sectors such as tourism and agriculture, the socio-economic conditions in Tunisia remain of high concern.6 The country is still faced with serious development issues, including a persistent high youth unemployment rate which exposes young people to engage with illicit activities, to seek irregular migration and even pushing some to suicide.7 In addition, demographic pressure, political instability and the constrained budgetary environment, combined with repeated changes at all levels of the public administration, have weakened public services.8 These key issues have a serious impact on the realization of children’s and adolescents’ rights in Tunisia. In that regard, more than two million children are still excluded from any form of support through specific social protection programmes; the quality of education has deteriorated, with more than 100,000 children (7%) dropping out of school before the age of 16 every year (i.e., including 5-year-olds who should be in pre-primary school, primary school aged children, and lower secondary school aged children), while violence against children and adolescents remained at an astounding rate of 93.4% in 2018.9 To illustrate, in 2018, 88.1% of children aged between 1 and 14 years

1 Ryan, Yasmine. (2011). How Tunisia’s Revolution began, URL:https://www.aljazeera.com/indepth/features/2011/01/2011126121815985483.html 2 AFDB. (2017). Tunisia country strategy paper 2017-2021. 3 The National Institute of Statistics-Tunisia (2015). National Survey on Household Budget, Consumption and Standard of Living. INS. Tunis 4 Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019, p.52. 5 Source: Alaya, Nizar., Riahd Ben Jelili, and Abdessatar Mabhout. (2018). Déséquilibres régionaux et inégalités sociales en Tunisie URL: https://library.fes.de/pdf-files/bueros/tunesien/14418.pdf. And Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019, p.269. 6 UNICEF. (2018). Annual report 2018 - Tunisia. 7 Ibid. 8 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019. 9 UNICEF. (2018). Annual report 2018 - Tunisia.

https://library.fes.de/pdf-files/bueros/tunesien/14418.pdf


© UNIVERSALIA

had been victim of corporal punishment as a disciplinary measure or psychological assaults by their caretakers.10

9. In response to these key development issues, on April 12, 2017, the GoT adopted a new five-year development plan for the period of 2016-2020. The Strategic Development Plan focuses on economic growth and reduction of regional disparities through five priorities, i.e., Good governance, structural reform and fighting against corruption; Transitioning from low-cost economy to an economic hub; Human development and social inclusion; Realizing regional ambitions; and Focusing on green and sustainable economy.11

2.2 UNICEF Tunisia Country Programme

10. The Tunisia Country Programme (CP) under review specifically aims to contribute to the realization of the rights of children and adolescents at all stages of their lives.12 This mission is carried out through interventions within four strategic areas or components, i.e., Equitable social and health policies; Quality of education for all children; Protection of children and adolescents; and Intersectoral support.13

11. In 2018, a mid-term review (MTR) was conducted, leading to the restructuring of the programme in order to adequately respond to the challenges faced by children and adolescents, focusing on the most vulnerable. Following the life cycle approach, new priorities were established as outlined in the 2019 programme strategy note around three main outcomes: nurturing care, protection, stimulation and access to quality early learning for 0 to 5-year-old children (outcome 1); accessibility to multiple pathways to quality learning, including life skills development and citizenship education, and protection for more girls and boys, including adolescents and the most vulnerable (outcome 2); and accountability of the systems to children (outcome 3).

12. UNICEF Tunisia CO developed a theory of change (ToC) for the Country Programme and individual ToCs for each results area. These ToCs describe the pathways through which UNICEF intends to achieve the results and clarifies the assumptions that determine success. Details of the ToC for the CP can be found in Appendix II.

13. The CP-funded budget is over USD 30 million for the 2015-2020 extended period. The current utilized amount is USD 22,105,598.14 The main donors are the European Union (EU), United Kingdom’s Conflict Stability and Security Fund, and the Italian Agency for Development Cooperation (AICS).

14. The CP is implemented by a variety of partners, each with different responsibilities. The role of UNICEF Tunisia CO is to implement the CP strategies through close partnership with government actors at central and regional levels, with civil society actors and actors from the private sectors.15 UNICEF MENARO provides oversight, guidance and technical assistance to UNICEF Tunisia CO as needed. Lastly, the role of donors and private partners is to support UNICEF in attaining its goals through the provision of funds and leveraged resources for the implementation of interventions.

10 Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019. 11 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019. 12 UNICEF. (2019). Note de la stratégie du programme de l’UNICEF en Tunisie 2019-2020. 13 UNICEF. (2018). Annual report 2018. 14 UNICEF. (2019). Budget full CP (2015-2020). 15 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019, p.29-30.


© UNIVERSALIA

3 Evaluation Purpose, Objectives, and Scope

3.1 Purpose

15. As stated in the evaluation ToR, the purpose of this Country Programme Evaluation (CPE) is dual: (a) accountability of UNICEF Tunisia for results to diverse stakeholders (including UNICEF, donors, the Government of Tunisia, communities and rights holders); and (b) learning from the implementation of the CP to inform the next programme cycle.

3.2 Objectives

16. In line with the evaluation purpose, the specific objectives of the CPE are as follows: ▪ Assess the performance of UNICEF Tunisia with regard to the degree of achievement of the

expected results defined in the Country Programme Document for the period 2015-2020, and identify and document internal and external conditions that have influenced results.

▪ Investigate whether the programmatic changes introduced by UNICEF Tunisia following the mid-term review improved programme delivery and whether the new models introduced as pilots are best practices that can be replicated.

▪ Identify lessons learned from the implementation of the UNICEF Tunisia Country Programme (2015-2020) and provide actionable (operational) recommendations for the next programmatic cycle 2021-2025.

3.3 Scope

17. The various elements that define the scope of the CPE are presented in Table 3.1

Table 3.1 Scope of UNICEF Tunisia Country Programme Evaluation

SCOPE DESCRIPTION

Temporal The evaluation covered UNICEF Tunisia work for the period 2015 – 2020 (until the field work of the evaluation).

Programmatic The evaluation covered all programmatic components of the current UNICEF Country Programme (and the adjustments made following the 2018 Mid-Term Review)

Organizational The management, monitoring and reporting systems of the UNICEF Country Programme in Tunisia.

Geographic UNICEF Tunisia activities are spread all over the country. While aligning with the countrywide scope in the high-level analysis, the evaluation did not assess in great depth all the activities of UNICEF in Tunisia. Three governorates (Tunis, Kairouan and Kasserine) were identified for in-depth examination of selected interventions.


© UNIVERSALIA

3.4 Evaluation Users

18. The main users of the evaluation are the UNICEF Country Office in Tunisia, the UNICEF MENARO and the Government of Tunisia. Secondary users include national and international development partners such as United Nations agencies, Non-Governmental Organizations (NGOs), and other civil society actors directly or indirectly involved in the CP.


© UNIVERSALIA

4 Evaluation Approach and Methodology

4.1 Overall Approach

19. The evaluation applied a theory-based approach, based on the explicit sectoral theories of change (ToCs) developed by the UNICEF Country Office in Tunisia, combined with contribution analysis.16

20. Given the implementation status of the UNICEF Country Programme in Tunisia, the evaluation combined summative and formative approaches to the evaluation. The summative approach was used for the completed components of the Programme, assessing their performance towards achieving or not the expected results and under what conditions. The formative approach was used for interventions that are ongoing, notably the innovative models introduced by the CP, to determine progress made towards testing the models and their robustness and relevance, in particular their potential for scale-up. Here, the evaluation focused more on strategic relevance and scale-up potential than on performance.

21. Because this CPE is meant to inform the next UNICEF Tunisia programmatic cycle (as well as the joint programming of the United Nations system and the programming of partners in Tunisia), the evaluation team adopted a utilization-focused approach.17 Therefore, the team engaged with UNICEF Tunisia, UNICEF MENARO and government partners to ensure that the evaluation responds to the users’ needs and priorities.

22. Finally, the evaluation followed a systems approach, i.e., an approach that is reflective of the complexity of the reality in Tunisia and how it has influenced the performance of UNICEF Tunisia Country Programme. Thus, the evaluation team assessed not only the progress made by UNICEF Tunisia towards achieving the results defined in its results framework but also the systemic factors influencing the results, including the limitations of the broader system, and how the relationships among the different actors in the system facilitated or inhibited the achievement of results.

4.2 Evaluation Criteria and Questions

23. In line with the ToR, the CPE used the criteria and principles outlined in the Organization for Economic Cooperation and Development / Development Assistance Committee, Evaluation Quality Standards. The criteria considered are relevance, effectiveness, efficiency and sustainability. The evaluation did not consider the “impact” criterion, i.e., it did not aim to assess the long-term results of UNICEF interventions in Tunisia nor to attribute macro-level changes to UNICEF’s work. Instead, the

16 Mayne (2008). Contribution Analysis: An approach to exploring cause and effect. The Institutional Learning and Change (ILAC) Initiative, Methodological brief. 2008; http://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf

17 Patton, Michael Quinn (2008) Utilization-Focused Evaluation: 4th edition. Thousand Oaks, Ca: Sage Publications

http://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf


© UNIVERSALIA

evaluation identified the extent to which UNICEF interventions contributed to changes (results) identified in the Country Programme Document (CPD). The ToR also emphasized the need to evaluate the extent of integration of the cross-cutting dimensions of gender, disability and inclusion in the design and implementation of the UNICEF Country Programme in Tunisia.

24. The evaluation questions (EQs) suggested in the ToR were slightly refined by the evaluation team, namely by separating the main evaluation questions (see Table 4.1) and dividing them into the sub-questions (see the Evaluation Matrix in Appendix III). The changes made to the questions in the ToR are summarized in Appendix IV.

Table 4.1 Main evaluation questions

EVALUATION CRITERIA MAIN EVALUATION QUESTIONS

Relevance To what extent and how has the UNICEF Country Programme in Tunisia been a relevant response to improve the situation of children in this country?

Effectiveness To what extent and how did Tunisia Country Office meet expected results in the CPD and the mid-term review?

Efficiency To what extent and how has UNICEF Country Programme used resources optimally to achieve its objectives?

Sustainability To what extent and how are the results achieved by UNICEF Country Programme in Tunisia likely to be sustained over time?

4.3 Data Sources, Collection and Analysis Methods

25. The evaluation involved three phases: (a) inception; (b) data collection; and (c) analysis and reporting. The methodology involved qualitative data collection methods as well as quantitative methods. Information from the different lines of inquiry was triangulated to improve the reliability of the findings and to ensure that the recommendations are grounded in reality. The following methods of data collection were used: (a) document review; (b) key stakeholder interviews; and (c) focus group discussions (FGDs). The evaluation process and methods are illustrated in Figure 4.1

Figure 4.1 Evaluation Phases, Data Collection and Analysis Methods

26. Primary data for this evaluation was collected from national stakeholders and the governorates of Tunis, Sfax, Kairouan and Kasserine. These governorates were selected because they provide a good cross-section of the country as they have slightly different levels of development and challenges, particularly in the area of children’s and adolescents’ rights. While Tunis is more developed, Kasserine and Kairouan are among the governorates of the Centre-West where combined social indicators are of

Inception

Desk review

Consultations with UNICEF

Tunis and MENA

InceptionReport

Data Collection

Remote interviews

with stakeholder

s

Data collection in

Tunisia

Validation workshop

Data Analysis

and Reporting

Draft and Final

Evaluation Report

Final dissemination

workshop


© UNIVERSALIA

significant concern. Social indicators in Kasserine and Kairouan are far below the national averages.18 Other selection criteria included the level of implementation progress of the CP activities planned in these governorates as well as the availability of stakeholders during the evaluation period.

27. In total, 106 individual and collective interviews (involving 52 males and 54 females) were conducted with a variety of stakeholders, including government officials, UNICEF staff, civil society organizations and development partners (see List of Stakeholders Consulted in Appendix V). In addition, one FGD was conducted with adolescents aged 18 and 19 in Tunis, and a desk-based review of documents containing qualitative and quantitative information informed the report (see List of Documents Consulted in Appendix VI). Finally, the evaluation team conducted a debriefing session in Tunis on February 26, 2020, in which the UNICEF CO in Tunis and its partners participated. During the debriefing, the evaluation team presented the preliminary findings and recommendations of the evaluation, to which stakeholders had the opportunity to react. The insights gathered during the debriefing were used to refine the evaluation findings and recommendations.

28. To analyse the data, the evaluation team combined the following methods: i) descriptive analysis to understand the context in which UNICEF operates; ii) quantitative analysis to capture relevant information and trends related to UNICEF results as well as to produce evidence based on data gathered through the various data collection methods; iii) qualitative content analysis applied to the material from different lines of inquiry (e.g., documents and interview data) to analyse and identify common trends, themes and patterns in the data; iv) triangulation process to ensure the reliability of information and to increase the quality, integrity and credibility of the evaluation findings and conclusions; and v) respondent validation, which involved cross-referencing the results of each line of inquiry and identifying patterns and outliers to begin drafting emerging summary findings in response to the evaluation questions and sub-questions.

4.4 Limitations

29. The evaluation team faced a few limitations in the design and implementation of this CPE, as described below:

30. The results monitoring documents (Excel sheets) available at UNICEF Country Office in Tunisia use the same templates, but with different indicators before and after the MTR. Thus, it was challenging for the evaluation team to produce a clear assessment of what was achieved versus what was planned.

31. The evaluation had planned to conduct FGDs with adolescents aged 18 years and above. However, this was not clearly communicated to the Country Office, which instead had mobilized adolescents below 18 years of age for two FGDs, one in Tunis and the other in Kasserine. This issue emerged at the beginning of the field mission at which time the evaluation team discussed with the Regional evaluation advisor and the Country Office and it was agreed to conduct FGDs only with adolescents aged 18 and above as initially planned. Consequently, only one FGD was conducted in Tunis.

18 UNICEF (2014). Tunisia Country Programme documents 2015-2019.


© UNIVERSALIA

5 Findings

5.1 Relevance

32. This section of the report assesses the extent to which the objectives of the UNICEF Tunisia Country Programme 2015-2020 are consistent with global priorities, country needs and priorities, and development partners’ priorities as well as direct beneficiaries’ needs.

Finding 1: The UNICEF Tunisia Country Programme (2015-2020) is relevant and aligned with national development priorities and sectoral government priorities.

33. Strategically, the evaluation team found that the CP has remained coherent with evolving global and national priorities in relation to the rights of children and adolescents. The CP was designed in the spirit of the Sustainable Development Goals’ (SDGs) principle of “leaving none behind” i.e., ensuring that every child in Tunisia has the same safeguards and life opportunities. The Programme interventions particularly align with SDG1 (eradication of extreme poverty), SDG 3 (good health and well-being for children), SDG 4 (quality education), SDG 5 (gender equality), SDG10 (reduced inequalities), and SDG 16 (peace, justice and strong institutions). The CP draws on UNICEF goals and priorities,19 largely inspired by the SDGs, notably: ensuring that every child (a) survives and thrives, (b) learns, (c) is protected from violence, (d) lives in a safe and clean environment, and (e) has an equitable chance in life. The strategic priorities outlined in the initial programme document and in the strategic plan for the two years (2019-2020) were chosen for their consistency with the above UNICEF global priorities.

34. The CP is equally aligned with Tunisia’s development priorities as described in the national development plan and/or sectoral priorities. The government priorities were defined through a societal dialogue that was held following the 2011 Revolution and which, among other things, identified the key challenges facing children’s rights in Tunisia. These challenges formed the basis for the strategic choices of the CP. Thus, the different programme components were designed to provide answers to the priorities outlined in the ‘’new economic development plan‘’, the ‘’educational system reform’’ and the ‘’national strategy for the protection of children’’. Representatives of the ministries and civil society organizations consulted in this evaluation confirmed that the CP has been responsive to their needs and priorities, and that interventions were crafted to respond to the challenges identified by stakeholders themselves (the quote in Box 1 illustrates this point).

35. Alignment with the country’s needs and priorities is further evidenced by the fact that many of CP strategic interventions mirror the United Nations Development Assistance Framework’s (UNDAF) strategic areas and interventions. The UNDAF strategic activities concern capacity development of national partners, facilitation of dialogue, advocating for international standards and values, direct support to the formulation of policies and programmes,

19 UNICEF (2018). UNICEF Strategic Plan 2018-2021. New York, NY 10017, USA.

Box 1: Quote

« UNICEF répond à nos besoins. Ils interviennent suite à nos propositions et réagissent à nos demandes. Ils nous assistent et nous aident à mieux cerner nos besoins »

Source: Respondent from the Ministry of Education


© UNIVERSALIA

as well as knowledge production and management. Throughout the programme cycle, the CP comprised many interventions along these lines.

36. Finally, the CP is fully aligned with the orientations and priorities of development partners operating in Tunisia. During interviews, development partners (such as the World Bank, DFID and the European Union) acknowledged that the CP interventions generally fit with their priority areas. In some cases, the UNICEF Country Office had to pursue a dialogue with development partners on the need to invest in a particular sector, which generally worked well. For example, the European Union acknowledged that pre-school (children 5 years old and younger) is not their usual focus, but, following discussions with UNICEF Tunisia, the EU agreed to expand its financial support to pre-school education.20

Finding 2: The UNICEF Tunisia Country Programme (2015-2020) has meaningfully applied a child rights-based approach, addressing vulnerabilities that are specific to children and adolescents in Tunisia.

37. Programmatically, the relevance of the CP stems from its ability to meaningfully integrate child rights-based principles. To start with, the CP (both initially and following the MTR) was designed based on a sound analysis of the situation of children’s and adolescents’ rights in Tunisia.21

38. Available analysis and evidence shows that Tunisia faced a major challenge of declining quality of education, with many school-age children abandoning school (the number of out-of-school children was

estimated to be more than 100,000 in 2013, for 5-year-olds who should be in pre-primary school, primary school aged children, and lower secondary school aged children),22 while many of the graduates did not have the right competencies to succeed in life (find a job, make a good living).23 The situation analysis demonstrates a gap between poor and rich children in accessing education and a lack of effective systems of governance at all levels. Access to early childhood education and preschool education was still limited and characterized by deep social and geographic disparities. Girls and boys still suffered from violence both in families and at school; and the number of juvenile delinquents (mainly boys) remained significant, with a high rate of recidivism, which revealed a relative failure of social and family rehabilitation.

39. The social protection system in Tunisia also did not cover many children, with only 40% of eligible children (0-18 years) benefiting from the cash transfer in 2019.24 Finally, existing analysis indicates that reforms had been carried out but with limited or no impact due to lack of implementation of policies, and data availability gaps remained a major challenge at all levels of government in Tunisia, negatively affecting the design and evaluation of public policies, let alone holding systems and actors accountable.25

20 Initially, the EU priorities were on primary, secondary and tertiary education; and innovation, research; mobility and employability. However, with the talks with UNICEF Tunisia, the EU decided to invest in ECD as a strategy to improve quality education in Tunisia, starting from a very early age. 21 E.g., Situation analysis for children (2012), study on out of school children (2014), Multiple Indicator Cluster Survey (MICS4), MICS6. 22 UNICEF. (2014). UNICEF Tunisia - Country Programme document (2015-2019). Tunis. 23 UNICEF (2016). Annual Report 2016 – Tunisia. 24 Centre de Recherches et Etudes Sociales (2019). Child Grants in Tunisia: feasibility, cost, impact and funding. Tunis. 25 UNICEF. (2014). UNICEF Tunisia - Country Programme document (2015-2019). Tunis.


© UNIVERSALIA

40. The initial CP components and the strategy adjusted following the MTR provided a response to the above challenges. The CP combined a series of interventions that together are expected to create real changes in children’s conditions. As illustrated in Figure 5.1 the CP interventions comprised: ▪ Community based interventions (e.g., communication for development - C4D activities)

▪ Systems strengthening interventions for duty bearers to support children’s rights (e.g., technical assistance, capacity development of personnel, reform of the school curricula, development of standards and guidelines, development of sound M&E systems to ensure effective policy implementation, studies),

▪ Evidence based advocacy for policy change (e.g., building coalitions and partnerships with influential players, development of Early Childhood Development (ECD) policy, the social protection floor draft law including a basic income security for children (this basic income for children component is referred to by many stakeholders as the Universal Child Grant law),

▪ Empowerment of children to speak out and be heard (child participation), and ▪ Leveraging resources, with a focus on mobilizing other actors to promote the children’s rights

agenda and achieve results.

Figure 5.1 Integration of child rights-based programming in UNICEF CPD

41. It should be emphasized that the CP attempted to address the needs and priorities of the poorest children in Tunisia by deciding to implement part of its interventions in governorates with poor social indicators such as Kasserine and Kairouan in West Centre of Tunisia.

Child rights-based

programming

Child Situation analysis

Community based

interventions

Particpation of

adolescents

Evidence-based

advocacy

Leveragingresources

System strengthening


© UNIVERSALIA

5.2 Effectiveness

42. This chapter provides insights into the effectiveness of the CP. The first section discusses the extent of achievement of the CP results at output indicator level. Subsequent sections discuss the contribution of the CP across a number of outcome areas: policy change (or improved policies), policy implementation support, shifting social norms and knowledge management. The section also discusses the extent of integration of cross-cutting issues of equity, social inclusion and gender equality. The chapter ends with contextual factors affecting the performance of the CP.

5.2.1 Overall effectiveness

Finding 3: For most of the Programme outcome areas, UNICEF Tunisia and its partners have generally made good progress towards achieving the outputs specified in the work plans (before the mid-term review). Ongoing interventions (after MTR) are generally on track to achieve the expected results by the end of 2020.

43. The results monitoring documents (Excel sheets) reviewed by the evaluation team indicate that, for the period until early 2018, the CP was overall on track towards achieving output-level results under the four major outcome areas. Appendix VII illustrates progress by outcome areas for the period before the MTR. The monitoring documents reveal that all outcomes and all outputs but one26 were on track to be achieved. The evaluation found that the results achieved consist mostly of a series of building blocks (e.g., policies, plans, institutions, human capacity development through trainings) that were created across different components of the CP and which constitute a necessary condition for promoting and creating lasting changes in the conditions of children and adolescents in Tunisia. While monitoring documents show all results on track, previous evaluations and consultations with stakeholders revealed that the Programme components have performed differently in achieving the planned activities and results. The following paragraphs provide a summary of the performance of the different programme components.

44. A previous evaluation of the protection component27 indicates that the Juvenile Justice project implemented many of the planned activities, resulting in important outputs: e.g., the creation of police units dealing with juvenile justice in densely populated cities of Tunisia and a specific unit for child justice within the Ministry of Justice. However, due to poor project design aspects, coupled with significant delays in project implementation, some activities were not implemented (or were cancelled), thus leading to non-achievement of some expected outputs. In particular, it was reported that the project’s objectives were ambitious and not realistic, given the socio-political and legal instability in the country during the after-revolution/transitional period. Project delays stemmed from, among other things, the instability in the Ministry of Justice (with seven ministers during the project period), resignations of two successive project managers, poor communication and coordination between partners, notably between UNICEF and the EU in the first and second years of the project28.

26 "Les acteurs de la Santé ont des capacités améliorées pour développer et suivre des programmes de santé des mères, enfants et adolescents, équitables et de qualité". 27 Nespoulous (2017) UNICEF and European Union (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisia and European Union, Tunis. 28 Ibid.


© UNIVERSALIA

45. On the other hand, the evaluation of the health component29 indicates that out of six interventions that were planned under UNDAF, only three were implemented30 and real progress has been made on only two interventions (indicators). Two of the interventions that were not implemented (i.e., support for the review and development of maternal and child health strategies, and development of prenatal nutrition standards and guidelines) were actually abandoned by UNICEF after unsuccessful efforts at the initial stage, notably the failure to hire an expert firm after numerous calls for tenders.

46. With regard to the education component, good progress was made in the area of advocacy and planning.31 The CP helped set up a framework for strategic orientation and an operational plan for a child-centred reform of the education system. An integrated preschool education reform strategy was established, with a unified monitoring and evaluation system for the preschool sector conceived. A pilot project was implemented with the Ministry of Education on “life skills and competences” for adolescents and youth, and the results of this pilot were later integrated in the new curriculum (one of the few examples of models that were taken up by the Government). In 2017 and 2018, the CP supported the institutionalization of a Bachelor of Arts in Applied Education and Teaching for the Primary School. Finally, in line with the MENARO conceptual and programmatic framework, the CP supported the development of a general curriculum and of several disciplinary curricula, with the transversal integration of life skills and citizenship education.

47. In the area of children protection, an integrated child protection policy was developed and approved by the government in 2017. The CP also successfully supported the development of national “deinstitutionalization” strategy (with an action plan). Regional platforms were created in five regions that meet regularly to monitor the implementation of the strategy to combat violence against children.

48. After the MTR, the available results monitoring documents (Excel sheets) show that good progress was made towards meeting the results set for the period 2019-2020 (details on the changes in the outcome areas before and after the MTR are provided in section 5.3). Appendix VIII illustrates progress by outcome areas for the period after the MTR. The monitoring documents show that on three of four outcomes the CP was on track to achieve the expected results. The analysis further shows that one outcome was not rated, and that the CP was on track towards achieving 10 of 14 outputs, with four outputs rated as constrained.

49. Notably, the CP made some progress in the actual implementation of the innovative models, many of which had been conceptualised in the previous period. The planned three ECD reference centres32 (modelling infrastructure, pedagogy, equipment and management standards) were launched. The “second chance” education model has progressed considerably: at the time of the evaluation field mission in February 2020, two centres were almost completed and were to be launched soon. On the other hand, the WASH in Schools programme faced implementation challenges (e.g., leading to non-renewal of the contract with UNOPS and hiring of Islamic Relief to take over), which delayed the project. By the end of 2019, the planned WASH infrastructure had been delivered and handed over in only 11 out of 34 schools. This rather low performance is associated, among other things, with the fact that many of the targeted schools did not have water in their premises; yet, this was a precondition to set up sanitary blocks and to implement hygiene and behavioural change promotion activities. In the same

29 Metangmo (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisia, Tunis. 30 These interventions are i) promoting of breastfeeding; ii) strengthening information system; and iii) support to SWITCH-Polio. 31 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019. Tunis, Tunisia. 32 The Centres were opened in two of Tunisia’s poorest regions and in Tunis’ urban area, with a capacity to accommodate 120 children each. (Annual Report 2019)


© UNIVERSALIA

vein, the M4D made some progress as the general architecture of the school dropout prevention model was finalised and validated. In addition, as part of this model, a tool to identify students at risk of dropping out has been designed and is being tested in nine pilot schools. However, as explained later in this report, the pilot stage of this initiative has experienced problems. These include the limited technical support (by the hired consulting firm) for the implementation of some dimensions of the model, the legislative framework which proved to be unfavourable for effective, coherent, and comprehensive implementation of the project, as well as the limited understanding of the philosophy of the project by educational actors responsible for its implementation and divergent visions in the management and steering of the project.

50. The year 2019 also saw the launching of a new bachelor’s degree in Early Childhood Education. Outside modelling-related results, the CP policy advocacy efforts led to the Council of Ministers adopting the draft law on the social protection floor, including a basic income security for children (or the universal cash grant for children).

5.2.2 Policy change contribution

Finding 4: The UNICEF Tunisia Country Programme has successfully contributed to the improvement of policies, strategies and regulatory frameworks to solve children’s rights problems in Tunisia. In other cases, the Programme interventions have helped raise awareness about and put children's rights issues on the national or regional agenda.

51. The CP has been able to influence policy makers, political and social leaders at all levels to create an enabling policy and legislative infrastructure for promoting children’s rights in Tunisia. Part of this infrastructure comprises policies and regulatory institutions as well as implementation strategies and plans aimed at resolving children’s rights problems. A sample of these building blocks is presented in Box 2.

52. The policy reforms that were implemented have been possible thanks to the CP coordinated advocacy and policy influencing activities, involving a whole range of stakeholders with the same policy interests (e.g., World Bank); they also benefited from the technical assistance provided by the CP. To a great extent, the increased political will was gained thanks to policy advocacy activities that advanced policy dialogue and debate on issues pertaining to children’s rights. For example, the South-South cooperation activities supported by the CP played an important role in that regard, facilitating knowledge and experience exchange between Tunisian policy makers and technocrats and experts from countries such as Brazil and Argentina. Shifted political will was perhaps best experienced when the Government of Tunisia announced the year 2017 as “the year of the child”. This provided a strong ground for relevant actors to call for improvement of legislation pertaining to children’s rights and for greater investment in field level programmes that promote these rights.

53. Overall, the stakeholders consulted for this evaluation agree on the contribution of the CP in improving policies in favour of children’s and adolescents’ rights. They argued that, now that the basic policy and legal framework is generally in place, the government and its partners should focus more on the actual implementation of existing policies and strategies. Efforts should notably be focused on interventions that affect directly the conditions of children and adolescents in Tunisia.

Box 2: Examples of policy and regulatory instruments developed with the UNICEF Tunisia Country Programme support

• Early childhood development (ECD) strategy action plan (2017-2025)

• National Maternal and Neonatal Health Strategy (2019-2023)

• Draft law on the social protection floor including a basic income security for children (2019)

• Integrated state policy for child protection (PPIPE) and action plan (2016-2020) (never approved by the GoT)

• Quality standards for preschool services

• Integration of children’s rights into the Tunisian Constitution

Source: UNICEF Tunisia Annual Reports


© UNIVERSALIA

54. In other cases, the CP interventions have contributed to raising the salience of some children’s rights issues in Tunisia, drawing the attention of policy makers and other stakeholders at national or regional levels on these issues. This constitutes an important step in the policy cycle towards the design of relevant responses to these challenges. In the education sector, issues such as the declining quality of education, early childhood education and school dropouts became a high priority agenda for the country thanks to CP advocacy efforts. The WASH in Schools programme has arguably enabled actors at different levels in Tunisia to recognize the problem of water, sanitation and hygiene in many Tunisian schools, and the need to conceive school WASH interventions as “complete packages”, taking into account “hard” and “soft” aspects.

55. In a similar vein, it has been reported that the major contribution of the juvenile justice project was that it made this issue visible and raised awareness about it in Tunisia. The evaluation further found that the issue of violence against children is increasingly being recognized as an important issue at regional level thanks to the regional platforms created with the support of the CP (e.g., Kasserine). However, the sustainability of these platforms seems to be questionable, since they are coordinated by volunteers who combine platform activities with their regular duties as public servants; the platforms also suffer from the fact that they are not yet institutionalized and a lack of sound incentives for those involved.

5.2.3 Policy implementation support

Finding 5: Stakeholders generally perceive the innovative models introduced by UNICEF Tunisia and its partners (ECD centres, WASH in Schools, second chance programme and school dropout prevention) as relevant responses to critical issues facing most disadvantaged children in the country. However, while these models are good practices, whether they are ‘best’ practices is yet to be proven.

56. Throughout the programme cycle, UNICEF Tunisia and its partners adopted a modelling strategy which consisted of implementing innovative models (e.g., experimental initiatives or pilot projects). Some of these models have been completed while others are ongoing (see examples in Box 3). While some of these models were relatively new to the Tunisian context, the stakeholders consulted in this evaluation emphasized that in some cases the modelling strategy has actually helped relevant Ministries to capitalise on earlier initiatives, by rethinking and/or refining them (e.g., Modèle à quatre dimensions (M4D)).

57. According to most stakeholders engaged in this evaluation, the ECD centres, WASH in Schools programme, second chance programme, and school dropout prevention programme models constitute relevant responses to critical issues facing most disadvantaged children in Tunisia. The most important added value of these experimental initiatives is that they have enabled the Government of Tunisia and other children’s rights duty bearers to move a step from improved policies to actual policy implementation, thus helping to bridge an important gap in the public policy cycle.

58. The pilots of these innovative models allow assessment of the feasibility of proposed policy solutions (e.g., by determining their costs and risks), creation of a pool of early adopters (i.e., the institutions which implement these solutions before others), and planning the implementation of similar projects on a larger scale. The modelling approach also enables the generation of context-sensitive knowledge, by effectively engaging with frontline policy implementers in different regions, which is crucial to inform the scale-up stage.

59. Notwithstanding the perceived advantages, the evaluation found that it is still too early to know if these models are best practices in the Tunisian context since they are still in the piloting phase. For most of these models, costing analysis is yet to be done and, as such, no sound evidence


© UNIVERSALIA

exists yet to assess their potential to produce superior results (compared to possible alternatives). According to some stakeholders, the piloting phase has already shown that some of the innovative models were actually too ambitious, which has complicated their implementation, thus raising concerns about whether these interventions can be replicated. This is notably the case of the M4D model, which comprised several dimensions and proved difficult to implement in a politicized environment (e.g., with strong unions requesting payment for extra hours to teachers involved in the intervention). Yet the project aimed to introduce a new method of pedagogical organization and inclusive innovative practices within the school system, which would allow to take into account the real needs of children and guarantee appropriate and differentiated support for students with educational, psychosocial and socio-cultural difficulties.

60. Moreover, the evaluation found that, for certain pilots, the structural preconditions were not always met to ensure an effective and sustainable piloting phase. For example, in the case of the school dropout prevention programme (M4D initiative), the school visited during this evaluation indicated not having an appropriate school infrastructure (e.g., chairs and tables in classrooms are too old, lack of sport infrastructure for children) to successfully implement the pilot, and the project did not provide financial resources to improve on these prerequisite conditions. The teachers trained to implement the concept in this school have not received any incentives (e.g., they are not paid for extra hours), which has led some of them to quit the initiative.

61. A similar situation was observed in the case of the WASH in Schools programme, where some schools in rural areas were provided with improved toilets and school canteens (e.g., in Kasserine), yet they did not have access to sustainable water supply. In an interview with the Ministry of Education, they explained that the Ministry of Agriculture is responsible for water supply for schools in rural areas and that it was not represented on the steering committee for the project. They acknowledged not considering that access to water in schools was still an issue since there is a national plan on that. These examples suggest that, overall, there is a need to strengthen the analysis of (and provide) the necessary structural conditions before implementing experimental initiatives.

Finding 6: Through partnerships with civil society organizations, the UNICEF Tunisia Country Programme has contributed to fostering active participation of adolescents in children’s rights activities, thus elevating their status as participating citizens.

62. Stakeholders, including the adolescents who participated in the FGD organized in Tunis, acknowledge that interventions supported by the CP have empowered adolescents, notably through their active participation in concrete activities promoting children’s rights. Most of these activities were implemented in partnership with civil society organizations. Through a collaboration with ADO+, the CP enabled direct participation of Tunisian adolescents in preparing their own alternative report on the Rights of the Child and presenting it at the pre-session of the UN Committee on the Rights of the

Box 3: Examples of innovative models implemented during Country Programme cycle

• Projet pilote d'éducation sur les compétences de vie (completed and adopted by the Government)

• Monitoring Results for Equity Systems

• WASH in Schools programme (ongoing)

• ECD centres (ongoing)

• School dropout prevention programme (ongoing)

• Second chance programme (ongoing)

• Programme modèle sur l'éducation parentale (ongoing)

• Système d’information sur les structures d’éducation préscolaire

Source: UNICEF Tunisia Annual Reports


© UNIVERSALIA

Child (in Geneva). Through initiatives such as the U-Report platform,33 the Programme has helped adolescents make their voices and opinions heard.

63. The adolescents emphasized that when they are involved in community sensitization activities, they are able not only to raise the awareness of their peers about their rights, but also to change the behaviours of their parents. The adolescents in Tunis indicated that, by participating in community theatre activities and other sensitization campaigns, they became more empowered, confident and ready to claim their rights whenever they are violated. However, they highlighted that activities involving the participation of adolescents have reached only a minority in Tunisia, and that the great majority of adolescents are still unaware of their rights.

64. Despite the efforts made so far, the participation of adolescents in public life remains limited in Tunisia. There is therefore a need to strengthen and promote their greater and sustainable participation in development programmes, of which they are the main beneficiaries.

65. The adolescents, as well as some members of civil society interviewed in this evaluation, wondered whether (and how) adolescents could be actively involved in the governance systems and structures, and decision-making processes of UNICEF Tunisia CO itself in order to better express their concerns and propose solutions. But this evaluation found that no significant effort has been made by UNICEF Tunisia in that regard, as most of the efforts made by the CO to involve adolsecents have been consultative in nature (e.g., gathering their perceptions and expectations with regard to the CP).

66. The CP has successfully leveraged civil society actors to promote children’s rights in Tunisia. The UNICEF Country Office acknowledges that the Programme was initially not directly informed by consultation with young people and civil society, but, down the line, the CO started consulting them more, which allowed them to understand that solutions must come also from the communities and not just from the government. However, the evaluation noted that the partnerships with civil society organizations have been on the basis of ad-hoc activities and are, as such, not sustainable. Some of these organizations have a feeling that UNICEF Tunisia came to them as a last resort, i.e., when it had no alternative partner. While ad-hoc activities (e.g., activities to combat violence against children conducted by ADO+) helped to create awareness and momentum, this momentum is likely to get soon disbanded if the interventions are not sustained. There is a sense in which the CP should capitalise on the strengths of a selected number of civil society organizations to achieve its objectives, notably by implementing long-term projects with them.

Finding 7: Stakeholders at all levels recognize that the multi-sectoral approach fostered by UNICEF Country Programme interventions in Tunisia has helped to improve cooperation among stakeholders.

67. The CP recognized that social change is a multi-actor and multi-dimensional process and has therefore conceived and implemented its interventions in that spirit. Stakeholders across the board acknowledge that UNICEF Tunisia has helped coordinate actors that would hardly work together to do so on joint projects. This has arguably fostered a multi-sectoral approach in Tunisia and contributed to reducing the silo mentality and culture, as different actors have learnt how to converge towards a common vision, compromise and agree on priorities. Some ministries recognize that the collaboration spirit fostered by UNICEF Tunisia is even expanding outside the scope of the CP initiatives.

33 U-Report provides a venue for adolescents from diverse backgrounds, including those hard-to-reach to share and voice their views and concerns on issues affecting their daily life such as violence, volunteer work, school dropout, and migration.


© UNIVERSALIA

68. At policy development level, the promotion of a multi-sectoral approach is evidenced by different policies and strategies that were jointly developed by more than one ministry and other partners. A notable example is the ECD Strategy 2017-2025 that was developed with technical support from UNICEF Tunisia and the World Bank, bringing together 11 ministries,34 civil society organizations from across the country, the private sector and local authorities. The UNICEF team in Tunis confirmed that the technical committee members from the respective ministries have been working well: in fact, the same people have been on the committee since the beginning, which suggests that they feel ownership of the strategy.

69. At policy implementation level, all innovative models initiated by the CP involve actors from different governance levels. For instance, the second chance education programme brought together the ministries of Education, Social Affairs, Employment and Vocational Training. The Universal Child Grant initiative involved a large Steering Committee (of more than 30 people) from ministries and other actors, led by the Ministry of Social Affairs.

70. Notwithstanding this involvement, there is still room for improvement to ensure good quality inclusive processes. Some respondents in this evaluation argued that some key actors have been involved in the CP high-level discussions but were left out of the process of implementation of specific interventions. For example, the evaluation noted that, while Ministry of Development, Investment and International Cooperation (MDICI) is at the centre of most investment projects (including with donors and UNICEF), they are not on the steering committees of either the second chance education or the M4D programmes. Yet, they could play a greater role during implementation, notably by helping to identify and reduce overlaps with other projects.

71. Despite the fact that the project steering committees are populated with relevant stakeholders, there is room for improvement in the coordination of actors. The evaluation found that in some of the joint projects certain stakeholders are prioritized at the expense of others during the implementation of initiatives. This has negative effects not only on the collaborative process itself, but also on how the proposed solutions (concepts) are implemented in reality. Some actors seemed to be concerned about how the ECD concept is being implemented under the leadership of the Ministry of Women, Family, Children and Seniors (MFFES), stressing that too much emphasis is laid on the “formal education” dimension, to the detriment of child developmental aspects. If scaled up in the future with this “reductionist” view of child development, the project may lead to poor results. Similarly, there is a feeling that the M4D project is focused more on aspects within schools, with little emphasis on aspects within families and communities, for instance. This could be partly explained by the fact that some components of this project were not implemented as planned. Notably, the M4D project had envisioned to involve a local NGO that would help establish the link between the school and the local environment and, as such, integrate all aspects outside the school, which would guarantee a successful implementation within the school. However, this element of the project was not implemented due to factors such as the lack of qualified NGOs in project implementation areas, and the reluctance of some schools to involve external stakeholders in a school project.

Finding 8: The technical assistance (TA) provided by UNICEF Tunisia to policy implementing agencies is generally perceived to be effective.

72. The support of the CP has always extended beyond conventional legislative advocacy campaigns to the provision of technical expertise, which matters in policy design and implementation

34 The initiative was led by the Ministry of Family, Women, Childhood and the Elderly (MFFES), with 10 other ministries including of Education, Health, Social and Religious Affairs, Development and Cooperation, and Finance and other.


© UNIVERSALIA

activities. Across the programme components, technical assistance was provided to a variety of actors, spanning from those working in rule/policy making, to government policy implementing agencies and civil society organizations. The CP provided its technical assistance through the country office personnel and contracted specialists. The interviews conducted in this evaluation confirmed that, in many cases, a high degree of technical knowledge was needed to convey the intent or spirit of the proposed policy instruments to different categories of players, to help them understand the implications of different approaches to policy implementation, or to show them how to best implement the proposed solutions.

73. Technical assistance also served to generate knowledge that informed policy development processes. For example, to design the Universal Child Grant mechanism, the Government of Tunisia needed technical analysis and support to identify innovating financing modalities for funding the mechanism. The Oxford Policy Management was hired by the CO to conduct a study whose results informed the discussions and decision making on this issue. Among other things, the technical assistance focused on assessing the cost, impact and benefits of the Universal Child Grant, showing not only that the measure is efficient and effective in reducing child poverty and ensuring an equitable chance in life for every child, but also that it can be financed by the national budget with an acceptable cost and timeframe.

74. The experts hired by the CP are largely recognized as having the expertise to provide technical assistance to stakeholders. However, the partners consulted at all levels (central, regional) stressed that there is a problem of excessive dependence on experts from Francophone countries (France, Belgium, Canada). There is a belief among stakeholders that this dependency prevents Tunisia from opening up to (and learning from) the rest of the world, in particular from the experiences of Anglo-Saxon or Asian countries, and there is a desire to have UNICEF recruit consultants with different experiences.

75. Finally, this evaluation (as well as previous evaluations) revealed that there is room for improvement regarding the ownership of partners with regard to expert engagement processes. In particular, government partners across the board indicated that they would like to be involved more in the acquisition processes for the experts.

Finding 9: Through its participation in sectoral groups, UNICEF Tunisia has contributed to better coordination among technical and financial partners, which has contributed to improved quantity and quality of financial resources.

76. The evaluation found that during the implementation of the CP, UNICEF Tunisia successfully assumed the role of convenor, thus fostering coordination between the Government of Tunisia and other partners. This was particularly the case for financial and technical partners (FTP), where the Country Office fostered coordination mechanisms for groups of FTP in the education and health sectors. This coordination allowed mobilization of additional financial resources to solve children's rights problems in Tunisia.

77. In fact, a better coordination among FTP led to large Official Development Assistance (ODA) commitments for the education sector. The World Bank has committed USD 100 million (81 million Euros)35 support, which will support the Government of Tunisia to scale up some of the results created by the UNICEF CP. This financial support is expected to improve learning conditions in public preschools and primary schools in selected districts and strengthen management practices in the education sector. Consulted officials from the Ministry of Education indicated that new funding commitments (for

35 Through so-called Strengthening Foundations for Learning Project (PREFAT) (US$ 100 million).


© UNIVERSALIA

education) also came from the Italian Agency for Development Cooperation (25 million Euros), FADES (96 million Tunisian Dinars), and the European Union (60 million Euros). Development partners consulted in this evaluation acknowledged that with UNICEF coordination, they were better informed on each other’s interventions and potential areas for synergies. In order to mobilize financial resources for implementing the National Maternal and Neonatal Health Strategy 2019-2023, UNICEF Tunisia advocacy and support led to the establishment of a health financial and technical partners group, with the World Health Organization (WHO) as the secretariat.36

78. The UNICEF Tunisia coordination of the sectoral groups helped to mobilize additional funding for its own programmes too (e.g., from EU, Italian Agency for Development Cooperation). For instance, 5 million out of the 60 million Euros provided by the EU were allocated to UNICEF Tunisia.

5.2.4 Contribution to shifting social norms

Finding 10: The C4D activities implemented with the support of UNICEF Tunisia are perceived by the partners as likely to make a significant contribution to shifting individual and community beliefs, values and social norms in the field of children's rights in Tunisia if they are implemented at scale.

79. The CP comprised communication for development (C4D) activities aimed at shifting beliefs, values and social norms in favour of children's rights, and targeting both individual and community levels. Thus, children as rights holders (especially the poor and vulnerable) were targeted to help them understand and realise their rights and, ultimately, foster their inclusion in local and national development processes. Furthermore, various child rights duty bearers, including parents, families, and community leaders were targeted for adopting child-friendly practices.

80. A wide range of C4D activities received support from the CP. Tunisian adolescents developed and performed theatre on school dropout issues and citizen education about children’s rights, reaching out to peer adolescents, parents and local authorities in different governorates. With the Ministry of Education, the CP supported large information and communication campaigns to sensitize education sector actors on the issue of school dropout. These initiatives are reported to have raised awareness about these issues and their consequences among targeted audiences. Other C4D initiatives that were aimed to influence behaviours and beliefs include WASH in Schools activities (e.g., support to create health clubs in schools with training on sanitation and hygiene – with Scouts), the creation of five regional platforms to fight violence against children, positive parenting education activities;37 or public communication activities implemented through TV debates, social media campaigns and a variety of festivals.

81. While it is difficult to measure the ultimate impact of these C4D activities at societal level, the evaluation found that they have created important intermediate outcome-level results. Nevertheless, it is still early to tell whether the outputs and intermediate outcomes created by these C4D activities will lead to sustainable shifts in social norms. The structures established (e.g., the five regional platforms to fight violence against children) or the parental education activities implemented so far are well appreciated by partners. However, most of these interventions were implemented within the

36 UNICEF (2018). Annual Report 2018 – Tunisia. 37 The Programme supported a study on the state of knowledge, attitudes and practices (KAP study) of parents of children aged 0-6, serving as evidence for the development of a national multi-sectoral positive parenting programme which is expected to be launched in 2020.


© UNIVERSALIA

framework of short-term plans (e.g., three months) developed by implementing partners (e.g., ADO+) as pilot initiatives, and they have not been evaluated yet. In particular, the regional platforms have so far relied mostly on volunteering efforts of certain leaders, with limited or no incentives.

82. Stakeholders informing this evaluation acknowledged that the C4D-related initiatives have created some momentum. However, the evaluation found that, unless they are implemented on a larger scale and the institutional and motivational issues are addressed, it will be difficult to maintain that momentum and to create meaningful shifts in social norms. Since change in behaviours and attitudes does not happen overnight, future projects in this regard need to be conceived as long-term interventions.

5.2.5 Contribution to knowledge management

Finding 11: The UNICEF Tunisia Country Programme has promoted child rights-based monitoring in Tunisia by supporting the establishment of appropriate information systems and/or structures that enable tracking child rights violation risks as well as checking whether the programmes undertaken are having positive effects on children’s lives.

83. Since its early years, the CP supported relevant State implementing agencies and other child rights bearers to set up appropriate information systems and/or structures that enable effective monitoring and reporting on the human rights of children in Tunisia. In that regard, an information system for preschool services was established for the Ministry of Women, Family, Childhood and Seniors. The system is supposed to be extended to other relevant actors such as parents and schools.38 The CP helped the Government of Tunisia set up the Monitoring Results for Equity System (MoRES) in order to strengthen the monitoring capacities of Health actors (notably health districts) and to ensure equitable and high quality programmes related to mothers, children and adolescent health. The system has been seen by national and local partners as critical to increase equitable access to quality health services. It should be emphasized that MoRES was piloted in the two health districts of Hammamet and Haouaria; however, until 2018, the model had not yet been taken up by the Government for scale-up39.

84. The CP further helped establish regional child rights monitoring committees in upcountry governorates (e.g., Kef and Kasserine) where multiple child deprivations were observed. The objective of such structures is to increase availability of data to inform planning processes and strengthen coordination mechanisms among stakeholders involved in development interventions at regional level. In the same vein, the Tunisian Human Rights League received support to establish 19 regional coordination units (in 24 governorates), which are mandated to monitor violations of children’s rights across the country (in schools, prisons, families). At the time of this evaluation, these units had already prepared an “Alternative Report” on the situation of children’s rights in Tunisia, which is expected to be released this year. Finally, the CP supported HAICA (Haute Autorité Indépendante de la Communication Audiovisuelle) to train radio monitors on child rights and to develop a guide for journalists on the use of children’s images in media.

85. These monitoring systems and mechanisms have the potential to enable tracking of children’s rights violation risks as well as a consistent reality check that programmes undertaken are having

38 The system will enable information to be collected from more than 4,000 ECD centres across the country and will support outreach, monitoring and inform decision-making processes a central and decentralized levels. 39 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019. Tunis, Tunisia.


© UNIVERSALIA

positive and lasting impacts on children’s lives. They are indeed mechanisms for ensuring accountability of the government and other duty bearers in relation to children’s and adolescents’ rights. It has been noted that, thanks to such mechanisms, the deprivations of children of immigrants have been increasingly reported. In fact, since 2011, Tunisia has become a transit and /or host country for immigrants (e.g., from Libya and sub-Saharan African countries) whose children face several challenges relating to the right to education. Similarly, the deprivations of the right to education for children of families who practice transhumance in regions such as Kasserine have been brought into focus by the established monitoring systems.

Finding 12: The UNICEF Tunisia Country Programme has contributed to the generation of a large amount of evidence and knowledge on issues relating to the rights of children and adolescents in Tunisia.

86. Advocacy and policy influencing activities generally required sound analysis and objective evidence on the issues at hand. The CP has supported a variety of studies and research activities, generating knowledge and evidence for policy decision making processes. These evidence/knowledge generation activities have enabled UNICEF Tunisia to position itself (and be recognized by others) as a true knowledge broker in the field of children’s rights promotion in Tunisia.

87. The completion of the MICS6 is one of the most important data generation interventions supported by the CP. The MICS6 results have been widely disseminated at regional and national levels, and they are expected to help UNICEF Tunisia and other stakeholders to take evidence-based decisions in their planning processes. Other studies widely acknowledged by stakeholders for having had a tremendous impact include: the national study on out-of-school children and adolescents, the study on Child Grants in Tunisia: feasibility, cost, impact and funding, the study on the state of the preschool education system in Tunisia, and the study on the state of knowledge, attitudes and practices (KAP) of parents of children aged 0-6 years. The results of the KAP study fed into the development of a national positive parenting programme.

88. The CP partners recognized that the evidence and knowledge generated by such studies have actually been used by a variety of national and regional partners. This allowed them to avoid faulty policy design and implementation that could stem from poor understanding of the problems and insufficient knowledge of the implementation context.

89. The CP interventions have equally generated sound knowledge and best practices that could inspire action in other contexts (e.g., on how to advocate for children’s rights, support policy implementation, leverage stakeholders, influencing policy). However, it is not clear at the CO how this knowledge is pulled together and shared at regional (and global) level to inspire practice. Interviews with UNICEF MENARO staff revealed that the Regional Office has been instrumental in providing useful frameworks to Country Offices, and that the Tunisia Office has successfully tried these frameworks. For example, the Tunisia CO has worked with the Ministry of Education to operationalize the MENARO conceptual and programmatic framework on Life Skills and Citizenship Education (LSCE), by supporting the development of education curricula along the lines of this framework. However, the evaluation did not find significant evidence that these experiences are captured and packaged in formats that are accessible to diverse categories of audiences. Thus, the CP strategic area of knowledge management needs to be strengthened and dealt with in a systematic way.


© UNIVERSALIA

5.2.6 Integration of cross-cutting dimensions

Finding 13: The cross-cutting dimensions of equity and social inclusion have been at the core of UNICEF Tunisia programming and, as such, were considered in the CP document and interventions and are well reflected in the programme results. By comparison, despite being emphasized in the CP, the cross-cutting dimension of gender equality has not been consistently considered during programme implementation.

Equity and social inclusion

90. The spirit of the programme has been to target all children, especially the most disadvantaged ones as a vulnerable group. As such, equity and social inclusion issues have been at the core of CP interventions and are well reflected in the programme expected results which are geared towards respect of human rights and CRC.

91. The Universal Child Grant initiative is perhaps the most significant contribution of the CP to ensuring children’s rights in an equitable manner. The initiative builds on an already existing concept, the so-called "Education Benefit Program" (Programme Pour Allocations Scolaires), which provides a monthly financial assistance for the education of children aged between 6 and 18 years in families that are benefiting from National Program of Assistance to Needy Families. However, the universal child grant will be applicable to all children under 18 years irrespective of their family origins. Although not everybody agrees with the “universal coverage” idea, most stakeholders consulted seemed to agree that, if implemented40, the Grant arrangement will help the country ensure that all Tunisian children have most of what it takes to enjoy their rights.

92. On the other hand, the fact that many of the CP interventions are implemented in regions with different levels of development, sometimes targeting areas with poor accessibility shows how the issues of inclusion and equity for the most disadvantaged children were taken into account. The provision of WASH facilities to primary schools in remote areas, with an elevated risk of waterborne diseases, equally demonstrates how the CP considered the issue of children’s access to basic services, thus is an excellent way of translating child and human rights standards into results.

93. Acknowledging that inclusion of the most disadvantaged children is often hampered by factors such as a lack of information and knowledge on issues that shape their lives, the CP supported interventions that provided these children and adolescents with opportunities to learn and communicate their perspectives about their rights (e.g., see the U-Report).41 Communication-related activities using community media in providing platforms for children also responded to their information and communication needs about their rights.

94. Finally, equity and social inclusion results are further reflected in the successful advocacy for access to early childhood education services and quality education for all children in Tunisia. The same applies to advocacy for the recognition by relevant ministries of the need to deal with the issue of children in conflict with the law as a vulnerable group. The CP has advocated for all these aspects to be mainstreamed in respective sectoral reforms, some of which have been subsequently implemented.

40 Note that at the time of this evaluation, the draft of child grant law had been adopted by a ministerial council in (December 2019) and was awaiting endorsement by the Assembly of the Representatives of the People. 41 The CP fostered child participation in the production of the “State and Alternative Reports for the Convention on the Rights of the Child” in 2017, allowing 140 boys and girls from 20 regions to voice their views on their challenges as children (Annual Report, 2018).


© UNIVERSALIA

Gender equality

95. From a high-level perspective, the cross-cutting issue of gender equality was integrated into programme interventions before the Mid-Term Review. The initial CPD explicitly mentioned gender aspects in all key results, outputs and indicators. During implementation, different interventions were supported that specifically aimed at fostering gender equality and ensuring that programme interventions were informed by gender analysis.

96. Notably, gender was integrated into the education curricula modules of life skills, citizenship education and teacher training programmes as well as adolescent participation activities, particularly adolescent girls. The CP also supported many studies (e.g., the multidimensional poverty study) which provided important data and information on gender disparities. These studies showed, for instance, the needs of girls in contact with the law, as differentiated from the needs of boys, thus serving as a basis to advocate for the care of girls. In the WASH in Schools intervention, the CP promoted separate inclusive toilet facilities for girls and boys.

97. In contrast, the evaluation underscored insufficiency in integrating gender equality during the period after the MTR. From available analysis and evidence,42 gender does not appear to be a major challenge for boys and girls below 18 years in Tunisia. For example, no strong disparities exist between boys and girls in school attendance, although boys are more likely to have “risky behaviours” (such as dropping out of school) than girls. Interviews with UNICEF Tunisia Country Office confirmed that gender has not been systematically and comprehensively integrated during the period after the MTR. Although there are a few interventions that indirectly aimed to respond to gender-related challenges (e.g., the École de la deuxième chance (E2C) model sought to address the school drop-out issue which affects mostly young adolescent boys), the CO should have aimed for more gender-targeted actions, notably by including clear and realistic targets and quotas for boys’ and girls’ participation in all programmatic areas and at different programme results and outcomes. The Country Office also acknowledged that gender equality is a much stronger agenda for some of UNICEF’s partners in Tunisia and that they should explore opportunities for collaboration with them. In fact, the Gender Review conducted in 2018 recommended that the CP should more actively engage with major women's movements in Tunisia, notably by strengthening their communication skills for behaviour change. However, the evaluators did not find significant evidence of initiatives pointing in that direction.

5.2.7 Contextual factors affecting the CP interventions

Finding 14: The political, macro-economic and governance conditions prevailing in Tunisia following the 2011 Revolution have had a mixed influence (positive and negative) on the performance of Country Programme interventions.

98. There is a broad range of contextual factors that have influenced the effectiveness of the UNICEF Tunisia CP interventions. The discussion below concerns issues of political, macro-economic and governance conditions specifically.

99. On the positive side, implementing the CP in the broad post-Revolution context has been an important contextual factor positively influencing the programme performance. In fact, this period has been characterized by a spirit of change at all levels, with many reforms being introduced, which offered the opportunity to the CP to advance the children’s rights agenda.

42 E.g., MICS6.


© UNIVERSALIA

100. On the negative side, the economic realities in Tunisia over the past years have slowed down the CP interventions. With a very weak economic growth, the Government of Tunisia has been confronted with fiscal and budgetary limitations, which constrained the adoption and/or implementation of certain child rights-centred policies. For example, stakeholders indicated that the draft law on the social protection floor including a basic income security for children was developed and adopted in a Ministerial Council in December 2019, but uncertainties remain about whether and when the Assembly of the Representatives of the People is going to adopt the new law and when the programme will be implemented, given the current unfavourable country economic situation. Due to these uncertainties, partners such as the World Bank have proposed to start with the expansion of the existing cash transfer grant mechanism to children not yet covered (those aged between 0-5 years) while waiting for the adoption of the social protection floor law. Stakeholders also indicated that if the Government continues to face financial constraints, the scaling up of the pilot projects implemented by the CP will be problematic. In the context of Tunisia, Government spending remains a key determining factor for a large-scale implementation of these pilot initiatives.

101. Political instability in Tunisia has negatively affected the CP interventions. The country has experienced government instability, with nine governments since 2011, each of which involved changes of political players and civil servants in top positions in ministries. Throughout the programme cycle, the UNICEF Country Office has tried to ensure warm relationships and connections at the policy level. For example, it is reported that the relationship of trust established for many years with the Ministry of Education has enabled good progress of education-related interventions. However, the same cannot be said for other sector partners such as the Ministry of Justice and the Ministry of Health, where leadership changes throughout the years have had negative implications for the CP’s initiatives.

102. Noteworthy is that the CP has been implemented in a period characterized by social unrest across the country and instability in many positions of responsibility in public administration institutions, which negatively affected the motivation of partners at different levels. Staff turnover within the partners has been another important factor negatively affecting the CP implementation. UNICEF Tunisia staff explained that they have been constantly explaining the projects to the new staff in ministries.

103. The changes in the governance landscape in Tunisia have constrained the implementation of the programme interventions to some extent. In particular, with a growing union movement, policy and social dialogue on children’s rights issues has not always been an easy task, often delaying discussions among social partners. For example, the trade unions in the education43 sector did not allow the needed flexibility to implement changes at the expected pace. Following the Revolution, Tunisia has seen a growing civil society and an emerging local private sector, but these two have not yet acquired adequate capacities and influential power. This has impeded CP efforts to find the right and competent implementing partners outside the government.

5.3 Efficiency

104. This chapter examines the efficiency of the CP in terms of optimal use of resources, notably time and human resources (and staffing). It further analyses the efficiency of the adjustments and structuring conducted following the MTR and of the organizational procedures, notably procurement and partnership procedures.

43 There are nine different trade-unions for different categories of employees.


© UNIVERSALIA

5.3.1 Time use efficiency

Finding 15: The implementation of the Country Programme generally experienced some delays as a result of internal and external factors that were not planned for.

105. The implementation of the CP was extended by a full year (until 2020), with the objective of aligning the implementation period of the CP with the UN system and government programming cycle. In addition the implementation of some projects was delayed, in part because financing for implementing the CP had not been secured by the time the design of the Programme was finalized. As a result, the first year of the CP’s implementation period was in great part dedicated to mobilizing financial resources for the different initiatives planned.

106. Delays in the implementation of the projects were also due to factors external to UNICEF Tunisia, some of which were not adequately assessed during project inception phase. For example, in the case of the M4D project, some planned activities and associated results required changes in the education sector that were not conceivable considering how politicized the education sector is in Tunisia. Notably, the project required fundamental changes in the school system in Tunisia, in particular regarding the reorganization of teaching hours44 and other aspects of pedagogical organization, to better accommodate the needs of children with learning difficulties and vulnerable children. However, these changes proved difficult to implement in a politicized sector with nine workers’ unions.

107. Another example is the Juvenile Justice project in which coordination issues among UNICEF Tunisia and project partners hindered the implementation of activities. The evaluation of the Juvenile Justice project45 noted that partnership procedures and the roles of partners were not clearly articulated during the project’s inception, which led to delays in the first two years of implementation. Other reasons explaining delays in the implementation of this project are: i) ministerial instability (with seven ministers during the project period); ii) resignations of two successive project managers recruited by UNICEF Tunisia; iii) and poor communication between partners and between UNICEF and the EU.

108. In sum, in the cases of the education sector and the child protection sector the systemic challenges and risks encountered during the implementation of both projects were not assessed during inception. As a result, both projects included objectives that were too far-reaching and difficult to achieve.

109. Finally, factors internal to UNICEF Tunisia also caused delays in the implementation of initiatives, mainly staff shortages. These factors are detailed in the finding below.

5.3.2 Human resources (and staffing)

Finding 16: UNICEF Tunisia experienced a shortage of staff throughout the cycle, which negatively affected the Programme performance.

110. During the entire five-year period of the CP, the CO in Tunis experienced staff shortages in almost all its units. When it was designed in 2014, the CP included objectives that could not be achieved

44 For example, a staff from the CO education unit explained that the 18 hours of regular teaching per week could be reorganized as follows (according to the M4D): 12 hours of teaching in ordinary classes and six hours of intervention in school support and compensatory education. 45 Nespoulous. (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisia and European Union, Tunis.


© UNIVERSALIA

with the human resources available in the CO. Both the MTR46 and consultations with stakeholders highlighted that the outcomes and results formulated in the CPD were rather ambitious given the limited human and financial resources available. From the beginning of the programmatic cycle, there was strong pressure to increase the number of staff within the CO. Until the MTR, the scope of the CP had expanded since UNICEF Tunisia seized important opportunities, particularly in the education sector with the École de la deuxième chance (E2C) and M4D projects. These new initiatives and the staffing changes made after the MTR implied that more human resources were required to implement the CP.

111. However, the recruitment of needed human resources has not been always timely, notably because the amount of time required to contract new staff was underestimated, which led to many positions being unfilled until the time of this evaluation. The 2019 annual report47 indicates that the CO did not have strong previous experience in staff procurement. There were tensions, miscommunication, and misunderstandings between teams, resulting in delays in programme implementation.

112. In general, the hiring of staff was delayed by the fact that multiple hiring demands were put on the UNICEF operations team at the same time, and that it was sometimes difficult to find the appropriate expertise among candidates. In addition, some UNICEF staff consulted indicated that the MTR did not include a proper assessment of the human resources needed to implement the CP. Another human resource management issue is the “contractual” insecurities reported by some staff working within the CO. Some UNICEF staff usually work on a year-long contract basis, without clear indication that their contract will be renewed. The short-term contractual arrangement does not allow for the employment stability needed for the successful and sustainable implementation of medium and long- term projects.

113. As a result, most of the CO units do not have a full roster of staff needed to implement the scope of activities for which they are responsible. A notable example is the protection unit, which had only one staff during the year 2019. UNICEF staff consulted noted that shortages in personnel resulted in delays in implementation, and the lack of time affected monitoring activities in the field.

114. In addition to being short-staffed, the UNICEF CO in Tunisia experienced significant levels of staff turnover during the programme cycle, with the loss of many qualified and experienced staff as well as arriving new staff. Some UNICEF staff noted that the CO did not have a clear and effective induction system to ensure that new staff are quickly familiarized with their responsibilities and put in touch with their government counterparts. This led some new staff to implement interventions of which they had an incomplete understanding, thus creating delays in implementation.

115. The CO relied heavily on contracting external consultants to implement some of the initiatives, in some cases consultancy firms depending on the services to be delivered (e.g., design and implementation of innovative models). In particular, UNICEF participated in inter-agency procurement activities to develop and maintain long-term agreements (LTAs) with suppliers. These LTAs helped secure favourable prices for services while reducing transaction times for procurement.48

116. However, the reliance on consultancy, either individual consultants or firms, has its own potential negative consequences on the overall implementation of the programme. While external consultants bring technical expertise and consultancy firms implement a significant portion of the planned activities, they cannot serve as UNICEF representatives in the eyes of UNICEF partners nor can they help UNICEF

46 Isabelle Austin (2018). Revue rapide du Programme de Coopération Tunisie-UNICEF 2015-2019. Tunisia. 47 UNICEF (2019). Annual report 2019. Tunisia. 48 UNICEF (2017). Annual report 2017 – Tunisia.


© UNIVERSALIA

to have a strong institutional memory. These roles fall under the responsibility of UNICEF staff who should be retained as much as possible.

5.3.3 Programme adjustments and restructuring

Finding 17: The implementation of the recommendations included in the MTR contributed to refining the CP results framework and to enhancing multi-sectoral work within UNICEF. However, there is still room for improvement in ensuring that UNICEF staff collaborate within and across units.

117. As a result of implementing the recommendations included in the MTR, the UNICEF CO in Tunisia opted to use the life cycle approach in its programming (results framework), with two major objectives. The first objective was to refine the results and interventions included in the CP to better reflect the actual work carried out by the CO in light of the newly seized opportunities. The second objective was to ensure that UNICEF interventions were more integrated and carried out in a multi-sectoral fashion. This restructuring was done in part at the request of UNICEF’s government partners, to ensure that the CO better reflects the structure within the government.

118. The CP’s theory of change (ToC) and results framework were restructured around three main outcomes. The first outcome includes the CP interventions and results pertaining to the children’s age group of 0 to 6 years; the second outcome concerns the age group of 7 to 18-year-old children; and the third cross-cutting outcome involves activities aimed at improving the effectiveness and efficiency of the CP and improving accountability of duty bearers. For each outcome, a specific ToC was developed, clarifying the link between each intervention and higher-level results.

119. As a result of these changes, the results statements and indicators included in the results framework better reflect the projects carried out by UNICEF. For example, they better reflect the projects that were designed after 2015, notably, the M4D and E2C projects, since results indicators used to measure achievement of results in some projects are the same indicators used in the CP results framework. Moreover, some of the new indicators better reflect some indicators related to the SDGs. Before these changes, some CP outcome areas and outputs lacked specificity, making it difficult to assess the extent to which results were being achieved or not. For example, both the causal link between the different levels of results in the CP results framework, and the link between different levels of results in each project, were not made clear.49 The MTR50 also revealed that for some outputs included in the CP, UNICEF’s role versus the role of partners was not always clear. With the adjustments made (explained above), the outputs and outcomes as articulated in the results framework are better suited to realistically and meaningfully gauge progress and UNICEF’s contributions within short-term periods.

120. To ensure integration and multi-sectoriality of the CP interventions, and to better reflect changes made to the results framework, UNICEF units within the CO were restructured around the outcomes. Thus, the ECD team was moved out of the education team to become a separate unity focusing on outcome 1. The rest of the education team became the outcome 2 unit. Staff with specialization in the health sector (either health officer or WASH specialist) were moved within the outcome 1 and outcome 2 teams depending on the projects of each unit. The child protection unit remained separate, with initiatives in both outcome 1 and outcome 2 units being relevant to child protection. Finally, the social policy specialist was moved to outcome 3 team.

49 Metangmo (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisia, Tunis. 50 Isabelle Austin (2018). Revue rapide du Programme de Coopération Tunisie-UNICEF 2015-2019. Tunisia.


© UNIVERSALIA

121. The creation of a separate ECD team (outcome 1 unit) is perceived by both UNICEF staff and partners as having resulted in a better integration of multi-sectoral expertise, thus making the implementation of interventions more effective. In fact, this new structure was done in part at the demand of UNICEF’s government partners, to capitalize on the newly adopted national strategy on early childhood development. However, the vast majority of consulted staff noted that the staffing changes made in other units did not have the same effects. The main reason being the fact that while staff structure has changed, the results to be achieved within each project have not changed. Therefore, in the absence of common results/objectives, integration and cooperation was limited, and staff continued to work mostly in silos. In general, except for the chiefs of units, most staff within units did not have an overall view of other units’ work. The interviewed staff indicated that it was difficult to allocate time to get to know other people’s and units’ work, even when the work is relevant to their own responsibilities or specialization. Without clear incentives for inter-unit collaboration, UNICEF staff naturally tended to prioritize their own work over others’.

5.3.4 Organizational procedures

Finding 18: UNICEF Tunisia partnership procedures are generally well perceived by partners, notably as being simple and flexible. By comparison, the Country Office procurement system and procedures have suffered from drawbacks limiting the Country Office’s organizational effectiveness.

122. Stakeholders informing this evaluation widely concurred that UNICEF Tunisia partnership procedures are simple and flexible. Partners think that the UNICEF Tunisia grant/project acquisition procedures are quite common and necessary to ensure effective partnership (e.g., see Islamic Relief). Before partnering, the Country Office generally conducts due diligence on the selected partners (usually civil society organizations) to assess alignment of their core values with UNICEF’s and to determine their capacity to manage resources, then signs a contract with them. Consultations with UNICEF Tunisia staff confirmed that the harmonized approach to cash transfers (HACT) has enabled the CO to effectively handle financial transactions with implementing partners. In fact, the due diligence allows scrutiny of partners’ financial management capacity to determine the overall risk rating, which then informs UNICEF in determining the appropriate type and frequency of assurance activities. Also, donors consulted mentioned that UNICEF was very flexible in aligning with their reporting procedures, and that UNICEF Tunisia kept its donors well informed on the implementation of activities.

123. In contrast, the CO procurement systems and procedures have been weak during the implementation of the CP. In its 2019 Report, UNICEF Tunisia acknowledges that procurement of services has been a challenge over the past five years, although this is a generalized issue identified across the UN system in Tunisia.51 As seen above, the size of the CP operations significantly increased over the course of implementation, which implied procurement of many services from third parties. However, the Country Office did not have a strong prior procurement experience and therefore lacked consistency in its procurement procedures. Discussions with the Operations team emphasized that, due to a lack of corporate procurement plans (or supply plans), they were overwhelmed by procurement requests that flushed over them from management and other units. This delayed procurement processes and therefore the implementation of projects. To solve the problem, UNICEF Tunisia has started developing internal procurement capacity: some staff had to complete a mandatory course on procurement and/or were brought on to stretch assignments. These efforts are expected to be expanded to the development of appropriate procurement systems within the Country Office.

51 UNICEF (2019). Annual report 2019 – Tunisia.


© UNIVERSALIA

5.4 Sustainability

124. This chapter analyses the sustainability of the results achieved by the CP, with a focus on the factors that enable or inhibit sustainability of results.

Finding 19: While it is still too early to measure the sustainability of the CP results in some cases, UNICEF has taken important steps and measures to ensure sustainability. In some interventions, however, partners’ limited financial and human resources may inhibit the scaling up of initiatives, hence hindering sustainability of results.

125. As noted in the previous sections, there are still many interventions that have not been fully implemented, notably the four models52 that UNICEF and its partners are still piloting in Tunisia. In such cases, it is hard to speak of sustainability of ultimate results. However, the CO has taken important measures that increase the likelihood that results, once achieved, will be sustained. These important measures include: i) UNICEF’s engagement efforts to create dialogue space to generate consensus among partners at every stage of each project; and ii) UNICEF’s focus on system strengthening and capacity building.

5.4.1 Factors enabling sustainability

Inclusive engagement strategy

126. The strategic choice of UNICEF Tunisia to conceive social change as a multi-actor, multi-level and multi-sector process resulted in design and implementation of initiatives in an inclusive manner, involving actors at national and regional levels and from the public, private and civil society sectors.53 The approach fostered ownership and therefore guarantees sustainability of the CP results. Concretely, UNICEF project staff made sure that all relevant partners were consulted during projects’ inception, and a consensus was reached on specific results to be achieved and intervention modalities. During projects’ implementation, UNICEF staff made sure to share projects’ outputs to all relevant partners for feedback, ensuring that outputs are relevant to their needs and are usable. Consultation with UNICEF partners and stakeholders revealed a very strong sense of ownership of the work they carried out with UNICEF’s technical assistance.

127. Regarding the models being piloted by partners with TA from UNICEF, the CP has taken two main steps, in addition to the measures explained above, to ensure sustainability of the results and the scaling up of the models. First, UNICEF and its partners made an explicit effort to use existing structures to lower the cost of the pilots (e.g., the second chance education Centre in Tunis was established in a renovated existing building), and selected low-cost models tested elsewhere and adapted them to the Tunisian context. Second, UNICEF is providing technical assistance in the preparation of costing studies for the models.54 These analyses have been planned since inception, and their objective is to provide the necessary financial data for the GoT to assess the financial capacity that will be required in scaling up the models.

52 E2C, M4D, Wash in Schools, and ECD standards. 53 UNICEF (2019). Annual report 2019. Tunisia. 54 All models except for M4D.


© UNIVERSALIA

Focus on system strengthening and capacity building

128. A second set of measures taken by UNICEF Tunisia that is likely to contribute to the sustainability of the results achieved is UNICEF’s focus on interventions that strengthen systems and build the capacity of relevant actors. As a result of these measures, UNICEF has provided technical assistance to its partners in supporting the education reform in the country, providing training of trainers (ToT) and creating standards and tools that are likely to be used in the long term. In other words, there are many results already achieved by the CP that are likely to be sustained by virtue of the human and institutional capacities developed along with their production process. For example (list not exhaustive):

▪ Development of tools (guides référentiels) and in-service teacher training: With a focus on strengthening the education system in Tunisia, UNICEF Tunisia provided technical assistance to the Ministry of Education (MINEDUC) in preparing a wide variety of tools, with training provided (often ToT), which, according to stakeholders from the MINEDUC, are likely to be used in the long term. These tools include teaching and guidance materials and guidelines (including training plans) for “inspecteurs” responsible for in-service teacher training; training of “inspecteurs” on curriculum and pedagogical engineering; new teacher skills standards; evaluation tools for “conseillers pédagogiques” and school directors responsible for monitoring the quality of teaching; and disciplinary curricula for the first two years of primary education. These tools have been disseminated to relevant actors via seminars and adapted based on feedback received to ensure usage.

▪ Curriculum development for preparatory year: The curriculum developed by the government with technical assistance from UNICEF for the ECD (preparatory year) is already being used across the country in all institutions delivering ECD services. Along with the new curriculum, UNICEF provided assistance to develop training material for in-service teachers and to evaluate the implementation of the new curriculum.

▪ Capacity building for planning: UNICEF provided technical assistance to the MINEDUC to develop 26 regional education plans. These outputs are expected to feed into the development of the next Five-Year Education Plan (2021-2025) in Tunisia, contributing to system strengthening for education policy implementation.

▪ New degrees established: With technical assistance from UNICEF, the GoT developed four new higher education programmes which are currently operational, including a bachelor’s programme on early childhood education (with a first cohort of over 100 students in 2019-2020), a Master’s programme on criminology, a Master’s programme on Child protection and a bachelor’s degree in applied education science. The latter released its first 2,450 graduates, which is an important output contributing to education system building.55

5.4.2 Factors limiting sustainability

129. On the other hand, there are two main factors that are likely to undermine the sustainability of some results achieved during the CP implementation. These factors are: i) the short-term nature of some interventions and lack of exit strategy; and ii) partners’ insufficient financial and human resources to ensure sustainability of results.

55 UNICEF (2019). Annual report 2019. Tunisia.


© UNIVERSALIA

Partners’ insufficient financial and human resources

130. As mentioned earlier, UNICEF is providing technical assistance in the preparation of costing studies for the four models being piloted. However, some stakeholders consulted expressed doubt as to the ability of the GoT to scale up some of the results created by the models. In many cases the innovative models have enabled development of national standards and guidelines. However, applying these guidelines and standards at scale might be difficult due to partners’ limited human and financial resources. For example, most of existing “Jardins d’enfants” in Tunisia belong to NGOs (e.g., the Union Tunisienne de Solidarité Sociale - UTSS) and small private owners with such limited resources that they are unable to apply the standards developed for ECD centres. During interviews, the Ministry of Religious Affairs also indicated that these standards can hardly be applied for most of the “Qoteb” due to lack of appropriate resources.

131. Thus, UNICEF Tunisia and its strategic partners should advocate for creating an enabling environment for private sector actors involved in early childhood education, particularly those operating in poor regions. Among other things, the advocacy could aim for an exemption of taxes as well as government subsidies.

132. Two other examples illustrating how partners’ limited resources limit the sustainability of results are the health and juvenile justice programmes. The evaluation of the health programme component56 revealed that conditions required for effective ownership and sustainability of created results were not met. They include: i) lack of qualified human resources (especially given the high turnover in personnel); ii) lack of material resources to ensure continuous monitoring and evaluation of results; and iii) perceived insufficient involvement of national officials in the conceptualization of the programme. Regarding the Juvenile Justice programme, although the project strengthened individual and institutional capacities of existing systems, the evaluation57 found that capacity building activities were insufficient to ensure sustainability. Sustaining the capacities developed would have required additional interventions in the same line. However, as indicated by the evaluation of the programme, the GoT does not allocate sufficient budget to juvenile justice issues in Tunisia, which limits the sustainability of the results achieved by the project.

Short-term nature of some interventions

133. This factor mostly concerns the interventions implemented in partnership with civil society organizations (e.g., C4D activities). The CP’s engagement with civil society was somewhat shorter term than the engagement with government partners. As a result, the results achieved by UNICEF and its civil society partners are not likely to be sustained. For example, the CP helped establish four regional platforms to raise awareness on violence against children. Stakeholders consulted noted that, while these platforms have indeed raised awareness on the issue, it is still too early to tell whether this has led to behavioural changes. The activities of the regional platform in Kasserine have lasted three months, which is a very short time to expect behavioural changes. In addition, the efforts that have been deployed so far in the regional platforms are entirely dependent on volunteering efforts and rely heavily on the goodwill of certain individuals who mobilize their networks. Unless these platforms are institutionalized, it is unlikely that they will continue to exist in the long term.

134. Two other examples are the U report and the partnership with the Tunisian Scouts. In both cases, interventions were very specific and lasted a short time. Stakeholders consulted noted that while results

56 Metangmo (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisia, Tunis 57 Nespoulous. (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisia and European Union, Tunis.


© UNIVERSALIA

were achieved quickly, they are unlikely to be sustained because they have not been further supported by either UNICEF Tunisia or its partners.


© UNIVERSALIA

6 Conclusions 135. Overall relevant, the CP was designed in the spirit of the SDGs’ principle of “leaving no one behind” and has remained coherent with evolving global priorities in relation to the rights of children and adolescents. The main strength of the current programmatic cycle lies in UNICEF’s approach to engaging the GoT and other partners at different stages of the CP. This has led to the design of a CP that is consistent with the needs and priorities of the GoT and other implementing partners as well as development partners. In addition, by applying the child rights-based approach in its programming, the CP interventions provided responses to the most pressing needs of vulnerable groups of children and adolescents in Tunisia.

136. This evaluation has established that the CP has had a positive performance, as reported through available CO’s results monitoring documents and annual reports and confirmed by stakeholders’ consultations in Tunis, Kasserine and Kairouan. While the CP components have performed differently in achieving the planned activities and results, the evaluation found that, overall, the CO was on track towards achieving the targets of output-level indicators under the major outcome areas of the CP, before and after the 2018 MTR. The results achieved consist mostly of the necessary building blocks (e.g., policies, regulations, strengthened capacities) for promoting and creating lasting changes in the conditions of children and adolescents in Tunisia.

137. From the policy influencing point of view, UNICEF advocacy and technical assistance activities have made a significant contribution to the improvement of policies, implementation strategies and regulations to solve children’s rights problems in Tunisia. In other cases, some of the CP interventions drew the attention of policy makers and other stakeholders at national or regional levels on some new children’s rights issues (e.g., water, sanitation and hygiene in schools, violence against children). Most stakeholders informing this evaluation acknowledge that the basic policy and legal infrastructure has been put in place and argue that the government and its partners should now focus more on the interventions that directly affect the conditions of children and adolescents in Tunisia.

138. Since its design in 2014, the CO and the CP have changed considerably. The CO has seized new opportunities available in the operating environment in Tunisia. UNICEF managed to mobilize additional funding from donors to implement its ambitious CP, particularly in the education sector. In particular, thanks to this mobilization of resources, the CO was able to support partners in designing and piloting innovative models that, if scaled up, could have a significant impact in creating lasting changes for children in the country. These experimental initiatives have enabled the GoT and other children’s rights duty bearers to move a step from improved policies to actual policy implementation.

139. While there is generally much enthusiasm from partners regarding these models, the evaluation revealed that the design of the models was not always informed by a complete analysis of the necessary structural conditions for the models to be effectively piloted and scaled up. In particular, while the E2C and ECD standards seem promising for scaling up, the M4D and WASH in Schools have achieved more limited results than anticipated and are unlikely to be sustainable or scaled up. Thus, despite the models being perceived as “good” practices, the evaluation found that it is still too early to know if they are “best” practices in the Tunisian context since they are still in the piloting phase and the costing analysis is yet to be done.

140. Other important contributions of the CP include: i) the promotion of a multi-sectoral approach in Tunisia, as different actors have learnt how to converge towards a common vision, compromise and agree on priorities; ii) capacity strengthening of implementing partners (e.g., ministries, civil society organizations) and of adolescents through their active participation in children’s rights activities, and; iii) shifting individual and community beliefs, values and social norms among a variety of societal groups in Tunisia (e.g., families, community members at different levels) through C4D activities. The evaluation


© UNIVERSALIA

found that the C4D activities have created some momentum, but they need to be implemented on a larger scale in order to have effects at societal level.

141. Over the past five years, the CP has made a strong contribution to knowledge management related to children’s rights issues, notably by helping relevant institutions establish appropriate information systems and/or structures that enable effective monitoring and reporting on the human rights of children in Tunisia. The CP has also supported the development of studies and research activities that generated knowledge and evidence for policy decision making processes, most notably the MICS 6.

142. In terms of integrating cross-cutting dimensions, the evaluation concludes that equity and social inclusion have been at the core of the CP interventions and are well reflected in the programme results, which are geared towards respect of human rights and the Convention on the Rights of the Child (CRC). The most salient evidence for this includes the Universal Child Grant initiative, which aims to ensure children’s rights in an equitable manner and advocates for access to nutrition, education, care, and other goods and services for all children in Tunisia. While gender equality was integrated into programme interventions before the MTR (e.g., in the education curricula modules of life skills, citizenship education and teacher training programmes), the evaluation underscored insufficiency in integrating gender equality during the period after the MTR.

143. The MTR conducted in 2017-2018 represented an important milestone in the CP, creating significant effects on the efficiency of the CP. Acting upon the recommendations of the MTR, the CO adopted the life cycle approach, restructuring both its ToC and results framework as well as its staffing. While these adjustments and restructuring yielded results in terms of ensuring that UNICEF provides TA to its partners in a multi-sectoral way, there is still room for improvement in this regard. Importantly, the UNICEF CO in Tunis has suffered from staff shortages during the entire programmatic cycle. The upcoming CP should be better informed by a clear assessment of needs with respect to human resources and should establish clear incentive and accountability structures that ensure the provision of services in a multi-sectoral way across all teams in the CO.

144. UNICEF and its partners produced some results that are likely to be used and sustainable in the long run. Notable examples include the many instruments developed with the technical support of UNICEF Tunisia for the education sector. The main factors contributing to the likelihood of results sustainability include UNICEF’s inclusive engagement strategy that increases ownership of interventions and results by partners as well as the explicit focus on system strengthening and capacity development. For other results, sustainability is unlikely and undermined by two major factors: their short-term nature and partners’ insufficient financial and human resources.


© UNIVERSALIA

7 Lessons learned 145. This section captures the key lessons extracted from the analysis of the findings presented in Chapter 5.

146. A sound political economy analysis of the country of intervention is of critical importance for designing an effective country programming. Such analysis allows development actors to have risk management and scenario planning by identifying the critical factors that are likely to drive or impede their interventions. The UNICEF Tunisia CP suffered from a heavy institutional machinery and from the fact that some of its interventions were subject to politicization in some sectors. In the face of these structural conditions in the Tunisia system, some interventions appeared to be ambitious because they could not support the implementation of the desired changes. For example, the politicization of the education sector (with so many trade unions) has hampered some interventions. A sound political economy analysis of the key development sectors in Tunisia would have helped UNICEF Tunisia and its partners to be aware of such complexities and associated potential risks and, therefore, design and implement feasible solutions and use resources in a more optimal way.

147. Political transitions provide fertile ground for promoting children’s rights agendas. The findings of this evaluation show that UNICEF Tunisia and its partners took advantage of Tunisia’s democratic transition to effectively promote children’s rights. Thus, they were able to advocate for the initiation of children-centred reforms in education, health, justice and social protection fields. The transition has also enabled the CP and other players to analyse and tackle issues that were previously not addressed, including violence against children.

148. Capacity needs assessment is a key prerequisite for designing a sound and applicable CP. UNICEF Tunisia and partners struggled with putting together a very ambitious programme, with insufficient human resources to implement it. As a result, it had to rely on external consultants, which is a risky and unsustainable strategy from a human resources management standpoint. The CP should have benefited from a sound assessment of the Country Office internal human capacities during the design of interventions.

149. Organizational restructuring that occurs in the middle of a CP implementation can have counter-productive effects. Following the MTR, the UNICEF Country Office initiated some organizational restructuring aimed at increasing sectoral integration and improving delivery of the programme. However, the restructuring created stress and frustration among staff, with some people perceiving their career interests threatened. As a result, some key staff left the Country Office. While the CO was proactive in filling the gaps from departing staff, and while in some cases the value added from restructuring the CO possibly outweighs the potential negative effects of such restructuring (e.g., the creation of a separate ECD team or Outcome 1 unit, see paragraph 121), organizational restructuring should be carefully planned and implemented based on a sound analysis of potential negative and positive consequences.

150. Innovation processes in the public sector are, by virtue of their nature, complex processes and this should be taken into account when designing innovative interventions. Many of the innovative models introduced by the UNICEF Tunisia CP have taken more time than expected, as they took a long time to conceptualise and to obtain agreement among relevant stakeholders. Down the line, when the actual piloting stage started, they proved to be even more complex processes, especially due to the need to involve as many stakeholders as possible to ensure early buy-in, which is critical for the subsequent scaling-up stage. The implementation of the innovative models demonstrated that public sector innovations deal with several values, which may conflict or reinforce each other, and thus have to be balanced at any stage of the innovation processes (e.g., conceptualization, piloting, proof of concept, scaling). Public sector innovations involve processes of transformative learning, with much


© UNIVERSALIA

sense making taking place, and demand considerable time. If not conceived like this, the processes can cause unnecessary frustration.


© UNIVERSALIA

8 Recommendations 151. The recommendations presented in this section have been formulated based on the findings and the conclusions of this evaluation. The preliminary recommendations were first presented to a wide range of partners in a debriefing workshop in Tunisia; the evaluation team further discussed the preliminary recommendations with a few members of the UNICEF team in Tunis. This process enabled the evaluation team to collect feedback from UNICEF and its partners, which helped to validate and refine the recommendations.

Recommendation 1: UNICEF and its partners should develop a CP that focuses on prioritized initiatives and that takes into account potential risks.

Related to findings: 15 Priority: High

Relevant stakeholders: UNICEF Country Office in Tunisia and its government partners

Resource implications: low (mobilization of resources for planning the next CPD already planned).

152. When developing the next CP, UNICEF Tunisia and its partners should make sure to have a clear set of priorities based on the criteria suggested below. The overall objective of this prioritization is to avoid developing a new CP that is overly ambitious like the previous one and to have CP results that are achievable, considering the limitations and limiting factors UNICEF and its partners faced during the implementation of the current CP. The recommended criteria for prioritization are as follows:

▪ Focus on areas where UNICEF has a proven track record of having a competitive advantage and considering its human resources. In particular, UNICEF should take advantage of its strong convening power, capacity in policy advocacy and awareness raising, and strong and relevant technical assistance.

▪ Aim for medium-term projects and avoid shorter-term initiatives. In other words, the ‘small project’ approach is not helpful. UNICEF should aim for programmatic interventions and visionary interventions. In particular, projects that aim at shifting social norms should be conceived as long-term interventions because change of behaviours and attitudes does not happen overnight, it requires time. This applies to C4D activities/projects but also “WASH in Schools” projects, which also aim at changing hygiene behaviours and practices.

▪ Target sectors through which holistic and multi-sectoral interventions can be implemented. For example, during the ongoing CP, the education sector has proved to be an entry point to work in other sectors. In addition, interventions that simultaneously promote health and education aspects of children’s rights will remain critical.

▪ Target results that are achievable within a CP timeframe and do not require far-reaching societal changes for their achievement. The objective is to avoid interventions such as the M4D and Juvenile Justice projects that were constrained by the fact that they required significant sectoral changes for their achievement. This requires better identification and analysis of risks in the Tunisian context.


© UNIVERSALIA

Recommendation 2: In the next programming cycle, UNICEF and its partners should focus on advocating for the scale-up of existing initiatives rather than embarking on new innovation projects

Related to findings: 5 and 10 Priority: High

Relevant stakeholders: UNICEF Country Office in Tunisia and its current implementation partners

Resource implications: High. Requires the mobilization of additional founding for financing future initiatives.

153. As mentioned in the report, many partners consulted mentioned that the Government of Tunisia, UNICEF Tunisia and other partners should focus more on interventions that create real changes in the living conditions of children and adolescents. This will be done notably by ensuring that more technical assistance is provided by UNICEF Tunisia to finish pending interventions, and/or expand the results achieved by some of the initiatives. This will require more advocacy to ensure that the Government, development partners and the private sector commit more resources to invest in child rights promotion.

154. For example: policy advocacy will be needed to ensure that the social protection floor law, which includes the child grant programme, is endorsed. UNICEF should consider continuing to provide technical assistance to the MINEDUC to ensure that: inspectors are trained on the new curricula and guidelines that have been developed during the last five years; the implementation of new curricula for the preparatory year is adequately monitored; and that new disciplinary curricula are developed within the education reform.

155. With regard to scaling up the models being piloted now, UNICEF should consider continuing to provide technical assistance to its partners to finish the proof of concepts for the most promising models (e.g., the E2C and ECD standards), with good costing analysis. For models such as M4D and WASH in Schools programmes that have experienced difficulties, UNICEF and its partners need to conduct a sound evaluation to determine whether their potential still holds and is well understood by all key implementing partners and stakeholders, and, accordingly, decide on whether to rethink their design (e.g., reducing their complexity by removing some aspects and focus on what is realistically achievable) and/or implementation strategy, or phase them out.

156. If UNICEF and its partners decide to introduce new experimental interventions in the next programming cycle, these interventions should be informed by a better analysis of the structural conditions necessary for their implementation and subsequent scaling at the very inception of the models, making sure that these conditions are met before moving forward. In other words, a more complete risk analysis and identification of all prerequisites should be carried out to make sure that: i) the models can be piloted successfully, and ii) that the right conditions are in place for scaling up the pilots. This recommendation stems from the experience with the M4D and WASH in Schools pilots in which the necessary conditions were not present (politicized education sector in the case of M4D, water access in schools in the case of WASH in Schools) for a successful piloting or scaling up of the models.

Recommendation 3: UNICEF should work more on the “programme integration” aspects - that is, by promoting more collaborative work between units and their respective interventions - to improve efficiency in the delivery of programme results.


Relevant stakeholders: UNICEF Tunisia Resource implications: Medium, requires top management commitment, and introduction of structural changes that foster further collaboration between UNICEF units and staff members.


© UNIVERSALIA

157. Continuing with the important changes that the CO carried out following the MTR, UNICEF should consider further strengthening the integration of its sectoral expertise. This could be achieved by determining projects’ objectives to which different units within the CO contribute, with a clear accountability framework and incentives structure for UNICEF staff to work across sectors. While the CO top management acknowledged that effective integration of a programme and expertise involves a complex process and requires changes in individual and organizational behaviours, it could provide further support to the teams to facilitate the integration of desired changes.

Recommendation 4: The Government of Tunisia should consider institutionalizing the coordination and multisectoral approach fostered by the CP, with the technical support of UNICEF Tunisia.


Relevant stakeholders: Government of Tunisia, UNICEF Tunisia, and other partners.

Resource implications: medium, technical support required to identify best practices that can be adapted to the Tunisian context.

158. This should involve the creation of legally binding coordination and governance mechanisms and structures. For example, within the framework of the ECD strategy, a coordination unit could be created (within the Ministry of Women, Family, Children and Seniors - MFFES) but this unit has not been created yet. The MFFES and the UNICEF Country Office acknowledged that this has been an area where the implementation of the strategy has lagged behind. Now UNICEF Tunisia continues to be responsible for coordinating the actors involved in ECD, but the above unit is the one that should be doing this.

159. Along the same lines, the Government of Tunisia should opt to create a high-level inter-ministerial commission or committee to oversee the implementation of a Children’s rights agenda in Tunisia. By bringing together all sectoral working groups across ministries, the committee would help break down silos across sectors. The commission should have a more inclusive membership, by including relevant non-governmental representatives. This would allow the commission to draw upon a wide range of perspectives and expertise, leading to more well-informed analysis and recommendations. To ensure the highest level of commitment, the structure should be aligned with the President’s Office or the Prime Minister’s Office. The Government of Tunisia should build upon the experience it has had with the development of the national multisectoral strategy on ECD, in which 11 ministries participated and in which the roles and responsibilities of each actor are clearly defined.

Recommendation 5: In the next programming cycle, UNICEF Tunisia and its partners should strive to relate more to children themselves, by involving them in decision-making processes. This would involve going beyond “listening” to children and encouraging them to participate in strategic choices as well as in programme monitoring and evaluation systems.

Related to findings: 6 Priority: Medium

Relevant stakeholders: UNICEF Resource implications: Medium, further consultation with young people would require time and human resources.

160. As mentioned in the report, the participation of children and adolescents in the current CP has been done on an ad-hoc basis. When planning the next CP, adolescents should be directly involved in the discussions, allowing them to directly voice their perspectives and contribute solutions. A proper communication strategy should be developed to that effect, to mitigate the risk that consultations with young people can generate high expectations on the part of consulted people.


© UNIVERSALIA

161. To ensure the sustainable participation of children in development processes pertaining to their rights, UNICEF Tunisia and the Government of Tunisia should strengthen the existing participation mechanisms/institutions: children’s parliament, children’s municipal councils and children’s commissions (in regions) – these mechanisms should be empowered and given appropriate means to be operational.

Recommendation 6: In the next programming cycle, the equity and inclusion agenda should be continued, and the gender equality dimension should be better considered through collaboration with relevant partners, and better articulated in the CP.


Relevant stakeholders: UNICEF, Government of Tunisia and other partners.

Resource implications: High, mobilization of resources to implement equitable interventions will be needed; identification of potential collaborators on gender issues

162. The issue of equity and social inclusion in promoting children’s rights in Tunisia will continue to be a priority for many years to come. Thus, the upcoming CP should keep a closer focus on these dimensions, by ensuring that no child is left behind and that necessary behavioural changes take place across Tunisia in favour of children’s rights. In addition, as explained in this report, the current CP did not integrate gender equality during the period after the MTR; yet the CO acknowledges gender equality as an issue that still deserves attention. The CO could easily integrate gender equality by carefully identifying and collaborating - through joint projects – with partners whose programmes on gender are likely to promote children’s and adolescents’ rights.


© UNIVERSALIA

Appendix I Terms of Reference

Terms of Reference Country Programme Evaluation Tunisia

Assignment

Country Programme Evaluation Tunisia

Budget Source

Location

(partially home based partially in Tunisia)

Duration

(10 December 2019 – 15 March 2020)

Start date

(10 December 2019)

End date

(15 March 2020)

Reporting to

Evaluation Advisor, MENARO

Type of contract

Long Term Agreement (LTA)

1. Background

UNICEF country programming is a logical continuation of the previous programme and internalizes the changes

to the overall situation after the revolution and taking into account the situation in Libya.

The programme is based on a vision guided by equality and justice and aimed at ensuring that all children and

adolescents, regardless of gender, have access to the same rights. Its goal is to contribute to improving access

of the poorest and most vulnerable children, particularly in the most disadvantaged regions, to effective social

protection and to quality health, education and welfare services, and to promoting their participation in all

activities. It relies heavily on system strengthening and modeling key strategies for replication / scale up. The

Country Programme has three main components, equitable social and health policies, quality education for all

children and child and adolescent protection. Each of the components has three areas of work outlined below.

2. The country programme initially focused on three CPD outcomes: (a) equitable social and health

policies; (b) quality education for all children. Following the mid-term review at the end of 2018, the programme

was restructured and prioritized around the child early years; children and adolescents; and evidence for children

along the life course approach. A programme strategy note was developed outlining three outcomes on: (a)

nurturing care, protection, stimulation and access to quality early learning for 0 to 5 years children; (b)

accessibility to multiple pathways to quality learning, life skills and protection for adolescents and most

vulnerable boys and girls; and (c) accountability of the systems to children.

3. Equitable social and health policies

This component planned to ensure that social reforms targets, as a matter of priority and regardless of gender,

the most vulnerable children and adolescents. It aimed at influencing national, regional and local policies,

strategies and programmes of development, through the three major contributions:


© UNIVERSALIA

First, the processes of reforming the social protection system and the social sectors were supported by

advocacy of the new economic development plan, the sectoral policies and the national plan for children

as means for addressing the rights of the child and equity issues. To that end, the programme required

innovative methodological tools developed during the last period (inter alia, N-MODA, child impact

analyses and social budgeting) and relied on experience acquired in other countries in the framework

of South-South cooperation. Discussion on financing social protection and policies for children and on

the impact of tax reform and subsidies on children were central to this component.

Second, the national decentralization process supported through the establishment of mechanisms for

analysing constraints and identifying appropriate solutions at the local level. In that context, certain

targeted regions were assisted at the levels of strategic planning, monitoring and participatory

evaluation of the social sectors. In order to eliminate obstacles to the use of social services and to the

adoption of social standards and types of behaviour favourable to the survival, development and

protection of children, decentralized models for following up on outcomes as regards equity and the

gender perspective will be tested. In the area of health, emphasis was placed on the integration of

programmes and services which target mothers, children and adolescents and include activities for

HIV/AIDS prevention and nutrition improvement. Special attention was to be paid to setting up early

warning systems to avert risks, disasters and vulnerabilities that affect children. The programmes

intended to support initiatives for strengthening the resilience of communities. However, throughout

the implementation of the country programme this element has been deemphasized.

Third, the participation of children, adolescents and young persons, regardless of gender, will be promoted

and mainstreamed into the development process through capacity-building for them and the other

stakeholders. In that framework, those groups were encouraged to participate in the development,

monitoring and evaluation of policies and strategies that concern them.

4. Quality education for all children

UNICEF Tunisia aimed at reforming the education system with a view to making it more equitable, inclusive and

effective, in the context of democratic transition. The component comprised the three sub-components

described below.

First, early childhood education, formulating, monitoring and evaluation of the strategy for generalizing the

pre-school year and establishing public and community kindergartens in the poorest areas. Establishing

and modelling quality standards for early childhood education and conceptualising a multisectoral

positive parenting programme. The support for the interventions included advocacy, providing high

level technical expertise (international and national), capacity-building including training and coaching

national partners, knowledge management, modelling, and exchange of experience.

Second, UNICEF programme in Tunisia focuses its efforts on increasing the range of options and

opportunities for children and adolescents for quality learning, including life skills and citizenship

education. For adolescents, especially boys who are out of school or at risk of dropping out of school,

UNICEF contribute to provide them with better services, better options and better support. The

implementing strategy rests on addressing drop out of and elementary school failure through revised

regional and gender-specific procedures focused on children and adolescents., training national

partners, modelling and experimentation of a second change education approach, introducing

mechanisms to follow up on outcomes and supporting pupils in disadvantaged areas.

Third, for children and adolescents who are in the education system (most of the children and adolescents

in Tunisia), the programme aims at providing them with a better experience in the classroom. An

experience that enable them to acquire more solid foundational learning skills and expand the range of

skills that they will need for learning and for the future (the life skills). The main operating modalities

are: supporting educational system reform, aimed at improving quality and equity, through the creation

of governance authorities and monitoring and evaluation entities, the enhancement of the capacities of

stakeholders, advocacy and technical assistance in introducing special programmes (school inclusion of


© UNIVERSALIA

disabled children, priority education or social activities for schools), and the adoption of strategies for

civic education or the prevention of school violence and drug addiction. The participation of all pupils,

regardless of gender, and other education stakeholders was actively encouraged.

5. Child and adolescent protection

This component aimed at strengthening the system for the protection of boys and girls against violence, abuse,

exploitation and negligence, through improved and equitable prevention and other appropriate measures. The

component comprised of three sub-components described below.

First, support at the level of legal standards, policies and the protection system through the adoption of a

national strategy for the protection of children that was gender-sensitive and aimed at more effective

targeting of children victims of violence, mistreatment, abuse or exploitation; updating and operational

implementation of the national plan for combating violence against children; and strengthening

information systems to ensure more effective rapid response. Emphasis was given to networking and

improved coordination among services (stressing the mobilization of the health and education sectors),

with a focus on prevention and rehabilitation of child victims, regardless of gender.

Second, protection services. Institutionalization of children, in particular of those born out of wedlock,

should be reduced in favor of placement with a family, support for biological families, family

rehabilitation and development of programmes for assisting de-institutionalized children.

Strengthening Tunisia justice for children system. Building the capacities of justice professional staff,

implementing professionals implementing such alternatives to detention as release under supervision

(liberté surveillée) and mediation, and promoting social and family reintegration of all children,

regardless of gender, should ensure that the professionals concerned will apply the legislation more

appropriately to children in contact with the law and that such children are protected more effectively,

including through improved inter-ministerial coordination

Third, social change. Studies on family educational practices, particularly from a gender perspective, and

advocacy of social and behavioral change aimed to lead to improved practices on the part of families

and professionals and will help to combat discrimination against vulnerable children.

UNICEF Tunisia planned to deliver this programme in close coordination with the UN Country Team and the plan

is embedded in the UNDAF. It was developed in coordination with national partners especially government

ministries. The Country Programme Document included a commitment to joint management, monitoring and

evaluation of the programme.

During the programming cycle two evaluations of components of the country programme were already

conducted covering health, child protection and juvenile justice.

6. Purpose and Objectives

Under the new Evaluation Policy of UNICEF, Country Programme Evaluations are mandatory for every second

cycle. Tunisia Country Office did not have a Country Programme Evaluation during its last cycle and is therefore

mandated to conduct a Country Programme Evaluation.

7. Purpose

The purpose of the evaluation is to provide impartial and independent evidence to assist the Country Office and

the Government of Tunisia to identify and fill knowledge gaps required for the next programme cycle. The

learning will primarily benefit the UNICEF Country Office and the Government of Tunisia, as well as contribute to

the UN system joint programming in Tunisia and the programming of partners in Tunisia.


© UNIVERSALIA

8. Objective:

The objective of the independent evaluation of the UNICEF country programme (2015 - 2020) is to produce an

independent and useful evaluation report that provides accountability and learning. The evaluation will provide

accountability to UNICEF, donors, the Government of Tunisia, communities and rights-holders with respect to

whether UNICEF, through the implementation of its country programme document, is fit for purpose and

strategically well positioned to respond to national and refugee needs.

The Country Office is especially interested to understand if the evidence created throughout the programming

cycle has informed policy or programmatic shifts and if the new models introduced as pilots are best practices

that can be replicated. The effect of the restructuring of the programme and office structure following the Mid

Term Review should be assessed as well as the question if UNICEF has been able to advance equity issues.

The expected result of the evaluation is a set of recommendations that will be reflected in the new Country

Programme 2021 - 2025.

9. Scope

The evaluation will assess key results achieved and strategies applied within the current UNICEF country

programme as articulated through the Country Programme Document and adjusted following the revised 2019

- 2020 Mid-Term Review as per the Programme Strategy Note. It will cover the three components planned,

adjusted and implemented during the period 2015 – 2020. The management of the programme and the

monitoring and reporting system are part of the scope.

Besides the assessment of the intended effects of the programme, the evaluation also aims at identifying

potential unintended effects. As a complement to the assessment of the programme components, the

evaluation team will also assess the programme monitoring and evaluation system.

The evaluation will cover the period of 2015 to until the field work of the evaluation. The Country Progamme

Document evaluation is planned to feed in to the planning process of the new CPD cycle 2021 to 2025.

10. Evaluability

The Country Programme Document is clear on the different areas of delivery. Although the theory of change is

not fully developed the document provides enough of a basis to start the evaluation. Gaps in understanding of

the theory of change will be addressed during the inception phase. Monitoring data is available, and annual

reports provide additional monitoring of progress against the planned activities.

11. Evaluation questions:

The key questions for this evaluation were formulated based on the OECD DAC criteria, excluding impact to keep

the evaluation lighter. The evaluation aims to answer the following questions:

12. Relevance

To what extent does the country programme respond to the priority needs of the country? To what extent

is the Country Programme Document aligned with other strategies of the country, UNICEF, and other

agencies.

Have data, studies and analysis produced during the cycle informed programming shifts?

To what extent are new models introduced such as (a) the standards in early childhood development

centres, (b) the WASH standards, (c) the 2nd chance programme, (d) the school dropout prevention

programme best practices?


© UNIVERSALIA

To what extent did the design and the interventions of the Country Programme Document integrate cross

cutting issues such as gender mostly, disability, and inclusion?

13. Efficiency

Did the programme use the resources optimal to achieve its objectives?

Were the support systems (procurement, human resources etc. efficiently supporting programme delivery?

Did the programme strategy lead to improvement in the allocation and use of resources in the concerned

programme area, and improved more efficient processes with partners?

14. Effectiveness

To what extent did Tunisia Country office meet expected results committed to under the country programme

document and the mid term review?

To what extent were the results achieved gender aware and respect the human rights agenda and the CRC?

To what extent did the country programme effectively contribute to system strengthening and public

policies development (upstream and modelling) addressing rights of children focusing on equity issues?

What was UNICEF’s key advantage compared to the other stakeholders? Was UNICEF able to leverage other

partners and resources? If so, to what extent and how?

15. Sustainability

To what extent have the results achieved through the implementation of the country programme

contributed to systems building and strengthening?

Did the modelling strategy respond to critical issues regarding most disadvantaged children and reach

expected results? What is the potential for sustainability and/or scale up?

What are the key successful elements and the main bottlenecks influencing sustainability?

16. Methodology

This section provides the preliminary direction of the methodology. It will be further elaborated during the

inception phase in the annexes of the inception report including the research instruments and evaluation matrix.

Duplication of efforts will be avoided. Therefore, previous evaluations of sections of the country programme

document will be integrated in this evaluation this refers especially to the evaluation of the juvenile justice and

the health component. The focus will be on knowledge gaps and on the higher-level strategic areas of the

country programme document.

The methodology is applying a mixed methods approach and will be as participatory as possible. Information

from the different lines of inquiry will be triangulated to improve the reliability of the findings and to ensure that

the recommendations are grounded in the reality. Documents to be reviewed will include but are not limited to:

government strategies and policy documents, the UNDAF documentation, UNICEF strategic documents,

evaluations and reports produced by Tunisia country office, monitoring and progress reports concerning the

different elements of the country programme. Key informants especially from the government partners,

implementing partners and UNICEF should be interviewed to get a deeper understanding of the political

limitations, the relevance of the programme for the various stakeholders and how the different strategies fit

together. Focus groups might be conducted with staff from partners, UNICEF, teachers, school inspectors,

judges, the media, private sector, adolescents, civil society organizations or with beneficiaries as appropriate.

Geospatial data, government surveys and other general information of the country will be reviewed, but it is not

foreseen that additional information at that level is generated. A short survey might be considered if found

necessary during the inception phase.


© UNIVERSALIA

Special attention will be given to the disaggregation of data by gender and other groups relevant. The

methodology will ensure that the numbers of men, women, boys and girls are sufficient to disaggregate findings

by gender where appropriate.

17. Limitations

The evaluation will focus on high level aspects of the County Programme Document and its subsequent

adaptation following the Mid-Term Review. To keep the evaluation relatively light it will therefore only interact

with beneficiaries on a limited level. However, given that it will leverage previous evaluations this should not

affect the overall findings significantly.

18. Governance

The evaluation will be guided by a steering committee that will endorse the inception report. It might also be

guiding the evaluation should any unforeseen development need addressing. The direct management of the

evaluation will be done by the regional evaluation advisor. The evaluation advisor will provide first level quality

assurance of the deliverables and accept the deliverables. Second level quality assurance will be provided by the

Evaluation Office and the Ethical Review by an external service provider. The Tunisia Country Office will ensure

that all relevant documentation is available to the consultants and support the arrangement of meetings with

relevant stakeholders (partners, UNICEF staff).

The team leader will coordinate the inputs of the team and be responsible for the quality of the deliverables.

The company will support the evaluation team and backstop the team where required.

For any issues related to the contract signature, or any other terms and conditions within the contract, the

organization will communicate with the MENARO Regional Chief of Supply.

19. Deliverables

The contract will have the following deliverables: Inception Report, Presentation of Preliminary Findings and

Recommendations, Draft Report, Final Report, Response to the Comments Matrix. The deliverables will follow

the UNICEF guidelines for evaluations and will be in line with UNEG Norms and Standards and take into account

the UNEG guidance of integrating gender and human rights into evaluations. In the table below the tentative

time line is laid out.

Key activities Deliverables Timeframe - date Facilitators & key roles

1. Kick-off meeting with the evaluation committee

Th.21 Nov. – skype meeting Regional Office and Country Office to organize

2. Start of evaluation team contract

Around 10th Dec. Regional Office

3. Work on the inception report

Draft Inception Report

10-16th Dec. Evaluation team

4. Presentation and discussion of the inception report

18th Dec. – skype meeting Evaluation team. Country Office to organize

5. Finalisation of inception report and preparation for field work

Final Inception Report

beginning of Jan. 2020 Evaluation Team

6. Field work 13-24 Jan. 2020 Country Office to facilitate

7. Field work exit/verification meeting

Presentation of preliminary findings and recommendations

24th Jan.2020 Evaluation Team, Regional Office to facilitate Country Office to organize


© UNIVERSALIA

8. Drafting of evaluation report

Draft Report 27 Jan. – 7th Feb. 2020 Evaluation team.

9. Draft report quality assurance

7-14 Feb. 2020 Regional Office

10. Commenting process 17-21 Feb. 2020 Regional Office to organize all stakeholders engage

11. Evaluation report finalisation

Final Report including response to the comments matrix

21-28 Feb. 2020 Evaluation team.

11. Evaluation dissemination workshop

5th Mar. 2020 Regional Office to facilitate, Country Office to organize

12. Submission of management response.

Mar-April. 2020 Representative.

The Report will follow the UNICEF guidelines and be cognizant of relevant UNICEF and UNEG guidelines for

evaluation.

20. Team composition

21. The below sets out the tentative workload of the different specialist, as well as the required skills for

the different team members. Ideally the team is mixed in terms of gender and cultural backgrounds. The team

should have experience covering the three components of the country programme social services and health,

education, and social protection between them. The team should be able to communicate well in English as well

as French or Arabic.

Team leader 34 days

Change management and systems specialist 24 days

Team leader Relevant master’s degree (evaluation, development studies economics, social science, etc.)

Experience in leading evaluation teams in political environments Experience in managing evaluations in the UN system Good understanding of the child rights agenda Good understanding of integrating gender and human rights into evaluations Experience in evaluating health, social services, education or social protection. Strong interpersonal skills Ability to work with senior officials Cultural sensitivity

Change management and systems specialist

Relevant master’s degree (health, education, child protection, social services, social sciences, etc.)

Experience in analyzing UN strategies Experience in health, social services, education or social protection. Strong interpersonal skills Ability to work with senior officials Cultural sensitivity.

22. Location and Duration

The evaluation will work during the period from 10 December 2019 to 28 of February 2020. The work will be

home based except for the duration of the field work tentatively scheduled from 13 to 24 of January 2020.


© UNIVERSALIA

23. Official Travel

All travel arrangements, including insurance and visas, will be managed and paid by the institution. Therefore,

expected travel costs must be included as a budget item in the financial proposal.

24. ICT considerations

The evaluation team will require access to some of the UNICEF internal databases and documents.

25. Evaluation Process of the Proposal

Given that the company has been preselected in the LTA process for the East Africa Regional Office to do County

Programme Evaluations the technical assessment of the proposals will be limited. The assessment will be done

based on the CVs of the proposed team members for the Country Programme Evaluation matching the

requirements, the availability and the price.

26. Payment

The company will be paid upon completion of deliverables according to the following schedule:

20 percent upon acceptance of the inception report

30 percent upon delivery of the draft report

50 percent upon acceptance of the final report.

27. Unsatisfactory Performance

In case of unsatisfactory performance, the payment will be withheld until quality deliverables are submitted. If

the selected organization is unable to complete the assignment, the contract will be terminated by notification

letter sent 30 days prior to the termination date. In the meantime, UNICEF will initiate another selection process

to identify appropriate candidate.

28. Conditions and Administrative Issues

The contractor will work on its own computer(s) and use its own office resources and materials in the execution

of this assignment. The contractor's fee shall therefore be inclusive of all office administrative costs.

Granting access to UNICEF ICT resources for consultants/non-staff is considered as 'exception,' and therefore

shall only be granted upon authorization by the head of the office on justification/need basis. This includes

creation of a UNICEF email address, as well as access to ICT equipment such as laptops and mobile devices.

All persons engaged under a UNICEF service contract, either directly through an individual contract, or indirectly

through an institutional contract, shall be subject to the UN Supplier Code of Conduct:

https://www.ungm.org/Public/CodeOfConduct

Please also see UNICEF's Standard Terms and Conditions attached



© UNIVERSALIA

Appendix II UNICEF CP in Tunisia Theory of Change

The overarching goal of the CP is to improve access of the poorest and most vulnerable children and

adolescents, with a focus on those living in remote areas, to social and economic rights. The

programme specifically aims to improve access to quality social protection, health and education

services which will contribute to the realization of the rights of children and adolescents at all stages of

their lives.

UNICEF-Tunisia Country Programme has specific interventions that target (a) children’s first years of

life, (b) children and adolescents, and (c) evidence for children along the life course approach. 41 The

necessary interventions focus on rights holders as stakeholders and not as beneficiaries in order to

guarantee their active participation. Moreover, as part of the implementation strategy, in order to

have an effective approach and mobilize resources, partnerships with the country’s other partners – the

private sector and civil society – were created.

UNICEF Tunisia country office has developed a Theory of Change (ToC) for the country programme

and the individual ToC for each results area. These ToC describe the pathways through which UNICEF

intends to achieve the results and clarifies the assumptions that determine success. The ToC for the

CP is illustrated below.

UNICEF-Tunisia Country Programme Theory of Chance 2015-2020


© UNIVERSALIA

Appendix III Evaluation Matrix

MAIN EVALUATION QUESTIONS

SUB- QUESTIONS INDICATORS DATA COLLECTION METHODS AND SOURCES

RELEVANCE

1. To what extent and how has the UNICEF Country Programme in Tunisia been a relevant response to improve the situation of children in this country?

1.1. To what extent have UNICEF

Tunisia programme components

been aligned with the

development priorities (and

policies) of the Tunisian

Government, the mandate and

priorities of UNICEF and the

priorities set by other agencies

(e.g. UN agencies) promoting

children’s rights in Tunisia?

• Evidence of linkages between specific aspects of the Country Programme (e.g., sectors, expected results) and national policies and programmes, UNICEF priorities, priorities of UN Agencies, and SDG targets

• Perceptions on the relevance of the Country Programme for their organizations, Tunisia’s development challenges, and national priorities

Document review

UNICEF CPD

UNICEF mid-term review report

UNICEF strategic documents

Individual interviews during in-country visits

UNICEF Tunisia staff

Representatives of country-level implementation partners (Government of Tunisia and its ministries, Governorates, NGOs, private sector)

UN Agencies staff

Individual remote interviews

UNICEF MENARO staff

Development partners (the EU, the Italian Cooperation, United Kingdom, Canada)

1.2. To what extent are UNICEF

interventions in Tunisia

consistent with the needs and

priorities of children, especially

the poorest and most

disadvantaged ones, in this

country?

• Degree of alignment of UNICEF interventions with the needs and priorities of children, especially the poorest and most disadvantaged

Document review

UNICEF CPD

UNICEF annual reports


CP Logical frameworks

CP Workplans


© UNIVERSALIA



• Perceptions on the appropriateness of UNICEF interventions in Tunisia in response to the most pressing needs of children and adolescents




UN Agencies staff

1.3. To what extent were the

programme’s assumptions

underlying the causal chain of

results in the Programme ToC

(initial design and adjustments

following mid-term review)

reflective of existing knowledge

on child and adolescent needs in

Tunisia?

• Extent to which the ToC and programming shifts were informed by data, studies, and analyses produced before and during programme implementation

• Evidence of programme changes/shifts made in the CPD based on emerging new knowledge and opportunities

Documents review

UNICEF CPD

UNICEF mid-term review document

Theory of change/Logical frameworks


UNICEF staff

UN Agencies staff

1.4. To what extent are the new and

innovative models introduced by

UNICEF Country office in Tunisia:

(a) early childhood development

centres, (b) the WASH in Schools

programme, (c) the 2nd chance

programme, (d) the school drop-

out prevention programme best

practices??

• Degree to which these innovations are based on sound assumptions

• Evidence that the newly introduced innovations can produce superior results

• Perceptions on the adequacy of the modelling strategy in terms of responding to critical issues facing most disadvantaged children

• Perceptions on the scalability of the models

Documents

Model concept notes

Models implementation reports



Representatives of country-level implementation partners (Government of Tunisia and its ministries, Governorates, NGOs, private sector) involved in these models

1.5. To what extent did the design

and implementation of the

Gender Documents

UNICEF CPD


© UNIVERSALIA



Country Programme integrate

the cross-cutting issues of

gender, disability, and inclusion?

• Evidence that the CPD design has been informed by a gender analysis

• Perception on the gender sensitivity of the CPD design

• # of interventions or approaches with specific provisions to target the specific needs of girls/boys

• # of sex-disaggregated indicators in the results framework Disability

• # of disability- related indicators for which monitoring data are available at output and outcome levels

• Evidence that the CPD design considered the needs of children living with disabilities Inclusion

• Evidence of Country programme interventions that have been specifically designed to promote participation of children, both girls and boys in development processes


Theory of change


CP Workplans


UNICEF staff


UN Agencies staff


UNICEF MENARO staff



© UNIVERSALIA

EFFECTIVENESS

2. To what extent and how did Tunisia Country Office meet expected results in the CPD?

2.1. To what extent have the outputs

specified in the CPD been

achieved?

• % of outputs achieved

• % of outputs on track towards achievement

• % of outputs not achieved and or abandoned

Documents


Previous evaluation reports (health and juvenile justice components)

Quick review of the CP report

Results monitoring products



UN Agencies staff

2.2. To what extent and how have

the achieved outputs

contributed (or are they likely to

contribute) to the achievement

of planned outcomes?

• Evidence of outputs’ convergence towards achievement of intended outcomes (e.g., changes in legislation, institutions, and services provided)

Documents








• UNICEF MENARO staff

• Development partners (the EU, the Italian Cooperation, United Kingdom, Canada)

2.3. To what extent were the results

achieved gender aware and did

they respect the human rights

agenda and the Convention on

the Rights of the Child (CRC)?

• Degree to which UNICEF Tunisia results are disaggregated by gender

• Degree of alignment between the results achieved and the human rights agenda and the Convention on the Rights of the Child

Documents

Annual reports






© UNIVERSALIA


UN Agencies staff

2.4. To what extent did the country

programme effectively

contribute to system

strengthening and public policies

development (upstream and

modelling) addressing rights of

children focusing on equity

issues?

• Evidence of system aspects (e.g., policies, institutions) that were developed and or strengthened through UNICEF Tunisia interventions

• # of new institutions/policies initiated with the support of UNICEF

• # of people (e.g., professionals, children service providers) trained on children’s rights or associated services

• # of innovative models/approaches adopted by relevant institutions for scale up

Documents

• UNICEF annual reports

• Previous evaluations


• UNICEF Tunisia staff

• Representatives of country-level implementation partners (Government of Tunisia and its ministries, Governorates, NGOs, private sector)

UN Agencies staff

2.5. To what extent and how did the

UNICEF advocacy and

communication for development

(C4D) activities contribute to

improving the situation of


• Perceptions on the effects of UNICEF advocacy and C4D activities on the attitude and behaviours of those responsible for providing children’s rights

• Evidence of increased demand for respect of children’s rights in Tunisia resulting from UNICEF advocacy and C4D work

Documents






UN Agencies staff


© UNIVERSALIA

2.6. To what extent has the UNICEF

Tunisia leveraged other

stakeholders (e.g., through

partnerships) to achieve its

objectives?

• Evidence of collaborations/partnerships between UNICEF Tunisia and other actors (e.g., local NGOs, other United Nations agencies, private sector, academia, government)

• # of joint investments or programmes benefiting children in Tunisia

Documents





UN Agencies staff

2.7. To what extent and how has

UNICEF made use of its

comparative advantage and

taken the lead in promoting


• Degree of involvement of UNICEF (e.g., leader, coordinator, member of steering committees) in joint multi-sectoral and multi-actor interventions benefiting children

Documents





UN Agencies staff


country or regional contexts

(e.g., political, cultural,

economic, quality of

governance) influenced the

achievement (or not) of

expected results at programme

and intervention levels?

• Examples of different categories of contextual factors that affected the implementation and achievement of programme results

Documents


Other Results monitoring products




UN Agencies staff


© UNIVERSALIA

2.9. Has UNICEF Tunisia produced

unintended positive or negative

results during the CPD cycle

2015-2020?

• # of documented or perceived unintended results, positive or negative

Documents






• UN Agencies staff

EFFICIENCY

3. To what extent and how has UNICEF country programme used resources optimally to achieve its objectives?


different country programme

components (social and health

policies, child education, child

protection) implemented in a

cost-effective and timely

manner?

• Perceptions on resources being allocated to interventions that are likely to lead to highest level results

Extent of delays in delivering on the different programme components

Documents

Documents on project expenditures


Previous evaluation reports on health and juvenile justice components



UN Agencies staff


UNICEF country office

management and support

systems (notably procurement,

human resources, monitoring

and evaluation system, and partnership procedures)

efficiently supported

programme delivery?

• Perceptions on the rigidity or flexibility of procurement procedures in place

• Extent to which UNICEF results monitoring (and evaluation) system is used to manage the programme (e.g., systematically reporting on outputs and outcomes achievement)

• # of actual (versus expected) UNICEF Tunisia staff

• Perceptions on the appropriateness of human resources to carry out its

Documents



UNICEF Tunisia


UNICEF MENARO staff

Development partners Development partners (the EU, the Italian Cooperation, United Kingdom, Canada)


© UNIVERSALIA

operations throughout the cycle (ambition versus reality)

• Perception on the degree of flexibility of partnership procedure


the programme adjustments and

structuring conducted following

the mid-term review (e.g.,

introduction of the life course

approach) enabled a better

planning and achievement of

results?

• Degree to which the adjustments made are consistent with the needs of the country

• Evidence of clearly defined outputs and outcomes following the mid-term review

Evidence of interventions and activities that are more specific and targeted

# of SMART indicators included in the logical frameworks

Perceptions on improvements resulting from programme adjustments made to UNICEF interventions following the mid-term review (e.g., more specific and targeted)

Document review


ToC




UN Agencies staff


UNICEF MENARO staff



© UNIVERSALIA

SUSTAINABILITY

4. To what extent and how are the results achieved by UNICEF country programme in Tunisia likely to be sustained over time?


UNICEF Tunisia strengthened the

capacities of implementing

partners (and beneficiaries) and

established mechanisms to

ensure ownership and durability

of the benefits from its

interventions?

• Examples of concrete mechanisms initiated to ensure appropriation of results by national and or local counterparts

# of professionals dealing with children’s rights trained

# of institutions whose organizational capabilities were strengthened

Examples of financial arrangements created that will ensure the results created by UNCEF Tunisia can be sustained

Documents

Annual reports

Previous evaluations of health and juvenile justice components




UN Agencies staff

4.2. To what extent have the results

achieved through the

implementation of the country

programme contributed to

(national and local) systems

building and strengthening for

addressing rights of children in

an equitable manner?

• # of new policies adopted in which UNICEF played a key role

• # of new institutions created to address children’s rights in Tunisia

• # of system-level practices introduced and or strengthened through UNICEF support

• Perceptions on system-level improvements resulting from UNICEF interventions

Documents

Annual reports





UN Agencies staff

4.3. What are the key factors (of

success and or failure)

influencing sustainability of

UNICEF Tunisia programme

results?

• Type of factors contributing / hindering the sustainability of results created by UNICEF Tunisia

Documents

Annual reports



UNICEF Tunisia



© UNIVERSALIA

UN Agencies staff


UNICEF MENARO staff



© UNIVERSALIA

Appendix IV Changes to the Questions in the ToR

Original criteria and questions

Corresponding question in evaluation

matrix

Additional questions58

Relevance

1. To what extent does the country programme respond to the priority needs of the country? To what extent is the Country Programme Document aligned with other strategies of the country, UNICEF, and other agencies.

Sub-EQ 1.1; Main EQ 1 Sub-EQ 1.2

2. Have data, studies and analysis produced during the cycle informed programming shifts?

Replaced by sub-EQ 1.3 (and

transformed into an

indicator)

3. To what extent are new models introduced such as (a) the standards in early childhood development centres, (b) the WASH standards, (c) the 2nd chance programme, (d) the school dropout prevention programme best practices?

Sub-EQ 1.4

4. To what extent did the design and the interventions of the Country Programme Document integrate cross cutting issues such as gender mostly, disability, and inclusion?

Sub- EQ 1.5

Effectiveness

1. To what extent did Tunisia Country office meet expected results committed to under the country programme document and the mid term review?

Main EQ 2 Sub-EQ 2.1 Sub-EQ 2.2 Sub-EQ 2.3 Sub-EQ 2.6 Sub-EQ 2.9

Sub-EQ 2.10 2. To what extent were the results achieved gender aware

and respect the human rights agenda and the CRC?

Sub- EQ 2.4

3. To what extent did the country programme effectively contribute to system strengthening and public policies development (upstream and modelling) addressing rights of children focusing on equity issues?

Sub- EQ 2.5

58 Note that most of the additional questions (mostly on effectiveness) resulted from the discussions held with UNICEF Tunisia representative. Others resulted from a breakdown of initial questions to ensure the Evaluation questions were clearly formulated and simple, making it easy to identify unambiguous indicators


© UNIVERSALIA

4. What was UNICEF’s key advantage compared to the other stakeholders? Was UNICEF able to leverage other partners and resources? If so, to what extent and how?

Sub- EQ 2.7; 2.8

Efficiency:

1. Did the programme use the resources optimal to achieve its objectives?

Main EQ 3

2. Were the support systems (procurement, human resources etc. efficiently supporting programme delivery?

Sub- EQ 3.2

3. Did the programme strategy lead to improvement in the allocation and use of resources in the concerned programme area, and improved more efficient processes with partners?

Sub- EQ 3.1

Sustainability

1. To what extent have the results achieved through the implementation of the country programme contributed to systems building and strengthening?

Sub- EQ 4.2 Main EQ 4

2. Did the modelling strategy respond to critical issues regarding most disadvantaged children and reach expected results? What is the potential for sustainability and/or scale up?

Integrated in Sub- EQ 1.4

(and associated indicators)

3. What are the key successful elements and the main bottlenecks influencing sustainability?

Sub- EQ 4.3


© UNIVERSALIA

Appendix V List of Stakeholders Consulted The evaluation team has consulted a total of 106 persons, of which 51% were female. 9

NAME TITLE ORGANIZATION M/F

Aatem Amara Director-General preparatory cycle

Ministry of Education M

Abdelwahab Chaoueb

Education Specialist UNICEF - Tunisia M

Abdelwaheb Jerbi Deputy Chief CRE Sfax M

Adel Jellali Project Monitoring Director


Adèle Basisulua Supply officer UNICEF - Tunisia F

Adnene Lassoued Director-General National institute of statistics M

Adrian Lassouem Protection team UNICEF - Tunisia M

Ahlem Gzara Director of University and University Medicine

Ministry of health F

Ahmed Bejaoui Officer Ministry of Education M

Aida Robbana SDG Programme Specialist

UNDP Tunisia F

Ali Zouiri Director-General primary cycle


Amani Touhami Communication for development Officer

UNICEF – Tunisia F

Ayed Beligacem President of Committee Ministry of Development Investment and International Cooperation

M

Amel Cheikhrouhou Adolescent development and participation officer


Amjed Mahmoud Director of Economic, Social and Environmental

Relations

Ministry of Vocational Training and Employment M

Asma Abbes CRE Sfax F

Asma Hidri Matoussi Director of Socio-Educational Animation

and Recreation

Ministry of Women, Family and Childhood F

Azzom Hami Adel School Principal Lycée Ali Bourguiba M

Ben Salah Ramy Head of Department Ministry of Women, Family and Childhood M

Bilal Boului Finance Director UNICEF – Tunisia M

Bouker Itea Director-General CRES M

Caroline Waltchen ECD Team leader UNICEF – Tunisia F

Chahed Houda Economist Researcher Ministry of Social Affairs F

Chérifa Eyssar Kochlef

Councillor Ministry of Foreign Affairs F

Chkir Aheddjne Regional Hospital M

Chockri Maatoug Director-General Ministry of Women, Family and Childhood M

Daniek Mounir Investigator CRE Sfax M


© UNIVERSALIA


Dora Bouchouil Administrative assistant UNICEF - Tunisia F

Doudou Luemba Luvungu

Operation Manager UNICEF - Tunisia M

Douha Jourchi Executive Director ADO + F

Ezzine Najlaoui Regional Manager Ministry of Women, Family and Childhood F

Fabio Minniti Governance expert Italian Agency for Development Cooperation F

Faiçal Masmoudi Education Director Ministry of Development Investment and International Cooperation

M

Fatima Dridi Messagerie UNICEF-Tunisia F

Fatma bouhamed Head of Health sector Ministry of Development Investment and International Cooperation

F

Fethia Cheniour Teacher CRE Sfax F

Habib Smaoui Child and Youth Director Ministry of Development Investment and International Cooperation

M

Hedi Bouker Director-General Ministry of Social Affairs M

Houda Chahed Research CRES F

Hourla Chahed Deputy chief CRES F

Ikbel Fekih Director-General Ministry of Development Investment and International Cooperation

F

Jamel M’sallem President Tunisian Human Rights League M

Jamila Bettaieb Director Ministry of Women, Family and Childhood F

Jammel Med Treasurer Tunisian Human Rights League M

Jana Dab Project Officer Islamic Relief F

Jeannette Vogelaar Regional Education Advisor

UNICEF MENARO F

Jebai Mongi Programme Director primary cycle


Khaled Belhadjali Team Leader Tunisian Scouts M

Khaled Bargaoui British Embassy M

Khemars Bouali Director-General Ministry of Education M

Lamia Brahem Psychologist Ministry of Women, Family and Childhood F

Laurent Le Danois Cooperation officer European Union M

Lila Pieters Representative UNICEF Tunisia F

Loffi Sghaier Director Ministry of Development Investment and International Cooperation

M

Loussaief Fredjmounila

Math Teacher CRE Sfax F

Maha Mezriou Director General of the BEP

Ministry of Social Affairs F

Mahrez Yahyaoui Administrative Coordinator PNV

Ministry of health M

Malia Mezrioui Director Ministry of Social Affairs F

Mehdi Barouni Social Policy Specialist World Bank M


© UNIVERSALIA


Mehdi Moalla Programme Specialist HACT

UNICEF M

Michael Drabble Senior Education Specialist

World Bank M

Mihyar Hamadi DGPE Ministry of Women, Family and Childhood M

Moez Cherif President Tunisian Association for the Defense of Children's

M

Mohamed Khouini President Tunisian Union of Social Solidarity M

Mohshen Hajjej Protection team UNICEF – Tunisia M

Sakly Mouna Child Health Programme Officer


Mouna Zgoulli Protection team UNICEF-Tunisia F

Mounir Khelil Supplier Officer UNICEF-Tunisia M

Nadia Agrebi Programme Director prepatory cycle

Ministry of Education F

Nadia Bensala Child Protection Team Leader


Nadia Touihui Protection team UNICEF-Tunisia F

Naim Belguith Project Manager UNOPS M

Najet Ben Salah Minister Advisor Ministry of Justice F

Nalila Azaiz French Teacher Mahares F

Naoufel Jrad Director Ministry of Religious Affairs M

Nawel Ben Ali Director-General Ministry of Education F

Nébiha Kammoun Tlili

Director and Promotor MISTIGRI F

Noureedine Guesmi School principal Primary school of Sidi Harrath, Kasserine M

Nouri Lejmi President Haica F

Oumayma Idoudi UNV Water Sanitation and Hygiene (WASH)

specialist


Rabeb Ayari DGPE Ministry of Women, Family and Childhood F

Radhia Saidi Member of the board HAICA F

Radhia Garroaa Advisor Ministry of Education F

Raffia Benamor Education Director Ministry of Development Investment and International Cooperation

F

Rami Communication Officer Tunisian Scouts F

Ramzi Souissi ECD Officer UNICEF – Tunisia F

Riadh Ben Boubokr Director-General Ministry of Education M

Riadh Kossentini Investigation Director Ministry of Education M

Roja Beu Nahjoub HR officer UNICEF-Tunisia F

Sadok Jerbi President Civil Society M

Salma Layouni Monitoring and Evaluation Officer



© UNIVERSALIA


Samia Zayani Head of the Primary Education Support Unit


Samir Bouzekri Social Politics Specialist UNICEF – Tunisia M

Samira Mannai Social protection Ministry of Foreign Affairs F

Sifa Wassima Director Ministry of Women, Family and Childhood M

Silvia Chiarucci Deputy Representative UNICEF – Tunisia F

Simone Cicolin UNV child protection officer

UNICEF – Tunisia M

Taleb Mbarka Director-General Ministry of Development Investment and International Cooperation

F

Tarek Mgadla Programme Manager Islamic Relief M

Teber Naimi General Directorate of Social Promotion


Tenini Dhafer Communication Director Tunisian Scouts M

Toujain Hedlia Cabinet Advisor Ministry of Education F

Wahid Labidi General Commissioner Tunisian Scouts M

Wala Turki Director-General CNTE F

Walib Ben Hamida Project coordinator Islamic Relief M

Wissal Abcha Secretary of Foreign Affairs

Ministry of Foreign Affairs F


© UNIVERSALIA

Appendix VI List of Documents Consulted

▪ AFDB. (2017). Tunisia country strategy paper 2017-2021, URL: https://www.afdb.org/fileadmin/uploads/afdb/Documents/Project-and-Operations/Tunisia-1-_Country_Strategy_Paper_2017-2021.pdf.

▪ Alaya, Nizar., Riahd Ben Jelili, and Abdessatar Mabhout. (2018). Déséquilibres régionaux et inégalités sociales en Tunisie. URL https://library.fes.de/pdf-files/bueros/tunesien/14418.pdf.

▪ Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019.

▪ Ben Salah, Faiçal. (2016). Analyse de la Situation pour le Développement de la Petite Enfance en Tunisie

▪ Governement of Tunisia. (2016). Communiqué du Conseil des ministres. URL: http://www.pm.gov.tn/pm/actualites/actualite.php?id=9354&lang=fr.

▪ Government of Tunisia. (2017). Plan opérationnel de la stratégie nationale multisectorielle de développement de la petite enfance.

▪ Government of Tunisia. (2017). Stratégie nationale multisectorielle de développement de la petite enfance.

▪ Mayne. (2008). Contribution Analysis: An approach to exploring cause and effect. The Institutional Learning and Change (ILAC) Initiative, Methodological brief. 2008; http://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf

▪ Metangmo. (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisia, Tunis.

▪ Morgan, D. (1996). Focus groups. Annual Review Sociology, 22, 129–152. Annual review inc.

▪ Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019.

▪ Nespoulous. (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisia and European Union, Tunis.

▪ Patton, Michael Quinn (2008) Utilization-Focused Evaluation: 4th edition. Thousand Oaks, Ca: Sage Publications

▪ Ryan, Yasmine. (2011). How Tunisia’s Revolution began, URL: https://www.aljazeera.com/indepth/features/2011/01/2011126121815985483.html.

▪ UNDAF. (2014). Plan-cadre d’aide au développement Tunisie 2015-2019.

▪ UNICEF. (2014). Tunisia country programme documents 2015-2019.

▪ UNICEF. (2015). Budget 2015: Programme implementation Tunisia.

▪ UNICEF. (2016). Annual report 2016 - Tunisia.


▪ UNICEF. (2017). Évaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. Tunisia.

▪ UNICEF. (2018). Analyse de la Situation des Enfants en Tunisie 2018 – Rapport provisoire.



https://www.afdb.org/fileadmin/uploads/afdb/Documents/Project-and-Operations/Tunisia-1-_Country_Strategy_Paper_2017-2021.pdf



http://www.pm.gov.tn/pm/actualites/actualite.php?id=9354&lang=fr


https://www.aljazeera.com/indepth/features/2011/01/2011126121815985483.html


© UNIVERSALIA

▪ UNICEF. (2018). Excel document: Outcome/Output Performance Summary by Business Area.

▪ UNICEF. (2018). UNICEF Tunisia Organogram – 2018.

▪ UNICEF (2018). UNICEF Strategic Plan 2018-2021. New York, NY 10017, USA.



▪ UNICEF. (2019). Budget full CP Tunisia (2015-2020).

▪ UNICEF. (2019). Excel Document: Outcome/Output Performance Summary by Business Area.

▪ UNICEF. (2019). Note de la stratégie du programme de l’UNICEF en Tunisie 2019-2020.


▪ UNICEF. (2019). ToR country programme evaluation Tunisia.

▪ UNICEF. (2019). Tunisia Country Programme 2015-2020, Overview.

▪ UNICEF. Not dated. PowerPoint document illustrating the changes to the ToC and results framework following the MTR.

▪ UNICEF. Not dated. Plan de Travail pour une Éducation de qualité, inclusive et sensible au genre.

▪ UNICEF. Not dated. Plan de Travail de la Protection de l’Enfance

▪ UNICEF. Not dated. Plan de Travail Politiques Sociales (2016-2017)

▪ World Bank Group. (2015). Tunisie: Développement à la petite enfance – SABER.

▪ The National Institute of Statistics-Tunisia (2015). National Survey on Household Budget, Consumption and Standard of Living. INS. Tunis


© UNIVERSALIA

Appendix VII UNICEF Country Programme, progress on outcome and output achievement before the MTR59

59 Source: Reporting documents shared by the UNICEF team in the Tunisia Country Office


© UNIVERSALIA

Appendix VIII UNICEF Country Programme, progress on outcome and output achievement after the MTR60

60 Reporting documents shared by the UNICEF team in the Tunisia Country Office

Évaluation du Programme de Pays UNICEF – Tunisie (2015-2020)

RAPPORT FINAL* | JUIN 2020

Équipe d’évaluation : Silas Mvulirwenande, PhD (Chef d’équipe) et Luc Franche, Consultant

*La version originale de ce rapport mandaté par le Bureau régional du Moyen-Orient et de l'Afrique du Nord de l’UNICEF a été produite en anglais. Le corps du rapport a été traduit en français pour faciliter sa dissémination auprès des partenaires de l’UNICEF en Tunisie. Cependant, les annexes de la version française du rapport ont été conservées dans leur version originale.

Copyright © Universalia 2020, tous droits réservés Universalia Management Group 245 Victoria Avenue, Suite 200 Westmount, Montreal, Quebec

Canada H3Z 2M6

www.universalia.com

http://www.universalia.com/

RAPPORT FINAL i

© UNIVERSALIA

Résumé exécutif

Introduction

Le but de cette évaluation de programme de pays (PP) de l’UNICEF en Tunisie était double : a) reddition de comptes de l'UNICEF Tunisie auprès de diverses parties prenantes (dont l'UNICEF, les bailleurs de fonds, le gouvernement tunisien, les communautés et les titulaires de droits) ; et b) tirer des enseignements de la mise en œuvre du programme de pays pour informer le prochain cycle de programme.

L’évaluation de programme pays (EPP) a couvert le travail de l’UNICEF en Tunisie pour la période 2015-2020 (jusqu’au travail de terrain de l’évaluation en février 2020) et s’est focalisée sur toutes les composantes programmatiques du PP (incluant les ajustements effectués à la suite de l’examen à mi-parcours (EMP) de 2018). Les systèmes de gestion, de suivi (monitoring) et de rapports (reporting) du bureau de pays en Tunisie ont aussi été examinés. Tout en s’alignant à la portée nationale d’une analyse de haut-niveau, quatre gouvernorats (Tunis, Sfax, Kairouan et Kasserine) ont été identifiés pour un examen plus approfondi d’interventions sélectionnées.

Le PP pour la Tunisie en cours d'examen vise spécifiquement à contribuer à la réalisation des droits des enfants et des adolescents à toutes les étapes de leur vie. Le PP se concentrait initialement sur quatre domaines de résultats : qualité de l’éducation pour tous les enfants ; protection des enfants et adolescents ; et soutien intersectoriel. À la suite de l’EMP fin 2018, le PP a été restructuré et priorisé autour des premières années de l’enfance ; de la qualité de l’enseignement pour les enfants et adolescents ; et de la responsabilité des systèmes envers les enfants.

Approche et Méthodologie

Compte tenu de l'état d'avancement de la mise en œuvre du programme de pays de l'UNICEF en Tunisie, l'évaluation a combiné des approches

sommatives et formatives. L'approche sommative a été utilisée pour les composantes terminées du programme, évaluant leur performance en vue d'atteindre ou non les résultats escomptés et dans quelles conditions. L'approche formative a été utilisée pour les interventions en cours, notamment les modèles innovants introduits par le PP, afin de déterminer les progrès réalisés dans le test des modèles ainsi que leur robustesse et pertinence, en particulier leur potentiel de mise à l'échelle.

En accord avec l’objectif de l’EPP d’éclairer le prochain cycle de programmation de l'UNICEF Tunisie, l'équipe d'évaluation a adopté une approche axée sur l'utilisation, afin de répondre aux besoins et aux priorités des utilisateurs primaires et secondaires des résultats de l’évaluation, en les faisant participer tout au long de l’évaluation. Enfin, l’évaluation a suivi une approche systémique, examinant à la fois les progrès du PP en termes de résultats et les facteurs systémiques qui les influencent.

L’évaluation a triangulé des données et des informations provenant de différentes sources afin d’améliorer la fiabilité des constats et de garantir que les recommandations soient ancrées dans la réalité. Les méthodes de collecte de données suivantes ont été utilisées : (a) revue documentaire ; (b) entrevues avec des parties prenantes clés et des acteurs au niveau national et dans les gouvernorats de Tunis, Sfax, Kairouan et Kasserine ; et (c) des groupes de discussion (focus group discussions – FGD) avec des adolescents à Tunis. Au total, 106 entretiens individuels et collectifs (impliquant 52 hommes et 54 femmes) ont été menés entre le 17 et le 28 février 2020.

Pertinence

Stratégiquement, le PP a été conçu dans l’esprit du principe des ODD de « ne laisser personne de côté » (c’est-à-dire de garantir que chaque enfant en Tunisie dispose des mêmes garanties et opportunités dans la vie) et est resté cohérent avec l’évolution des priorités mondiales en

ii RAPPORT FINAL

© UNIVERSALIA

matière de droits des enfants et des adolescents. La conception du PP est restée conforme aux besoins et aux priorités du gouvernement tunisien, tels que décrits dans le plan de développement national et/ou dans les plans sectoriels. Plusieurs interventions stratégiques du PP reflètent également les domaines stratégiques et les interventions du Plan-cadre des Nations Unies pour l’aide au développement (PNUAD), de sorte que le PP est pleinement aligné aux priorités des partenaires de mise en œuvre, autre que le gouvernement tunisien.

Au niveau programmatique, la pertinence du PP réside dans sa capacité à intégrer de manière significative les principes basés sur les droits de l’enfant. Le PP (autant au départ qu’à la suite de l’EMP) a été conçu sur la base d’une analyse solide de la situation des enfants et des adolescents en Tunisie. Ainsi, les interventions du PP ont répondu aux besoins les plus urgents des groupes vulnérables d'enfants et d'adolescents en Tunisie.

Le PP a combiné une série d’interventions qui ensemble sont susceptibles de créer de réels changements pour les conditions des enfants. En décidant de mettre en œuvre une partie de ses interventions dans les gouvernorats avec les indicateurs sociaux les plus faibles, tels que Kasserine et Kairouan au centre-ouest de la Tunisie, le PP a tenté de résoudre les besoins et les priorités des enfants les plus pauvres du pays.

Efficacité

L'efficacité globale du programme national a été satisfaisante. Les composantes du programme de pays ont obtenu des résultats différents pour ce qui est de la réalisation des activités et des résultats prévus, mais dans l'ensemble, le programme de pays est en bonne voie pour atteindre les objectifs au niveau des indicateurs de produits dans les principaux domaines de résultats du programme de pays, avant et après l’examen à mi-parcours de 2018. Les résultats obtenus consistent principalement en une série de composantes (par exemple, politiques, plans, institutions, développement des capacités humaines par la formation) qui ont été créées dans les différentes composantes du programme

de pays et qui constituent une condition nécessaire pour promouvoir et créer des changements durables dans les conditions des enfants et des adolescents en Tunisie.

Les interventions du PP ont réussi à influencer les décideurs politiques, les dirigeants politiques et sociaux à tous les niveaux, ce qui a conduit à la création d'une infrastructure politique et législative favorable à la promotion des droits de l'enfant en Tunisie. En particulier, les activités de plaidoyer et d'assistance technique du PP ont permis d'améliorer considérablement les politiques, les stratégies de mise en œuvre et les réglementations visant à résoudre les problèmes liés aux droits de l'enfant. Dans d'autres cas, les interventions du PP ont attiré l'attention des décideurs politiques et d'autres parties prenantes au niveau national ou régional sur certains nouveaux problèmes liés aux droits de l'enfant (par exemple, l'eau, l'assainissement et l'hygiène dans les écoles, la violence contre les enfants).

La plupart des parties prenantes ayant participé à cette évaluation ont reconnu que l'infrastructure politique et juridique de base a été mise en place et ont fait valoir que le gouvernement et ses partenaires devraient maintenant se concentrer davantage sur les interventions qui affectent directement les conditions des enfants et des adolescents en Tunisie.

Le PP a soutenu les partenaires dans la conception et l'expérimentation de modèles innovants qui, s'ils sont mis à l'échelle, pourraient avoir un impact significatif en créant des changements durables pour les enfants tunisiens. Ces initiatives expérimentales ont permis au gouvernement et aux autres détenteurs d’obligation en termes de droits de l'enfant de passer d'une amélioration des politiques à leur mise en œuvre effective, contribuant ainsi à combler une lacune importante dans le cycle des politiques publiques.

Les partenaires de l'UNICEF Tunisie étaient généralement enthousiastes à l'égard de ces modèles, mais l'évaluation a révélé que la conception des modèles n'était pas toujours éclairée par une analyse complète des conditions structurelles nécessaires pour que ces modèles puissent être efficacement pilotés et mis à

RAPPORT FINAL iii

© UNIVERSALIA

l'échelle. Par exemple, alors que les normes E2C et DPE semblent prometteuses pour une mise à l'échelle, les modèles M4D et WASH dans les écoles ont obtenu des résultats plus limités que prévu et ne seront probablement pas durables ou mis à l'échelle. Ainsi, bien que ces modèles soient perçus comme de « bonnes » pratiques, il est encore trop tôt pour savoir s'il s'agit de « meilleures » pratiques dans le contexte tunisien, car elles sont encore en phase de pilotage et l'analyse des coûts n'a pas encore été effectuée.

Le PP a apporté de grandes contributions en termes de renforcement des capacités des partenaires de mise en œuvre (par exemple, les ministères, les organisations de la société civile). En particulier, le PP a permis de responsabiliser les adolescents, notamment en soutenant leur participation active à des activités concrètes de promotion des droits de l'enfant (par exemple, préparation d'un rapport alternatif sur la situation des droits de l'enfant en Tunisie et présentation du rapport lors de la pré-session du Comité des droits de l'enfant des Nations unies à Genève). Malgré ces efforts, mis en œuvre pour la plupart en partenariat avec des organisations de la société civile, la participation des adolescents à la vie publique reste limitée en Tunisie.

L'UNICEF Tunisie a également fourni une assistance technique (AT) à divers acteurs, allant de ceux qui travaillent dans l'élaboration des règles/politiques, aux agences gouvernementales de mise en œuvre des politiques et aux organisations de la société civile. Bien que l'AT fournie soit généralement perçue comme efficace, il y a place à amélioration en ce qui concerne l'appropriation des partenaires, notamment les processus d'engagement des experts. En particulier, les partenaires gouvernementaux dans leur ensemble ont indiqué qu'ils aimeraient être davantage impliqués dans les processus de recrutement des experts.

Le PP a fortement contribué à la gestion des connaissances relatives aux questions des droits de l'enfant, notamment en aidant les institutions concernées à mettre en place des systèmes et/ou des structures d'information appropriés qui permettent de surveiller et de rendre compte

efficacement des droits de l'homme des enfants en Tunisie. Le PP a également soutenu le développement d'études et d'activités de recherche qui ont généré des connaissances et des preuves pour les processus de prise de décision politique, notamment le MICS 6.

D'autres contributions importantes du PP comprennent la promotion d'une approche multisectorielle en Tunisie, car les différents acteurs ont appris à converger vers une vision commune, à faire des compromis et à se mettre d'accord sur des priorités ; et le changement des croyances, des valeurs et des normes sociales individuelles et communautaires parmi une variété de groupes sociaux en Tunisie (par exemple, les familles, les membres de la communauté à différents niveaux) grâce aux activités de C4D.

Les dimensions transversales de l'équité et de l'inclusion sociale ont été au cœur des interventions du PP et sont bien reflétées dans les résultats du programme. Parmi les preuves les plus marquantes, on peut citer l'initiative d'allocation universelle pour enfants (qui fait partie du socle de protection sociale et dont un projet de loi est actuellement en attente d'adoption par l'Assemblée des représentants du peuple), qui vise à garantir les droits des enfants de manière équitable et plaide pour l'accès aux services d'éducation de la petite enfance et à une éducation de qualité pour tous les enfants en Tunisie.

Les résultats en matière d'équité et d'inclusion sociale se reflètent également dans le plaidoyer réussi en faveur de l'accès aux services d'éducation de la petite enfance et d'une éducation de qualité pour tous les enfants en Tunisie, ainsi que dans les nombreuses interventions du PP qui sont mises en œuvre dans des régions ayant différents niveaux de développement, ciblant parfois des zones peu accessibles.

Alors que l'égalité des genres était intégrée dans les interventions du programme avant l'examen à mi-parcours (par exemple, dans les modules des programmes d'éducation relatifs aux compétences de la vie courante, à l'éducation à la citoyenneté et aux programmes de formation des enseignants), l'évaluation a souligné l'insuffisance de l'intégration de l'égalité des

iv RAPPORT FINAL

© UNIVERSALIA

genres pendant la période suivant l'examen à mi-parcours. Au cours de cette période, le PP a souffert d'un manque d'actions ciblées sur l'égalité des genres, notamment en incluant des objectifs et des quotas clairs et réalistes pour la participation des garçons et des filles dans tous les domaines programmatiques et à différents résultats et effets du programme.

Un large éventail de facteurs contextuels a influencé l'efficacité du PP. Le vaste contexte post-révolutionnaire et l'esprit de changement qui le caractérise à tous les niveaux ont donné au PP l'occasion de faire progresser l’agenda sur les droits de l'enfant. Toutefois, les réalités économiques difficiles du pays ces dernières années et l'instabilité politique en Tunisie ont sérieusement entravé la réussite de la mise des interventions du programme de pays.

Efficience

La mise en œuvre du PP a été prolongée d'une année complète (jusqu'en 2020), principalement dans le but d'aligner le cycle de programmation du système des Nations unies sur le cycle de planification du gouvernement pour 2021-2025. De nombreux projets du PP ont connu des retards au cours de leur mise en œuvre, mais ces retards étaient principalement dus à des facteurs externes à l'UNICEF Tunisie, dont certains n'ont pas été évalués de manière adéquate au cours de la phase de conception du projet.

Le bureau de pays de l'UNICEF à Tunis a souffert d'un manque de personnel durant tout le cycle de programmation, ce qui a eu des répercussions négatives sur la mise en œuvre. Les résultats du PP étaient plutôt ambitieux compte tenu des ressources humaines et financières limitées disponibles. La question du personnel a été d’autant plus aggravée par les rotations fréquentes du personnel au cours du cycle de programmation, de nombreux membres du personnel qualifiés et expérimentés ayant quitté le BP. L'absence d'un système d’intégration et d’orientation systématique et efficace du personnel au sein du BP a conduit certains nouveaux membres du personnel à mettre en œuvre des interventions dont ils n'avaient qu'une

compréhension partielle, ce qui a entraîné des retards dans la mise en œuvre.

Le BP a pris l'initiative de remédier au problème de personnel, notamment en faisant appel à des consultants externes, principalement des entreprises, pour mettre en œuvre certaines des initiatives. Toutefois, le recours à des consultants externes a eu des répercussions négatives potentielles sur la mise en œuvre globale du programme. Si les consultants externes apportent une expertise technique et réalisent une partie importante des activités prévues, ils ne peuvent pas servir de représentants de l'UNICEF aux yeux de ses partenaires, ni aider l'UNICEF à disposer d'une mémoire institutionnelle solide.

Les procédures de partenariat de l’UNICEF-Tunisie sont généralement bien perçues par les partenaires, notamment comme étant simples et flexibles. En comparaison, le système et les procédures de passation de marchés du BP ont souffert d'inconvénients limitant l'efficacité de l'organisation. Notamment, le BP n'avait pas une solide expérience préalable en matière de passation de marchés et manquait donc de cohérence dans ses procédures de passation de marchés. En raison de l'absence de plans d'achat (ou d'approvisionnement) au niveau de l'organisation, l'équipe des opérations a été submergée par des demandes d'achat qui leur ont été envoyées par la direction et d'autres unités, ce qui a retardé les processus d'achat et donc la mise en œuvre des projets.

L'examen à mi-parcours de 2018 a représenté une étape importante du programme de coopération. En suivant les recommandations de l’EMP, le BP a adopté l'approche du cycle de vie, en restructurant à la fois sa théorie du changement (TdC) et son cadre de résultats ainsi que son personnel. Ces ajustements et cette restructuration ont donné des résultats, notamment : veiller à ce que l'UNICEF fournisse une assistance technique à ses partenaires de manière multisectorielle ; veiller à ce que les rapports de résultats et les indicateurs inclus dans le cadre de résultats reflètent mieux les projets réalisés par l'UNICEF, soient spécifiques et concrets. Toutefois, la restructuration a également eu des effets négatifs. En particulier, le personnel consulté a indiqué que les unités du

RAPPORT FINAL v

© UNIVERSALIA

bureau de pays en Tunisie travaillaient toujours en vase clos après la restructuration. En outre, les changements ont créé du stress et de la frustration parmi le personnel, certaines personnes percevant leurs intérêts de carrière comme menacés, ce qui a entraîné le départ de certains membres clés du personnel du BP.

Durabilité

Le PP a produit des outils et des résultats susceptibles d’être utilisés et durables dans le temps. Des exemples notables incluent les nombreux instruments développés avec l’assistance technique de l’UNICEF Tunisie pour le secteur de l’éducation. Les principaux facteurs contribuant à la susceptible durabilité des résultats incluent le choix stratégique du BP de concevoir le changement social comme un processus multi-acteurs, multi-niveaux et multi-sectoriel. Cette stratégie d’engagement inclusif a accru l’appropriation des interventions et des résultats par les partenaires.

Un autre facteur de durabilité est lié à la priorité du PP sur des interventions qui renforcent les systèmes et développent les capacités des institutions concernées qui travaillent sur les enjeux de droits des enfants. Ces interventions incluent l’assistance technique aux partenaires gouvernementaux, la formation de professionnels au sein des institutions gouvernementales et des organisations de la société civile concernées, l’apport de formations de formateurs (ToT selon l’acronyme en anglais), et le soutien au développement de normes et d’outils qui sont susceptibles d’être utilisés sur le long terme.

Pour les interventions qui n’ont pas été totalement mises en œuvre, notamment les interventions expérimentales que l’UNICEF et ses partenaires sont toujours en train de tester en Tunisie, il est difficile de parler de durabilité des résultats finaux. Cependant, le PP a pris deux mesures principales, en plus de celles mentionnées ci-dessus, pour garantir la durabilité des résultats et la mise à l’échelle des modèles. Ces étapes incluent l’effort explicite fait par l’UNICEF et ses partenaires pour utiliser les structures existantes afin de réduire les coûts des

pilotes (par exemple, le centre d’éducation de la deuxième chance à Tunis a été établi dans un bâtiment existant et rénové), la sélection de modèles à bas coût testés ailleurs et adaptés au contexte tunisien, et l’apport de soutien dans la préparation d’études de coûts pour les modèles.

Il y a deux facteurs principaux susceptibles de limiter la durabilité des résultats atteints lors de la mise en œuvre du PP. D’une part, la nature à court-terme de certaines interventions, en particulier pour les activités mises en œuvre en partenariat avec des organisations de la société civile et qui durent seulement quelques mois. Certains exemples concernent les activités de C4D (par exemple l’éducation parentale positive, les campagnes sur les réseaux sociaux, et les festivals) et les quatre plates-formes régionales établies pour sensibiliser sur la violence contre les enfants. De telles interventions ont atteint des résultats rapides, mais elles sont susceptibles de ne pas être durables car elles n’ont pas obtenu de soutien supplémentaire de la part ni de l’UNICEF Tunisie, ni de ses partenaires. D’autre part, les ressources financières et humaines des partenaires sont insuffisantes pour garantir la durabilité des résultats.

Leçons apprises

Les leçons apprises principales découlant de l’analyse des constats sont les suivantes : (1) une analyse solide de l'économie politique du pays d'intervention est d'une importance cruciale pour la conception d'une programmation-pays efficace : cela permet aux acteurs d’identifier et de considérer les facteurs critiques susceptibles de conduire ou d'entraver leurs interventions ; (2) les transitions politiques offrent un terrain propice pour la promotion des programmes relatifs aux droits des enfants ; (3) l'évaluation des besoins en capacités est une condition préalable essentielle à la conception d'un PP solide et applicable ; (4) la restructuration organisationnelle qui survient au milieu de la mise en œuvre du programme de pays peut avoir des effets contre-productifs ; (5) les processus d'innovation dans le secteur public sont, de par leur nature, des processus complexes et il convient d'en tenir compte lors de la conception d'interventions innovantes.

vi RAPPORT FINAL

© UNIVERSALIA

Recommandations

Les recommandations présentées dans cette section ont été formulées sur la base des constats et des conclusions de cette évaluation, spécifiquement pour l’UNICEF Tunisie, le gouvernement tunisien et d’autres partenaires. Celles-ci ont été validées et affinées lors d’un processus de consultation qui a impliqué : (1) un atelier de débriefing en Tunisie (auquel ont participé un large éventail de partenaires) ; (2) une discussion sur les recommandations préliminaires avec quelques membres des équipes de l’UNICEF à Tunis ; et (3) des retours sur le rapport préliminaire de la part des équipes UNICEF du bureau de pays en Tunisie et du bureau régional du Moyen-Orient et de l'Afrique du Nord (MENARO), et d’autres parties prenantes.

Recommandation 1 : L'UNICEF et ses partenaires devraient développer un programme de pays qui se concentre sur les initiatives prioritaires et qui prend en compte les risques potentiels.

Recommandation 2 : Au cours du prochain cycle de programmation, l'UNICEF et ses partenaires devraient se concentrer sur le plaidoyer pour l'intensification (ou la mise à l’échelle) des initiatives existantes plutôt que de se lancer dans de nouveaux projets d'innovation.

Recommandation 3 : L'UNICEF devrait travailler davantage sur les aspects « d’intégration de programme » - c'est-à-dire en favorisant un travail plus collaboratif entre les unités et leurs interventions respectives – afin d’améliorer l'efficience dans la livraison des résultats du programme.

Recommandation 4 : Le gouvernement tunisien devrait envisager d'institutionnaliser la coordination et l'approche multisectorielle favorisée par le programme de pays, avec le soutien technique de l'UNICEF Tunisie.

Recommandation 5 : Lors du prochain cycle de programmation, l'UNICEF Tunisie et ses partenaires devraient s'efforcer de se rapprocher davantage des enfants eux-mêmes, en les impliquant dans les processus de prise de décision. Cela impliquerait d'aller au-delà de « l'écoute » des enfants et de les encourager à participer aux choix stratégiques ainsi qu'aux systèmes de suivi et d'évaluation des programmes.

Recommandation 6 : Dans le prochain cycle de programmation, le programme d'équité et d'inclusion devrait être poursuivi et la dimension d'égalité du genre devrait être mieux prise en compte grâce à la collaboration avec les partenaires concernés, et mieux articulée dans le PP.

RAPPORT FINAL vii

© UNIVERSALIA

Acronymes

AfDB African Development Bank (Banque africaine de développement)

AICD Agence italienne pour la coopération au développement

APD Aide publique au développement

AT Assistance technique

BP Bureau de pays

C4D Communication for Development (Communication pour le développement)

CAD Comité d'aide au développement

CAP Étude sur l'état des connaissances, attitudes et pratiques

CDE Convention des Nations Unies relative aux droits de l'enfant

DFID Department for International Development (UK) (Département du développement international)

DPE Développement de la petite enfance

DPP Descriptif de programme de pays

E2C École de la deuxième chance

EMP Examen à mi-parcours (MTR – Mid-term review)

EPP Évaluation de programme de pays

FGD Focus Group Discussion (Groupe de discussion)

GT Gouvernement de la Tunisie

HACT Harmonized approach to cash transfers (approche harmonisée des transferts monétaires)

HAICA Haute Autorité Indépendante de la Communication Audiovisuelle

INS Institut national de la statistique

M4D Modèle à quatre dimensions

MDICI Ministère du Développement, des Investissements et de la Coopération internationale

MENARO Middle East and North Africa Regional Office (Bureau régional du Moyen-Orient et de l'Afrique du Nord)

viii RAPPORT FINAL

© UNIVERSALIA

MFFES Ministère de la Femme, de la Famille, des Enfants et des Seniors

MICS Multiple Indicator Cluster Survey (Enquête en grappes à indicateurs multiples)

MINEDUC Ministère de l’Éducation

MoRES Monitoring Results for Equity System (ou SSRpE : système de suivi des résultats pour l'équité)

NU Nations Unies

OCDE Organisation de coopération et de développement économiques

ODD Objectif de développement durable

OMS Organisation mondiale de la santé

ONG Organisation non-gouvernementale

PIPE Politique d'État intégrée pour la protection de l'enfance

PNUAD Plan-cadre des Nations Unies pour l’aide au développement

PP Programme de pays

PTF Partenaire technique et financier

QE Question d’évaluation

S&E Suivi & évaluation

TdC Théorie du changement

TdR Termes de référence

ToT Training of Trainers (formation de formateurs)

UE Union européenne

UNICEF United Nations Children’s Fund (Fonds des Nations Unies pour l'enfance)

UNOPS United Nations Office for Project Services (Bureau des Nations unies pour les services d'appui aux projets)

UTSS Union Tunisienne de Solidarité Sociale

WASH Water, Sanitation and Hygiene (Eau, assainissement et hygiène)

RAPPORT FINAL ix

© UNIVERSALIA

Table des matières RÉSUMÉ EXÉCUTIF ..................................................................................................... I

Introduction ........................................................................................................................................ i

1 INTRODUCTION ................................................................................................ 11

2 CONTEXTE NATIONAL ET PROGRAMME DE PAYS DE L’UNICEF TUNISIE ............. 12

2.1 Contexte national .................................................................................................................... 12

2.2 Programme de pays de l’UNICEF Tunisie ................................................................................. 13

3 BUT, OBJECTIFS ET PORTÉE DE L’ÉVALUATION .................................................. 15

3.1 But ………………………………………………………………………………………………………………………………….15

3.2 Objectifs ................................................................................................................................... 15

3.3 Portée ...................................................................................................................................... 15

3.4 Utilisateurs de l’évaluation ...................................................................................................... 16

4 APPROCHE ET MÉTHODOLOGIE DE L'ÉVALUATION ........................................... 17

4.1 Approche générale .................................................................................................................. 17

4.2 Critères et questions d’évaluation ........................................................................................... 17

4.3 Sources, méthodes de collecte et d’analyse des données ...................................................... 18

4.4 Contraintes .............................................................................................................................. 19

5 CONSTATS ........................................................................................................ 20

5.1 Pertinence ................................................................................................................................ 20

5.2 Efficacité .................................................................................................................................. 23

5.2.1 Efficacité globale ........................................................................................................... 24

5.2.2 Contribution au changement de politiques .................................................................. 26

5.2.3 Soutien à la mise en œuvre de politiques ..................................................................... 27

5.2.4 Contribution à l’évolution des normes sociales ............................................................ 32

5.2.5 Contribution à la gestion des connaissances ................................................................ 33

5.2.6 Intégration des dimensions transversales .................................................................... 35

5.2.7 Facteurs contextuels affectant les interventions du PP ................................................ 37

5.3 Efficience.................................................................................................................................. 38

5.3.1 Efficience en termes d’utilisation du temps .................................................................. 38

5.3.2 Ressources humaines (et équipes) ................................................................................ 39

5.3.3 Ajustements et restructuration du programme............................................................ 41

5.3.4 Procédures organisationnelles ...................................................................................... 42

5.4 Durabilité ................................................................................................................................. 43

5.4.1 Facteurs favorisant la durabilité.................................................................................... 43

5.4.2 Facteurs limitant la durabilité ....................................................................................... 45

6 CONCLUSIONS .................................................................................................. 47

7 LEÇONS APPRISES ............................................................................................. 49

x RAPPORT FINAL

© UNIVERSALIA

8 RECOMMANDATIONS ....................................................................................... 51

Graphiques

Graphique 4.1 Phases de l’évaluation, méthodes de collecte et d’analyse des données ....... 18

Graphique 5.1 Intégration d’une programmation basée sur les droits des enfants dans le DPP de l’UNICEF ....................................................................................................... 23

Tableaux

Tableau 3.1 Portée de l’évaluation du programme de pays de l’UNICEF Tunisie .................................. 15

Tableau 4.1 Principales questions d’évaluation ..................................................................................... 18

Annexes

Annexe 1. Termes de référence .......................................................................................... 55

Annexe 2. Théorie du changement du programme de pays de l’UNICEF Tunisie .............. 64

Annexe 3. Matrice d’évaluation .......................................................................................... 65

Annexe 4. Changements aux questions des TdR ................................................................. 75

Annexe 5. Liste des parties prenantes consultées .............................................................. 77

Annexe 6. Liste des documents consultés ........................................................................... 81

Annexe 7. Progrès sur l’atteinte des résultats et des produits avant l'examen à mi-parcours .............................................................................................................. 83

Annexe 8. Progrès sur l’atteinte des résultats et des produits après l'examen à mi-parcours .............................................................................................................. 84

RAPPORT FINAL 11

© UNIVERSALIA

1 Introduction 1. Le Groupe Administratif Universalia Limitée (ci-après « Universalia ») a le plaisir de soumettre ce rapport final au bureau régional du Moyen-Orient et de l'Afrique du Nord (MENARO) du Fonds des Nations Unies pour l'enfance (UNICEF) pour l'évaluation du programme de pays UNICEF-Tunisie (2015-2020).

2. L'évaluation du programme de pays (EPP) couvre le cycle complet du programme, conformément aux termes de référence (TdR) (voir TdR à l'annexe 1). L’évaluation s’est déroulée du 9 janvier au 3 avril 2020, avec une mission de terrain en Tunisie du 17 au 28 février 2020, dans les gouvernorats de Tunis, Sfax, Kasserine et Kairouan.

3. Le but de cette évaluation est de fournir des éléments de preuve impartiaux et indépendants pour appuyer le bureau de pays et le gouvernement de la Tunisie (GT) à identifier et à combler les lacunes en matière de connaissances nécessaires à l'élaboration du nouveau document de programme de pays pour 2021-2025. Les utilisateurs principaux de cette évaluation sont le bureau de pays (BP) de l'UNICEF Tunisie, UNICEF MENARO et le GT.

4. Après cette introduction, le rapport d’évaluation est structuré comme suit :

▪ Section 2 – Contexte national et Programme de pays de l’UNICEF Tunisie

▪ Section 3 – But, objectifs et portée de l’évaluation

▪ Section 4 – Approche et méthodologie de l’évaluation

▪ Section 5 – Constats par critère d’évaluation

▪ Section 6 – Conclusions

▪ Section 7 – Leçons apprises

▪ Section 8 – Recommandations

5. Des documents complémentaires sont annexés à ce rapport final comme suit :

▪ Annexe 1 : Termes de référence

▪ Annexe 2 : Théorie du changement

▪ Annexe 3 : Matrice d'évaluation

▪ Annexe 4 : Modifications apportées aux questions du mandat

▪ Annexe 5 : Liste des parties prenantes consultées

▪ Annexe 6 : Liste des documents consultés

▪ Annexe 7: Progrès sur l’atteinte des résultats (outcomes) et des produits (outputs) avant l'examen à mi-parcours

▪ Annexe 8: Progrès sur l’atteinte des résultats et des produits après l'examen à mi-parcours

12 RAPPORT FINAL

© UNIVERSALIA

2 Contexte national et Programme de pays de l’UNICEF Tunisie

2.1 Contexte national

6. Le 17 décembre 2010, la Tunisie plonge dans une révolution de 28 jours, appelée la révolution du jasmin, qui marque le début de ce que l'on appelle aujourd'hui le printemps arabe.1 À la fin de la révolution en janvier 2011, la Tunisie entre dans une période de transition politique qui durera quatre ans (2011-2014). Durant cette période, une nouvelle Constitution est mise en œuvre, jetant les bases d'un état démocratique, et un article réitérant les principes de la Convention des Nations Unies relative aux droits de l'enfant (CDE) est ajouté.2

7. Tandis que le taux de pauvreté est passé de 25,4 % en 2000 à 23,1% et 15,2 % respectivement en 2005 et 2015, la situation s'est détériorée dans le pays durant la période de transition. En effet, l’enquête nationale sur le budget, la consommation et le niveau de vie des ménages de 2015 démontre que la situation socio-économique actuelle laisserait un enfant de moins de cinq ans sur cinq sous le seuil de pauvreté.34 De plus, les disparités sociales se reflètent géographiquement, avec les niveaux de pauvreté les plus importants dans les régions intérieures. Les gouvernorats de l'ouest tels que Siliana, Tozeur, Le Kef et Kasserine ont le taux le plus élevé de familles bénéficiant du Programme National d’Aide aux Familles nécessiteuses.5

8. Malgré un taux de croissance économique de 2,6 % en 2017 et l'amélioration progressive de secteurs tels que le tourisme et l'agriculture, les conditions socio-économiques en Tunisie restent très préoccupantes.6 Le pays fait toujours face à de graves problèmes de développement, dont le taux de chômage des jeunes qui demeure élevé et les expose à des activités illicites, à envisager la migration irrégulière et poussent même certains au suicide.7 En outre, la pression démographique, l'instabilité politique et l'environnement budgétaire restreint, combinés à des changements répétés à tous les niveaux de l'administration publique, ont affaibli les services publics. 8 Ces questions clés ont un impact non-négligeable sur la réalisation des droits des enfants et des adolescents en Tunisie. Ainsi, plus de deux millions d'enfants sont toujours exclus de toute forme de soutien par le biais de programmes de protection sociale spécifiques ; la qualité de l'éducation s'est détériorée, avec plus de 100 000 enfants (7 %) abandonnant l'école avant l'âge de 16 ans chaque année (i.e., incluant les enfants de cinq ans qui devraient être en maternelle, les enfants en âge d’être à l’école primaire et les enfants en âge d’être au collège); tandis que les violences contre les enfants et les adolescents demeuraient à un taux élevé de

1 Ryan, Yasmine. (2011). How Tunisia’s Revolution began, URL:https://www.aljazeera.com/indepth/features/2011/01/2011126121815985483.html 2 AFDB. (2017). Tunisia country strategy paper 2017-2021. 3 The National Institute of Statistics-Tunisia (2015). National Survey on Household Budget, Consumption and Standard of Living. INS. Tunis 4 Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019, p.52. 5 Source: Alaya, Nizar., Riahd Ben Jelili, and Abdessatar Mabhout. (2018). Déséquilibres régionaux et inégalités sociales en Tunisie URL: https://library.fes.de/pdf-files/bueros/tunesien/14418.pdf. And Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019, p.269. 6 UNICEF. (2018). Rapport annuel 2018 - Tunisie. 7 Ibid. 8 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019.


RAPPORT FINAL 13

© UNIVERSALIA

93,4 % en 2018.9 Ainsi en 2018, 88,1 % des enfants entre 1 et 14 ans avaient été victimes de punitions corporelles comme mesure disciplinaire ou d’agressions psychologiques de la part de leurs responsables légaux.10

9. En réponse à ces défis de développement, le GT a adopté le 12 avril 2017 un nouveau plan de développement quinquennal pour la période 2016-2020. Le plan de développement stratégique se concentre sur la croissance économique et la réduction des disparités régionales à travers cinq priorités, à savoir la bonne gouvernance, la réforme structurelle et la lutte contre la corruption ; la transition d'une économie à faible coût vers un pôle économique ; le développement humain et l'inclusion sociale ; la réalisation des ambitions régionales ; et l’accent sur une économie verte et durable.11

2.2 Programme de pays de l’UNICEF Tunisie

10. Le programme de pays (PP) pour la Tunisie en cours d'examen vise spécifiquement à contribuer à la réalisation des droits des enfants et des adolescents à toutes les étapes de leur vie.12 Cette mission est menée grâce à des interventions dans quatre domaines ou composantes stratégiques, à savoir les politiques sociales et sanitaires équitables ; la qualité de l'éducation pour tous les enfants ; la protection des enfants et des adolescents ; et l’appui intersectoriel.13

11. En 2018, un examen à mi-parcours (EMP ou mid-term review – MTR selon l’acronyme en anglais) a été effectué, menant à la restructuration du programme afin de répondre de manière adéquate aux défis auxquels sont confrontés les enfants et les adolescents, en se concentrant sur les plus vulnérables. Suivant une approche de « cycle de vie » (life cycle approach), de nouvelles priorités ont été établies comme indiquées dans la note de stratégie du programme de 2019 autour de trois principaux résultats (outcomes) : favoriser les soins, la protection, la stimulation et l'accès à un apprentissage précoce de qualité pour les enfants de 0 à 5 ans (résultat 1) ; l'accessibilité à de multiples voies vers un apprentissage de qualité, incluant l’acquisition de compétences de vie et l’éducation citoyenne, et la protection pour plus de filles et de garçons, notamment parmi les adolescents et les plus vulnérables (résultat 2) ; et la responsabilité des systèmes envers les enfants (résultat 3).

12. Le bureau de l'UNICEF Tunisie a élaboré une théorie du changement (TdC) pour le programme de pays et des TdC individuelles pour chaque domaine de résultats. Ces TdC décrivent les voies par lesquelles l'UNICEF entend atteindre les résultats et clarifie les hypothèses qui déterminent ce succès. Les détails de la TdC du PP se trouvent à l'annexe 2.

13. Le budget financé pour le PP est de plus de 30 millions de dollars américains (USD) pour la période prolongée 2015-2020. Le montant actuellement utilisé est de 22 105 598 USD.14 Les principaux bailleurs de fonds sont l’Union européenne (UE), le Fonds Conflit, Stabilité et Sécurité du Royaume-Uni, et l’Agence italienne pour la coopération au développement (AICD).

14. Le PP est mis en œuvre par divers partenaires, chacun avec des responsabilités différentes. Le rôle du bureau pays de l'UNICEF Tunisie est de mettre en œuvre les stratégies du PP à travers un partenariat étroit avec les acteurs gouvernementaux aux niveaux central et régional, avec les acteurs de la société civile et les acteurs du secteur privé.15 Le bureau régional de l'UNICEF (MENARO) fournit

9 UNICEF. (2018). Rapport annuel 2018 - Tunisie. 10 Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019. 11 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019. 12 UNICEF. (2019). Note de la stratégie du programme de l’UNICEF en Tunisie 2019-2020. 13 UNICEF. (2018). Rapport annuel 2018. 14 UNICEF. (2019). Budget full CP (2015-2020). 15 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019, p.29-30.

14 RAPPORT FINAL

© UNIVERSALIA

des services de supervision, d'orientation et d'assistance technique au bureau pays de l'UNICEF Tunisie, selon les besoins. Enfin, le rôle des bailleurs de fonds et des partenaires privés est d'aider l'UNICEF à atteindre ses objectifs en fournissant des fonds et en mobilisant des ressources pour la mise en œuvre des interventions.

RAPPORT FINAL 15

© UNIVERSALIA

3 But, objectifs et portée de l’évaluation

3.1 But

15. Comme indiqué dans les TdR de l'évaluation, le but de la présente évaluation de programme de pays (EPP) est double : a) reddition de comptes de l'UNICEF Tunisie auprès de diverses parties prenantes (dont l'UNICEF, les bailleurs de fonds, le gouvernement tunisien, les communautés et les titulaires de droits) ; et b) tirer des enseignements de la mise en œuvre du programme de pays pour informer le prochain cycle de programme.

3.2 Objectifs

16. Conformément au but de l'évaluation, les objectifs spécifiques de l’EPP sont les suivants :

▪ Évaluer la performance de l'UNICEF Tunisie en ce qui concerne le degré d’atteinte des résultats attendus tels que définis dans le descriptif de programme de pays pour la période 2015-2020, et identifier et documenter les facteurs internes et externes qui ont influencé ces résultats.

▪ Examiner si les changements de programme introduits par l'UNICEF Tunisie à la suite de l'examen à mi-parcours ont amélioré l'exécution du programme et si les nouveaux modèles introduits en tant que projets pilotes sont des meilleures pratiques qui peuvent être reproduites.

▪ Identifier les leçons apprises de la mise en œuvre du programme de pays de l'UNICEF Tunisie (2015-2020) et fournir des recommandations (opérationnelles) réalisables pour le prochain cycle de programme 2021-2025.

3.3 Portée

17. Les différents éléments qui définissent le champ d'application de l'EPP sont présentés dans le tableau 3.1.

Tableau 3.1 Portée de l’évaluation du programme de pays de l’UNICEF Tunisie

PORTÉE DESCRIPTION

Temporelle L'évaluation a couvert les activités de l'UNICEF Tunisie pour la période 2015-2020 (jusqu'au travail de terrain de l'évaluation).

Programmatique L'évaluation a couvert toutes les composantes programmatiques de l'actuel programme de pays de l'UNICEF (et les ajustements effectués à la suite de l'examen à mi-parcours de 2018).

Organisationnelle Les systèmes de gestion, de suivi (monitoring) et de rapports (reporting) du programme de pays de l'UNICEF en Tunisie.

Géographique Les activités de l’UNICEF Tunisie sont réparties dans l’ensemble du pays. Tout en s’alignant à la portée nationale d’une analyse de haut-niveau, l’évaluation n’a pas examiné avec autant de profondeur toutes les activités de l’UNICEF en Tunisie. Quatre gouvernorats (Tunis, Sfax, Kairouan and Kasserine) ont été identifiés pour un examen plus approfondi d’interventions sélectionnées.

16 RAPPORT FINAL

© UNIVERSALIA

3.4 Utilisateurs de l’évaluation

18. Les principaux utilisateurs de l'évaluation sont le bureau de pays de l'UNICEF en Tunisie, le bureau régional de l'UNICEF (MENARO) et le gouvernement tunisien. Les utilisateurs secondaires comprennent les partenaires de développement nationaux et internationaux tels que les agences des Nations Unies, les organisations non gouvernementales (ONG) et d'autres acteurs de la société civile directement ou indirectement impliqués dans le programme de pays.

RAPPORT FINAL 17

© UNIVERSALIA

4 Approche et méthodologie de l'évaluation

4.1 Approche générale

19. L'évaluation a appliqué une approche axée sur la théorie, basée sur les théories du changement (TdC) sectorielles et explicites élaborées par le bureau de pays de l'UNICEF en Tunisie, combinée à une analyse des contributions.16

20. Compte tenu de l'état d'avancement de la mise en œuvre du programme de pays de l'UNICEF en Tunisie, l'évaluation a combiné des approches sommatives et formatives. L'approche sommative a été utilisée pour les composantes terminées du programme, évaluant leur performance en vue d'atteindre ou non les résultats escomptés et dans quelles conditions. L'approche formative a été utilisée pour les interventions en cours, notamment les modèles innovants introduits par le PP, afin de déterminer les progrès réalisés dans le test des modèles ainsi que leur robustesse et pertinence, en particulier leur potentiel de mise à l'échelle. Ici, l'évaluation s'est concentrée davantage sur la pertinence stratégique et le potentiel de mise à l'échelle que sur la performance.

21. Étant donné que cette EPP est destinée à éclairer le prochain cycle de programmation de l'UNICEF Tunisie (ainsi que la programmation conjointe du système des Nations Unies et la programmation des partenaires en Tunisie), l'équipe d'évaluation a adopté une approche axée sur l'utilisation.17 Par conséquent, l'équipe s'est engagée avec l'UNICEF Tunisie, l'UNICEF MENARO et les partenaires gouvernementaux pour s'assurer que l'évaluation répond aux besoins et aux priorités des utilisateurs.

22. Enfin, l'évaluation a suivi une approche systémique, c'est-à-dire une approche qui reflète la complexité de la réalité en Tunisie et la manière dont celle-ci a influencé la performance du programme de pays de l'UNICEF Tunisie. Ainsi, l'équipe d'évaluation a évalué non seulement les progrès accomplis par l'UNICEF Tunisie vers l'atteinte des résultats définis dans son cadre de résultats, mais aussi les facteurs systémiques influençant les résultats, y compris les limites du système plus large, et comment les relations entre les différents acteurs dans le système ont facilité ou inhibé la réalisation des résultats.

4.2 Critères et questions d’évaluation

23. Conformément aux TdR, l'EPP a utilisé les critères et principes énoncés dans les Normes de qualité pour l'évaluation du développement du Comité d'aide au développement de l'Organisation de coopération et de développement économiques (CAD/OCDE). Les critères considérés sont la pertinence, l'efficacité, l'efficience et la durabilité. L’évaluation n’a pas pris en compte le critère d’ « impact », en effet elle n’avait pas pour objectif d’évaluer les résultats à long terme des interventions de l’UNICEF en Tunisie, ni à attribuer des changements de niveau macro au travail de l’UNICEF.

16 Mayne (2008). Contribution Analysis: An approach to exploring cause and effect. The Institutional Learning and Change (ILAC) Initiative, Methodological brief. 2008; http://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf

17 Patton, Michael Quinn (2008) Utilization-Focused Evaluation: 4th edition. Thousand Oaks, Ca: Sage Publications


18 RAPPORT FINAL

© UNIVERSALIA

L'évaluation a plutôt identifié dans quelle mesure les interventions de l'UNICEF ont contribué aux changements (résultats) identifiés dans le descriptif de programme de pays (DPP). Les TdR ont également souligné la nécessité d'évaluer le degré d'intégration des dimensions transversales du genre, du handicap, et de l'inclusion dans la conception et la mise en œuvre du programme de pays de l'UNICEF en Tunisie.

24. Les questions d'évaluation (QE) suggérées dans les TdR ont été légèrement affinées par l'équipe d'évaluation, en séparant les principales questions d'évaluation (voir tableau 4.1) et en les divisant en sous-questions (voir matrice d'évaluation à l'annexe 3). Les modifications apportées aux questions des TdR sont expliquées à l'annexe 4.

Tableau 4.1 Principales questions d’évaluation

CRITÈRES D’ÉVALUATION QUESTIONS PRINCIPALES D’ÉVALUATION

Pertinence Dans quelle mesure et comment le programme de pays de l'UNICEF en Tunisie a-t-il été une réponse pertinente pour améliorer la situation des enfants dans ce pays ?

Efficacité Dans quelle mesure et comment le bureau de pays de la Tunisie a-t-il atteint les résultats escomptés dans le DPP et lors de l'examen à mi-parcours ?

Efficience Dans quelle mesure et comment le programme de pays de l'UNICEF a-t-il utilisé les ressources de manière optimale afin d’atteindre ses objectifs ?

Durabilité Dans quelle mesure et comment les résultats obtenus par le programme de pays de l’UNICEF en Tunisie sont-ils susceptibles de durer dans le temps?

4.3 Sources, méthodes de collecte et d’analyse des données

25. L'évaluation a comporté trois phases : (a) démarrage (inception) ; (b) collecte de données ; et (c) analyse et écriture du rapport d’évaluation (reporting). La méthodologie a impliqué des méthodes de collecte de données qualitatives et quantitatives. Les informations provenant de sources de données différentes ont été triangulées afin d'améliorer la fiabilité des résultats et de garantir que les recommandations soient ancrées dans la réalité. Les méthodes de collecte de données suivantes ont été utilisées : (a) revue documentaire ; (b) entretiens avec les principales parties prenantes ; et (c) groupes de discussion (focus group discussions – FGD). Le processus d’évaluation et les méthodes utilisées sont illustrés dans le graphique 4.1.

Graphique 4.1 Phases de l’évaluation, méthodes de collecte et d’analyse des données

26. Les données primaires de cette évaluation ont été collectées auprès des parties prenantes nationales et des gouvernorats de Tunis, Sfax, Kairouan et Kasserine. Ces gouvernorats ont été sélectionnés car ils offrent une vue d'ensemble du pays, avec des niveaux de développement et des

Démarrage(Inception)

Revue documentair

e

Consultations avec l'UNICEF à Tunis et le

MENARO

Rapport de démarrage

Collecte de

données

Entrevues à distance avec

des parties prenantes

Collecte de données en

Tunisie

Atelier de validation

Analyse des données et reporting

Rapport d'évaluation

versions préliminaire et

finale

Atelier final de dissémination

RAPPORT FINAL 19

© UNIVERSALIA

défis légèrement différents, en particulier dans le domaine des droits des enfants et des adolescents. Tandis que Tunis est plus développée, Kasserine et Kairouan font partie des gouvernorats du Centre-Ouest où les indicateurs sociaux combinés sont préoccupants. En effet, ceux-ci sont bien en-dessous des moyennes nationales.18 Les autres critères de sélection comprenaient le niveau d'avancement de la mise en œuvre des activités du programme de pays prévues dans ces gouvernorats ainsi que la disponibilité des parties prenantes durant la période d'évaluation.

27. Au total, 106 entretiens individuels et collectifs (impliquant 52 hommes et 54 femmes) ont été menés avec diverses parties prenantes, notamment des représentants du gouvernement, du personnel de l'UNICEF, des organisations de la société civile et des partenaires de développement (voir la liste des parties prenantes consultées à l'annexe 5). De plus, un focus group organisé avec des adolescents âgés de 18 et 19 ans à Tunis, et une revue de la documentation contenant des informations qualitatives et quantitatives (voir la liste des documents consultés à l'annexe 6), ont alimenté le rapport. Enfin, l'équipe d'évaluation a organisé une séance de débriefing à Tunis le 26 février 2020, à laquelle ont participé le bureau de pays de l'UNICEF à Tunis et ses partenaires. Au cours de cet atelier, l'équipe d'évaluation a présenté les constats et recommandations préliminaires de l'évaluation, permettant aux parties prenantes d’y réagir. Les informations recueillies au cours de cette session ont été utilisées pour affiner les constats et recommandations de l'évaluation.

28. Pour analyser les données, l'équipe d'évaluation a combiné les méthodes suivantes : i) une analyse descriptive pour comprendre le contexte dans lequel l'UNICEF opère ; ii) une analyse quantitative pour saisir les informations pertinentes et les tendances liées aux résultats de l'UNICEF ainsi que pour produire des preuves basées sur les données recueillies par le biais des différentes méthodes de collecte de données ; iii) une analyse qualitative du contenu appliquée au matériel provenant de différentes lignes d'enquête (par exemple, des documents et des données d'entrevue) afin d’analyser et d’identifier les tendances, thèmes et modèles communs dans les données ; iv) un processus de triangulation pour garantir la fiabilité des informations et accroître la qualité, l'intégrité et la crédibilité des constats et des conclusions de l'évaluation ; et v) la validation des répondants, qui impliquait un recoupement des résultats de chaque ligne d'enquête et l'identification des tendances et des valeurs aberrantes pour commencer à rédiger les conclusions sommaires émergentes en réponse aux questions et sous-questions d'évaluation.

4.4 Contraintes

29. L'équipe d'évaluation a rencontré quelques contraintes lors de la conception et de la mise en œuvre de cette EPP, comme décrites ci-dessous :

30. Les documents de suivi des résultats (fiches Excel) disponibles au bureau de pays de l'UNICEF en Tunisie utilisent les mêmes modèles, mais avec des indicateurs différents avant et après l'examen à mi-parcours. Ainsi, il a été difficile pour l'équipe d'évaluation de produire une évaluation claire de ce qui a été accompli par rapport à ce qui était prévu.

31. L’équipe d’évaluation avait prévu de mener des groupes de discussion avec des adolescents âgés de 18 ans et plus. Cependant, cela n'a pas été clairement communiqué au bureau de pays, qui a plutôt mobilisé des adolescents de moins de 18 ans pour deux groupes de discussion, l'un à Tunis et l'autre à Kasserine. Ce problème est apparu au début de la mission sur le terrain, et après discussions entre l’équipe d’évaluation, le conseiller régional en évaluation et le bureau de pays, il a été convenu que le groupe de discussion maintenu ne réunirait que des adolescents âgés de 18 ans et plus, comme prévu initialement. Un seul groupe de discussion a ainsi été mené à Tunis.

18 UNICEF (2014). Documents du programme de pays de la Tunisie 2015-2019.

20 RAPPORT FINAL

© UNIVERSALIA

5 Constats

5.1 Pertinence

32. Cette section du rapport examine dans quelle mesure les objectifs du programme de pays de l'UNICEF Tunisie pour 2015-2020 sont conformes aux priorités mondiales, aux besoins et priorités du pays, aux priorités des partenaires de développement ainsi qu'aux besoins des bénéficiaires directs.

Constat 1. Le programme de pays de l’UNICEF Tunisie (2015-2020) est pertinent et s’aligne avec les priorités nationales de développement et priorités sectorielles du gouvernement.

33. Stratégiquement, l'équipe d'évaluation a constaté que le programme de pays était resté cohérent avec l'évolution des priorités mondiales et nationales en matière de droits des enfants et des adolescents. Le programme de pays a été conçu dans l’esprit du principe des objectifs de développement durable (ODD) de « ne laisser personne de côté », c’est-à-dire de garantir que chaque enfant en Tunisie dispose des mêmes garanties et opportunités dans la vie. Les interventions du programme s'alignent particulièrement sur l’ODD 1 (éradication de l’extrême pauvreté), l'ODD 3 (bonne santé et bien-être des enfants), l'ODD 4 (éducation de qualité), l'ODD 5 (égalité des sexes), l’ODD 10 (inégalités réduites), et l'ODD 16 (paix, justice et institutions efficaces). Le programme de pays s'appuie sur les objectifs et priorités de l'UNICEF19, largement inspirés des ODD, notamment : garantir que chaque enfant (a) survit et s'épanouit, (b) apprend, (c) est protégé contre la violence et l’exploitation, (d) vit dans un environnement sûr et propre, et (e) a les mêmes chances de réussir dans la vie. Les priorités stratégiques décrites dans le document de programme initial et dans le plan stratégique pour les deux ans (2019-2020) ont été choisies pour leur cohérence avec les priorités mondiales de l'UNICEF évoquées ci-dessus.

34. Le programme de pays est également aligné sur les priorités de développement de la Tunisie telles que décrites dans le plan national de développement et/ou les priorités sectorielles. Les priorités du gouvernement ont été définies à travers un dialogue au sein de la société, qui s'est tenu après la Révolution de 2011 et qui a permis, entre autres, d’identifier les principaux défis auxquels sont confrontés les droits des enfants en Tunisie. Ces défis ont constitué la base des choix stratégiques du PP. Ainsi, les différentes composantes du programme ont été conçues pour apporter des réponses aux priorités définies dans le « nouveau plan de développement économique », la « réforme du système éducatif » et la « stratégie nationale de protection des enfants ». Les représentants des ministères et des organisations de la société civile consultés lors de cette évaluation ont confirmé que le PP a été adapté à leurs besoins et priorités, et que les interventions ont été conçues pour répondre aux défis identifiés par les parties prenantes elles-mêmes (la citation de l'encadré 1 illustre ce point).

19 UNICEF (2018). Plan Stratégique de l’UNICEF pour 2018-2021. New York, NY 10017, USA.

Encadré 1 : Citation

« L’UNICEF répond à nos besoins. Ils interviennent suite à nos propositions et réagissent à nos demandes. Ils nous assistent et nous aident à mieux cerner nos besoins »

Source : Répondant du Ministère de l’Éducation

RAPPORT FINAL 21

© UNIVERSALIA

35. L’alignement sur les besoins et les priorités du pays est également mis en évidence par le fait que de nombreuses interventions stratégiques du PP reflètent les domaines stratégiques et les interventions du Plan-cadre des Nations Unies pour l’aide au développement (PNUAD). Les activités stratégiques du PNUAD concernent le développement de capacités des partenaires nationaux, la facilitation du dialogue, le plaidoyer pour des normes et valeurs internationales, le soutien direct à la formulation de politiques et de programmes, ainsi que la production et la gestion des connaissances. Tout au long du cycle du programme, le PP a comporté de nombreuses interventions dans ce sens.

36. Enfin, le PP est pleinement aligné sur les orientations et priorités des partenaires de développement opérant en Tunisie. Au cours des entretiens, les partenaires de développement (tels que la Banque mondiale, DFID et l'Union européenne) ont reconnu que les interventions du PP correspondaient généralement à leurs domaines de priorité. Dans certains cas, le bureau de pays de l'UNICEF a dû poursuivre le dialogue avec les partenaires de développement sur la nécessité d'investir dans un secteur en particulier, ce qui fonctionnait généralement bien. Par exemple, l'Union européenne a reconnu que l'éducation préscolaire (enfants de 5 ans et moins) ne faisait pas habituellement partie de leurs priorités, mais, qu’à la suite de discussions avec l'UNICEF Tunisie, l'UE a accepté d'étendre son soutien financier à l'éducation préscolaire. 20

Constat 2. Le programme de pays de l'UNICEF Tunisie (2015-2020) a appliqué de manière significative une approche basée sur les droits de l'enfant, en s'attaquant aux vulnérabilités spécifiques aux enfants et aux adolescents en Tunisie.

37. Sur le plan de la programmation, la pertinence du PP tient à sa capacité à intégrer de manière significative les principes fondés sur les droits de l'enfant. Pour commencer, le programme de pays (à la fois au départ et à la suite de l’examen à mi-parcours) a été conçu sur la base d’une solide analyse de la situation des droits des enfants et des adolescents en Tunisie.21

38. L'analyse et les données disponibles montrent que la Tunisie a été confrontée à un défi majeur de baisse de la qualité de l'éducation, avec de nombreux enfants en âge d’être scolarisés abandonnant l'école (le nombre d'enfants non scolarisés était estimé à plus de 100 000 en 2013, pour les enfants de 5 ans en âge préscolaire, les enfants en âge d’être à l’école primaire et les enfants en âge d’être au collège) 22, tandis que de nombreux diplômés n'avaient pas les compétences nécessaires pour réussir dans la vie (trouver un emploi, obtenir un revenu décent)23. L'analyse de la situation a démontré un écart entre les enfants pauvres et riches dans l'accès à l'éducation et un manque de systèmes de gouvernance efficaces à tous les niveaux. L'accès à l'éducation de la petite enfance et à l'éducation préscolaire était encore limité et caractérisé par de profondes disparités sociales et géographiques. Les filles et les garçons souffrent encore de violences tant au sein de la famille qu'à l'école ; et le nombre de délinquants juvéniles (principalement des garçons) est resté important, avec un taux élevé de récidive, ce qui a révélé un échec relatif de la réadaptation sociale et familiale.

39. Le système de protection sociale en Tunisie ne couvrait pas non plus beaucoup d'enfants, avec seulement 40 % d’enfants éligibles (0-18 ans) qui bénéficiaient du transfert monétaire (cash transfer)

20 Au départ, les priorités de l’UE étaient sur l’éducation primaire, secondaire et tertiaire ; et sur l’innovation, la recherche ; la mobilité et l’employabilité. Cependant, après discussions avec l’UNICEF Tunisie, l’UE a décidé d’investir dans le DPE comme d’une stratégie pour améliorer la qualité de l’éducation en Tunisie, en commençant très jeune. 21 Par exemple, Situation analysis for children (2012), study on out of school children (2014), Multiple Indicator Cluster Survey (MICS4), MICS6. 22 UNICEF. (2014). UNICEF Tunisie - Descriptif de programme de pays (2015-2019). Tunis. 23 UNICEF (2016). Rapport annuel 2016 – Tunisie.

22 RAPPORT FINAL

© UNIVERSALIA

en 2019.24 Enfin, l'analyse existante indique que des réformes avaient été menées mais avec un impact limité ou nul en raison du manque de mise en œuvre des politiques, et les lacunes dans la disponibilité des données sont restées un défi majeur à tous les niveaux de gouvernement en Tunisie, affectant négativement la conception et l'évaluation des politiques publiques, sans parler de la responsabilisation des systèmes et des acteurs.25

40. Les composantes initiales du programme de pays et la stratégie ajustée à la suite de l'examen à mi-parcours ont répondu aux défis susmentionnés. Le PP a combiné une série d’interventions qui, ensemble, devraient créer de réels changements dans la condition des enfants. Comme l'illustre le graphique 5.1, les interventions du PP comprenaient :

▪ Des interventions basées sur la communauté (par exemple, des activités de communication pour le développement - C4D)

▪ Le renforcement des systèmes d'interventions des détenteurs d'obligations pour soutenir les droits des enfants (par exemple, assistance technique, renforcement des capacités du personnel, réforme des programmes scolaires, élaboration de normes et de directives, élaboration de systèmes de suivi & évaluation (S&E) solides pour assurer une mise en œuvre efficace des politiques, études),

▪ Le plaidoyer basé sur des preuves pour un changement de politique (par exemple, création de coalitions et de partenariats avec des acteurs influents, élaboration d'une politique de développement de la petite enfance (DPE), le projet de loi sur le socle de protection sociale comprenant une garantie de revenu de base pour les enfants (cette composante du revenu de base pour les enfants est appelée par de nombreuses parties prenantes le décret sur l’allocation universelle pour les enfants),

▪ L’autonomisation des enfants pour qu'ils s'expriment et soient entendus (participation des enfants), et

▪ La mobilisation de ressources, avec un accent sur la mobilisation d’autres acteurs pour promouvoir l’agenda sur les droits de l'enfant et atteindre des résultats.

24 Centre de Recherches et Etudes Sociales (2019). Child Grants in Tunisia: feasibility, cost, impact and funding. Tunis. 25 UNICEF. (2014). UNICEF Tunisie – Descriptif de programme de pays (2015-2019). Tunis.

RAPPORT FINAL 23

© UNIVERSALIA

Graphique 5.1 Intégration d’une programmation basée sur les droits des enfants dans le DPP de l’UNICEF

41. Il convient de souligner que le PP a tenté de répondre aux besoins et aux priorités des enfants tunisiens les plus pauvres en décidant de mettre en œuvre une partie de ses interventions dans les gouvernorats disposant d’indicateurs sociaux faibles tels que Kasserine et Kairouan dans le centre-ouest de la Tunisie.

5.2 Efficacité

42. Ce chapitre donne un aperçu de l'efficacité du PP. La première section examine le degré d’atteinte des résultats du PP au niveau des indicateurs de produits (outputs). Les sections suivantes traitent de la contribution du PP dans un certain nombre de domaines de résultats (outcomes) : changement de politiques (ou politiques améliorées), soutien à la mise en œuvre des politiques, évolution des normes sociales et gestion des connaissances. La section examine également la portée de l'intégration des questions transversales d'équité, d'inclusion sociale et d'égalité du genre. Le chapitre se termine par des facteurs contextuels affectant la performance du PP.

Programmation basée sur les

droits des enfants

Analyse de la situation des

enfants

Interventions basées sur la communauté

Particpation des

adolescents

Plaidoyer basé sur les

preuves

Mobilisation de ressources

Renforcement des systèmes

24 RAPPORT FINAL

© UNIVERSALIA

5.2.1 Efficacité globale

Constat 3. Pour la plupart des domaines de résultats du programme, l'UNICEF Tunisie et ses partenaires ont généralement bien progressé vers la réalisation des produits spécifiés dans les plans de travail (avant l'examen à mi-parcours). Les interventions en cours (après l'examen à mi-parcours) sont généralement en bonne voie pour atteindre les résultats escomptés d'ici la fin de 2020.

43. Les documents de suivi des résultats (feuilles Excel) examinés par l'équipe d'évaluation indiquent que, pour la période allant jusqu'au début de 2018, le PP était globalement en voie d'atteindre des résultats au niveau des produits dans les quatre principaux domaines de résultats. L'annexe 7 illustre les progrès par domaine de résultats pour la période précédant l'examen à mi-parcours. Les documents de suivi révèlent que tous les résultats et tous les produits, à l’exception d’un26, étaient en voie d'être atteints. L'évaluation a révélé que les résultats obtenus consistent principalement en une série de composantes (par exemple, politiques, plans, institutions, développement des capacités humaines par le biais de formations) qui ont été créés à travers différentes composantes du PP et qui constituent une condition nécessaire pour promouvoir et créer des changements durables dans les conditions de vie des enfants et des adolescents en Tunisie. Bien que les documents de suivi montrent que tous les résultats sont sur la bonne voie, les évaluations précédentes et les consultations avec les parties prenantes ont révélé que les composantes du programme avaient obtenu des résultats différents dans la réalisation des activités et des résultats prévus. Les paragraphes suivants résument les performances des différentes composantes du programme.

44. Une évaluation antérieure de la composante protection27 indique que le projet de justice pour mineurs a mis en œuvre un bon nombre d'activités prévues, ce qui a débouché sur des produits importants: par exemple, la création d'unités de police chargées de la justice pour mineurs dans les villes tunisiennes à forte densité de population et d'une unité de justice spécifique pour les enfants au sein du ministère de la Justice. Cependant, en raison de la faiblesse de certains aspects de la conception du projet, associée à des retards importants dans la mise en œuvre du projet, certaines activités n'ont pas été exécutées (ou ont été annulées), ce qui a conduit à la non-réalisation de certains produits attendus. Il a été plus particulièrement rapporté que les objectifs du projet étaient parfois ambitieux et irréalistes, étant donné l’instabilité socio-politique et légale du pays durant cette période post-révolution/transitionnelle. Les retards du projet provenaient entre autres de l’instabilité au sein du ministère de la Justice (sept ministres durant la période de mise en œuvre du projet), la démission de deux gestionnaires de projet successifs à la suite, la mauvaise communication et coordination entre les partenaires, notamment entre l’UNICEF et l’UE durant les deux premières années du projet.28

45. D’autre part, l'évaluation de la composante santé29 indique que sur six interventions prévues dans le cadre du PNUAD, seules trois ont été mises en œuvre30 et que des progrès réels n'ont été réalisés que pour deux interventions (indicateurs). Deux des interventions qui n'ont pas été mises en œuvre (l'appui à l'examen et à l'élaboration de stratégies de santé maternelle et infantile, et l'élaboration de normes

26 « Les acteurs de la Santé ont des capacités améliorées pour développer et suivre des programmes de santé des mères, enfants et adolescents, équitables et de qualité. » 27 Nespoulous (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisie et Union européenne, Tunis. 28 Ibid. 29 Metangmo (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisie, Tunis. 30 Ces interventions sont : i) promouvoir l’allaitement maternel ; ii) renforcer le système d’information ; et iii) soutenir le SWITCH-Polio.

RAPPORT FINAL 25

© UNIVERSALIA

et de directives nutritionnelles prénatales), ont en fait été abandonnées par l'UNICEF après des efforts infructueux au stade initial, notamment l'échec à embaucher une firme d'experts après de nombreux appels d'offres.

46. En ce qui concerne la composante éducation, de bons progrès ont été accomplis dans le domaine du plaidoyer et de la planification31. Le PP a aidé à mettre en place un cadre d'orientation stratégique et un plan opérationnel pour une réforme du système éducatif centrée sur l'enfant. Une stratégie intégrée de réforme de l'éducation préscolaire a été établie, avec un système unifié de suivi et d'évaluation pour le secteur préscolaire. Un projet pilote a été mis en œuvre avec le ministère de l'Éducation sur les « aptitudes et compétences de vie » pour les adolescents et les jeunes, et les résultats de ce projet pilote ont ensuite été intégrés dans le nouveau programme d'études (l'un des rares exemples de modèles adoptés par le gouvernement). En 2017 et 2018, le PP a appuyé l’institutionnalisation d’une licence en éducation et enseignement appliqués pour le cycle primaire. Enfin, et en lien avec le cadre conceptuel et programmatique du bureau régional (MENARO), le PP a soutenu l’élaboration d’un curriculum généraliste et de plusieurs curriculums disciplinaires, avec une intégration transversale de compétences de vie et d’éducation citoyenne.

47. Dans le domaine de la protection des enfants, une politique intégrée de protection de l'enfance a été élaborée et approuvée par le gouvernement en 2017. Le PP a également soutenu avec succès l'élaboration d'une stratégie nationale de « désinstitutionalisation » (avec un plan d'action). Des plates-formes régionales ont été créées dans cinq régions et se réunissent régulièrement pour suivre la mise en œuvre de la stratégie de lutte contre la violence à l'égard des enfants.

48. Après l'examen à mi-parcours, les documents de suivi des résultats disponibles (feuilles Excel) montrent que de bons progrès ont été accomplis vers la réalisation des résultats fixés pour la période 2019-2020 (des détails sur les changements dans les domaines de résultats avant et après l'examen à mi-parcours sont fournis dans la section 5.3). L'annexe 8 illustre les progrès par domaine de résultats pour la période postérieure à l'examen à mi-parcours. Les documents de suivi montrent que sur trois des quatre résultats, le programme de pays était en bonne voie pour atteindre les résultats escomptés. L'analyse montre en outre qu'un résultat n'a pas été évalué et que le programme de pays était en voie d'atteindre 10 des 14 produits, quatre produits étant jugés limités.

49. Il est à noter que le programme de pays a réalisé certains progrès dans la mise en œuvre effective de modèles innovants, dont beaucoup avaient été conceptualisés au cours de la période précédente. Les trois centres de référence de DPE prévus32 (infrastructure de modélisation, pédagogie, équipement et normes de gestion) ont été lancés. Le modèle d’éducation de la « deuxième chance » a considérablement progressé : au moment de la mission d'évaluation sur le terrain en février 2020, deux centres étaient presque terminés et devaient être lancés prochainement. En revanche, le programme d’eau, assainissement et hygiène (EAH ou WASH selon l’acronyme en anglais) dans les écoles a été confronté à des problèmes de mise en œuvre (menant par exemple au non-renouvellement du contrat avec le Bureau des Nations unies pour les services d'appui aux projets (UNOPS) et l'embauche de l'organisation Islamic Relief pour prendre le relais), ce qui a retardé le projet. A la fin de 2019, l'infrastructure WASH prévue avait été livrée et remise dans seulement 11 des 34 écoles. Ce résultat plutôt faible est associé, entre autres, au fait que de nombreuses écoles visées n’avaient pas d’eau dans leurs locaux ; pourtant, c’était une précondition pour installer des blocs sanitaires et pour mettre en œuvre des activités de promotion de l’hygiène et de changements comportementaux. Le Modèle à quatre dimensions (M4D) a progressé dans la finalisation et la validation de l'architecture générale du modèle de prévention du décrochage scolaire. De plus, dans le cadre de ce modèle, un outil d'identification des élèves à risque de décrochage a été conçu et est testé dans neuf écoles pilotes.

31 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019. Tunis, Tunisie. 32 Les centres ont été ouverts dans deux des régions les plus pauvres de Tunisie et dans la zone urbaine de Tunis, avec une capacité d’accueil de 120 enfants chacun (Rapport annuel 2019).

26 RAPPORT FINAL

© UNIVERSALIA

Cependant, comme expliqué plus loin dans ce rapport, la phase pilote de cette initiative a rencontré des problèmes tels que : un soutien technique limité (par la firme de consultation embauchée) pour la mise en œuvre de certains aspects du modèle ; un cadre législatif qui s’est avéré défavorable pour la mise en œuvre efficace, cohérente, et complète du projet ; ainsi qu’une compréhension limitée de la philosophie du projet par les acteurs de l’éducation responsables de sa mise en œuvre et des visions divergentes quant à la gestion et au pilotage du projet.

50. L'année 2019 a également vu le lancement d'un nouveau diplôme de licence en éducation de la petite enfance. En dehors des résultats liés à la modélisation, les efforts de plaidoyer du PP en faveur des politiques ont conduit le gouvernement tunisien à soumettre un projet de loi sur l’allocation universelle pour les enfants (faisant partie du socle de protection sociale).

5.2.2 Contribution au changement de politiques

Constat 4. Le programme de pays de l'UNICEF Tunisie a contribué avec succès à l'amélioration des politiques, stratégies et cadres réglementaires pour résoudre les problèmes des droits de l'enfant en Tunisie. Dans d'autres cas, les interventions du programme ont permis de sensibiliser et d'inscrire les questions des droits de l'enfant à l'ordre du jour national ou régional.

51. Le PP a été en mesure d’influencer les décideurs, les dirigeants politiques et sociaux à tous les niveaux pour créer une infrastructure politique et législative propice à la promotion des droits de l’enfant en Tunisie. Une partie de cette infrastructure comprend des politiques et des institutions de régulation ainsi que des stratégies et des plans de mise en œuvre visant à résoudre les problèmes des droits des enfants. Un échantillon de ces éléments constitutifs est présenté dans l'encadré 2.

52. Les réformes politiques qui ont été mises en œuvre ont été possibles grâce aux activités coordonnées de plaidoyer et d'influence des politiques du PP, impliquant toute une gamme de parties prenantes ayant les mêmes intérêts politiques (par exemple, la Banque mondiale); ils ont également bénéficié de l'assistance technique fournie par le PP. Une grande part de la volonté politique a été renforcée par les activités de plaidoyer politique, qui ont fait avancer le dialogue politique et le débat sur les questions relatives aux droits des enfants. Les activités de coopération Sud-Sud soutenues par le PP ont joué un rôle important à cet égard, facilitant l'échange de connaissances et d'expériences entre les décideurs politiques tunisiens et les technocrates et les experts de pays tels que le Brésil et l'Argentine. Ce changement dans la volonté politique a peut-être été le plus ressenti lorsque le gouvernement tunisien a annoncé l'année 2017 comme « l'année de l'enfant ». Cela a permis aux acteurs concernés d’appeler à une amélioration de la législation relative aux droits de l’enfant et à un investissement accru dans des programmes de terrain qui promeuvent ces droits.

53. Globalement, les parties prenantes consultées pour cette évaluation s’accordent sur la contribution du PP à l’amélioration des politiques en faveur des droits des enfants et des adolescents. Elles ont fait valoir que, maintenant que la politique de base et le cadre juridique sont généralement en place, le gouvernement et ses partenaires devraient se concentrer davantage sur la mise en œuvre

Encadré 2 : Exemples de politiques et d’instruments de régulation développés avec l’appui du PP de l’UNICEF Tunisie

• Plan d'action stratégique pour le développement de la petite enfance (DPE) (2017-2025) ;

• Stratégie nationale de santé maternelle et néo-natale (2019-2023) ;

• Projet de loi sur le socle de protection sociale comprenant la garantie d’une allocation universelle pour les enfants (2019) ;

• Politique d'État intégrée pour la protection de l'enfance (PIPE) et plan d'action (2016-2020) (jamais approuvé par le GT) ;

• Normes de qualité pour les services préscolaires ;

• Intégration des droits des enfants dans la Constitution tunisienne.

Source: Rapports annuels de l’UNICEF Tunisie

RAPPORT FINAL 27

© UNIVERSALIA

effective des politiques et stratégies existantes. Les efforts devraient notamment se concentrer sur les interventions qui affectent directement les conditions des enfants et des adolescents en Tunisie.

54. Dans d’autres cas, les interventions du programme de pays ont contribué à accroître l’importance de certaines questions relatives aux droits des enfants en Tunisie, en attirant l’attention des décideurs et d’autres parties prenantes aux niveaux national ou régional sur ces questions. Cela constitue une étape importante dans le cycle politique vers la conception de réponses pertinentes à ces défis. Dans le secteur de l'éducation, des problèmes tels que la baisse de la qualité de l'éducation, l'éducation de la petite enfance et le décrochage scolaire sont devenus des questions prioritaires pour le pays grâce aux efforts de plaidoyer du PP. Le programme WASH dans les écoles a sans doute permis aux acteurs à différents niveaux en Tunisie de reconnaître le problème de l'eau, de l'assainissement et de l'hygiène dans de nombreuses écoles tunisiennes, et la nécessité de concevoir les interventions WASH dans les écoles comme des « packages complets », en prenant en compte les aspects « hard » (tels que les installations, blocs sanitaires) et les aspects « soft » (tels que les activités de sensibilisation à l’hygiène).

55. De la même façon, il a été signalé que la principale contribution du projet de justice pour mineurs était d'avoir rendu cette question visible et d’avoir sensibiliser à ce sujet en Tunisie. L'évaluation a également révélé que la question de la violence contre les enfants est de plus en plus reconnue comme un problème important au niveau régional grâce aux plates-formes régionales créées avec le soutien du PP (par exemple, Kasserine). Cependant, la durabilité de ces plates-formes semble être mise en doute, car elles sont coordonnées par des bénévoles qui combinent les activités de la plate-forme avec leurs fonctions habituelles de fonctionnaires ; les plates-formes souffrent également du fait qu'elles ne sont pas encore institutionnalisées en plus du manque d'incitations solides pour les acteurs concernés.

5.2.3 Soutien à la mise en œuvre de politiques

Constat 5. Les parties prenantes perçoivent généralement les modèles innovants introduits par l’UNICEF Tunisie et ses partenaires (centres de DPE, WASH dans les écoles, programme de deuxième chance et prévention du décrochage scolaire) comme des réponses pertinentes aux problèmes critiques auxquels sont confrontés les enfants les plus défavorisés du pays. Cependant, si ces modèles sont de bonnes pratiques, il reste à démontrer si elles sont de « meilleures » pratiques.

56. Tout au long du cycle du programme, l’UNICEF Tunisie et ses partenaires ont adopté une stratégie de modélisation consistant à mettre en œuvre des modèles innovants (par exemple, des initiatives expérimentales ou des projets pilotes). Certains de ces modèles ont été achevés tandis que d'autres sont en cours (voir les exemples dans l'encadré 3). Alors que certains de ces modèles étaient relativement nouveaux dans le contexte tunisien, les parties prenantes consultées dans cette évaluation ont souligné que dans certains cas, la stratégie de modélisation a effectivement aidé les ministères concernés à capitaliser sur des initiatives antérieures, en les repensant et/ou en les affinant (par exemple, le Modèle à quatre dimensions (M4D).

Encadré 3 : Exemples de modèles innovants mis en œuvre durant le cycle du PP

• Projet pilote d'éducation sur les compétences de vie (achevé et adopté par le gouvernement) ;

• Suivi des résultats pour les Systèmes d'Équité ;

• Programme WASH dans les écoles (en cours) ;

• Centres DPE (en cours) ;

• Programme de prévention au décrochage scolaire (en cours) ;

• Programme de la deuxième chance (en cours) ;

• Programme modèle sur l'éducation parentale (en cours) ;

• Système d’information sur les structures d’éducation préscolaire.

Source : Rapports annuels de l’UNICEF Tunisie

28 RAPPORT FINAL

© UNIVERSALIA

57. Selon la plupart des parties prenantes interrogées dans cette évaluation, les modèles de programmes tels que les centres de DPE, le programme WASH dans les écoles, le programme de la deuxième chance et la prévention du décrochage scolaire, constituent des réponses pertinentes aux problèmes critiques auxquels sont confrontés les enfants les plus défavorisés de Tunisie. La valeur ajoutée la plus importante de ces initiatives expérimentales est qu’elles ont permis au gouvernement tunisien et aux autres détenteurs d’obligations en matière de droits des enfants de passer l’étape d’amélioration des politiques pour aller vers une véritable mise en œuvre de ces politiques, contribuant ainsi à combler une lacune importante dans le cycle des politiques publiques.

58. Les pilotes de ces modèles innovants permettent d'évaluer la faisabilité des solutions politiques proposées (par exemple, en déterminant leurs coûts et risques), de créer un pool de premiers utilisateurs et de planifier la mise en œuvre de projets similaires à plus grande échelle. L'approche de modélisation permet également de générer des connaissances adaptées au contexte, en engageant efficacement les responsables en première ligne de la mise en œuvre des politiques dans différentes régions, ce qui est crucial pour éclairer la phase de mise à l'échelle.

59. Nonobstant les avantages perçus, l'évaluation a constaté qu'il est encore trop tôt pour savoir si ces modèles sont les meilleures pratiques dans le contexte tunisien puisqu'ils sont encore en phase de pilotage. Pour la plupart de ces modèles, l'analyse des coûts reste à faire et, à ce titre, aucune preuve solide n'existe encore pour évaluer leur potentiel à produire de meilleurs résultats (par rapport aux alternatives possibles). Selon certaines parties prenantes, la phase pilote a déjà montré que certains des modèles innovants étaient en fait trop ambitieux, ce qui a compliqué leur mise en œuvre, soulevant ainsi des inquiétudes quant à la possibilité de reproduire ces interventions. C'est notamment le cas du modèle M4D, qui comportait plusieurs dimensions et s'est avéré difficile à mettre en œuvre dans un environnement politisé (par exemple, avec des syndicats puissants demandant le paiement d'heures supplémentaires pour les enseignants impliqués dans l'intervention). Le projet visait néanmoins à introduire une nouvelle méthode d’organisation pédagogique et des pratiques innovantes et inclusives au sein du système scolaire, ce qui aurait permis de prendre en compte les besoins réels des enfants et de garantir un soutien approprié et différencié pour les élèves faisant face à des difficultés éducatives, psycho-sociales et socio-culturelles.

60. De plus, l'évaluation a révélé que, pour certains pilotes, les préconditions structurelles n'étaient pas toujours remplies pour garantir une phase de pilotage efficace et durable. Par exemple, dans le cas du programme de prévention du décrochage scolaire (initiative M4D), l'école visitée durant l’évaluation a indiqué ne pas disposer d'une infrastructure scolaire appropriée (par exemple, les chaises et les tables dans les salles de classe sont trop vieilles, le manque d'infrastructures sportives pour les enfants) pour mettre en œuvre avec succès le pilote, et le projet n'a pas fourni de ressources financières pour améliorer ces conditions préalables. Les enseignants formés pour mettre en œuvre le concept dans cette école n'ont reçu aucune incitation (par exemple, ils ne sont pas payés pour les heures supplémentaires), ce qui a conduit certains d'entre eux à abandonner l'initiative.

61. Une situation similaire a été observée dans le cas du programme WASH dans les écoles, où certaines écoles des zones rurales disposaient de toilettes et de cantines scolaires améliorées (par exemple à Kasserine), mais n'avaient pas accès à un approvisionnement durable en eau. Lors d'un entretien avec le ministère de l'Éducation, les responsables ont expliqué que le ministère de l'Agriculture était responsable de l'approvisionnement en eau des écoles des zones rurales et qu'il n'était pas représenté au sein du comité de pilotage du projet. Ils ont reconnu ne pas considérer que l'accès à l'eau dans les écoles était encore un problème car il existe un plan national à ce sujet. Ces exemples suggèrent que, dans l'ensemble, il est nécessaire de renforcer l'analyse (et de fournir) les conditions structurelles nécessaires avant de mettre en œuvre des initiatives expérimentales.

RAPPORT FINAL 29

© UNIVERSALIA

Constat 6. À travers des partenariats avec les organisations de la société civile, le programme de pays de l'UNICEF Tunisie a contribué à favoriser la participation active des adolescents aux activités relatives aux droits de l'enfant, élevant ainsi leur statut de citoyens à part entière.

62. Les parties prenantes, y compris les adolescents qui ont participé aux focus groups organisés à Tunis, ont reconnu que les interventions soutenues par le PP ont autonomisé les adolescents, notamment par leur participation active à des activités concrètes de promotion des droits des enfants. La plupart de ces activités ont été mises en œuvre en partenariat avec des organisations de la société civile. Grâce à une collaboration avec ADO +, le PP a permis la participation directe d'adolescents tunisiens qui ont préparé leur propre rapport alternatif sur les droits de l’enfant et l’ont présenté lors de la session préliminaire du Comité des droits de l'enfant des Nations Unies (à Genève). Grâce à des initiatives telles que la plate-forme U-Report33, le programme a aidé les adolescents à faire entendre leur voix et leurs opinions.

63. Les adolescents ont souligné que lorsqu’ils participent à des activités de sensibilisation communautaire, ils sont capables non seulement de sensibiliser leurs pairs à leurs droits, mais aussi de changer les comportements de leurs parents. Les adolescents de Tunis ont indiqué qu'en participant à des activités de théâtre communautaire et à d'autres campagnes de sensibilisation, ils sont devenus plus autonomes, confiants et prêts à revendiquer leurs droits chaque fois que ceux-ci sont violés. Cependant, ils ont souligné que les activités de participation des adolescents n’ont atteint qu'une minorité en Tunisie et que la grande majorité des adolescents ne connaissent toujours pas leurs droits.

64. Malgré les efforts déployés jusqu'à présent, la participation des adolescents à la vie publique reste limitée en Tunisie. Il est donc nécessaire de renforcer et de promouvoir leur participation accrue et durable aux programmes de développement dont ils sont les principaux bénéficiaires.

65. Les adolescents, ainsi que certains membres de la société civile interrogés dans le cadre de cette évaluation, se sont demandé si (et comment) les adolescents pouvaient être impliqués activement dans les systèmes et les structures de gouvernance, et dans les processus décisionnels du BP de l'UNICEF Tunisie elle-même afin de mieux exprimer leurs préoccupations et de proposer des solutions. Mais cette évaluation a révélé qu'aucun effort significatif n'a été fait par l'UNICEF Tunisie à cet égard, car la plupart des efforts du BP pour impliquer des adolescents étaient de nature consultative (par exemple, rassembler leurs perceptions et leurs attentes vis-à-vis du PP).

66. Le PP a réussi à mobiliser les acteurs de la société civile pour promouvoir les droits des enfants en Tunisie. Le BP de l'UNICEF reconnaît qu'au départ, le programme n'était pas directement informé par la consultation des jeunes et de la société civile, mais qu’en fin de compte, le BP a commencé à les consulter davantage, ce qui leur a permis de comprendre que les solutions doivent provenir aussi des communautés et non juste du gouvernement. Cependant, l'évaluation a noté que les partenariats avec les organisations de la société civile reposaient sur des activités ad hoc et n'étaient donc pas viables en tant que tels. Certaines de ces organisations ont le sentiment que l'UNICEF Tunisie s'est adressée à elles en dernier recours, c'est-à-dire lorsqu'elles n'avaient pas de partenaire alternatif. Alors que ces activités ad hoc (par exemple, les activités de lutte contre la violence à l'égard des enfants menées par ADO +) ont contribué à créer une prise de conscience et un élan, cet élan est susceptible de se dissoudre rapidement si les interventions ne sont pas maintenues. Il y a un sentiment selon lequel le PP devrait capitaliser sur les forces d'un certain nombre d'organisations de la société civile pour atteindre ses objectifs, notamment en mettant en œuvre des projets à long terme avec elles.

33 U-Report offre un espace pour les adolescents de différentes origines, incluant ceux difficiles à rejoindre, pour partager et faire entendre leurs opinions et préoccupations sur différents enjeux affectant leur vie quotidienne, tels que la violence, le travail bénévole, le décrochage scolaire, et la migration.

30 RAPPORT FINAL

© UNIVERSALIA

Constat 7. Les parties prenantes à tous les niveaux reconnaissent que l'approche multisectorielle encouragée par les interventions du programme de pays de l'UNICEF Tunisie a contribué à améliorer la coopération entre les parties prenantes.

67. Le PP a reconnu que le changement social est un processus multi-acteurs et multidimensionnel et a donc conçu et mis en œuvre ses interventions dans cet esprit. Les parties prenantes dans tous les domaines reconnaissent que l'UNICEF Tunisie a aidé à coordonner des acteurs qui auraient à peine travailler ensemble pour le faire sur des projets communs. Cela a sans doute favorisé une approche multisectorielle en Tunisie et contribué à réduire la mentalité et la culture en silo, car différents acteurs ont appris à converger vers une vision commune, à faire des compromis et à se mettre d'accord sur les priorités. Certains ministères reconnaissent que l'esprit de collaboration encouragé par l'UNICEF Tunisie s'étend même au-delà du champ d’action des initiatives du PP.

68. Au niveau de l'élaboration des politiques, la promotion d'une approche multisectorielle se manifeste par différentes politiques et stratégies qui ont été élaborées conjointement par plus d'un ministère et d'autres partenaires. Un exemple notable est la stratégie de DPE 2017-2025 qui a été développée avec le soutien technique de l'UNICEF Tunisie et de la Banque mondiale, rassemblant 11 ministères34, des organisations de la société civile de tout le pays, le secteur privé et les autorités locales. L'équipe de l'UNICEF à Tunis a confirmé que les membres du comité technique des ministères respectifs fonctionnent bien : en effet, les mêmes personnes font partie du comité depuis le début, ce qui suggère qu'ils se sont appropriés la stratégie.

69. Au niveau de la mise en œuvre des politiques, tous les modèles innovants initiés par le PP impliquent des acteurs de différents niveaux de gouvernance. Par exemple, le programme d'éducation de la deuxième chance a réuni les ministères de l'Éducation, des Affaires sociales, de l'Emploi et de la Formation professionnelle. L'initiative de revenu universel pour les enfants a impliqué un grand comité directeur (de plus de 30 personnes) réunissant des ministères et d'autres acteurs, et dirigé par le ministère des Affaires sociales.

70. Nonobstant cette implication, des améliorations sont encore possibles pour garantir des processus inclusifs de bonne qualité. Certains répondants de l’évaluation ont fait valoir que certains acteurs clés avaient été impliqués dans les discussions de haut niveau du PP mais ont été exclus du processus de mise en œuvre d'interventions spécifiques. Par exemple, l'évaluation a noté que, bien que le ministère du Développement, de l'Investissement et de la Coopération internationale (MDICI) soit au centre de la plupart des projets d'investissement (y compris avec les donateurs et l'UNICEF), il ne fait pas partie des comités directeurs du programme d’éducation de la deuxième chance ni des programmes M4D. Pourtant ces acteurs pourraient jouer un plus grand rôle lors de la mise en œuvre, notamment en aidant à identifier et réduire les chevauchements avec d’autres projets.

71. Bien que les comités de pilotage du projet soient composés d'acteurs pertinents, il est possible d'améliorer la coordination des acteurs. L'évaluation a révélé que dans certains des projets conjoints, certaines parties prenantes étaient prioritaires au détriment d’autres lors de la mise en œuvre des initiatives. Cela a des effets négatifs non seulement sur le processus de collaboration lui-même, mais également sur la façon dont les solutions (concepts) proposées sont mises en œuvre dans la réalité. Certains acteurs semblaient préoccupés par la manière dont le concept de DPE est mis en œuvre sous la direction du ministère des Femmes, de la Famille, des Enfants et des Seniors (MFFES), soulignant que l'accent était trop mis sur la dimension « d’éducation formelle », au détriment des aspects liés au développement de l'enfant. S'il est mis à l’échelle à l'avenir avec cette vision « réductionniste » du développement de l'enfant, le projet pourrait conduire à de mauvais résultats. De même, on a le

34 L’initiative était menée par le MFFES, avec 10 autres ministères incluant ceux de l’Éducation, de la Santé, des Affaires religieuses et sociales, du Développement et de la coopération, des Finances et d’autres.

RAPPORT FINAL 31

© UNIVERSALIA

sentiment que le projet M4D se concentre davantage sur les aspects au sein des écoles, avec peu d'accent sur les aspects au sein des familles et des communautés, par exemple. Cela pourrait être en partie expliqué par le fait que certaines composantes de ce projet n’ont pas été mises en œuvre comme elles l’avaient été planifiées. Par exemple, le projet M4D avait envisagé d’impliquer une ONG locale qui aurait aidé à établir un lien entre l’école et l’environnement local, permis d’intégrer tous les aspects extérieurs à l’école, et qui aurait ainsi garanti une mise en œuvre réussie au sein de l’école. Cependant, cet élément du projet n’a pas été mis en œuvre à cause de facteurs tels que le manque d’ONG qualifiées dans les zones de mise en œuvre du projet, ou la réticence de certaines écoles à impliquer des acteurs extérieurs dans un projet scolaire.

Constat 8. L'assistance technique (AT) fournie par l'UNICEF Tunisie aux agences de mise en œuvre des politiques est généralement perçue comme étant efficace.

72. Le soutien du PP s'est toujours étendu au-delà des campagnes classiques de plaidoyer législatif jusqu'à la mise à disposition d'une expertise technique, qui est importante dans les activités de conception et de mise en œuvre des politiques. Dans toutes les composantes du programme, une assistance technique a été fournie à une variété d'acteurs, allant de ceux qui travaillent à l'élaboration des règles / politiques, aux agences gouvernementales de mise en œuvre des politiques et aux organisations de la société civile. Le PP a fourni son assistance technique par le biais du personnel du bureau de pays et de spécialistes sous contrat. Les entretiens menés dans le cadre de cette évaluation ont confirmé que, dans de nombreux cas, un niveau élevé de connaissances techniques était nécessaire pour transmettre l'intention ou l'esprit des instruments de politique proposés à différentes catégories d'acteurs, afin de les aider à comprendre les implications des différentes approches de la mise en œuvre des politiques, ou pour leur montrer comment mettre en œuvre au mieux les solutions proposées.

73. L'assistance technique a également permis de générer des connaissances qui ont éclairé les processus d'élaboration des politiques. Par exemple, pour concevoir le mécanisme d’allocation universelle pour les enfants, le gouvernement tunisien avait besoin d'une analyse technique et d'un soutien pour identifier des modalités de financement innovantes pour le financement du mécanisme. Oxford Policy Management a été embauché par le BP pour mener une étude dont les résultats ont éclairé les discussions et la prise de décision sur cette question. Entre autres, l’assistance technique a porté sur l’évaluation des coûts, l’impact et bénéfices de l’allocation universelle pour les enfants, tout en démontrant que non seulement cette méthode est efficiente et efficace pour réduire la pauvreté des enfants et assurer des chances équitables dans la vie pour chaque enfant, mais aussi qu’elle pouvait être financée par le budget national avec un coût acceptable et dans un délai raisonnable.

74. Les experts engagés par le PP sont largement reconnus comme ayant l'expertise nécessaire pour fournir une assistance technique aux parties prenantes. Cependant, les partenaires consultés à tous les niveaux (central, régional) ont souligné qu'il existe un problème de dépendance excessive vis-à-vis des experts des pays francophones (France, Belgique, Canada). Les parties prenantes estiment que cette dépendance empêche la Tunisie de s’ouvrir (et d’apprendre) au reste du monde, en particulier à partir des expériences des pays anglo-saxons ou asiatiques, et il existe un souhait de voir l’UNICEF recruter des consultants avec des expériences différentes.

75. Enfin, cette évaluation (ainsi que les évaluations précédentes) a révélé qu'il y avait place à amélioration pour l'appropriation des partenaires en ce qui concerne les processus d'engagement d'experts. En particulier, les partenaires gouvernementaux à tous les niveaux ont indiqué qu'ils aimeraient participer davantage aux processus d'acquisition des experts.

Constat 9. Grâce à sa participation à des groupes sectoriels, l'UNICEF Tunisie a contribué à une meilleure coordination entre les partenaires techniques et financiers, ce qui a contribué à améliorer la quantité et la qualité des ressources financières.

76. L'évaluation a révélé que lors de la mise en œuvre du programme de pays, l'UNICEF Tunisie a assumé avec succès le rôle de facilitateur, favorisant ainsi la coordination entre le gouvernement

32 RAPPORT FINAL

© UNIVERSALIA

tunisien et d'autres partenaires. Cela a été particulièrement le cas pour les partenaires financiers et techniques (PFT), pour lesquels le BP a encouragé des mécanismes de coordination dans les secteurs de l'éducation et de la santé. Cette coordination a permis de mobiliser des ressources financières supplémentaires pour résoudre les problèmes des droits de l'enfant en Tunisie.

77. En fait, une meilleure coordination entre les PFT a conduit à d'importants engagements d'aide publique au développement (APD) pour le secteur de l'éducation. La Banque mondiale a engagé 100 millions de dollars (81 millions d'euros)35, ce qui aidera le gouvernement tunisien à intensifier certains des résultats générés par le PP de l'UNICEF. Ce soutien financier devrait améliorer les conditions d'apprentissage dans les écoles maternelles et primaires publiques de certains districts et renforcer les pratiques de gestion dans le secteur de l'éducation. Des responsables consultés du ministère de l'Éducation ont indiqué que de nouveaux engagements de financement (pour l'éducation) provenaient également de l'Agence italienne de coopération au développement (25 millions d'euros), du FADES (96 millions de dinars tunisiens) et de l'Union européenne (60 millions d'euros). Les partenaires de développement consultés dans le cadre de cette évaluation ont reconnu qu’avec la coordination de l’UNICEF, ils étaient mieux informés des interventions des uns et des autres, et des potentiels domaines de synergies. Afin de mobiliser des ressources financières pour la mise en œuvre de la stratégie nationale de santé maternelle et néo-natale 2019-2023, le plaidoyer et le soutien de l'UNICEF Tunisie ont conduit à la création d'un groupe de partenaires financiers et techniques de la santé, avec l'Organisation mondiale de la santé (OMS) comme secrétariat36.

78. La coordination des groupes sectoriels par l'UNICEF Tunisie a également permis de mobiliser des fonds supplémentaires pour ses propres programmes (par exemple, de l'UE, de l'Agence italienne pour la coopération au développement). Par exemple, 5 millions sur les 60 millions d'euros fournis par l'UE ont été alloués à l'UNICEF Tunisie.

5.2.4 Contribution à l’évolution des normes sociales

Constat 10. Les activités C4D mises en œuvre avec le soutien de l'UNICEF Tunisie sont perçues par les partenaires comme susceptibles d'apporter une contribution significative à l'évolution des croyances individuelles et communautaires, et des normes et valeurs sociales dans le domaine des droits de l'enfant en Tunisie, si elles sont mises en œuvre à grande échelle.

79. Le PP comprenait des activités de communication pour le développement (C4D) visant à faire évoluer les croyances, valeurs et normes sociales en faveur des droits des enfants, et visant à la fois les individus et leurs communautés. Ainsi, les enfants en tant que titulaires de droits (particulièrement les plus pauvres et vulnérables) ont été visés afin de les aider à comprendre et prendre conscience de leurs droits, et ultimement d’encourager leur inclusion dans les processus de développement locaux et nationaux. De plus, divers détenteurs d'obligations en matière de droits de l'enfant, y compris les parents, les familles, et les décideurs communautaires, ont été visés pour adopter des pratiques favorables aux enfants.

80. Un large éventail d'activités de C4D a également reçu le soutien du PP. Des adolescents tunisiens ont élaboré et joué des pièces de théâtre sur les problèmes liés au décrochage scolaire et sur l’éducation citoyenne aux droits des enfants, touchant ainsi leurs pairs, des parents et des autorités locales dans différents gouvernorats. Avec le ministère de l'Éducation, le PP a soutenu de grandes campagnes d’information et de communication pour sensibiliser les acteurs du secteur de l'éducation sur la

35 À travers ce qui s’appelle le Projet de renforcement des fondations pour l’apprentissage (PREFAT) (US$ 100 millions). 36 UNICEF (2018). Rapport annuel 2018 – Tunisie.

RAPPORT FINAL 33

© UNIVERSALIA

question du décrochage scolaire. Ces initiatives auraient sensibilisé sur ces questions et leurs conséquences auprès des publics ciblés. D’autres initiatives C4D qui visaient à influencer les comportements et les croyances ont été citées, incluant les activités WASH dans les écoles (par exemple, le soutien à la création de clubs de santé dans les écoles avec une formation sur l'assainissement et l'hygiène, avec les scouts), la création de cinq plates-formes régionales de lutte contre la violence à l'égard des enfants, des activités d'éducation parentale positive37, ou des activités de communication publique mises en œuvre par le biais de débats télévisés, de campagnes sur les réseaux sociaux et de divers festivals.

81. Bien qu'il soit difficile de mesurer l'impact final de ces activités C4D au niveau de la société, l'évaluation a constaté qu'elles ont créé d'importants résultats intermédiaires au niveau des outcomes. Néanmoins, il est encore tôt pour dire si les produits et les résultats intermédiaires créés par ces activités C4D entraîneront des changements durables des normes sociales. Les structures mises en place (par exemple, les cinq plates-formes régionales de lutte contre la violence à l'égard des enfants) ou les activités d'éducation parentale mises en œuvre jusqu'à présent sont bien appréciées par les partenaires. Cependant, la plupart de ces interventions ont été mises en œuvre dans le cadre de plans à court terme (par exemple, trois mois) élaborés par les partenaires de mise en œuvre (par exemple, ADO +) en tant qu'initiatives pilotes, et elles n'ont pas encore été évaluées. En particulier, les plates-formes régionales se sont jusqu'ici largement appuyées sur les efforts bénévoles de certains décideurs, avec peu ou pas d'incitations.

82. Les parties prenantes qui ont informé cette évaluation ont reconnu que les initiatives liées à la C4D avaient créé une certaine dynamique. Cependant, l'évaluation a révélé que, à moins qu'elles ne soient mises en œuvre à plus grande échelle et que les problèmes institutionnels et de motivation soient résolus, il sera difficile de maintenir cet élan et de créer des changements significatifs dans les normes sociales. Étant donné que le changement de comportements et d’attitudes ne se produise pas du jour au lendemain, les futurs projets à cet égard doivent être conçus comme des interventions à long terme.

5.2.5 Contribution à la gestion des connaissances

Constat 11. Le programme de pays de l'UNICEF Tunisie a encouragé le suivi basé sur les droits de l'enfant en Tunisie en soutenant la mise en place de systèmes et/ou de structures d'information appropriés qui permettent de suivre les risques de violation des droits de l'enfant et de vérifier si les programmes entrepris ont des effets positifs sur la vie des enfants.

83. Depuis ses premières années, le PP a aidé les agences nationales de mise en œuvre compétentes et les autres détenteurs de droits de l'enfant à mettre en place des systèmes et/ou des structures d'information appropriés qui permettent un suivi et des rapports efficaces sur les droits humains des enfants en Tunisie. A cet égard, un système d'information sur les services préscolaires a été créé pour le Ministère de la femme, de la famille, de l'enfance et des personnes âgées. Le système est censé être étendu à d'autres acteurs concernés tels que les parents et les écoles.38 Le PP a aidé le gouvernement tunisien à mettre en place le système de suivi des résultats pour l'équité (SSRpE ou MoRES) afin de

37 Le programme a soutenu une étude sur l'état des connaissances, des attitudes et des pratiques (étude CAP) des parents d'enfants âgés de 0 à 6 ans, servant de preuve pour l'élaboration d'un programme national multisectoriel de parentalité positive qui devrait être lancé en 2020. 38 Le système permettra de recueillir des informations auprès de plus de 4 000 centres de développement de la petite enfance dans tout le pays et soutiendra la sensibilisation, le suivi et l'information des processus décisionnels aux niveaux central et décentralisé.

34 RAPPORT FINAL

© UNIVERSALIA

renforcer les capacités de suivi des acteurs de la santé (notamment les districts de santé), et d'assurer des programmes équitables et de haute qualité concernant la santé des mères, des enfants et des adolescents. Le système a été considéré par les partenaires nationaux et locaux comme essentiel pour accroître l'accès équitable à des services de santé de qualité. Il devrait aussi être souligné que le système SSRpE a été testé dans les deux districts sanitaires d’Hammamet et d’Haouaria; cependant, jusqu’en 2018, le modèle n’était pas encore considéré par le gouvernement pour une mise à l’échelle39.

84. Le PP a en outre aidé à créer des comités régionaux de surveillance des droits de l'enfant dans les gouvernorats du pays (par exemple, Le Kef et Kasserine) où cas de violations de leurs droits avaient été signalés. L'objectif de ces structures est d'augmenter la disponibilité des données pour éclairer les processus de planification et renforcer les mécanismes de coordination entre les parties prenantes impliquées dans les interventions de développement au niveau régional. Dans le même ordre d'idées, la Ligue tunisienne des droits de l'homme a reçu un soutien pour créer 19 unités régionales de coordination (dans 24 gouvernorats), qui sont chargées de surveiller les violations des droits des enfants à travers le pays (dans les écoles, les prisons, les familles). Au moment de cette évaluation, ces unités avaient déjà préparé un « Rapport alternatif » sur la situation des droits de l’enfant en Tunisie, qui devrait être publié cette année. Enfin, le PP a soutenu la HAICA (Haute Autorité Indépendante de la Communication Audio-visuelle) pour former des animateurs de radio sur les droits de l'enfant et pour développer un guide pour les journalistes sur l'utilisation des images des enfants dans les médias.

85. Ces systèmes et mécanismes de surveillance peuvent permettre de suivre les risques de violation des droits de l’enfant et de vérifier régulièrement que les programmes mis en œuvre ont des effets positifs et durables sur la vie des enfants. Il s’agit en effet de mécanismes permettant d’assurer la redevabilité du gouvernement et des autres responsables en matière de droits des enfants et des adolescents. Il a été observé que, grâce à de tels mécanismes, les violations de droits des enfants de migrants avaient été de plus en plus dénoncées. En effet, depuis 2011, la Tunisie est devenue un pays de transit et un pays hôte pour de nombreux migrants (venus par exemple de Libye ou de pays d’Afrique sub-saharienne), dont les enfants font face à de nombreux enjeux relatifs à leur droit à l’éducation. De même, les violations du droit à l’éducation pour les enfants des familles pratiquant la transhumance dans des régions comme Kasserine, ont été mises en lumière par ces systèmes établis de suivi.

Constat 12. Le programme de pays de l'UNICEF Tunisie a contribué à la production d'une grande quantité de preuves et de connaissances sur les questions relatives aux droits des enfants et des adolescents en Tunisie.

86. Les activités de plaidoyer et d'influence sur les politiques exigeaient généralement une analyse solide et des preuves objectives sur les causes. Le PP a soutenu une variété d'études et d'activités de recherche, générant des connaissances et des preuves pour les processus de prise de décision politique. Ces activités de production de preuves/connaissances ont permis à l'UNICEF Tunisie de se positionner (et d'être reconnue par d'autres) comme un véritable « fournisseur » du savoir dans le domaine de la promotion des droits de l'enfant en Tunisie.

87. L'achèvement du MICS6 est l'une des interventions de génération de données les plus importantes soutenues par le programme de pays. Les résultats du MICS6 ont été largement diffusés aux niveaux régional et national et devraient aider l'UNICEF Tunisie et d'autres parties prenantes à prendre des décisions basées sur des preuves dans leurs processus de planification. D'autres études largement reconnues par les parties prenantes pour avoir eu un impact considérable comprennent : l'étude nationale sur les enfants et les adolescents non scolarisés, l’étude sur les allocations pour enfants en Tunisie : leur faisabilité, coût, impact et financement, l'étude sur l'état du système d'éducation préscolaire en Tunisie et l'étude sur l'état des connaissances, attitudes et pratiques (CAP)

39 Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019. Tunis, Tunisie.

RAPPORT FINAL 35

© UNIVERSALIA

des parents d'enfants de 0 à 6 ans. Les résultats de l'étude CAP ont contribué à l'élaboration d'un programme national de parentalité positive.

88. Les partenaires du PP ont reconnu que les preuves et les connaissances générées par ces études ont en fait été utilisées par divers partenaires nationaux et régionaux. Cela leur a permis d'éviter une conception et une mise en œuvre erronées des politiques qui pourraient résulter en une mauvaise compréhension des problèmes et en une connaissance insuffisante du contexte de mise en œuvre.

89. Les interventions du programme de pays ont également généré des connaissances solides et de meilleures pratiques qui pourraient inspirer des actions dans d'autres contextes (par exemple, sur la manière de faire du plaidoyer en matière de droits des enfants, de soutenir la mise en œuvre des politiques, de mobiliser les parties prenantes, d'influencer les politiques). Cependant, il n'est pas clair au BP la façon dont ces connaissances sont rassemblées et partagées au niveau régional (et mondial) afin d’inspirer les bonnes pratiques. Les entretiens avec le personnel du BR de l'UNICEF (MENARO), ont révélé que le BR a contribué à fournir des cadres utiles aux bureaux de pays et que le bureau de la Tunisie a essayé avec succès ces cadres. Par exemple, le BP Tunisie a travaillé avec le ministère de l’Éducation pour opérationnaliser le cadre conceptuel et programmatique du BR sur les aptitudes de vie et sur l’éducation citoyenne (LSCE selon l’acronyme en anglais), afin de soutenir le développement de programmes éducatifs alignés sur ce cadre. Cependant, l'évaluation n'a trouvé aucune preuve significative que ces expériences sont saisies et présentées dans des formats accessibles à diverses catégories de publics. Ainsi, le domaine stratégique de gestion des connaissances du PP doit être renforcé et traité de manière systématique.

5.2.6 Intégration des dimensions transversales

Constat 13. Les dimensions transversales d’équité et d'inclusion sociale ont été au cœur de la programmation de l'UNICEF Tunisie et, à ce titre, ont été prises en compte dans le document et les interventions du PP et sont bien reflétées dans les résultats du programme. En comparaison, bien qu'elle soit soulignée dans le programme de pays, la dimension transversale d'égalité du genre n'a pas été systématiquement prise en compte lors de la mise en œuvre du programme.

Équité et inclusion sociale

90. L'esprit du programme a été de cibler tous les enfants, en particulier les plus défavorisés en tant que groupe vulnérable. Ainsi, les questions d'équité et d'inclusion sociale ont été au cœur des interventions du PP et sont bien reflétées dans les résultats attendus du programme qui sont axés sur le respect des droits humains et de la CDE.

91. L’initiative de l’allocation universelle pour les enfants est peut-être la contribution la plus importante du programme de pays pour garantir les droits des enfants de manière équitable. L'initiative s'appuie sur un concept déjà existant, le « Programme Pour Allocations Scolaires », qui fournit une allocation financière mensuelle pour l’éducation aux enfants âgés de 6 à 18 ans issus de familles bénéficiant du programme national d’aide aux familles en difficulté. Cependant, l’allocation universelle pour les enfants sera applicable à tous les enfants de moins de 18 ans, sans tenir compte de leur situation familiale. Bien que tout le monde ne soit pas d'accord avec l'idée de « couverture universelle », la plupart des parties prenantes consultées semblaient convenir que, s’il est mis en

36 RAPPORT FINAL

© UNIVERSALIA

œuvre40, l'accord de subvention aidera le pays à garantir que tous les enfants tunisiens disposent de l'essentiel pour jouir de leurs droits.

92. D’autre part, le fait que de nombreuses interventions du PP soient mises en œuvre dans des régions à différents niveaux de développement, ciblant parfois des zones peu accessibles montre la façon dont les questions d'inclusion et d'équité pour les enfants les plus défavorisés ont été prises en compte. La mise à disposition d'installations WASH dans les écoles primaires de zones reculées, avec un risque élevé de maladies d'origine hydrique, montre également comment le PP a considéré la question de l'accès des enfants aux services de base, et est donc un excellent moyen de transformer les normes relatives aux droits de l'enfant et des droits de l'homme en résultats.

93. Reconnaissant que l'inclusion des enfants les plus défavorisés est souvent entravée par des facteurs tels que le manque d'informations et de connaissances sur les questions qui façonnent leurs vies, le PP a soutenu des interventions qui ont fourni à ces enfants et adolescents des opportunités d'apprendre et de communiquer leurs points de vue sur leurs droits (par exemple, voir le rapport U) 41. Les activités de communication utilisant les médias communautaires en fournissant des plates-formes pour les enfants ont également répondu à leurs besoins d’informer et de communiquer sur leurs droits.

94. Enfin, les résultats de l'équité et de l'inclusion sociale se reflètent dans le plaidoyer réussi pour l'accès aux services d'éducation de la petite enfance et pour une éducation de qualité pour tous les enfants en Tunisie. Il en va de même pour le plaidoyer pour la reconnaissance par les ministères concernés de la nécessité de traiter la question des enfants en conflit avec la loi en tant que groupe vulnérable. Le PP a plaidé pour que tous ces aspects soient intégrés dans les réformes sectorielles concernées, dont certaines ont ensuite été mises en œuvre.

Égalité des genres

95. D'un point de vue de haut niveau, la question transversale de l'égalité du genre a été intégrée dans les interventions du programme avant l'examen à mi-parcours. Le DPP initial mentionnait explicitement les aspects de genre dans tous les résultats, produits et indicateurs clés. Au cours de la mise en œuvre, différentes interventions ont été soutenues, visant spécifiquement à promouvoir l'égalité du genre et à garantir que les interventions du programme s'appuient sur une analyse du genre.

96. Il est à noter que la question du genre a été intégrée dans les modules des programmes d’enseignement des compétences essentielles, des programmes d’éducation à la citoyenneté et de formation des enseignants ainsi que des activités de participation des adolescents, en particulier des adolescentes. Le PP a également soutenu de nombreuses études (par exemple, l'étude de la pauvreté multidimensionnelle) qui ont fourni des données et des informations importantes sur les disparités entre les sexes. Ces études ont montré, par exemple, les besoins des filles en conflit avec la loi, différenciés des besoins des garçons, servant ainsi de base pour plaider en faveur de la prise en charge des filles. Dans le cadre de l'intervention WASH dans les écoles, le PP a promu des toilettes séparées pour les filles et les garçons.

97. En revanche, l'évaluation a souligné l'insuffisance de l'intégration de l'égalité du genre durant la période qui a suivi l'examen à mi-parcours. D'après les analyses et les données disponibles42, le genre ne semble pas être un défi majeur pour les garçons et les filles de moins de 18 ans en Tunisie. Par exemple, il n'y a pas de fortes disparités entre les garçons et les filles dans la fréquentation scolaire,

40 Il est à noter qu'au moment de cette évaluation, le projet de loi sur l'aide à l'enfance avait été adopté par un conseil ministériel en (décembre 2019) et attendait d'être approuvé par l'Assemblée des représentants du peuple. 41 Le PP a encouragé la participation des enfants à la production des « Rapports nationaux et alternatifs pour la Convention relative aux droits de l'enfant » en 2017, permettant à 140 garçons et filles de 20 régions d'exprimer leurs points de vue sur les défis auxquels ils sont confrontés en tant qu'enfants (Rapport annuel, 2018). 42 Par exemple, le MICS6.

RAPPORT FINAL 37

© UNIVERSALIA

bien que les garçons soient plus susceptibles d'avoir des « comportements à risque » (comme l'abandon scolaire) que les filles. Les entretiens avec le BP de l'UNICEF Tunisie ont confirmé que le genre n'a pas été systématiquement intégré après la revue à mi-parcours. Bien qu’il y ait eu quelques interventions qui indirectement répondaient à des enjeux liés au genre (comme l’École de la deuxième chance (E2C) qui visait à répondre au problème de décrochage scolaire affectant plus particulièrement les jeunes garçons), le BP aurait pu entreprendre plus d’actions liées au genre, notamment en incluant des objectifs et quotas clairs et réalistes sur la participation des garçons et des filles dans tous les domaines programmatiques et dans les résultats de différents programmes. Le bureau de pays a également reconnu que l’égalité du genre est un programme beaucoup plus solide pour certains des partenaires de l’UNICEF Tunisie et qu’ils devraient explorer les possibilités de collaboration avec eux. En fait, la revue sur le genre réalisée en 2018 a recommandé au PP de s'engager plus activement avec les principaux mouvements de femmes en Tunisie, notamment en renforçant leurs compétences en communication pour les changements de comportements. Cependant, les évaluateurs n'ont trouvé aucune preuve significative d'initiatives allant dans ce sens.

5.2.7 Facteurs contextuels affectant les interventions du PP

Constat 14. Les conditions politiques, macro-économiques et de gouvernance qui prévalaient en Tunisie après la Révolution de 2011 ont eu une influence mitigée (positive et négative) sur la performance des interventions du programme de pays.

98. Il existe un large éventail de facteurs contextuels qui ont influencé l'efficacité des interventions du PP de l'UNICEF Tunisie. La discussion ci-dessous concerne spécifiquement les questions de conditions politiques, macro-économiques et de gouvernance.

99. Du côté positif, la mise en œuvre du programme de pays dans le vaste contexte post-révolutionnaire a été un important facteur contextuel influençant positivement la performance du programme. En effet, cette période a été caractérisée par un esprit de changement à tous les niveaux, avec de nombreuses réformes introduites, qui ont offert au PP la possibilité de faire avancer le programme des droits des enfants.

100. Du côté négatif, les réalités économiques en Tunisie au cours des dernières années ont ralenti les interventions du PP. Avec une croissance économique très faible, le gouvernement tunisien a été confronté à des limitations fiscales et budgétaires qui ont entravé l'adoption et/ou la mise en œuvre de certaines politiques centrées sur les droits de l'enfant. Par exemple, les parties prenantes ont indiqué que le projet de loi sur le socle de protection sociale incluant l’allocation universelle pour les enfants a été développé et adopté au Conseil des Ministres de décembre 2019, mais que des incertitudes demeurent quant à savoir si et quand l’Assemblée de Représentants du Peuple va adopter la nouvelle loi et quand le programme sera mis en œuvre, étant donné la situation économique actuelle défavorable du pays. En raison de ces incertitudes, des partenaires tels que la Banque mondiale a proposé de commencer par étendre le mécanisme existant de subventions en espèces aux enfants non encore couverts (ceux âgés de 0 à 5 ans) en attendant l'adoption de la loi sur le socle de protection sociale. Les parties prenantes ont également indiqué que si le gouvernement continuait à faire face à des contraintes financières, l'intensification des projets pilotes mis en œuvre par le programme de pays serait problématique. Dans le contexte de la Tunisie, les dépenses publiques restent un facteur déterminant pour une mise en œuvre à grande échelle de ces initiatives pilotes.

101. L'instabilité politique en Tunisie a affecté négativement les interventions du PP. Le pays a connu une instabilité gouvernementale, avec neuf gouvernements depuis 2011, chacun impliquant des changements d'acteurs politiques et de fonctionnaires occupant des postes de responsabilité dans les ministères. Tout au long du cycle du programme, le bureau de pays de l'UNICEF a essayé d'assurer des

38 RAPPORT FINAL

© UNIVERSALIA

relations et des liens chaleureux au niveau politique. Par exemple, il est signalé que la relation de confiance établie depuis de nombreuses années avec le ministère de l'Éducation a permis de bien faire progresser les interventions liées à l'éducation. Cependant, la même chose ne peut pas être dite pour d’autres partenaires sectoriels tels que le ministère de la Justice ou celui de la Santé, au sein desquels les changements de dirigeants au fil des ans ont eu des implications négatives sur les initiatives du PP.

102. Il convient de noter que le programme de pays a été mis en œuvre au cours d'une période caractérisée par des troubles sociaux à travers le pays et une instabilité des postes à responsabilités dans diverses institutions de l’administration publique, ce qui a eu un effet négatif sur la motivation des partenaires à différents niveaux. Le roulement du personnel au sein des partenaires a été un autre facteur important affectant négativement la mise en œuvre du programme de pays. Le personnel de l'UNICEF Tunisie a expliqué qu'il devait constamment expliquer les projets au nouveau personnel des ministères.

103. Les changements dans le paysage de la gouvernance en Tunisie ont limité dans une certaine mesure la mise en œuvre des interventions du programme. En particulier, avec un mouvement syndical croissant, la politique et le dialogue social sur les questions des droits de l’enfant n’ont pas toujours été une tâche facile, retardant souvent les discussions entre les partenaires sociaux. Par exemple, les syndicats du secteur de l'éducation43 n'ont pas accordé la flexibilité nécessaire pour mettre en œuvre les changements au rythme attendu. Après la Révolution, la Tunisie a vu une société civile grandissante et un secteur privé local émergent, mais ces deux n'ont pas encore acquis les capacités adéquates et le pouvoir d'influence nécessaire. Cela a entravé les efforts du PP à trouver des partenaires d'exécution appropriés et compétents en dehors du gouvernement.

5.3 Efficience

104. Ce chapitre examine l’efficience du programme de pays en termes d'utilisation optimale des ressources, notamment en termes de temps et de ressources humaines (et de personnel). Il analyse en outre l’efficience des ajustements et de la structuration menés à la suite de l'examen à mi-parcours et des procédures organisationnelles, notamment les procédures de passation de marchés et de partenariat.

5.3.1 Efficience en termes d’utilisation du temps

Constat 15. La mise en œuvre du programme de pays a généralement connu quelques retards en raison de facteurs internes et externes qui n'étaient pas prévus.

105. La mise en œuvre du programme de pays a été prolongée d'une année complète (jusqu'en 2020), avec l’objectif d’aligner cette période de mise en œuvre avec celles des cycles de programmation du système onusien et du gouvernement. De plus, la mise en œuvre de certains projets a également été retardée, en partie du fait que le financement pour la mise en œuvre du PP n'avait pas été obtenu au moment de la finalisation de la conception du programme. En conséquence, la première année de la période de mise en œuvre du programme de pays a été en grande partie consacrée à la mobilisation de ressources financières pour les différentes initiatives prévues.

106. Les retards dans la mise en œuvre des projets étaient également dus à des facteurs extérieurs à l'UNICEF Tunisie, dont certains n'ont pas été correctement évalués durant la phase de démarrage du projet. Par exemple, dans le cas du projet M4D, certaines activités prévues et les résultats associés

43 Il existe neuf syndicats différents pour différentes catégories de salariés.

RAPPORT FINAL 39

© UNIVERSALIA

ont nécessité des changements dans le secteur de l'éducation qui n'étaient pas envisageables compte tenu de la politisation du secteur de l'éducation en Tunisie. Le projet exigeait notamment des changements fondamentaux dans le système scolaire tunisien, en particulier en ce qui concerne la réorganisation des heures d’enseignement et d’autres aspects d’organisation pédagogique44, pour mieux s’adapter aux besoins d’enfants avec des difficultés d’apprentissage et les enfants vulnérables. Cependant, ces changements se sont révélés difficiles à mettre en œuvre dans un secteur politisé, comptant neuf syndicats de travailleurs.

107. Un autre exemple est le projet de justice pour mineurs dans lequel des problèmes de coordination entre l'UNICEF Tunisie et les partenaires du projet ont entravé la mise en œuvre des activités. L’évaluation du projet de justice pour mineurs45 a révélé que les procédures de partenariat et les rôles des partenaires n’étaient pas clairement définis au début du projet, ce qui a entraîné des retards au cours des deux premières années de mise en œuvre. Les autres raisons expliquant les retards dans la mise en œuvre de ce projet sont: i) l'instabilité ministérielle (avec sept ministres pendant la période du projet); ii) la démission de deux chefs de projet successifs recrutés par l'UNICEF Tunisie; iii) et une mauvaise communication entre les partenaires et entre l'UNICEF et l'UE.

108. En résumé, dans les cas du secteur de l'éducation et du secteur de la protection de l'enfance, les défis et risques systémiques rencontrés lors de la mise en œuvre des deux projets n'ont pas été évalués lors de leur démarrage. En conséquence, les deux projets comportaient des objectifs trop ambitieux et difficiles à atteindre.

109. Enfin, des facteurs internes à l'UNICEF Tunisie ont également retardé la mise en œuvre des initiatives, principalement des pénuries de personnel. Ces facteurs sont détaillés dans le constat ci-dessous.

5.3.2 Ressources humaines (et équipes)

Constat 16. L'UNICEF Tunisie a connu une pénurie de personnel tout au long du cycle, ce qui a nui à la performance du programme.

110. Durant toute la période de cinq ans du PP, le BP de Tunis a connu des pénuries de personnel dans presque toutes ses unités. Lorsqu'il a été conçu en 2014, le programme de pays comprenait des objectifs qui ne pouvaient pas être atteints avec les ressources humaines disponibles dans le BP. Tant l'examen à mi-parcours46 que les consultations avec les parties prenantes ont souligné que les produits et les résultats formulés dans le programme de pays étaient plutôt ambitieux étant donné le nombre limité de ressources humaines et financières disponibles. Dès le début du cycle de programmation, il y a eu une forte pression pour augmenter les effectifs au sein du BP. Jusqu'à l'examen à mi-parcours, la portée du PP s'est élargie car l'UNICEF Tunisie a saisi des opportunités importantes, notamment dans le secteur de l'éducation avec l'École de la deuxième chance (E2C) et les projets M4D. Ces nouvelles initiatives et les changements de personnel apportés après l'examen à mi-parcours impliquaient que davantage de ressources humaines étaient nécessaires pour mettre en œuvre le PP.

111. Cependant, le recrutement de ces ressources humaines nécessaires n’a pas toujours été fait dans les temps requis, notamment car le temps nécessaire pour recruter de nouvelles équipes a été sous-

44 Par exemple, un membre du personnel de l'unité éducation du BP a expliqué que les 18 heures d'enseignement régulier par semaine pouvaient être réorganisées comme suit (selon le M4D) : 12 heures d'enseignement dans les classes ordinaires et six heures d'intervention en soutien scolaire et en éducation compensatoire. 45 Nespoulous. (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisie et Union européenne, Tunis. 46 Isabelle Austin (2018). Revue rapide du Programme de Coopération Tunisie-UNICEF 2015-2019. Tunisie.

40 RAPPORT FINAL

© UNIVERSALIA

estimé, ce qui a conduit à la vacance de nombreux postes jusqu'au moment de la présente évaluation. Le rapport annuel de 201947 indique que le bureau de pays n'avait pas d'expérience préalable solide en matière de recrutement de personnel. Il y a eu des tensions, une mauvaise communication et des malentendus entre les équipes, entraînant des retards dans la mise en œuvre du programme.

112. En général, le recrutement de personnel a été retardé par le fait que de multiples demandes de recrutement ont été faites simultanément à l'équipe des opérations de l'UNICEF et qu'il était parfois difficile de trouver l'expertise appropriée parmi les candidats. En outre, certains membres du personnel de l'UNICEF consultés ont indiqué que l'examen à mi-parcours ne comportait pas d'évaluation appropriée des ressources humaines nécessaires à la mise en œuvre du programme de pays. Un autre enjeu de gestion des ressources humaines est l'insécurité « contractuelle » rapportée par plusieurs personnes travaillant au sein du BP. Certains membres du personnel de l’UNICEF travaillent sur une base contractuelle d’un an, sans indication claire que leur contrat sera renouvelé. Ces arrangements contractuels à court-terme ne permettent pas une stabilité de l’emploi pour une mise en œuvre réussie et durable des projets à moyen et long terme.

113. En conséquence, la plupart des unités du BP ne disposent pas d'une liste complète du personnel nécessaire pour mettre en œuvre l’ensemble des activités dont elles sont responsables. Un exemple notable est l'unité de protection, qui ne comptait qu'un seul employé au cours de l'année 2019. Le personnel de l'UNICEF consulté a noté que les pénuries de personnel entraînaient des retards dans la mise en œuvre et le manque de temps affectait les activités de surveillance sur le terrain.

114. Outre le manque de personnel, le bureau de pays de l'UNICEF en Tunisie a connu un taux de rotation important du personnel au cours du cycle du programme, avec la perte de nombreux employés qualifiés et expérimentés ainsi que l’arrivée de nouvelles équipes. Certains membres du personnel de l'UNICEF ont noté que le BP ne disposait pas d'un système d'accueil clair et efficace pour garantir que les nouveaux membres du personnel soient rapidement familiarisés avec leurs responsabilités et mis en contact avec leurs homologues gouvernementaux. Cela a conduit certains nouveaux membres du personnel à mettre en œuvre des interventions dont ils avaient une compréhension incomplète, entraînant ainsi des retards dans la mise en œuvre.

115. Le BP a largement compté sur des consultants externes pour mettre en œuvre certaines initiatives, dans certains cas des cabinets de consultation selon les services à mettre en œuvre (par exemple pour la création et la mise en œuvre de modèles innovants). En particulier, l'UNICEF a participé à des activités d'achat inter-institutions pour élaborer et maintenir des accords à long terme avec les fournisseurs. Ces accords à long terme ont aidé à garantir des prix favorables pour les services tout en réduisant les délais de transaction pour les achats.48

116. Cependant, le recours à des consultants, qu’ils soient indépendants ou des cabinets, a ses propres conséquences négatives sur la mise en œuvre globale du programme. Bien que les consultants externes apportent une expertise technique et les cabinets de consultation exécutent une partie importante des activités prévues, ils ne peuvent pas servir de représentants de l'UNICEF aux yeux des partenaires de l'UNICEF ni aider l'UNICEF à constituer une mémoire institutionnelle solide. Ces rôles relèvent de la responsabilité du personnel de l'UNICEF qui devrait être maintenu autant que possible.

47 UNICEF (2019). Rapport annuel 2019. Tunisie. 48 UNICEF (2017). Rapport annuel 2017 – Tunisie.

RAPPORT FINAL 41

© UNIVERSALIA

5.3.3 Ajustements et restructuration du programme

Constat 17. La mise en œuvre des recommandations de l'examen à mi-parcours a contribué à affiner le cadre de résultats du programme de pays et à améliorer le travail multisectoriel au sein de l'UNICEF. Toutefois, des améliorations sont encore possibles pour garantir que le personnel de l'UNICEF collabore au sein des unités et entre elles.

117. A la suite de la mise en œuvre des recommandations de l'examen à mi-parcours, le BP de l'UNICEF Tunisie a choisi d'utiliser l'approche du cycle de vie dans sa programmation (cadre de résultats), avec deux objectifs principaux. Le premier objectif était d'affiner les résultats et les interventions inclus dans le PP pour mieux refléter le travail réel réalisé par le BP à la lumière des opportunités nouvellement saisies. Le deuxième objectif était de veiller à ce que les interventions de l'UNICEF soient mieux intégrées et exécutées de manière multisectorielle. Cette restructuration a été effectuée en partie à la demande des partenaires gouvernementaux de l'UNICEF, afin de garantir que le BP reflète mieux la structure au sein du gouvernement.

118. La TdC et le cadre de résultats du programme de pays ont été restructurés autour de trois principaux résultats. Le premier résultat comprend les interventions du PP et les résultats concernant le groupe d’âge des enfants de 0 à 6 ans; le deuxième résultat concerne le groupe d'âge des enfants de 7 à 18 ans; et le troisième résultat transversal implique des activités visant à améliorer l'efficacité et l'efficience du programme de pays et à accroître la responsabilité des détenteurs d'obligations. Pour chaque résultat, une TdC spécifique a été élaborée, clarifiant le lien entre chaque intervention et les résultats de niveau supérieur.

119. Du fait de ces changements, les déclarations de résultats et les indicateurs inclus dans le cadre de résultats reflètent mieux les projets exécutés par l'UNICEF. Par exemple, ils reflètent mieux les projets qui ont été conçus après 2015, notamment les projets M4D et E2C, car les indicateurs de résultats utilisés pour mesurer l'atteinte des résultats dans certains projets sont les mêmes indicateurs utilisés dans le cadre de résultats du PP. De plus, certains des nouveaux indicateurs reflètent mieux certains indicateurs liés aux ODD. Avant ces changements, certains domaines de résultats et produits du PP manquaient de spécificité, ce qui rend difficile d'évaluer dans quelle mesure les résultats ont été atteints ou non. Par exemple, le lien de causalité entre les différents niveaux de résultats dans le cadre de résultats du programme de pays et le lien entre les différents niveaux de résultats dans chaque projet n'étaient pas clairement définis49. L’examen à mi-parcours50 a aussi révélé que pour certains produits du PP, le rôle de l’UNICEF vis-à-vis du rôle des partenaires n’avait pas toujours été clair. Avec les ajustements apportés (expliqués ci-dessus), les produits et les résultats énoncés dans le cadre de résultats sont mieux adaptés pour évaluer de manière réaliste et significative les progrès et les contributions de l'UNICEF sur des périodes à court terme.

120. Pour garantir l'intégration et la multisectorialité des interventions du PP et pour mieux refléter les changements apportés au cadre de résultats, les unités de l'UNICEF au sein du BP ont été restructurées autour des résultats. Ainsi, l'équipe de DPE a été retirée de l'équipe d'éducation pour devenir une unité distincte se concentrant sur le résultat 1. Le reste de l'équipe d'éducation est devenu l'unité de résultat 2. Le personnel spécialisé dans le secteur de la santé (soit un agent de santé ou un spécialiste WASH) a été déplacé au sein des équipes de résultat 1 et de résultat 2 en fonction des projets de chaque unité. L'unité de protection de l'enfance est restée distincte, les initiatives dans les unités de

49 Metangmo (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisie, Tunis. 50 Isabelle Austin (2018). Revue rapide du Programme de Coopération Tunisie-UNICEF 2015-2019. Tunisie.

42 RAPPORT FINAL

© UNIVERSALIA

résultat 1 et de résultat 2 étant pertinentes pour la protection de l'enfant. Enfin, le spécialiste des politiques sociales a été transféré dans l'équipe du résultat 3.

121. La création d'une équipe de DPE distincte (unité de résultat 1) est perçue par le personnel de l'UNICEF et ses partenaires comme ayant permis une meilleure intégration de l'expertise multisectorielle, rendant ainsi la mise en œuvre des interventions plus efficace. Cette nouvelle structure a été réalisée en partie à la demande des partenaires gouvernementaux de l’UNICEF, pour tirer parti de la nouvelle stratégie nationale sur le développement de la petite enfance. Cependant, la grande majorité du personnel consulté a noté que les changements de personnel apportés dans d'autres unités n'avaient pas les mêmes effets. La raison principale étant le fait que si la structure du personnel a changé, les résultats à atteindre dans chaque projet n'ont pas changé. Par conséquent, en l'absence de résultats / objectifs communs, l'intégration et la coopération ont été limitées et le personnel a continué à travailler principalement en silos. En général, à l’exception des chefs d’unité, la plupart du personnel des unités n’avait pas une vue d’ensemble du travail des autres unités. Le personnel interrogé a indiqué qu’il était difficile d’allouer du temps pour se familiariser avec le travail des autres personnes et des unités, même lorsque le travail correspond à leurs propres responsabilités ou spécialisations. Sans incitations claires à la collaboration entre les unités, le personnel de l'UNICEF avait naturellement tendance à donner la priorité à son propre travail par rapport aux autres.

5.3.4 Procédures organisationnelles

Constat 18. Les procédures de partenariat de l'UNICEF Tunisie sont généralement bien perçues par les partenaires, notamment comme étant simples et flexibles. En comparaison, le système et les procédures de passation des marchés du bureau de pays ont souffert d’inconvénients qui limitent l’efficacité organisationnelle du bureau de pays.

122. Les parties prenantes qui ont participé à cette évaluation se sont largement accordées sur le fait que les procédures de partenariat UNICEF Tunisie sont simples et flexibles. Les partenaires pensent que les procédures d'acquisition de subventions/projets de l'UNICEF Tunisie sont assez courantes et nécessaires pour assurer un partenariat efficace (par exemple, avec Islamic Relief). Avant le partenariat, le BP procède généralement à une vérification préalable des partenaires sélectionnés (en général des organisations de la société civile) pour évaluer leur adéquation avec les valeurs fondamentales de l’UNICEF et pour déterminer leur capacité à gérer les ressources, puis signe un contrat avec eux. Les consultations avec le personnel de l'UNICEF Tunisie ont confirmé que l'approche harmonisée des transferts monétaires (HACT selon l’acronyme en anglais) a permis au BP de gérer efficacement les transactions financières avec les partenaires d'exécution. En fait, la vérification préalable permet d'examiner la capacité de gestion financière des partenaires afin de déterminer un profil de risque global, qui va ensuite guider UNICEF pour déterminer le type et la fréquence appropriées pour les activités d’assurance de la conformité. De plus, les donateurs consultés ont mentionné que l'UNICEF était très flexible dans l'alignement avec ses procédures de rapport, et que l'UNICEF Tunisie a tenu ses donateurs bien informés sur la mise en œuvre des activités.

123. En revanche, les systèmes et procédures de passation des marchés du BP ont été faibles pendant la mise en œuvre du programme de pays. Dans son rapport de 2019, l'UNICEF Tunisie reconnaît que l'approvisionnement en services a été un défi au cours des cinq dernières années, bien qu'il s'agisse d'un problème généralisé identifié à travers le système onusien en Tunisie51. Comme indiqué ci-dessus, la taille des opérations du BP a considérablement augmenté au cours de la mise en œuvre, ce qui a nécessité l'achat de nombreux services auprès de tiers. Cependant, le bureau de pays

51 UNICEF (2019). Rapport annuel 2019 – Tunisie.

RAPPORT FINAL 43

© UNIVERSALIA

n'avait pas une solide expérience préalable en matière de passation de marchés et manquait donc d'uniformité dans ses procédures de passation de marchés. Les discussions avec l'équipe des opérations ont souligné qu'en raison d'un manque de plans de passation (ou de plans d'approvisionnement), ils étaient débordés par les demandes d'approvisionnement qui leur ont été envoyées par la direction et d'autres unités. Cela a retardé les processus d'approvisionnement et donc la mise en œuvre des projets. Pour résoudre le problème, l'UNICEF Tunisie a commencé à développer ses capacités internes en matière d'achats : certains membres du personnel ont dû suivre un cours obligatoire sur les achats et/ou ont été amenés sur des missions prolongées. Ces efforts devraient être étendus à l'élaboration de systèmes d'achat appropriés au sein du bureau de pays.

5.4 Durabilité

124. Ce chapitre analyse la durabilité des résultats obtenus par le programme de pays, en mettant l'accent sur les facteurs qui permettent ou inhibent la durabilité des résultats.

Constat 19. Bien qu'il soit encore trop tôt pour mesurer la durabilité des résultats du programme de pays dans certains cas, l'UNICEF a pris des mesures importantes pour garantir la durabilité. Pour certaines interventions, cependant, les ressources financières et humaines limitées des partenaires entravent la durabilité des résultats.

125. Comme indiqué dans les sections précédentes, de nombreuses interventions n'ont pas encore été pleinement mises en œuvre, notamment les quatre modèles52 que l'UNICEF et ses partenaires expérimentent toujours en Tunisie. Dans de tels cas, il est difficile de parler de durabilité des résultats ultimes. Cependant, le BP a pris des mesures importantes qui augmentent la probabilité que les résultats, une fois obtenus, seront durables. Ces mesures importantes comprennent: i) les efforts d’engagement de l’UNICEF pour créer un espace de dialogue afin de générer un consensus entre les partenaires à chaque étape de chaque projet ; et ii) l’accent mis par l’UNICEF sur le renforcement des systèmes et des capacités.

5.4.1 Facteurs favorisant la durabilité

Stratégie d’engagement inclusif

126. Le choix stratégique de l'UNICEF Tunisie de concevoir le changement social comme un processus multi-acteurs, multi-niveaux et multisectoriel a abouti à la conception et à la mise en œuvre d'initiatives de manière inclusive, impliquant des acteurs aux niveaux national et régional et des secteurs public et privé et de la société civile. 53 L'approche a favorisé l'appropriation et garantit donc la durabilité des résultats du programme de pays. Concrètement, le personnel du projet de l'UNICEF s'est assuré que tous les partenaires concernés étaient consultés lors du démarrage des projets et un consensus a été atteint sur les résultats spécifiques à atteindre et les modalités d'intervention. Durant l’exécution des projets, le personnel de l’UNICEF s’est assuré de partager les produits (outputs) des projets avec tous les partenaires concernés pour que les produits correspondent à leurs besoins et soient utilisables. La consultation avec les partenaires et les parties prenantes de l'UNICEF a révélé un très fort sentiment d’appropriation du travail qu’ils ont effectué avec l’assistance technique de l’UNICEF.

52 E2C, M4D, WASH dans les écoles, et normes de DPE. 53 UNICEF (2019). Rapport annuel 2019. Tunisie.

44 RAPPORT FINAL

© UNIVERSALIA

127. En ce qui concerne les modèles pilotés par les partenaires de l'Assistance Technique de l'UNICEF, le programme de pays a pris deux mesures principales, en plus des mesures expliquées ci-dessus, pour garantir la durabilité des résultats et l'extension des modèles. Tout d'abord, l'UNICEF et ses partenaires ont fait un effort explicite pour utiliser les structures existantes afin de réduire le coût des pilotes (par exemple, le centre d'éducation de la deuxième chance à Tunis a été créé dans un bâtiment existant rénové) et a sélectionné des modèles à faible coût testés ailleurs et adaptés au contexte tunisien. Deuxièmement, l'UNICEF fournit une assistance technique pour la préparation d'études de coûts pour les modèles. 54 Ces analyses sont planifiées depuis le début, et leur objectif est de fournir les données financières nécessaires pour que le gouvernement tunisien puisse évaluer la capacité financière qui sera nécessaire pour étendre les modèles à plus grande échelle.

Accent sur le renforcement du système et le dével oppement de capacités

128. Un deuxième ensemble de mesures prises par l'UNICEF Tunisie qui est susceptible de contribuer à la durabilité des résultats obtenus est l'accent mis par l'UNICEF sur les interventions qui renforcent les systèmes et développent les capacités des acteurs concernés. Grâce à ces mesures, l'UNICEF a fourni une assistance technique à ses partenaires pour soutenir la réforme de l'éducation dans le pays, assurant la formation de formateurs (ToT) et créant des normes et des outils susceptibles d'être utilisés à long terme. En d'autres termes, de nombreux résultats déjà obtenus par le PP sont susceptibles d'être maintenus grâce aux capacités humaines et institutionnelles développées en même temps que leur processus de production. Par exemple (liste non exhaustive) :

▪ Développement d'outils (guides référentiels) et formation continue des enseignants : En mettant l'accent sur le renforcement du système éducatif en Tunisie, l'UNICEF Tunisie a fourni une assistance technique au ministère de l'Éducation (MINEDUC) pour la préparation d'une grande variété d'outils, avec une formation dispensée (souvent ToT), qui, selon les acteurs du MINEDUC, sont susceptibles d'être utilisés à long terme. Ces outils comprennent du matériel pédagogique et d'orientation et des directives (y compris des plans de formation) pour les « inspecteurs » chargés de la formation continue des enseignants ; la formation d'inspecteurs sur le programme et l'ingénierie pédagogique ; des nouvelles normes de compétences des enseignants ; des outils d'évaluation pour les conseillers pédagogiques et les directeurs d'école chargés du suivi de la qualité de l'enseignement ; et des programmes disciplinaires pour les deux premières années de l'enseignement primaire. Ces outils ont été diffusés auprès des acteurs concernés par le biais de séminaires et adaptés en fonction des commentaires reçus pour garantir leur utilisation.

▪ Développement du programme pour l'année préparatoire : Le curriculum développé par le gouvernement avec l'assistance technique de l'UNICEF pour le DPE (année préparatoire) est déjà utilisé à travers le pays dans toutes les institutions fournissant des services de DPE. Parallèlement au nouveau programme, l'UNICEF a fourni une assistance pour élaborer du matériel de formation pour les enseignants en poste et évaluer la mise en œuvre du nouveau programme.

▪ Renforcement des capacités de planification : l'UNICEF a fourni une assistance technique au MINEDUC pour élaborer 26 plans régionaux d'éducation. Ces résultats devraient alimenter l'élaboration du prochain plan quinquennal de l'éducation (2021-2025) en Tunisie, contribuant au renforcement du système pour la mise en œuvre de la politique éducative.

▪ Création de nouveaux diplômes : Avec l'assistance technique de l'UNICEF, le GT a développé quatre nouveaux programmes d'enseignement supérieur actuellement opérationnels, dont une licence en éducation préscolaire (avec une première cohorte de 100 étudiants en 2019-2020), une maîtrise en criminologie, une maîtrise en protection de l'enfance et une licence appliquée en

54 Tous les modèles à l’exception du projet M4D.

RAPPORT FINAL 45

© UNIVERSALIA

éducation et enseignement. Cette dernière a libéré ses 2 450 premiers diplômés, ce qui est un résultat important contribuant à la construction du système éducatif.55

5.4.2 Facteurs limitant la durabilité

129. D'un autre côté, deux facteurs principaux sont susceptibles de compromettre la durabilité de certains résultats obtenus au cours de la mise en œuvre du programme de pays. Ces facteurs sont : i) la nature à court terme de certaines interventions et l'absence de stratégie de sortie ; et ii) les ressources financières et humaines insuffisantes des partenaires pour assurer la durabilité des résultats.

Ressources financières et humaines insuffisantes des partenaires

130. Comme indiqué précédemment, l'UNICEF fournit une assistance technique pour la préparation d'études de coûts pour les quatre modèles testés. Cependant, certaines parties prenantes consultées ont exprimé des doutes quant à la capacité du gouvernement tunisien à étendre certains des résultats créés par les modèles. Dans de nombreux cas, les modèles innovants ont permis l'élaboration de normes et directives nationales. Cependant, l’application à grande échelle de ces directives et normes pourrait être difficile en raison des ressources humaines et financières limitées des partenaires. Par exemple, la plupart des Jardins d’enfants existants en Tunisie dépendent d’ONG (par exemple, l’Union tunisienne de solidarité sociale - UTSS) et à de petits propriétaires privés disposant de ressources si limitées qu’ils ne sont pas en mesure d’appliquer les normes élaborées pour les centres de DPE. Au cours des entretiens, le ministère des Affaires religieuses a également indiqué que ces normes pouvaient difficilement être appliquées pour la plupart des « Qoteb » en raison du manque de ressources appropriées.

131. Ainsi, l'UNICEF Tunisie et ses partenaires stratégiques devraient plaider pour la création d'un environnement propice aux acteurs du secteur privé impliqués dans l'éducation de la petite enfance, en particulier ceux opérant dans les régions pauvres. Entre autres choses, le plaidoyer pourrait viser une exonération d'impôts ainsi que des subventions gouvernementales.

132. Deux autres exemples illustrant la façon dont les ressources limitées des partenaires limitent la durabilité des résultats sont les programmes de santé et de justice pour mineurs. L'évaluation de la composante du programme de santé56 a révélé que les conditions requises pour une appropriation effective et la durabilité des résultats créés n'étaient pas remplies. Ils comprennent : i) le manque de ressources humaines qualifiées (en particulier compte tenu du roulement élevé du personnel) ; ii) le manque de ressources matérielles pour assurer un suivi et une évaluation continus des résultats ; et iii) la perception d’implication insuffisante des fonctionnaires nationaux dans la conceptualisation du programme. En ce qui concerne le programme de justice pour mineurs, bien que le projet ait renforcé les capacités individuelles et institutionnelles des systèmes existants, l'évaluation57 a constaté que les activités de renforcement des capacités étaient insuffisantes pour garantir la durabilité. Le maintien des capacités développées aurait nécessité des interventions supplémentaires dans le même esprit.

55 UNICEF (2019). Rapport annuel 2019. Tunisie. 56 Metangmo (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisie, Tunis 57 Nespoulous. (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisie et Union européenne, Tunis.

46 RAPPORT FINAL

© UNIVERSALIA

Cependant, comme indiqué par l'évaluation du programme, le gouvernement tunisien n'alloue pas de budget suffisant aux questions de justice juvénile en Tunisie, ce qui limite la durabilité des résultats obtenus par le projet.

Nature à court-terme de certaines interventions

133. Ce facteur concerne principalement les interventions mises en œuvre en partenariat avec les organisations de la société civile (par exemple, les activités C4D). L'engagement du PP auprès de la société civile a été un peu plus court que l'engagement avec les partenaires gouvernementaux. En conséquence, il est peu probable que les résultats obtenus par l'UNICEF et ses partenaires de la société civile soient durables. Par exemple, le PP a aidé à établir quatre plates-formes régionales pour sensibiliser à la violence contre les enfants. Les parties prenantes consultées ont noté que, si ces plates-formes ont effectivement sensibilisé à la question, il est encore trop tôt pour dire si cela a conduit à des changements de comportement. Les activités de la plate-forme régionale de Kasserine ont duré trois mois, ce qui est un délai très court pour s'attendre à des changements de comportement. En outre, les efforts déployés jusqu'à présent dans les plates-formes régionales dépendent entièrement d’efforts bénévoles et de la bonne volonté de certaines personnes qui mobilisent leurs réseaux. A moins que ces plates-formes ne soient institutionnalisées, il est donc peu probable qu'elles perdurent à long terme.

134. Deux autres exemples sont le U-Report et le partenariat avec les scouts tunisiens. Dans les deux cas, les interventions étaient très spécifiques et ont duré peu de temps. Les parties prenantes consultées ont noté que si les résultats ont été obtenus rapidement, il est peu probable qu'ils soient maintenus car ils n'ont pas été davantage soutenus par l'UNICEF Tunisie ou ses partenaires.

RAPPORT FINAL 47

© UNIVERSALIA

6 Conclusions 135. Globalement pertinent, le programme de pays a été conçu dans l’esprit du principe des ODD de « ne laisser personne de côté » et est resté cohérent avec l’évolution des priorités mondiales en matière de droits des enfants et des adolescents. La principale force du cycle programmatique actuel réside dans l’approche de l’UNICEF pour impliquer le gouvernement tunisien et d’autres partenaires à différentes étapes du programme de pays. Cela a conduit à la conception d'un programme de pays qui est conforme aux besoins et aux priorités du gouvernement tunisien et des autres partenaires de mise en œuvre ainsi que des partenaires de développement. De plus, en appliquant l'approche basée sur les droits de l'enfant dans sa programmation, les interventions du PP ont répondu aux besoins les plus urgents des groupes vulnérables d'enfants et d'adolescents en Tunisie.

136. Cette évaluation a établi que le programme de pays a eu une performance positive, comme le montrent les documents disponibles de suivi des résultats du BP et les rapports annuels et comme confirmés par les consultations des parties prenantes à Tunis, Kasserine et Kairouan. Bien que les composantes du programme de pays aient obtenu des résultats différents dans la réalisation des activités et des résultats prévus, l'évaluation a révélé que, dans l'ensemble, le bureau de pays était en voie d'atteindre les cibles des indicateurs de niveau de produits (outputs) dans les principaux domaines de résultats (outcomes) du programme de pays, avant et après l'examen à mi-parcours de 2018. Les résultats obtenus consistent principalement en les éléments de base nécessaires (par exemple, politiques, réglementations, capacités renforcées) pour promouvoir et créer des changements durables dans les conditions des enfants et des adolescents en Tunisie.

137. Du point de vue de l'influence sur les politiques, les activités de plaidoyer et d'assistance technique de l'UNICEF ont largement contribué à l'amélioration des politiques, des stratégies de mise en œuvre et des réglementations visant à résoudre les problèmes des droits de l'enfant en Tunisie. Dans d’autres cas, certaines interventions du programme de pays ont attiré l’attention des décideurs politiques et d’autres parties prenantes aux niveaux national ou régional sur certaines nouvelles questions relatives aux droits des enfants (par exemple, l'eau, l'assainissement et l'hygiène dans les écoles, la violence contre les enfants). La plupart des parties prenantes informant cette évaluation reconnaissent que la politique de base et l'infrastructure juridique ont été mises en place et soutiennent que le gouvernement et ses partenaires devraient désormais se concentrer davantage sur les interventions qui affectent directement les conditions des enfants et des adolescents en Tunisie.

138. Depuis la conception du PP en 2014, le BP et le PP ont considérablement changé. Le BP a saisi de nouvelles opportunités disponibles dans l'environnement opérationnel en Tunisie. L'UNICEF a réussi à mobiliser des fonds supplémentaires auprès des bailleurs de fonds pour mettre en œuvre son ambitieux programme de pays, en particulier dans le secteur de l'éducation. Grâce à cette mobilisation de ressources, le BP a pu accompagner ses partenaires dans la conception et le pilotage de modèles innovants qui, s'ils étaient généralisés, pourraient avoir un impact significatif dans la création de changements durables pour les enfants du pays. Ces initiatives expérimentales ont permis au gouvernement tunisien et à d’autres détenteurs d’obligations en matière de droits des enfants de passer de politiques améliorées à une véritable mise en œuvre de ces politiques.

139. Bien que les partenaires soient généralement très enthousiastes à l'égard de ces modèles, l'évaluation a révélé que la conception des modèles n'était pas toujours éclairée par une analyse complète des conditions structurelles nécessaires pour que les modèles soient effectivement pilotés et mis à l'échelle. En particulier, alors que les normes E2C et DPE semblent prometteuses pour une mise à l'échelle, le M4D et le WASH dans les écoles ont obtenu des résultats plus limités que prévu et sont peu susceptibles d'être durables ou à plus grande échelle. Ainsi, bien que les modèles soient perçus comme de « bonnes » pratiques, l'évaluation a constaté qu'il est encore trop tôt pour savoir s'il s'agit de « meilleures » pratiques dans le contexte tunisien puisqu'elles sont encore en phase de pilotage et que l'analyse des coûts n'est pas encore terminée.

48 RAPPORT FINAL

© UNIVERSALIA

140. Parmi les autres contributions importantes du programme de pays figurent : i) la promotion d'une approche multisectorielle en Tunisie, car différents acteurs ont appris à converger vers une vision commune, à faire des compromis et à convenir de priorités ; ii) le renforcement des capacités des partenaires d'exécution (par exemple, les ministères, les organisations de la société civile) et des adolescents par leur participation active aux activités relatives aux droits de l'enfant, et ; iii) faire évoluer les croyances individuelles et communautaires, les valeurs et normes sociales parmi une variété de groupes sociétaux en Tunisie (par exemple, les familles, les membres de la communauté à différents niveaux) à travers les activités C4D. L'évaluation a révélé que les activités C4D ont créé un certain élan, mais elles doivent être mises en œuvre à plus grande échelle afin d'avoir des effets au niveau de la société.

141. Au cours des cinq dernières années, le programme de pays a apporté une forte contribution à la gestion des connaissances liées aux questions des droits de l'enfant, notamment en aidant les institutions compétentes à mettre en place des systèmes et/ou des structures d'information appropriés qui permettent un suivi et des rapports efficaces sur les droits humains des enfants en Tunisie. Le PP a également soutenu le développement d’études et d’activités de recherche qui ont généré des connaissances et des preuves pour les processus de prise de décision politique, notamment le MICS 6.

142. En termes d'intégration des dimensions transversales, l'évaluation conclut que l'équité et l'inclusion sociale ont été au cœur des interventions du programme de pays et sont bien reflétées dans les résultats du programme, qui sont axés sur le respect des droits humains et la Convention sur la Droits de l'enfant (CDE). La preuve la plus évidente à cet égard est l'initiative de l’allocation universelle pour les enfants, qui vise à garantir les droits des enfants de manière équitable et plaide pour l'accès à la nutrition, l’éducation, les soins et autres biens et services pour tous les enfants en Tunisie. Alors que l'égalité du genre a été intégrée dans les interventions du programme avant l'examen à mi-parcours (par exemple, dans les modules des programmes d’apprentissage des compétences de la vie, de l'éducation à la citoyenneté et des programmes de formation des enseignants), l'évaluation a souligné l'insuffisance de l'intégration de l'égalité du genre durant la période suivant l'examen à mi-parcours.

143. L'examen à mi-parcours réalisé en 2017-2018 a représenté une étape importante dans le programme de pays, en créant des effets significatifs sur l’efficience du programme. Conformément aux recommandations de l'examen à mi-parcours, le BP a adopté l'approche du cycle de vie, restructurant à la fois sa théorie du changement et son cadre de résultats ainsi que ses effectifs. Bien que ces ajustements et restructurations aient donné des résultats en termes de garantie que l'UNICEF fournisse une assistance technique à ses partenaires de manière multisectorielle, il y a encore place à amélioration à cet égard. Il est important de noter que le BP de l'UNICEF à Tunis a souffert de pénuries de personnel tout au long du cycle de programmation. Le prochain programme de pays devrait être mieux informé par une évaluation claire des besoins en matière de ressources humaines et devrait établir des structures d'incitation et de responsabilité claires qui garantissent la fourniture de services de manière multisectorielle à travers toutes les équipes du BP.

144. L'UNICEF et ses partenaires ont produit des résultats susceptibles d'être utilisés et durables à long terme. Des exemples notables comprennent les nombreux instruments développés avec le soutien technique de l'UNICEF Tunisie pour le secteur de l'éducation. Les principaux facteurs contribuant à la probabilité de la durabilité des résultats comprennent la stratégie d’engagement inclusif de l’UNICEF qui accroît l’appropriation des interventions et des résultats par les partenaires ainsi que l’attention explicite accordée au renforcement du système et au développement des capacités. Pour d’autres résultats, la durabilité est peu probable et sapée par deux facteurs majeurs: leur nature à court terme des interventions et les ressources financières et humaines insuffisantes des partenaires.

RAPPORT FINAL 49

© UNIVERSALIA

7 Leçons apprises 145. Cette section reprend les principaux enseignements tirés de l'analyse des résultats présentés au chapitre 5.

146. Une analyse solide de l'économie politique du pays d'intervention est d'une importance cruciale pour la conception d'une programmation-pays efficace. Une telle analyse permet aux acteurs du développement d'avoir une gestion des risques et une planification des scénarios en identifiant les facteurs critiques susceptibles de conduire ou d'entraver leurs interventions. Le PP de l’UNICEF Tunisie a souffert d'un lourd dispositif institutionnel et du fait que certaines de ses interventions ont fait l'objet d'une politisation dans certains secteurs. Face à ces conditions structurelles du système tunisien, certaines interventions sont apparues ambitieuses car elles ne pouvaient pas accompagner la mise en œuvre des changements souhaités. Par exemple, la politisation du secteur de l'éducation (avec autant de syndicats) a entravé certaines interventions. Une analyse solide de l'économie politique des principaux secteurs de développement en Tunisie aurait aidé l'UNICEF Tunisie et ses partenaires à être conscients de ces complexités et des risques potentiels associés et, par conséquent, à concevoir et à mettre en œuvre des solutions réalisables et à utiliser les ressources de manière plus optimale.

147. Les transitions politiques offrent un terrain propice pour la promotion des programmes relatifs aux droits des enfants. Les résultats de cette évaluation montrent que l'UNICEF Tunisie et ses partenaires ont profité de la transition démocratique de la Tunisie pour promouvoir efficacement les droits des enfants. Ainsi, ils ont pu plaider pour le lancement de réformes centrées sur les enfants dans les domaines de l'éducation, de la santé, de la justice et de la protection sociale. La transition a également permis au PP et à d'autres acteurs d'analyser et de s'attaquer aux problèmes qui n'avaient pas été traités auparavant, notamment la violence contre les enfants.

148. L'évaluation des besoins en capacités est une condition préalable essentielle à la conception d'un programme de pays solide et applicable. L'UNICEF Tunisie et ses partenaires ont eu du mal à élaborer un programme très ambitieux, avec des ressources humaines insuffisantes pour le mettre en œuvre. En conséquence, il a dû s'appuyer sur des consultants externes, ce qui est une stratégie risquée et non durable du point de vue de la gestion des ressources humaines. Le PP aurait dû bénéficier d'une bonne évaluation des capacités humaines internes du bureau de pays lors de la conception des interventions.

149. La restructuration organisationnelle qui survient au milieu de la mise en œuvre du programme de pays peut avoir des effets contre-productifs. A la suite de l'examen à mi-parcours, le bureau de pays de l'UNICEF a entrepris une restructuration organisationnelle visant à accroître l'intégration sectorielle et à améliorer l'exécution du programme. Cependant, la restructuration a créé du stress et de la frustration parmi le personnel, certaines personnes percevant leurs intérêts professionnels menacés. En conséquence, certains membres clés du personnel ont quitté le BP. Bien que le BP ait été proactif pour combler ces départs de personnel, et bien que dans certains cas la valeur ajoutée de restructuration du BP a possiblement compensé les effets négatifs d’une telle restructuration (par exemple, la création d’une équipe séparée pour le DPE ou l’unité de résultats 1, voir paragraphe 120), la restructuration organisationnelle devrait être soigneusement planifiée et mise en œuvre, sur la base d'une analyse solide des conséquences potentielles, négatives comme positives.

150. Les processus d'innovation dans le secteur public sont, par nature, des processus complexes et il convient d'en tenir compte lors de la conception d'interventions innovantes. De nombreux modèles innovants introduits par le programme de pays pour l'UNICEF en Tunisie ont pris plus de temps que prévu, car ils ont mis beaucoup de temps à conceptualiser et à obtenir l'accord des parties prenantes concernées. En fin de compte, lorsque la phase de pilotage a commencé, ces processus se sont révélés être des processus encore plus complexes, en particulier en raison de la nécessité d'impliquer le plus grand nombre possible de parties prenantes pour garantir une adhésion précoce, ce qui est essentiel

50 RAPPORT FINAL

© UNIVERSALIA

pour la phase de mise à l'échelle suivante. La mise en œuvre des modèles innovants a démontré que les innovations du secteur public portent sur plusieurs valeurs, qui peuvent entrer en conflit ou se renforcer mutuellement, et doivent donc être équilibrées à toutes les étapes des processus d'innovation (par exemple, conceptualisation, pilotage, preuve de concept, mise à l'échelle). Les innovations du secteur public impliquent des processus d'apprentissage transformateur, avec beaucoup de sens, et demandent beaucoup de temps. S'ils ne sont pas conçus ainsi, les processus peuvent provoquer une frustration inutile.

RAPPORT FINAL 51

© UNIVERSALIA

8 Recommandations 151. Les recommandations présentées dans cette section ont été formulées sur la base des constats et des conclusions de cette évaluation. Les recommandations préliminaires ont d'abord été présentées à un large éventail de partenaires lors d'un atelier de débriefing en Tunisie ; l'équipe d'évaluation a ensuite discuté les recommandations préliminaires avec quelques membres de l'équipe de l'UNICEF à Tunis. Ce processus a permis à l'équipe d'évaluation de recueillir les commentaires de l'UNICEF et de ses partenaires, ce qui a permis de valider et d'affiner les recommandations.

Recommandation 1. L'UNICEF et ses partenaires devraient développer un programme de pays qui se concentre sur les initiatives prioritaires et qui prend en compte les risques potentiels.

Relative au constat : 15 Priorité : Élevée

Partie(s) prenante(s) concernée(s) : bureau de pays de l’UNICEF en Tunisie et ses partenaires gouvernementaux

Implication de ressources : Faible (mobilisation de ressources pour la planification du prochain DPP déjà prévue)

152. Lors de l'élaboration du prochain programme de pays, l'UNICEF Tunisie et ses partenaires devraient s'assurer d'avoir un ensemble clair de priorités sur la base des critères suggérés ci-dessous. L'objectif global de cette priorisation est d'éviter de développer un nouveau programme de pays trop ambitieux comme l’était le précédent et d'obtenir des résultats de programme de pays réalisables, compte tenu des limites et des facteurs limitatifs auxquels l'UNICEF et ses partenaires ont été confrontés lors de la mise en œuvre du programme de pays actuel. Les critères recommandés pour l'établissement des priorités sont les suivants :

▪ Se concentrer sur les domaines où l'UNICEF a fait ses preuves en matière d'avantage compétitif et compte tenu de ses ressources humaines. L'UNICEF devrait en particulier tirer profit de son fort pouvoir de rassemblement, de ses capacités de plaidoyer et de sensibilisation aux politiques et de son assistance technique solide et pertinente.

▪ Viser des projets à moyen terme et éviter les initiatives à court terme. En d’autres termes, l’approche des « petits projets » n’est pas utile. L'UNICEF devrait viser des interventions de programmes et des interventions visionnaires. En particulier, les projets qui visent à changer les normes sociales devraient être conçus comme des interventions à long terme parce que le changement de comportements et d'attitudes ne se fait pas du jour au lendemain, il faut du temps. Cela s'applique aux activités/projets C4D mais aussi aux projets « WASH dans les écoles », qui visent également à changer les comportements et les pratiques d'hygiène.

▪ Cibler des secteurs à travers lesquels des interventions holistiques et multisectorielles peuvent être mises en œuvre. Par exemple, au cours du PP en cours, le secteur de l'éducation s'est révélé être un point d'entrée pour travailler dans d'autres secteurs. De plus, les interventions qui promeuvent simultanément les aspects santé et éducation des droits de l’enfant resteront essentielles.

▪ Cibler des résultats qui sont réalisables dans un délai de programme pays et qui ne nécessitent pas de changements sociétaux de grande envergure pour leur réalisation. L'objectif est d'éviter les interventions telles que les projets M4D et Justice pour mineurs qui étaient limitées par le fait qu'elles nécessitaient des changements sectoriels importants pour leur réalisation. Cela nécessite une meilleure identification et analyse des risques dans le contexte tunisien.

52 RAPPORT FINAL

© UNIVERSALIA

Recommandation 2. Au cours du prochain cycle de programmation, l'UNICEF et ses partenaires devraient se concentrer sur le plaidoyer pour l'intensification (ou la mise à l’échelle) des initiatives existantes plutôt que de se lancer dans de nouveaux projets d'innovation.

Relative aux constats : 5 et 10 Priorité : Élevée

Partie(s) prenante(s) concernée(s) : bureau de pays de l’UNICEF en Tunisie et ses partenaires actuels de mise en œuvre

Implication de ressources : Élevée, nécessite la mobilisation de fonds additionnels pour financer de futures initiatives

153. Comme indiqué dans le rapport, de nombreux partenaires consultés ont indiqué que le gouvernement tunisien, l'UNICEF Tunisie et d'autres partenaires devraient se concentrer davantage sur les interventions qui créent de réels changements dans les conditions de vie des enfants et des adolescents. Cela se fera notamment en veillant à ce que l'UNICEF Tunisie fournisse plus d'assistance technique pour terminer les interventions en cours et/ou étendre les résultats obtenus par certaines des initiatives. Cela nécessitera davantage de plaidoyer pour garantir que le gouvernement, les partenaires de développement et le secteur privé engagent davantage de ressources pour investir dans la promotion des droits de l'enfant.

154. Par exemple : un plaidoyer politique sera nécessaire pour garantir que la loi sur le socle de la protection sociale, qui inclut le programme d’allocations pour les enfants, soit approuvée. L'UNICEF devrait envisager de continuer à fournir une assistance technique au MINEDUC pour faire en sorte que : les inspecteurs soient formés aux nouveaux programmes et directives élaborés au cours des cinq dernières années ; la mise en œuvre des nouveaux programmes d'études pour l'année préparatoire fait l'objet d'un suivi adéquat ; et que de nouveaux programmes disciplinaires soient élaborés dans le cadre de la réforme de l'éducation.

155. En ce qui concerne l'extension des modèles actuellement expérimentés, l'UNICEF devrait envisager de continuer à fournir une assistance technique à ses partenaires pour achever la validation des concepts des modèles les plus prometteurs (par exemple, les normes E2C et DPE), avec une bonne analyse des coûts. Pour les modèles tels que M4D et WASH dans les écoles qui ont connu des difficultés, l'UNICEF et ses partenaires doivent mener une évaluation solide pour déterminer si leur potentiel se maintient et s’ils sont toujours bien compris par tous les partenaires opérationnels clés et, par conséquent, décider de repenser leur concept (par exemple, en réduisant leur complexité en supprimant certains aspects et se concentrer sur ce qui est réalisable) et/ou leur stratégie de mise en œuvre, ou les supprimer progressivement.

156. SI l’UNICEF et ses partenaires décident d’introduire de nouvelles interventions innovantes dans le prochain cycle de programmation, celles-ci devraient s’appuyer sur une meilleure analyse des conditions structurelles nécessaires pour leur mise en œuvre et leur future mise à l’échelle, dès la phase de démarrage de ces modèles, afin d’assurer que ces conditions sont remplies avant d’aller de l’avant. En d’autres termes, une analyse des risques plus complète et l’identification de tous les prérequis devraient être menées afin de s’assurer que : i) les modèles peuvent être pilotés avec succès, et ii) les conditions nécessaires sont remplies pour mettre à l’échelle les pilotes. Cette recommandation découle de l’expérience des projets pilotes M4D et WASH dans les écoles, pour lesquels les conditions nécessaires n’étaient pas remplies (un secteur de l’éducation politisé dans le cas du projet M4D, l’accès à l’eau dans le cas du projet WASH dans les écoles) pour un pilotage ou une mise à l’échelle de ces modèles réussis.

RAPPORT FINAL 53

© UNIVERSALIA

Recommandation 3. L'UNICEF devrait travailler davantage sur les aspects « d’intégration de programme » - c'est-à-dire en favorisant un travail plus collaboratif entre les unités et leurs interventions respectives – afin d’améliorer l'efficience dans la livraison des résultats du programme.


Partie(s) prenante(s) concernée(s) : bureau de pays de l’UNICEF en Tunisie

Implication de ressources : Modérée, nécessite un engagement de la direction, et l’introduction de changements structurels qui favorisent plus de collaboration entre les unités et les membres du personnel de l’UNICEF

157. Poursuivant les changements importants opérés par le bureau de pays à la suite de l'examen à mi-parcours, l'UNICEF devrait envisager de renforcer l'intégration de son expertise sectorielle. Cet objectif pourrait être atteint en déterminant les objectifs de projets auxquels contribuent différentes unités au sein du bureau de pays, avec un cadre de redevabilité clair et une structure d’incitatifs pour que le personnel de l'UNICEF travaille dans différents secteurs. Bien que la direction du bureau de pays reconnaisse que l’intégration efficace d’un programme et de l’expertise implique un processus complexe et requiert des changements de comportements tant individuels qu’organisationnels, la direction pourrait apporter plus d’appui aux équipes afin de faciliter l’intégration des changements désirés.

Recommandation 4. Le gouvernement tunisien devrait envisager d'institutionnaliser la coordination et l'approche multisectorielle favorisée par le programme de pays, avec le soutien technique de l'UNICEF Tunisie.


Partie(s) prenante(s) concernée(s) : gouvernement tunisien, bureau de pays de l’UNICEF en Tunisie, et d’autres partenaire

Implication de ressources : Modérée, soutien technique nécessaire pour identifier les meilleures pratiques qui peuvent être adaptées au contexte tunisien

158. Cela devrait impliquer la création de mécanismes et de structures de coordination et de gouvernance juridiquement contraignants. Par exemple, dans le cadre de la stratégie DPE, une unité de coordination pourrait être créée (au sein du Ministère de la femme, de la famille, des enfants et des seniors - MFFES) mais cette unité n'a pas encore été créée. Le MFFES et le bureau de pays de l'UNICEF ont reconnu qu'il s'agissait d'un domaine où la mise en œuvre de la stratégie avait pris du retard. Actuellement l'UNICEF Tunisie continue d'être responsable de la coordination des acteurs impliqués dans le DPE, mais l'unité ci-dessus est celle qui devrait le faire.

159. Dans le même esprit, le gouvernement tunisien devrait opter pour la création d’une commission ou un comité interministériel de haut niveau pour superviser la mise en œuvre de l’agenda relatif aux droits de l'enfant en Tunisie. En réunissant tous les groupes de travail sectoriels des différents ministères, le comité aiderait à briser les cloisonnements entre les secteurs. La commission devrait avoir une composition plus inclusive, en incluant les représentants non gouvernementaux concernés. Cela permettrait à la commission de s'appuyer sur un large éventail de perspectives et d'expertise, conduisant à une analyse et à des recommandations plus éclairées. Pour garantir le plus haut niveau d’engagement, la structure devrait être alignée sur celle du Cabinet du Président ou du Cabinet du Premier Ministre. Le gouvernement tunisien devrait s'appuyer sur l'expérience acquise lors de l'élaboration de la stratégie nationale multisectorielle sur le DPE, à laquelle ont participé 11 ministères et dans laquelle les rôles et responsabilités de chaque acteur sont clairement définis.

54 RAPPORT FINAL

© UNIVERSALIA

Recommandation 5. Lors du prochain cycle de programmation, l'UNICEF Tunisie et ses partenaires devraient s'efforcer de se rapprocher davantage des enfants eux-mêmes, en les impliquant dans les processus de prise de décision. Cela impliquerait d'aller au-delà de « l'écoute » des enfants et de les encourager à participer aux choix stratégiques ainsi qu'aux systèmes de suivi et d'évaluation des programmes.

Relative au constat : 6 Priorité : Modérée

Partie(s) prenante(s) concernée(s) : UNICEF Implication de ressources : Modérée, plus de consultations avec les jeunes nécessiteraient du temps et des ressources humaines

160. Comme indiqué dans le rapport, la participation des enfants et des adolescents au programme de pays actuel s'est faite de manière ponctuelle. Lors de la planification du prochain programme de pays, les adolescents devraient être directement impliqués dans les discussions, leur permettant d'exprimer directement leurs points de vue et de contribuer aux solutions. Une stratégie de communication appropriée devrait être élaborée à cet effet, afin d'atténuer le risque que les consultations avec les jeunes suscitent des attentes élevées de la part des personnes consultées.

161. Pour assurer la participation durable des enfants aux processus de développement relatifs à leurs droits, l'UNICEF Tunisie et le gouvernement tunisien devraient renforcer les mécanismes/institutions de participation existants : parlement des enfants, conseils municipaux des enfants et commissions des enfants (dans les régions) - ces mécanismes devraient être habilités et disposer des moyens appropriés pour être opérationnels.

Recommandation 6. Dans le prochain cycle de programmation, le programme d'équité et d'inclusion devrait être poursuivi et la dimension d'égalité du genre devrait être mieux prise en compte grâce à la collaboration avec les partenaires concernés, et mieux articulée dans le PP.


Partie(s) prenante(s) concernée(s) : UNICEF, gouvernement tunisien et d’autres partenaires

Implication de ressources : Élevée, la mobilisation de ressources pour mettre en œuvre des interventions équitables sera nécessaire ; l’identification de partenaires potentiels pour les enjeux liés au genre

162. La question de l'équité et de l'inclusion sociale dans la promotion des droits de l'enfant en Tunisie continuera d'être une priorité pendant de nombreuses années à venir. Ainsi, le prochain programme de pays devrait se concentrer davantage sur ces dimensions, en veillant à ce qu'aucun enfant ne soit laissé pour compte et à ce que les changements de comportement nécessaires se produisent dans toute la Tunisie en faveur des droits de l'enfant. En outre, comme expliqué dans ce rapport, le programme de pays actuel n'a pas intégré l'égalité du genre pour la période suivant l'examen à mi-parcours ; pourtant, le bureau de pays reconnaît l'égalité du genre comme une question qui mérite encore de l'attention. Le bureau de pays pourrait facilement intégrer l'égalité du genre en identifiant soigneusement et en collaborant - à travers des projets conjoints - avec des partenaires dont les programmes sur le genre sont susceptibles de promouvoir les droits des enfants et des adolescents.

RAPPORT FINAL 55

© UNIVERSALIA

Annexe 1. Termes de référence

Terms of Reference Country Programme Evaluation Tunisia

Assignment

Country Programme Evaluation Tunisia

Budget Source

Location

(partially home based partially in Tunisia)

Duration

(10 December 2019 – 15 March 2020)

Start date

(10 December 2019)

End date

(15 March 2020)

Reporting to

Evaluation Advisor, MENARO

Type of contract

Long Term Agreement (LTA)

1. Background

UNICEF country programming is a logical continuation of the previous programme and internalizes the changes to the overall situation after the revolution and taking into account the situation in Libya.

The programme is based on a vision guided by equality and justice and aimed at ensuring that all children and adolescents, regardless of gender, have access to the same rights. Its goal is to contribute to improving access of the poorest and most vulnerable children, particularly in the most disadvantaged regions, to effective social protection and to quality health, education and welfare services, and to promoting their participation in all activities. It relies heavily on system strengthening and modeling key strategies for replication / scale up. The Country Programme has three main components, equitable social and health policies, quality education for all children and child and adolescent protection. Each of the components has three areas of work outlined below.

The country programme initially focused on three CPD outcomes: (a) equitable social and health policies; (b) quality education for all children. Following the mid-term review at the end of 2018, the programme was restructured and prioritized around the child early years; children and adolescents; and evidence for children along the life course approach. A programme strategy note was developed outlining three outcomes on: (a) nurturing care, protection, stimulation and access to quality early learning for 0 to 5 years children; (b) accessibility to multiple pathways to quality learning, life skills and protection for adolescents and most vulnerable boys and girls; and (c) accountability of the systems to children.

56 RAPPORT FINAL

© UNIVERSALIA

2. Equitable social and health policies

This component planned to ensure that social reforms targets, as a matter of priority and regardless of gender, the most vulnerable children and adolescents. It aimed at influencing national, regional and local policies, strategies and programmes of development, through the three major contributions:

▪ First, the processes of reforming the social protection system and the social sectors were supported by advocacy of the new economic development plan, the sectoral policies and the national plan for children as means for addressing the rights of the child and equity issues. To that end, the programme required innovative methodological tools developed during the last period (inter alia, N-MODA, child impact analyses and social budgeting) and relied on experience acquired in other countries in the framework of South-South cooperation. Discussion on financing social protection and policies for children and on the impact of tax reform and subsidies on children were central to this component.

▪ Second, the national decentralization process supported through the establishment of mechanisms for analysing constraints and identifying appropriate solutions at the local level. In that context, certain targeted regions were assisted at the levels of strategic planning, monitoring and participatory evaluation of the social sectors. In order to eliminate obstacles to the use of social services and to the adoption of social standards and types of behaviour favourable to the survival, development and protection of children, decentralized models for following up on outcomes as regards equity and the gender perspective will be tested. In the area of health, emphasis was placed on the integration of programmes and services which target mothers, children and adolescents and include activities for HIV/AIDS prevention and nutrition improvement. Special attention was to be paid to setting up early warning systems to avert risks, disasters and vulnerabilities that affect children. The programmes intended to support initiatives for strengthening the resilience of communities. However, throughout the implementation of the country programme this element has been deemphasized.

▪ Third, the participation of children, adolescents and young persons, regardless of gender, will be promoted and mainstreamed into the development process through capacity-building for them and the other stakeholders. In that framework, those groups were encouraged to participate in the development, monitoring and evaluation of policies and strategies that concern them.

3. Quality education for all children

UNICEF Tunisia aimed at reforming the education system with a view to making it more equitable, inclusive and effective, in the context of democratic transition. The component comprised the three sub-components described below.

▪ First, early childhood education, formulating, monitoring and evaluation of the strategy for generalizing the pre-school year and establishing public and community kindergartens in the poorest areas. Establishing and modelling quality standards for early childhood education and conceptualising a multisectoral positive parenting programme. The support for the interventions included advocacy, providing high level technical expertise (international and national), capacity-building including training and coaching national partners, knowledge management, modelling, and exchange of experience.

▪ Second, UNICEF programme in Tunisia focuses its efforts on increasing the range of options and opportunities for children and adolescents for quality learning, including life skills and citizenship education. For adolescents, especially boys who are out of school or at risk of dropping out of school, UNICEF contribute to provide them with better services, better options and better support. The implementing strategy rests on addressing drop out of and elementary school failure through revised regional and gender-specific procedures focused on children and adolescents., training national partners, modelling and experimentation of a second change

RAPPORT FINAL 57

© UNIVERSALIA

education approach, introducing mechanisms to follow up on outcomes and supporting pupils in disadvantaged areas.

▪ Third, for children and adolescents who are in the education system (most of the children and adolescents in Tunisia), the programme aims at providing them with a better experience in the classroom. An experience that enable them to acquire more solid foundational learning skills and expand the range of skills that they will need for learning and for the future (the life skills). The main operating modalities are: supporting educational system reform, aimed at improving quality and equity, through the creation of governance authorities and monitoring and evaluation entities, the enhancement of the capacities of stakeholders, advocacy and technical assistance in introducing special programmes (school inclusion of disabled children, priority education or social activities for schools), and the adoption of strategies for civic education or the prevention of school violence and drug addiction. The participation of all pupils, regardless of gender, and other education stakeholders was actively encouraged.

4. Child and adolescent protection

This component aimed at strengthening the system for the protection of boys and girls against violence, abuse, exploitation and negligence, through improved and equitable prevention and other appropriate measures. The component comprised of three sub-components described below.

▪ First, support at the level of legal standards, policies and the protection system through the adoption of a national strategy for the protection of children that was gender-sensitive and aimed at more effective targeting of children victims of violence, mistreatment, abuse or exploitation; updating and operational implementation of the national plan for combating violence against children; and strengthening information systems to ensure more effective rapid response. Emphasis was given to networking and improved coordination among services (stressing the mobilization of the health and education sectors), with a focus on prevention and rehabilitation of child victims, regardless of gender.

▪ Second, protection services. Institutionalization of children, in particular of those born out of wedlock, should be reduced in favor of placement with a family, support for biological families, family rehabilitation and development of programmes for assisting de-institutionalized children. Strengthening Tunisia justice for children system. Building the capacities of justice professional staff, implementing professionals implementing such alternatives to detention as release under supervision (liberté surveillée) and mediation, and promoting social and family reintegration of all children, regardless of gender, should ensure that the professionals concerned will apply the legislation more appropriately to children in contact with the law and that such children are protected more effectively, including through improved inter-ministerial coordination

▪ Third, social change. Studies on family educational practices, particularly from a gender perspective, and advocacy of social and behavioral change aimed to lead to improved practices on the part of families and professionals and will help to combat discrimination against vulnerable children.

UNICEF Tunisia planned to deliver this programme in close coordination with the UN Country Team and the plan is embedded in the UNDAF. It was developed in coordination with national partners especially government ministries. The Country Programme Document included a commitment to joint management, monitoring and evaluation of the programme.

During the programming cycle two evaluations of components of the country programme were already conducted covering health, child protection and juvenile justice.

58 RAPPORT FINAL

© UNIVERSALIA

5. Purpose and Objectives

Under the new Evaluation Policy of UNICEF, Country Programme Evaluations are mandatory for every second cycle. Tunisia Country Office did not have a Country Programme Evaluation during its last cycle and is therefore mandated to conduct a Country Programme Evaluation.

6. Purpose

The purpose of the evaluation is to provide impartial and independent evidence to assist the Country Office and the Government of Tunisia to identify and fill knowledge gaps required for the next programme cycle. The learning will primarily benefit the UNICEF Country Office and the Government of Tunisia, as well as contribute to the UN system joint programming in Tunisia and the programming of partners in Tunisia.

7. Objective:

The objective of the independent evaluation of the UNICEF country programme (2015 - 2020) is to produce an independent and useful evaluation report that provides accountability and learning. The evaluation will provide accountability to UNICEF, donors, the Government of Tunisia, communities and rights-holders with respect to whether UNICEF, through the implementation of its country programme document, is fit for purpose and strategically well positioned to respond to national and refugee needs.

The Country Office is especially interested to understand if the evidence created throughout the programming cycle has informed policy or programmatic shifts and if the new models introduced as pilots are best practices that can be replicated. The effect of the restructuring of the programme and office structure following the Mid Term Review should be assessed as well as the question if UNICEF has been able to advance equity issues.

The expected result of the evaluation is a set of recommendations that will be reflected in the new Country Programme 2021 - 2025.

8. Scope

The evaluation will assess key results achieved and strategies applied within the current UNICEF country programme as articulated through the Country Programme Document and adjusted following the revised 2019 - 2020 Mid-Term Review as per the Programme Strategy Note. It will cover the three components planned, adjusted and implemented during the period 2015 – 2020. The management of the programme and the monitoring and reporting system are part of the scope.

Besides the assessment of the intended effects of the programme, the evaluation also aims at identifying potential unintended effects. As a complement to the assessment of the programme components, the evaluation team will also assess the programme monitoring and evaluation system.

The evaluation will cover the period of 2015 to until the field work of the evaluation. The Country Progamme Document evaluation is planned to feed into the planning process of the new CPD cycle 2021 to 2025.

9. Evaluability

The Country Programme Document is clear on the different areas of delivery. Although the theory of change is not fully developed the document provides enough of a basis to start the evaluation. Gaps in understanding of the theory of change will be addressed during the inception phase. Monitoring data is available, and annual reports provide additional monitoring of progress against the planned activities.

10. Evaluation questions:

The key questions for this evaluation were formulated based on the OECD DAC criteria, excluding impact to keep the evaluation lighter. The evaluation aims to answer the following questions:

RAPPORT FINAL 59

© UNIVERSALIA

11. Relevance

▪ To what extent does the country programme respond to the priority needs of the country? To what extent is the Country Programme Document aligned with other strategies of the country, UNICEF, and other agencies.

▪ Have data, studies and analysis produced during the cycle informed programming shifts?

▪ To what extent are new models introduced such as (a) the standards in early childhood development centres, (b) the WASH standards, (c) the 2nd chance programme, (d) the school dropout prevention programme best practices?

▪ To what extent did the design and the interventions of the Country Programme Document integrate cross cutting issues such as gender mostly, disability, and inclusion?

12. Efficiency

▪ Did the programme use the resources optimal to achieve its objectives?

▪ Were the support systems (procurement, human resources etc. efficiently supporting programme delivery?

▪ Did the programme strategy lead to improvement in the allocation and use of resources in the concerned programme area, and improved more efficient processes with partners?

13. Effectiveness

▪ To what extent did Tunisia Country office meet expected results committed to under the country programme document and the mid term review?

▪ To what extent were the results achieved gender aware and respect the human rights agenda and the CRC?

▪ To what extent did the country programme effectively contribute to system strengthening and public policies development (upstream and modelling) addressing rights of children focusing on equity issues?

▪ What was UNICEF’s key advantage compared to the other stakeholders? Was UNICEF able to leverage other partners and resources? If so, to what extent and how?

14. Sustainability

▪ To what extent have the results achieved through the implementation of the country programme contributed to systems building and strengthening?

▪ Did the modelling strategy respond to critical issues regarding most disadvantaged children and reach expected results? What is the potential for sustainability and/or scale up?

▪ What are the key successful elements and the main bottlenecks influencing sustainability?

15. Methodology

This section provides the preliminary direction of the methodology. It will be further elaborated during the inception phase in the annexes of the inception report including the research instruments and evaluation matrix. Duplication of efforts will be avoided. Therefore, previous evaluations of sections of the country programme document will be integrated in this evaluation this refers especially to the evaluation of the juvenile justice and the health component. The focus will be on knowledge gaps and on the higher-level strategic areas of the country programme document.

The methodology is applying a mixed methods approach and will be as participatory as possible. Information from the different lines of inquiry will be triangulated to improve the reliability of the

60 RAPPORT FINAL

© UNIVERSALIA

findings and to ensure that the recommendations are grounded in the reality. Documents to be reviewed will include but are not limited to: government strategies and policy documents, the UNDAF documentation, UNICEF strategic documents, evaluations and reports produced by Tunisia country office, monitoring and progress reports concerning the different elements of the country programme. Key informants especially from the government partners, implementing partners and UNICEF should be interviewed to get a deeper understanding of the political limitations, the relevance of the programme for the various stakeholders and how the different strategies fit together. Focus groups might be conducted with staff from partners, UNICEF, teachers, school inspectors, judges, the media, private sector, adolescents, civil society organizations or with beneficiaries as appropriate. Geospatial data, government surveys and other general information of the country will be reviewed, but it is not foreseen that additional information at that level is generated. A short survey might be considered if found necessary during the inception phase.

Special attention will be given to the disaggregation of data by gender and other groups relevant. The methodology will ensure that the numbers of men, women, boys and girls are sufficient to disaggregate findings by gender where appropriate.

16. Limitations

The evaluation will focus on high level aspects of the County Programme Document and its subsequent adaptation following the Mid-Term Review. To keep the evaluation relatively light it will therefore only interact with beneficiaries on a limited level. However, given that it will leverage previous evaluations this should not affect the overall findings significantly.

17. Governance

The evaluation will be guided by a steering committee that will endorse the inception report. It might also be guiding the evaluation should any unforeseen development need addressing. The direct management of the evaluation will be done by the regional evaluation advisor. The evaluation advisor will provide first level quality assurance of the deliverables and accept the deliverables. Second level quality assurance will be provided by the Evaluation Office and the Ethical Review by an external service provider. The Tunisia Country Office will ensure that all relevant documentation is available to the consultants and support the arrangement of meetings with relevant stakeholders (partners, UNICEF staff).

The team leader will coordinate the inputs of the team and be responsible for the quality of the deliverables. The company will support the evaluation team and backstop the team where required.

For any issues related to the contract signature, or any other terms and conditions within the contract, the organization will communicate with the MENARO Regional Chief of Supply.

18. Deliverables

The contract will have the following deliverables: Inception Report, Presentation of Preliminary Findings and Recommendations, Draft Report, Final Report, Response to the Comments Matrix. The deliverables will follow the UNICEF guidelines for evaluations and will be in line with UNEG Norms and Standards and take into account the UNEG guidance of integrating gender and human rights into evaluations. In the table below the tentative timeline is laid out.

KEY ACTIVITIES DELIVERABLES TIMEFRAME - DATE FACILITATORS & KEY ROLES

1. Kick-off meeting with the evaluation committee

Th.21 Nov. – skype meeting

Regional Office and Country Office to organize

2. Start of evaluation team contract

Around 10th Dec. Regional Office

RAPPORT FINAL 61

© UNIVERSALIA

KEY ACTIVITIES DELIVERABLES TIMEFRAME - DATE FACILITATORS & KEY ROLES

3. Work on the inception report

Draft Inception Report

10-16th Dec. Evaluation team

4. Presentation and discussion of the inception report

18th Dec. – skype meeting Evaluation team. Country Office to organize

5. Finalisation of inception report and preparation for field work

Final Inception Report

beginning of Jan. 2020 Evaluation Team

6. Field work 13-24 Jan. 2020 Country Office to facilitate

7. Field work exit/verification meeting

Presentation of preliminary findings and recommendations

24th Jan.2020 Evaluation Team, Regional Office to facilitate Country Office to organize

8. Drafting of evaluation report

Draft Report 27 Jan. – 7th Feb. 2020 Evaluation team.

9. Draft report quality assurance

7-14 Feb. 2020 Regional Office

10. Commenting process 17-21 Feb. 2020 Regional Office to organize all stakeholders engage

11. Evaluation report finalisation

Final Report including response to the comments matrix

21-28 Feb. 2020 Evaluation team.

11. Evaluation dissemination workshop

5th Mar. 2020 Regional Office to facilitate, Country Office to organize

12. Submission of management response.

Mar-April. 2020 Representative.

The Report will follow the UNICEF guidelines and be cognizant of relevant UNICEF and UNEG guidelines for evaluation.

19. Team composition

The below sets out the tentative workload of the different specialist, as well as the required skills for the different team members. Ideally the team is mixed in terms of gender and cultural backgrounds. The team should have experience covering the three components of the country programme social services and health, education, and social protection between them. The team should be able to communicate well in English as well as French or Arabic.

Team leader 34 days

Change management and systems specialist 24 days

62 RAPPORT FINAL

© UNIVERSALIA

Team leader Relevant master’s degree (evaluation, development studies economics, social science, etc.)

Experience in leading evaluation teams in political environments

Experience in managing evaluations in the UN system

Good understanding of the child rights agenda

Good understanding of integrating gender and human rights into evaluations

Experience in evaluating health, social services, education or social protection.

Strong interpersonal skills

Ability to work with senior officials

Cultural sensitivity

Change management and systems specialist

Relevant master’s degree (health, education, child protection, social services, social sciences, etc.)

Experience in analyzing UN strategies

Experience in health, social services, education or social protection.

Strong interpersonal skills

Ability to work with senior officials

Cultural sensitivity.

20. Location and Duration

The evaluation will work during the period from 10 December 2019 to 28 of February 2020. The work will be home based except for the duration of the field work tentatively scheduled from 13 to 24 of January 2020.

21. Official Travel

All travel arrangements, including insurance and visas, will be managed and paid by the institution. Therefore, expected travel costs must be included as a budget item in the financial proposal.

22. ICT considerations

The evaluation team will require access to some of the UNICEF internal databases and documents.

23. Evaluation Process of the Proposal

Given that the company has been preselected in the LTA process for the East Africa Regional Office to do County Programme Evaluations the technical assessment of the proposals will be limited. The assessment will be done based on the CVs of the proposed team members for the Country Programme Evaluation matching the requirements, the availability and the price.

24. Payment

The company will be paid upon completion of deliverables according to the following schedule:

▪ 20 percent upon acceptance of the inception report

▪ 30 percent upon delivery of the draft report

▪ 50 percent upon acceptance of the final report.

25. Unsatisfactory Performance

In case of unsatisfactory performance, the payment will be withheld until quality deliverables are submitted. If the selected organization is unable to complete the assignment, the contract will be

RAPPORT FINAL 63

© UNIVERSALIA

terminated by notification letter sent 30 days prior to the termination date. In the meantime, UNICEF will initiate another selection process to identify appropriate candidate.

26. Conditions and Administrative Issues

The contractor will work on its own computer(s) and use its own office resources and materials in the execution of this assignment. The contractor's fee shall therefore be inclusive of all office administrative costs.

Granting access to UNICEF ICT resources for consultants/non-staff is considered as 'exception,' and therefore shall only be granted upon authorization by the head of the office on justification/need basis. This includes creation of a UNICEF email address, as well as access to ICT equipment such as laptops and mobile devices.

All persons engaged under a UNICEF service contract, either directly through an individual contract, or indirectly through an institutional contract, shall be subject to the UN Supplier Code of Conduct: https://www.ungm.org/Public/CodeOfConduct

Please also see UNICEF's Standard Terms and Conditions attached


64 RAPPORT FINAL

© UNIVERSALIA

Annexe 2. Théorie du changement du programme de pays de l’UNICEF Tunisie

The overarching goal of the CP is to improve access of the poorest and most vulnerable children and adolescents, with a focus on those living in remote areas, to social and economic rights. The programme specifically aims to improve access to quality social protection, health and education services which will contribute to the realization of the rights of children and adolescents at all stages of their lives.

UNICEF-Tunisia Country Programme has specific interventions that target (a) children’s first years of life, (b) children and adolescents, and (c) evidence for children along the life course approach. 41 The necessary interventions focus on rights holders as stakeholders and not as beneficiaries in order to guarantee their active participation. Moreover, as part of the implementation strategy, in order to have an effective approach and mobilize resources, partnerships with the country’s other partners – the private sector and civil society – were created.

UNICEF Tunisia country office has developed a Theory of Change (ToC) for the country programme and the individual ToC for each results area. These ToC describe the pathways through which UNICEF intends to achieve the results and clarifies the assumptions that determine success. The ToC for the CP is illustrated below.

UNICEF-Tunisia Country Programme Theory of Chance 2015-2020

RAPPORT FINAL 65

© UNIVERSALIA

Annexe 3. Matrice d’évaluation



RELEVANCE

1. To what extent and how has the UNICEF Country Programme in Tunisia been a relevant response to improve the situation of children in this country?

1.1. To what extent have UNICEF

Tunisia programme components

been aligned with the

development priorities (and

policies) of the Tunisian

Government, the mandate and

priorities of UNICEF and the

priorities set by other agencies

(e.g. UN agencies) promoting


• Evidence of linkages between specific aspects of the Country Programme (e.g., sectors, expected results) and national policies and programmes, UNICEF priorities, priorities of UN Agencies, and SDG targets

• Perceptions on the relevance of the Country Programme for their organizations, Tunisia’s development challenges, and national priorities

Document review

UNICEF CPD


UNICEF strategic documents




UN Agencies staff


UNICEF MENARO staff


1.2. To what extent are UNICEF

interventions in Tunisia

consistent with the needs and

priorities of children, especially

the poorest and most

disadvantaged ones, in this

country?

• Degree of alignment of UNICEF interventions with the needs and priorities of children, especially the poorest and most disadvantaged

Document review

UNICEF CPD




CP Workplans

66 RAPPORT FINAL

© UNIVERSALIA



• Perceptions on the appropriateness of UNICEF interventions in Tunisia in response to the most pressing needs of children and adolescents




UN Agencies staff


programme’s assumptions

underlying the causal chain of

results in the Programme ToC

(initial design and adjustments

following mid-term review)

reflective of existing knowledge

on child and adolescent needs in

Tunisia?

• Extent to which the ToC and programming shifts were informed by data, studies, and analyses produced before and during programme implementation

• Evidence of programme changes/shifts made in the CPD based on emerging new knowledge and opportunities

Documents review

UNICEF CPD


Theory of change/Logical frameworks


UNICEF staff

UN Agencies staff

1.4. To what extent are the new and

innovative models introduced by

UNICEF Country office in Tunisia:

(a) early childhood development

centres, (b) the WASH in Schools

programme, (c) the 2nd chance

programme, (d) the school drop-

out prevention programme best

practices?

• Degree to which these innovations are based on sound assumptions

• Evidence that the newly introduced innovations can produce superior results

• Perceptions on the adequacy of the modelling strategy in terms of responding to critical issues facing most disadvantaged children

• Perceptions on the scalability of the models

Documents

Model concept notes

Models implementation reports



Representatives of country-level implementation partners (Government of Tunisia and its ministries, Governorates, NGOs, private sector) involved in these models

RAPPORT FINAL 67

© UNIVERSALIA



1.5. To what extent did the design

and implementation of the

Country Programme integrate

the cross-cutting issues of

gender, disability, and inclusion?

Gender

• Evidence that the CPD design has been informed by a gender analysis

• Perception on the gender sensitivity of the CPD design

• # of interventions or approaches with specific provisions to target the specific needs of girls/boys

• # of sex-disaggregated indicators in the results framework

Disability

• # of disability- related indicators for which monitoring data are available at output and outcome levels

• Evidence that the CPD design considered the needs of children living with disabilities

• Inclusion

• Evidence of Country programme interventions that have been specifically designed to promote participation of children, both girls and boys in development processes

Documents

UNICEF CPD


Theory of change


CP Workplans


UNICEF staff


UN Agencies staff


UNICEF MENARO staff


68 RAPPORT FINAL

© UNIVERSALIA



EFFECTIVENESS

2. To what extent and how did Tunisia Country Office meet expected results in the CPD?

2.1. To what extent have the outputs

specified in the CPD been

achieved?

• % of outputs achieved

• % of outputs on track towards achievement

• % of outputs not achieved and or abandoned

Documents







UN Agencies staff


the achieved outputs

contributed (or are they likely to

contribute) to the achievement

of planned outcomes?

• Evidence of outputs’ convergence towards achievement of intended outcomes (e.g., changes in legislation, institutions, and services provided)

Documents








• UNICEF MENARO staff

• Development partners (the EU, the Italian Cooperation, United Kingdom, Canada)

2.3. To what extent were the results

achieved gender aware and did

they respect the human rights

agenda and the Convention on

the Rights of the Child (CRC)?

• Degree to which UNICEF Tunisia results are disaggregated by gender

• Degree of alignment between the results achieved and the human rights agenda

Documents

Annual reports


RAPPORT FINAL 69

© UNIVERSALIA



and the Convention on the Rights of the Child





UN Agencies staff

2.4. To what extent did the country

programme effectively

contribute to system

strengthening and public policies

development (upstream and

modelling) addressing rights of

children focusing on equity

issues?

• Evidence of system aspects (e.g., policies, institutions) that were developed and or strengthened through UNICEF Tunisia interventions

• # of new institutions/policies initiated with the support of UNICEF

• # of people (e.g., professionals, children service providers) trained on children’s rights or associated services

• # of innovative models/approaches adopted by relevant institutions for scale up

Documents

• UNICEF annual reports

• Previous evaluations




UN Agencies staff

2.5. To what extent and how did the

UNICEF advocacy and

communication for development

(C4D) activities contribute to

improving the situation of


• Perceptions on the effects of UNICEF advocacy and C4D activities on the attitude and behaviours of those responsible for providing children’s rights

• Evidence of increased demand for respect of children’s rights in Tunisia resulting from UNICEF advocacy and C4D work

Documents






UN Agencies staff

70 RAPPORT FINAL

© UNIVERSALIA



2.6. To what extent has the UNICEF

Tunisia leveraged other

stakeholders (e.g., through

partnerships) to achieve its

objectives?

• Evidence of collaborations/partnerships between UNICEF Tunisia and other actors (e.g., local NGOs, other United Nations agencies, private sector, academia, government)

• # of joint investments or programmes benefiting children in Tunisia

Documents





UN Agencies staff


UNICEF made use of its

comparative advantage and

taken the lead in promoting


• Degree of involvement of UNICEF (e.g., leader, coordinator, member of steering committees) in joint multi-sectoral and multi-actor interventions benefiting children

Documents





UN Agencies staff


country or regional contexts

(e.g., political, cultural,

economic, quality of

governance) influenced the

achievement (or not) of

expected results at programme

and intervention levels?

• Examples of different categories of contextual factors that affected the implementation and achievement of programme results

Documents






UN Agencies staff

RAPPORT FINAL 71

© UNIVERSALIA



2.9. Has UNICEF Tunisia produced

unintended positive or negative

results during the CPD cycle

2015-2020?

• # of documented or perceived unintended results, positive or negative

Documents






UN Agencies staff

EFFICIENCY

3. To what extent and how has UNICEF country programme used resources optimally to achieve its objectives?


different country programme

components (social and health

policies, child education, child

protection) implemented in a

cost-effective and timely

manner?

• Perceptions on resources being allocated to interventions that are likely to lead to highest level results

Extent of delays in delivering on the different programme components

Documents

Documents on project expenditures


Previous evaluation reports on health and juvenile justice components



UN Agencies staff


UNICEF country office

management and support

systems (notably procurement,

human resources, monitoring

and evaluation system, and partnership procedures)

efficiently supported

programme delivery?

• Perceptions on the rigidity or flexibility of procurement procedures in place

• Extent to which UNICEF results monitoring (and evaluation) system is used to manage the programme (e.g., systematically reporting on outputs and outcomes achievement)

• # of actual (versus expected) UNICEF Tunisia staff

Documents



UNICEF Tunisia


UNICEF MENARO staff

72 RAPPORT FINAL

© UNIVERSALIA



• Perceptions on the appropriateness of human resources to carry out its operations throughout the cycle (ambition versus reality)

• Perception on the degree of flexibility of partnership procedure



the programme adjustments and

structuring conducted following

the mid-term review (e.g.,

introduction of the life course

approach) enabled a better

planning and achievement of

results?

• Degree to which the adjustments made are consistent with the needs of the country

• Evidence of clearly defined outputs and outcomes following the mid-term review

• Evidence of interventions and activities that are more specific and targeted

• # of SMART indicators included in the logical frameworks

• Perceptions on improvements resulting from programme adjustments made to UNICEF interventions following the mid-term review (e.g., more specific and targeted)

Document review


ToC




UN Agencies staff


UNICEF MENARO staff


RAPPORT FINAL 73

© UNIVERSALIA



SUSTAINABILITY

4. To what extent and how are the results achieved by UNICEF country programme in Tunisia likely to be sustained over time?


UNICEF Tunisia strengthened the

capacities of implementing

partners (and beneficiaries) and

established mechanisms to

ensure ownership and durability

of the benefits from its

interventions?

• Examples of concrete mechanisms initiated to ensure appropriation of results by national and or local counterparts

# of professionals dealing with children’s rights trained

# of institutions whose organizational capabilities were strengthened

Examples of financial arrangements created that will ensure the results created by UNCEF Tunisia can be sustained

Documents

Annual reports

Previous evaluations of health and juvenile justice components




UN Agencies staff

4.2. To what extent have the results

achieved through the

implementation of the country

programme contributed to

(national and local) systems

building and strengthening for

addressing rights of children in

an equitable manner?

• # of new policies adopted in which UNICEF played a key role

• # of new institutions created to address children’s rights in Tunisia

• # of system-level practices introduced and or strengthened through UNICEF support

• Perceptions on system-level improvements resulting from UNICEF interventions

Documents

Annual reports





UN Agencies staff

4.3. What are the key factors (of

success and or failure)

influencing sustainability of

UNICEF Tunisia programme

results?

• Type of factors contributing / hindering the sustainability of results created by UNICEF Tunisia

Documents

Annual reports



UNICEF Tunisia

74 RAPPORT FINAL

© UNIVERSALIA




UN Agencies staff


UNICEF MENARO staff


RAPPORT FINAL 75

© UNIVERSALIA

Annexe 4. Changements aux questions des TdR

ORIGINAL CRITERIA AND QUESTIONS

CORRESPONDING QUESTION IN EVALUATION

MATRIX

ADDITIONAL QUESTIONS58

Relevance

1. To what extent does the country programme respond to the priority needs of the country? To what extent is the Country Programme Document aligned with other strategies of the country, UNICEF, and other agencies.

Sub-EQ 1.1; Main EQ 1

Sub-EQ 1.2

2. Have data, studies and analysis produced during the cycle informed programming shifts?

Replaced by sub-EQ 1.3 (and transformed into an indicator)

3. To what extent are new models introduced such as (a) the standards in early childhood development centres, (b) the WASH standards, (c) the 2nd chance programme, (d) the school dropout prevention programme best practices?

Sub-EQ 1.4

4. To what extent did the design and the interventions of the Country Programme Document integrate cross cutting issues such as gender mostly, disability, and inclusion?

Sub- EQ 1.5

Effectiveness

1. To what extent did Tunisia Country office meet expected results committed to under the country programme document and the mid term review?

Main EQ 2 Sub-EQ 2.1

Sub-EQ 2.2

Sub-EQ 2.3

Sub-EQ 2.6

Sub-EQ 2.9

Sub-EQ 2.10

2. To what extent were the results achieved gender aware and respect the human rights agenda and the CRC?

Sub- EQ 2.4

3. To what extent did the country programme effectively contribute to system strengthening and public policies development (upstream and modelling) addressing rights of children focusing on equity issues?

Sub- EQ 2.5

4. What was UNICEF’s key advantage compared to the other stakeholders? Was UNICEF able to leverage other partners and resources? If so, to what extent and how?

Sub- EQ 2.7; 2.8

58 Note that most of the additional questions (mostly on effectiveness) resulted from the discussions held with UNICEF Tunisia representative. Others resulted from a breakdown of initial questions to ensure the Evaluation questions were clearly formulated and simple, making it easy to identify unambiguous indicators

76 RAPPORT FINAL

© UNIVERSALIA

ORIGINAL CRITERIA AND QUESTIONS

CORRESPONDING QUESTION IN EVALUATION

MATRIX

ADDITIONAL QUESTIONS58

Efficiency:

1. Did the programme use the resources optimal to achieve its objectives?

Main EQ 3

2. Were the support systems (procurement, human resources etc. efficiently supporting programme delivery?

Sub- EQ 3.2

3. Did the programme strategy lead to improvement in the allocation and use of resources in the concerned programme area, and improved more efficient processes with partners?

Sub- EQ 3.1

Sustainability

1. To what extent have the results achieved through the implementation of the country programme contributed to systems building and strengthening?

Sub- EQ 4.2 Main EQ 4

2. Did the modelling strategy respond to critical issues regarding most disadvantaged children and reach expected results? What is the potential for sustainability and/or scale up?

Integrated in Sub- EQ 1.4 (and associated indicators)

3. What are the key successful elements and the main bottlenecks influencing sustainability?

Sub- EQ 4.3

RAPPORT FINAL 77

© UNIVERSALIA

Annexe 5. Liste des parties prenantes consultées

The evaluation team has consulted a total of 106 persons, of which 51% were female.


Aatem Amara Director-General preparatory cycle


Abdelwahab Chaoueb

Education Specialist UNICEF - Tunisia M

Abdelwaheb Jerbi Deputy Chief CRE Sfax M

Adel Jellali Project Monitoring Director


Adèle Basisulua Supply officer UNICEF - Tunisia F

Adnene Lassoued Director-General National institute of statistics M

Adrian Lassouem Protection team UNICEF - Tunisia M

Ahlem Gzara Director of University and University Medicine


Ahmed Bejaoui Officer Ministry of Education M

Aida Robbana SDG Programme Specialist

UNDP Tunisia F

Ali Zouiri Director-General primary cycle


Amani Touhami Communication for development Officer


Ayed Beligacem President of Committee Ministry of Development Investment and International Cooperation

M

Amel Cheikhrouhou Adolescent development and participation officer


Amjed Mahmoud Director of Economic, Social and Environmental

Relations

Ministry of Vocational Training and Employment M

Asma Abbes CRE Sfax F

Asma Hidri Matoussi Director of Socio-Educational Animation

and Recreation

Ministry of Women, Family and Childhood F

Azzom Hami Adel School Principal Lycée Ali Bourguiba M

Ben Salah Ramy Head of Department Ministry of Women, Family and Childhood M

Bilal Boului Finance Director UNICEF – Tunisia M

Bouker Itea Director-General CRES M

Caroline Waltchen ECD Team leader UNICEF – Tunisia F

Chahed Houda Economist Researcher Ministry of Social Affairs F

Chérifa Eyssar Kochlef

Councillor Ministry of Foreign Affairs F

78 RAPPORT FINAL

© UNIVERSALIA


Chkir Aheddjne Regional Hospital M

Chockri Maatoug Director-General Ministry of Women, Family and Childhood M

Daniek Mounir Investigator CRE Sfax M

Dora Bouchouil Administrative assistant UNICEF - Tunisia F

Doudou Luemba Luvungu

Operation Manager UNICEF - Tunisia M

Douha Jourchi Executive Director ADO + F

Ezzine Najlaoui Regional Manager Ministry of Women, Family and Childhood F

Fabio Minniti Governance expert Italian Agency for Development Cooperation F

Faiçal Masmoudi Education Director Ministry of Development Investment and International Cooperation

M

Fatima Dridi Messagerie UNICEF-Tunisia F

Fatma bouhamed Head of Health sector Ministry of Development Investment and International Cooperation

F

Fethia Cheniour Teacher CRE Sfax F

Habib Smaoui Child and Youth Director Ministry of Development Investment and International Cooperation

M

Hedi Bouker Director-General Ministry of Social Affairs M

Houda Chahed Research CRES F

Hourla Chahed Deputy chief CRES F

Ikbel Fekih Director-General Ministry of Development Investment and International Cooperation

F

Jamel M’sallem President Tunisian Human Rights League M

Jamila Bettaieb Director Ministry of Women, Family and Childhood F

Jammel Med Treasurer Tunisian Human Rights League M

Jana Dab Project Officer Islamic Relief F

Jeannette Vogelaar Regional Education Advisor

UNICEF MENARO F

Jebai Mongi Programme Director primary cycle


Khaled Belhadjali Team Leader Tunisian Scouts M

Khaled Bargaoui British Embassy M

Khemars Bouali Director-General Ministry of Education M

Lamia Brahem Psychologist Ministry of Women, Family and Childhood F

Laurent Le Danois Cooperation officer European Union M

Lila Pieters Representative UNICEF Tunisia F

Loffi Sghaier Director Ministry of Development Investment and International Cooperation

M

Loussaief Fredjmounila

Math Teacher CRE Sfax F

Maha Mezriou Director General of the BEP


Mahrez Yahyaoui Administrative Coordinator PNV

Ministry of health M

RAPPORT FINAL 79

© UNIVERSALIA


Malia Mezrioui Director Ministry of Social Affairs F

Mehdi Barouni Social Policy Specialist World Bank M

Mehdi Moalla Programme Specialist HACT

UNICEF M

Michael Drabble Senior Education Specialist

World Bank M

Mihyar Hamadi DGPE Ministry of Women, Family and Childhood M

Moez Cherif President Tunisian Association for the Defense of Children's

M

Mohamed Khouini President Tunisian Union of Social Solidarity M

Mohshen Hajjej Protection team UNICEF – Tunisia M

Sakly Mouna Child Health Programme Officer


Mouna Zgoulli Protection team UNICEF-Tunisia F

Mounir Khelil Supplier Officer UNICEF-Tunisia M

Nadia Agrebi Programme Director prepatory cycle


Nadia Bensala Child Protection Team Leader


Nadia Touihui Protection team UNICEF-Tunisia F

Naim Belguith Project Manager UNOPS M

Najet Ben Salah Minister Advisor Ministry of Justice F

Nalila Azaiz French Teacher Mahares F

Naoufel Jrad Director Ministry of Religious Affairs M

Nawel Ben Ali Director-General Ministry of Education F

Nébiha Kammoun Tlili

Director and Promotor MISTIGRI F

Noureedine Guesmi School principal Primary school of Sidi Harrath, Kasserine M

Nouri Lejmi President Haica F

Oumayma Idoudi UNV Water Sanitation and Hygiene (WASH)

specialist


Rabeb Ayari DGPE Ministry of Women, Family and Childhood F

Radhia Saidi Member of the board HAICA F

Radhia Garroaa Advisor Ministry of Education F

Raffia Benamor Education Director Ministry of Development Investment and International Cooperation

F

Rami Communication Officer Tunisian Scouts F

Ramzi Souissi ECD Officer UNICEF – Tunisia F

Riadh Ben Boubokr Director-General Ministry of Education M

Riadh Kossentini Investigation Director Ministry of Education M

Roja Beu Nahjoub HR officer UNICEF-Tunisia F

Sadok Jerbi President Civil Society M

80 RAPPORT FINAL

© UNIVERSALIA


Salma Layouni Monitoring and Evaluation Officer


Samia Zayani Head of the Primary Education Support Unit


Samir Bouzekri Social Politics Specialist UNICEF – Tunisia M

Samira Mannai Social protection Ministry of Foreign Affairs F

Sifa Wassima Director Ministry of Women, Family and Childhood M

Silvia Chiarucci Deputy Representative UNICEF – Tunisia F

Simone Cicolin UNV child protection officer

UNICEF – Tunisia M

Taleb Mbarka Director-General Ministry of Development Investment and International Cooperation

F

Tarek Mgadla Programme Manager Islamic Relief M

Teber Naimi General Directorate of Social Promotion


Tenini Dhafer Communication Director Tunisian Scouts M

Toujain Hedlia Cabinet Advisor Ministry of Education F

Wahid Labidi General Commissioner Tunisian Scouts M

Wala Turki Director-General CNTE F

Walib Ben Hamida Project coordinator Islamic Relief M

Wissal Abcha Secretary of Foreign Affairs

Ministry of Foreign Affairs F

RAPPORT FINAL 81

© UNIVERSALIA

Annexe 6. Liste des documents consultés

▪ AFDB. (2017). Tunisia country strategy paper 2017-2021, URL: https://www.afdb.org/fileadmin/uploads/afdb/Documents/Project-and-Operations/Tunisia-1-_Country_Strategy_Paper_2017-2021.pdf.

▪ Alaya, Nizar., Riahd Ben Jelili, and Abdessatar Mabhout. (2018). Déséquilibres régionaux et inégalités sociales en Tunisie. URL https://library.fes.de/pdf-files/bueros/tunesien/14418.pdf.

▪ Austin, Isabelle. (2018). Revue rapide du programme de coopération Tunisie-UNICEF 2015-2019.

▪ Ben Salah, Faiçal. (2016). Analyse de la Situation pour le Développement de la Petite Enfance en Tunisie

▪ Governement of Tunisia. (2016). Communiqué du Conseil des ministres. URL: http://www.pm.gov.tn/pm/actualites/actualite.php?id=9354&lang=fr.

▪ Government of Tunisia. (2017). Plan opérationnel de la stratégie nationale multisectorielle de développement de la petite enfance.

▪ Government of Tunisia. (2017). Stratégie nationale multisectorielle de développement de la petite enfance.

▪ Mayne. (2008). Contribution Analysis: An approach to exploring cause and effect. The Institutional Learning and Change (ILAC) Initiative, Methodological brief. 2008; http://www.betterevaluation.org/sites/default/files/ILAC_Brief16_Contribution_Analysis.pdf

▪ Metangmo. (2017) Evaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. UNICEF Tunisia, Tunis.

▪ Morgan, D. (1996). Focus groups. Annual Review Sociology, 22, 129–152. Annual review inc.

▪ Multiple Indicator Cluster Survey. (2018). Tunisie – Rapport final des résultats, février 2019.

▪ Nespoulous. (2017). Rapport final d’évaluation d’impact du projet d’appui à la justice juvénile. UNICEF Tunisia and European Union, Tunis.

▪ Patton, Michael Quinn (2008) Utilization-Focused Evaluation: 4th edition. Thousand Oaks, Ca: Sage Publications

▪ Ryan, Yasmine. (2011). How Tunisia’s Revolution began, URL: https://www.aljazeera.com/indepth/features/2011/01/2011126121815985483.html.

▪ UNDAF. (2014). Plan-cadre d’aide au développement Tunisie 2015-2019.

▪ UNICEF. (2014). Tunisia country programme documents 2015-2019.




▪ UNICEF. (2017). Évaluation de la composante programme santé du programme de coopération Tunisie-UNICEF 2015-2019. Tunisia.

▪ UNICEF. (2018). Analyse de la Situation des Enfants en Tunisie 2018 – Rapport provisoire.






http://www.pm.gov.tn/pm/actualites/actualite.php?id=9354&lang=fr


https://www.aljazeera.com/indepth/features/2011/01/2011126121815985483.html

82 RAPPORT FINAL

© UNIVERSALIA

▪ UNICEF. (2018). Excel document: Outcome/Output Performance Summary by Business Area.


▪ UNICEF (2018). UNICEF Strategic Plan 2018-2021. New York, NY 10017, USA.



▪ UNICEF. (2019). Budget full CP Tunisia (2015-2020).

▪ UNICEF. (2019). Excel Document: Outcome/Output Performance Summary by Business Area.

▪ UNICEF. (2019). Note de la stratégie du programme de l’UNICEF en Tunisie 2019-2020.


▪ UNICEF. (2019). ToR country programme evaluation Tunisia.

▪ UNICEF. (2019). Tunisia Country Programme 2015-2020, Overview.

▪ UNICEF. Not dated. PowerPoint document illustrating the changes to the ToC and results framework following the MTR.

▪ UNICEF. Not dated. Plan de Travail pour une Éducation de qualité, inclusive et sensible au genre.

▪ UNICEF. Not dated. Plan de Travail de la Protection de l’Enfance

▪ UNICEF. Not dated. Plan de Travail Politiques Sociales (2016-2017)

▪ World Bank Group. (2015). Tunisie: Développement à la petite enfance – SABER.

▪ The National Institute of Statistics-Tunisia (2015). National Survey on Household Budget, Consumption and Standard of Living. INS. Tunis

RAPPORT FINAL 83

© UNIVERSALIA

Annexe 7. Progrès sur l’atteinte des résultats et des produits avant l'examen à mi-parcours 59

59 Source: Reporting documents shared by the UNICEF team in the Tunisia Country Office

84 RAPPORT FINAL

© UNIVERSALIA

Annexe 8. Progrès sur l’atteinte des résultats et des produits après l'examen à mi-parcours 60

60 Reporting documents shared by the UNICEF team in the Tunisia Country Office