Embed Size (px)
Citation preview
Reporte No 40110 - UY
Uruguay: Fortaleciendo el Monitoreo y Evaluación
Participativa de la Política Social
Reporte de la Fase I
Agosto 31, 2007
Unidad de Gestión de País
Argentina, Chile, Paraguay, Uruguay
Departamento de Desarrollo Sostenible
Región de América Latina y el Caribe
Documento del Banco Mundial
Unidad Monetaria = Peso Uruguayo (UR$) 1 US Dólar = 24.3 pesos uruguayos
1 Peso = US$ 0.04
(Al 22 de Junio de 2007)
Abreviaciones y Acrónimos
ANEP Administración de Educación Pública
BPS Banco de Previsión Social
CPI Índice de Percepción de la Corrupción
DFID Departamento para el Desarrollo Internacional (del Reino Unido)
DINEM Dirección Nacional de Evaluación y Monitoreo
GDLN Red Global de Aprendizaje para el Desarrollo
IDES Instituto de Investigación y Desarrollo
INE Instituto Nacional de Estadísticas
LCSPP Unidad de Pobreza y Género para América Latina y el Caribe (del
Banco Mundial)
LCSHS Unidad de Protección Social para América Latina y el Caribe (del
Banco Mundial)
LCSSO Unidad de Desarrollo Social para América Latina y el Caribe (del
Banco Mundial)
MIDES Ministerio de Desarrollo Social
M&E Monitoreo y Evaluación
NLTA Asistencia Técnica No-Reembolsable
ONG Organización No Gubernamental
OPP Oficina de Planificación y Presupuesto
OSC Organizaciones de Sociedad Civil
PANES Plan de Atención Nacional a la Emergencia Social
PAST Programa de Atención a los Sin Techos
PETS Encuestas de Rastreo del Gasto Público
PIP Pareo por Índice de Probabilidades
PRA Evaluación Rural Participativa
PSIA Análisis del impacto social y sobre la pobreza
RD Regresión de Discontinuidad
TdeRs Términos de Referencias
TPU Trabajo por Uruguay
Vice-presidente Regional: Pamela Cox
Director de País: Pedro Alba
Director de Sector: Laura Tuck
Gerente de Sector: McDonald P. Benjamin
Gerente de la Actividad: William Reuben
i
Tabla de Contenidos
Reconocimientos ......................................................................................................................... iii
Resumen Ejecutivo ..................................................................................................................... iv
1. Origen y Perspectiva de la Actividad de Asistencia Técnica ......................................... 1
2. El País, Contexto Institucional y del Programa para la Asistencia Técnica No
Reembolsable para Uruguay (UY NLTA) ....................................................................... 2
A. Contexto de País ............................................................................................................... 2
B. Contexto Institucional ...................................................................................................... 3
C. Contexto del Programa ..................................................................................................... 4
3. Objetivos, Resultados Esperados y Actividades de la UY NLTA ................................. 7
4. Contribuciones de la UY NLTA Bajo la Fase I para Fortalecer la Capacidad del
Análisis de Impacto en el MIDES .................................................................................... 9
A. Recolección de Datos para la Evaluación de Impacto ..................................................... 9
B. Análisis de Impacto Cuantitativo ..................................................................................... 9
C. Análisis Cualitativo de Impacto ..................................................................................... 10
5. Contribuciones de la UYNLTA bajo la Fase I para el Monitoreo y Evaluación
Participativa del MIDES ................................................................................................. 14
A. Diseño de Software e Infraestructura Tecnológica para el Sistema de M&EP .............. 14
B. Indicadores para el Sistema Participativo de M&E ....................................................... 15
C. Pilotaje de Experiencias Participativas de M&E por parte de los Consejos Sociales .... 15
D. Compartiendo las Mejores Prácticas Internacionales con M&E Participativa ............... 16
6. Próximos Pasos – Fase II de la UY NLTA .................................................................... 17
A. Nota Técnica Basada en los Resultados Preliminares de Análisis de Impacto Cualitativo
y Cuantitativo ................................................................................................................. 17
B. Implementación del Sistema Participativo de M&E ...................................................... 18
7. Lecciones Preliminares Aprendidas y Sugerencias para la Implementación de la
Fase II ............................................................................................................................... 21
8. Un Mapa de Ruta para la Implementación de la Fase II de la UY NLTA ................. 23
Referencias ................................................................................................................................. 25
Lista de Cuadros y Cajas Cuadros
Cuadro 1 Programas del Plan de Atención Nacional a la Emergencia Social (PANES)……. 5
Cuadro 2 Hogares solicitantes y beneficiarios del PANES por región geográfica………….. 5
Cuadro 3 Parámetros para la Evaluación en el Análisis Cualitativo………………………… 12
Cuadro 4 Técnicas y Muestra para el Análisis Cualitativo………………………………….. 13
Cuadro 5 Resumen de los Resultados Preliminares del Análisis Cualitativo del
Programa del PANES……………………………………………………………... 13
Cuadro 6 Riesgos Enfrentados en la Fase II Implementación y Medidas Propuestas………. 23
Cuadro 7 Cronograma de Implementación para la Segunda Fase…………………………… 24
Caja
Caja 1 Cuadro de Flujo de la Asistencia Técnica No reembolsable Uruguay (UY NLTA).........7
Caja 2 Herramientas Seleccionadas para el Monitoreo y Evaluación Participativa……………17
ii
Anexos
Anexo I Descripción del Plan de Atención Nacional a la Emergencia Social
(PANES)
Anexo II Eventos y Misiones del Banco
Anexo III Diseño Conceptual de un Sistema de Monitoreo y Evaluación
Institucional y Participativa del Bienestar Social del Uruguay –
Informe Final. Banco Mundial
Anexo IV Relatoría de Fase Cero - Plan de Atención Nacional a la Emergencia
Social (PANES): „Programas Trabajo por Uruguay‟ y „Rutas de
Salida‟ – Bases para el diseño de una evaluación cualitativa. Banco
Mundial - MIDES
Anexo V Propuesta: Evaluación de Impacto del Plan de Atención Nacional a la
Emergencia Social (PANES), Informe de Pro-Fundación para los
Estudios Sociales, Facultad de Ciencias Sociales de la Universidad de
la República. Banco Mundial (2006).
Anexo VI Nota de Concepto: Uruguay Fortaleciendo el Monitoreo y Evaluación
Participativa de la Política Social. Banco Mundial.
Anexo VII Cuadro de indicadores: Áreas, Sub-áreas, y Dimensiones para el
Sistema de Monitoreo y Evaluación del Bienestar Social. Banco
Mundial.
Anexo VIII Propuesta de unificación de bases de datos con variables sociales
existentes en las diferentes dependencias del Estado - Fortaleciendo la
capacidad del MIDES para el análisis, el monitoreo y la evaluación de
la política social del Uruguay. Banco Mundial.
Anexo IX Perfil para la Nota Técnica
Anexo X Relatoría de los Talleres de Difusión de Resultados Preliminares de la
Evaluación de los Componentes del PANES.
Anexo XI Relatoría del Trabajo de Campo de la Evaluación de los Componentes
del PANES. MIDES – Banco Mundial.
iii
Reconocimientos
Este reporte fue preparado por el Gerente de la Actividad William Reuben
(Cientista Social Senior –LCSSO), y los miembros del Equipo Maria Beatriz Orlando
(Economista Senior – LCSPP), José María Ghio (Especialista Señor en Sociedad Civil –
LCSSO), Rafael Rofman (Especialista Líder en Protección Social – LCSHS), Carmen
Mónico (Consultora–SDV) y Eri Watanabe (Consultora–LCSSO). Blanche Cotlear
(Consultora) contribuyó también a la preparación de este documento. Irina Ghobrial
proporcionó apoyo administrativo.
El Equipo desea agradecer al Gerente del Sector de Desarrollo Social para
América Latina MacDonald Benjamín y al Líder Sectorial Carter Brandon por sus
importantes aportes y buenos consejos. Igualmente, el Equipo agradece a los Revisores
Colegas Dorte Verner (Economista Senior–LCSSO), Benedicte Leroy De La Briere
(Especialista en Protección Social–LCSHS) y Keith MacKay (Oficial de Evaluación
Senior–IEGKE) por revisar este reporte y ofrecer valiosos comentarios.
Agradecemos también a DFID por su apoyo financiero para la actividad de
asistencia técnica.
Especiales agradecimientos para la Ministra de Desarrollo Social en Uruguay,
Señora Marina Arismendi por su asesoría y por darnos la oportunidad de trabajar con su
Equipo en esta iniciativa conjunta, incluyendo a Lauro Meléndez (Director de
Evaluación y Monitoreo), Mariella Mazzotti (Director de Desarrollo Ciudadano),
Milton Silveira, Julio Llanes y Marianela Bertoni. Los consultores locales y empresas
de consultoría Ignacio Pardo, Hugo de los Campo, Maria Cecilia Llambí, Nicolás
Brunet Adami, Lorena Custodio, IDES y Pro-Fundación para los Estudios Sociales, de
la Facultad de Ciencias Sociales de la Universidad de la República también
contribuyeron realizando trabajo analítico y de campo, y preparando reportes para la
Asistencia Técnica No Reembolsable (UY NLTA por sus siglas en Inglés). El Equipo
espera que esta UY NLTA pueda ser una ayuda en el mejoramiento de la provisión de
asistencia social a los pobres en Uruguay, para el debate vigente sobre los resultados del
(Plan de Atención Nacional a la Asistencia Nacional de la Emergencia Social) PANES
y el diseño del Plan Nacional de Equidad.
iv
Resumen Ejecutivo
1. La Asistencia Técnica No-reembolsable para Uruguay (UY NLTA por sus
siglas en inglés) fue ejecutada a solicitud del Ministerio de Desarrollo Social
(MIDES)1 del Gobierno del Uruguay. Luego de una devastadora crisis
financiera y macroeconómica en el 2002, el MIDES fue establecido con la
visión de coordinar los programas sociales y proporcionar un programa de
medidas de protección social para los uruguayos afectados por la crisis: el Plan
de Atención Nacional a la Emergencia Social (PANES), el cual fue establecido
en el 2005.
2. La nueva Administración buscó mejorar la focalización y el alcance de las
medidas de asistencia social. Ésta identificó la relevancia de mejorar la
capacidad del Ministerio para evaluar los impactos sociales y sobre la pobreza
del PANES y establecer un sistema participativo de monitoreo y evaluación. El
MIDES invitó al Banco Mundial a apoyar esta iniciativa vía una asistencia
técnica no reembolsable. Este documento reporta sobre cómo el Banco ha
venido trabajando con el personal del MIDES en elevar la capacidad para
realizar evaluaciones de impacto del PANES, y diseñar un sistema de monitoreo
participativo, que son las actividades clave de la Fase I de la UY NLTA.
3. Las actividades apoyadas por la UY NLTA han sido dirigidas por el
MIDES jugando el Banco un papel de asesoría. El alcance del programa de
apoyo, la metodología general y los resultados esperados fueron definidos en un
diálogo con el Ministerio de Desarrollo Social durante una misión del Banco en
Mayo de 2006. Las misiones y contactos subsecuentes han asegurado una fuerte
coordinación bajo el liderazgo de la Ministra de Desarrollo Social entre la
Oficina Nacional del MIDES para Monitoreo y Evaluación (DINEM) y el
Equipo del Banco Mundial.
4. Los objetivos de la UY NLTA son: (i) evaluar el impacto de los programas de
emergencia social del PANES; (ii) informar un diálogo acerca del futuro rol de
los programas de asistencia social y del MIDES como una entidad destacada en
la coordinación y supervisión de la política social en Uruguay; y (iii) fortalecer
la capacidad del MIDES para valorar, monitorear y evaluar la política social en
Uruguay, con un peso considerable sobre un enfoque participativo para el
monitoreo y la evaluación.
5. Durante su implementación, la UY NLTA fue organizada en dos fases para
brindar una respuesta oportuna al cliente y a sus necesidades. La Fase I ha
logrado lo siguiente: (1) la capacidad básica de evaluación del MIDES ha sido
elevada y el sistema participativo de monitoreo y evaluación (M&EP) en el
MIDES fue diseñado; y (2) se ha producido un reporte analítico intermedio de
dos actividades del PANES (Trabajo por Uruguay y Rutas de Salida). La Fase II
de la UY NLTA generará las siguientes entregas: (1) una Nota Técnica que
1 El MIDES fue creado en Marzo 2005 (Ley 17.866) con el principal objetivo de formular, coordinar, y
supervisar las estrategias, políticas y programas de desarrollo social en Uruguay. Con el objeto de hacer
disponible una red de medidas de protección social a los hogares afectados por la crisis del 2002, el
MIDES ha enfocado sus esfuerzos desde su creación en coordinar con otras agencias del sector la
implementación del PANES.
v
contribuirá a informar el diálogo de política sobre el futuro de la asistencia
social en Uruguay bajo el nuevo Plan Nacional de Equidad; (2) los reportes de
M&E producidos por el sistema; (3) un Reporte sobre Pilotajes Participativos y
la articulación de los mecanismos de responsabilidad social dentro del sistema
general de M&E; y (4) eventos de capacitación.
6. La UY NLTA ha apoyado al MIDES en el diseño de métodos cuantitativos
para evaluar los impactos sociales del PANES. El diseño involucra el
desarrollo de análisis comparativos y contrafactuales (Regresión de
Discontinuidad, Pareo por Índice de Probabilidades - Propensity Score Matching
en inglés - análisis de datos de registro) así como enfoques estadísticos
complementarios utilizando datos de una encuesta de seguimiento del PANES.
La UY NLTA brindó apoyo al diseño de la encuesta (identificación de
indicadores, cuestionario y marco muestral). El MIDES ha corrido un primer
panel de la encuesta el cual entregará información crítica del rendimiento e
impactos del programa de emergencia.
7. La UY NLTA también apoyó el diseño y la implementación de un análisis
cualitativo para evaluar los resultados de dos actividades que promueven la
superación de los usuarios PANES de la situación de emergencia social:
Rutas de Salida y el programa Trabajo por Uruguay. El análisis fue diseñado
en consulta con múltiples grupos interesados y ha producido resultados
preliminares que muestran importantes contribuciones de los programas del
PANES en atender la emergencia social, pero también algunas falencias para
vincular los programas de capacitación a las necesidades del mercado laboral y a
iniciativas de generación de ingreso.
8. Para mejorar la capacidad del MIDES para coordinar la política social, la
UY NLTA está apoyando el diseño e implementación de un sistema de
Monitoreo y Evaluación Participativo (M&EP). La Fase I ayudó a desarrollar
el marco conceptual, la definición de usuarios y proveedores del sistema, y la
creación de infraestructura tecnológica de información para apoyar el sistema.
Un estudio de los sistemas de indicadores socioeconómicos internacional,
regional y nacional está en ejecución. Adicionalmente, dos experiencias piloto
en Rivera y Tacuarembó están siendo realizadas con el involucramiento de
Consejos Sociales, que son organismos de la sociedad civil local que
monitorearán el rendimiento de programas sociales específicos, haciendo uso de
mecanismos de responsabilidad social. Se espera que los Consejos Sociales
tengan una participación activa en la generación de información para alimentar
el sistema con la percepción de los usuarios de los programas sociales.
9. Las siguientes lecciones clave pueden ser extraídas de la implementación de
la Fase I de la UY NLTA que serán útiles para la Fase II, y el diseño e
implementación de programas similares de NLTA en otros países:
a. Es recomendable asegurar el involucramiento temprano del cliente para la
etapa de diseño del programa de NLTA para promover su completa
apropiación. El cliente fue involucrado en la definición de todos los elementos
de la UY NLTA, incluyendo la adopción de enfoques y metodologías apoyados
por la UY NLTA. Esto fue realizado a través de una misión del Banco a inicios
vi
de la actividad, una planificación conjunta de enfoques y actividades, la
participación de la DINEM en la identificación de consultores potenciales, y la
entrega de un programa de capacitación y una AT flexible que eleve la
capacidad institucional para la M&EP y la evaluación de impacto.
b. Para mejorar aún más la apropiación del país, la voz de los protagonistas de
las acciones de desarrollo y de los diversos actores del gobierno continuará
siendo integrada a través del desarrollo de enfoques participativos. El Equipo
ha estado trabajando muy de cerca con el MIDES para proporcionar guías al
IDES, que es responsable de la coordinación del programa piloto con los
Consejos Sociales.
c. La asistencia técnica necesita permanecer suficientemente flexible para
responder a las necesidades del cliente; esto es cierto, particularmente ante
ambientes institucionales cambiantes. Cuando sea necesario, se puede adoptar
un enfoque en fases para responder de mejor manera al cronograma institucional
del cliente. La UY NLTA ha proporcionado un marco adecuado para hacer
adaptaciones a través de la implementación de actividades de la Fase I, dadas las
numerosas incertidumbres acerca del futuro del MIDES y del Plan Nacional de
Equidad futuro. Provisiones similares han sido realizadas para la Fase II.
d. Compartir las mejores prácticas internacionales es vital para el desarrollo de
cualquier operación de NLTA. Las actividades de diseminación de experiencias
internacionales deben ser expandidas e incluir a un amplio rango de grupos
interesados. Talleres de capacitación sobre buenas prácticas internacionales en
responsabilidad social y en M&EP fueron realizados por personal del Banco con
funcionarios del MIDES y del IDES para expandir su capacidad para establecer
mecanismos participativos que son adecuados para Uruguay.
e. La coordinación intergubernamental es crítica para un diseño, monitoreo y
evaluación efectivos de la política social. Es aconsejable perseguir junto con el
MIDES un mayor involucramiento de parte de otros ministerios en el proceso de
la UY NLTA. Este mayor involucramiento de otras instituciones claves del
Uruguay se debería convertir en una prioridad desde los inicios de la
implementación de la Fase II.
10. Algunos de los riesgos involucrados en la implementación de la UY NLTA
(Fase II) para los cuales es necesario tomar medidas de amortiguamiento
son:
a. La incertidumbre acerca del futuro papel del MIDES y una potencial falta de
interés e incluso resistencia de parte de otras agencias del gobierno
involucradas en la política social para desarrollar el sistema de M&EP. Para
manejar este riesgo el Equipo del Banco facilitará oportunidades para el diálogo
y coordinación que permitan construir consensos entre los diversos grupos
interesados, acerca de las principales características del sistema de M&EP,
incluyendo cómo desarrollar un mapa de ruta para el establecimiento de un
sistema integrado de información social que articule bases de datos y sistemas
de información existentes.
vii
b. Eventual resistencia de parte de los Consejos Sociales en el desarrollo de
mecanismos innovadores de M&EP. El Equipo coordinará con varios
ministerios y oficinas intergubernamentales involucradas en la asistencia social
y en actividades de monitoreo a nivel local, con organizaciones de la sociedad
civil (incluyendo a los Consejos Sociales) para exponerlas a la experiencia
internacional. Es esencial que el equipo del Banco presente evidencia de la
efectividad de los mecanismos de responsabilidad social para mejorar la
prestación de servicios
c. La expansión de la cobertura del PANES puede crear problemas en la medición
de impacto que utiliza grupos de comparación cuando los miembros de dichos
grupos llegan a ser beneficiarios del programa. El Equipo asesorará al gobierno
a amortiguar los efectos de cualquier modificación de la línea de base debido a
cambios en los criterios de elegibilidad.
d. El compromiso por parte del gobierno mostrado en la Fase I puede no ser el
mismo como en la Fase II. El Equipo buscará la aprobación explícita del
gobierno de las actividades propuestas para la Fase II e involucrará a múltiples
grupos interesados en asegurar la continuación institucional del sistema de
M&EP.
11. El Mapa de Ruta para la Fase II de la UY NLTA incluye las siguientes
actividades:
a. Una Nota Técnica sobre el rendimiento e impacto del PANES y una discusión
del futuro de los programas de asistencia social en el marco del nuevo Plan
Nacional de Equidad. La Nota Técnica utilizará información y resultados
analíticos producidos por el Primer Panel de la Encuesta y de Análisis
Cualitativo. Éste será presentado al Gabinete Social.
b. La implementación de Programa Piloto de los Consejos Sociales.
c. El desarrollo e implementación de sistemas de información social y de M&EP.
d. Presentaciones de los contenidos de la Nota Técnica durante el Seminario:
“Hacia la consolidación de estrategia de reducción de la pobreza”.
e. Actividades de manejo del conocimiento: divulgación de la experiencia a través
de actividades utilizando el Global Development Learning Network (GDLN) en
coordinación con otras iniciativas de aprendizaje del Banco.
f. Producción del reporte de la Fase II de la UY NLTA y la Reunión de Decisión
de la Fase II.
g. Un taller para la entrega de resultados preliminares de la segunda fase al
MIDES.
h. Entrega del reporte final de la UY NLTA.
1
1. Origen y Perspectiva de la Actividad de Asistencia Técnica
1.1 La Asistencia Técnica No-reembolsable para el Uruguay (UY NLTA) fue
ejecutada a solicitud del Ministerio de Desarrollo Social (MIDES)2 del
Gobierno del Uruguay. Luego de una devastadora crisis financiera y
macroeconómica en el 2002, el MIDES fue establecido con la visión de
proporcionar un programa de medidas de protección social (PANES) para los
Uruguayos afectados por la crisis. La nueva Administración buscó mejorar la
focalización y el alcance de las medidas de protección social a través de un
monitoreo y evaluación participativas, e invitó al Banco para apoyar esta
iniciativa por medio de una asistencia técnica no reembolsable.
1.2 El diseño del programa de asistencia técnica ha sido liderado por el MIDES,
con el Banco Mundial jugando un papel de asesoría. Por ejemplo, el alcance
del proyecto, la metodología en general y los resultados esperados fueron
definidos en un diálogo con el Ministerio de Desarrollo Social durante una
misión del Banco en Mayo 2006, los TdeR fueron desarrollados conjuntamente,
la selección de consultores o firmas fue decidida tomando en cuenta las
recomendaciones del MIDES, y los productos intermedios están siendo
comentados y revisados conjuntamente con el personal del MIDES.
Originalmente, en la nota de concepto de esta actividad, se estableció que la UY
NLTA iba a ser desarrollada durante un período de un año. Con el fin de hacerla
consistente con el cronograma y necesidades del cliente, la actividad fue
dividida en dos fases; cada una respondiendo a metas específicas y entregando
productos determinados.
1.3 Esta primera fase de la UY NLTA se ha enfocado en el apoyo a la capacidad
del Ministerio para realizar evaluaciones de impacto social y en el diseño y
pilotaje de un sistema participativo de monitoreo y evaluación por parte del
MIDES. El Banco ha estado trabajando con personal de la Dirección Nacional
para el Monitoreo y Evaluación (DINEM) del MIDES en el diseño de un sistema
participativo de monitoreo y en el diseño e implementación de una evaluación de
impacto del programa del PANES. Esta fase también ha apoyado al diseño de
pilotos de monitoreo participativo que involucrarán a grupos locales de la
sociedad civil en la generación de información sobre las percepciones de los
usuarios del servicio prestado por los programas sociales3. Tanto el MIDES
como los representantes de la sociedad civil, particularmente aquellos
2 El MIDES fue creado en Marzo 2005 (Ley 17.866) con el principal objetivo de formular, coordinar, y
supervisar las estrategias, políticas y programas de desarrollo social en Uruguay. Con el objeto de hacer
disponible una red de medidas de protección social a los hogares afectados por la crisis del 2002, el
MIDES ha enfocado sus esfuerzos desde su creación en coordinar con otras agencias del sector la
implementación del PANES. 3 El monitoreo y evaluación participativa es un proceso a través del cual grupos interesados a niveles
diferentes se involucran en el monitoreo o evaluación de una actividad, programa o política particular,
participan en el proceso y en los resultados de la actividad de M&E, y asumen un papel activo en
identificar y tomar acciones correctivas. Por parte del gobierno, el M&E participativo requiere la
incorporación de resultados dentro de un sistema que genere información utilizada para la toma de
decisiones y mejorar la calidad de la provisión de servicios (en los niveles de proyecto, programa o
política).
2
involucrados en los Consejos Sociales4, están recibiendo asistencia técnica para
realizar un monitoreo participativo a nivel comunitario. En una fase subsiguiente
de la UY NLTA, los enfoques piloto serían implementados y replicados.
1.4 Este reporte resume los resultados de la primera fase de la Asistencia
Técnica No Reembolsable. Las siguientes secciones de este reporte
proporcionan una visión general del contexto de la UY NLTA, los objetivos y
fases de las actividades de la UY NLTA, los productos y resultados preliminares
generados en esta primera fase y los resultados generales esperados. El reporte
contiene un informe detallado de las contribuciones y lecciones aprendidas de la
Fase I, así como un mapa de ruta para la Fase II de la UY NLTA, incluyendo un
análisis de los riesgos para su implementación y un cronograma de actividades.
2. El País, Contexto Institucional y del Programa para la Asistencia Técnica
No Reembolsable para Uruguay (UY NLTA)
A. Contexto de País
2.1 Uruguay se ha beneficiado de una positiva estructura gubernamental, una
fuerte sociedad civil, y continuas reformas institucionales. Uruguay es un
país de ingreso medio alto con una democracia estable y madura, instituciones
públicas de alta calidad, y un fuerte sistema de representación política basado en
partidos políticos. Por ejemplo, en el 2006, Uruguay fue considerado una de las
123 “democracias electorales” en el mundo y fue identificado como
políticamente “libre” con un marcador de 28 (entre 100, donde los resultados
más altos indican menos libertad).5 El resultado del Índice de Percepción de la
Corrupción (CPI) del 2006 para Uruguay fue de 6.4 (entre 10, donde los valores
más altos indican menos corrupción), que está muy por encima del límite de 5.0
que Transparencia Internacional define como la medida de „límite de frontera‟
para países que “no tienen un serio problema de corrupción”6. Más aún, el país
tiene una amplia y activa red de organizaciones de la sociedad civil, con un
amplio grupo de demandas y activismo en los niveles local y nacional. El país
tiene una larga historia de reformas de modernización del sector social, y de
desarrollo de programas de asistencia social que datan desde la década de los 40.
2.2 La crisis financiera de finales de los 90 e inicios del 2000 en Uruguay afectó
adversamente las condiciones socioeconómicas de la población entera. El
impacto fue mayor en los sectores más vulnerables de la sociedad. Un reciente
4 Los Consejos están integrados por protagonistas de los programas sociales y por organizaciones de la
sociedad civil o asociaciones barriales. Ellas están organizadas y operan a nivel departamental. 5 Los resultados de la Libertad de Prensa para A (Leyes y regulaciones que influencian el contenido de los
medios), B (Presiones políticas y presiones sobre el contenido de los medios) y C (influencias económicas
sobre el contenido de los medios) fueron de 8, 9 y 11 respectivamente. Los resultados utilizados para
clasificar a los países son 0-30 para aquellos considerados “libres”; 31-60 para aquellos “parcialmente
libres”; y 61-100 para aquellos “no libres”. Los datos fueron obtenidos de los Datos Históricos de Prensa
de la Casa de la Libertad (http://www.freedomhouse.org/). 6 El CPI es construido en base a la encuesta de Transparencia Internacional realizada anualmente, la cual
en este año fue administrada a 163 países. “Es un índice compuesto, basado en 12 sondeos y encuestas de
9 instituciones independientes, que recogen las opiniones de la gente de negocios y analistas de país”.
Los resultados son medidos en una escala de 10 (limpio de corrupción) a 0 (altamente corrupto). Fuente:
http://www.infoplease.com/ipa/A0781359.html
3
estudio del Banco Mundial sobre las Transferencias de Ingresos de los
Uruguayos7 encontró que los indicadores de desigualdad y pobreza
experimentaron un deterioro sostenido en la etapa inicial de la crisis y,
particularmente, hacia su finalización. Citando datos del Instituto Nacional de
Estadísticas (INE) para el 2006, el mismo estudio muestra que aunque los
niveles de pobreza extrema permanecieron en casi los mismos niveles durante la
última década (por debajo del 5% del total de la población), el coeficiente de
Gini creció de 0.41 en 1993 a más de 0.46 en el 2004.
2.3 La crisis fue seguida por un cambio en la Administración, y la nueva
Administración relanzó la agenda de reforma del país, incluyendo el área
de asistencia social. Luego de asumir el mandato en Marzo 2005, la
Administración del Presidente Tabaré Vázquez se comprometió a hacer del
crecimiento económico sostenible y de una sociedad equitativa las piedras
angulares de la agenda nacional. El establecimiento de un estado moderno,
eficiente y responsable, que sea capaz de promover el desarrollo económico,
llegó a ser la prioridad principal para el Gobierno, y la Administración inició o
reorientó varias reformas que la crisis había interrumpido, incluyendo una
agenda de reforma de modernización que fue relanzada en Agosto de 2006.
Como parte de esta agenda de reforma, el Gobierno ha estado evaluando sus
programas de asistencia social de emergencia, conocidos en su conjunto como
PANES (ver Anexo 1). En la actualidad el Gobierno se encuentra diseñando un
nuevo programa llamado Plan Nacional de Equidad, a ser implementado
cuando terminen los programas de emergencia del PANES, a finales del 2007.
2.4 Si el Plan Nacional de Equidad es aprobado y el mandato y funciones del
MIDES son confirmados, el MIDES requerirá un sustancial fortalecimiento
institucional, de tal forma que lleve a cabo la reforma y asuma un papel de
coordinación, monitoreo y evaluación dentro del sistema de asistencia social del
país. Este fortalecimiento incluiría el establecimiento de una capacidad de
evaluación de impacto y el despliegue de nuevos sistemas de M&E con fuertes
elementos participativos para fortalecer la provisión de servicios. Así, la UY
NLTA busca apoyar al MIDES en adquirir la capacidad de M&EP y en
establecer una estrecha coordinación con otros ministerios, particularmente el
Ministerio de Economía, y otras agencias, especialmente el BPS (Banco de
Previsión Social) y la Oficina de Planificación y Presupuesto (OPP). El
propósito de esta coordinación es el construir consensos sobre el sistema de
M&EP de tal forma que éste pueda ser útil en la implementación del Plan
Nacional de Equidad.
B. Contexto Institucional
2.5 El Ministerio de Desarrollo Social fue establecido en Marzo de 2005 para
promover mayor coordinación y monitoreo de la política social del
Uruguay, y enfrentar los problemas de dispersión entre los diferentes
programas y agencias involucradas en su implementación. La Ley No.
17.866, la cual creó el MIDES, establece las siguientes funciones clave para el
Ministerio: (1) formular, ejecutar, supervisar y evaluar las políticas sociales; (2)
7 Políticas de Transferencias de Ingresos en Uruguay: Cerrando las Brechas para Incrementar el
Bienestar, cuyo gerente y principal autor es Rafael Rofman, Mayo 10, 2007.
4
coordinar las acciones, planes y programas intersectoriales implementados por el
Ejecutivo; y (3) diseñar, organizar y operar un sistema de información social,
con indicadores de los grupos vulnerables de la población, de tal forma que se
facilite la focalización de las políticas y programas sociales.
2.6 La ley también autorizó al MIDES a establecer oportunidades para
coordinar y canalizar la asesoría de la sociedad civil (Art. 9, Ley 17.866).
Esta estipulación legal demuestra el interés del Gobierno para promover la
inclusión de la voz en el seguimiento y la evaluación del rendimiento de los
programas sociales. Sin embargo, esta estipulación no ha sido completamente
implementada hasta la fecha, parcialmente debido a la ausencia de enfoques y
herramientas apropiadas que permitan implementar un sistema efectivo de
M&EP.
2.7 La multiplicidad de instituciones que toman parte en implementar la
política social en Uruguay requiere de un esfuerzo concertado de
coordinación para mitigar potenciales tensiones, débil comunicación, u otros
factores que limitan el impacto de los programas sociales. El gobierno ha sido
bastante eficiente en reducir estos riesgos mediante la creación de mecanismos
de coordinación y promoviendo un diálogo permanente entre las diferentes
agencias.
2.8 Para funcionar apropiadamente, la estructura formal de la coordinación de
la política social necesita todavía una clara asignación de responsabilidades
y competencias. En un intento por crear un mejor mecanismo de coordinación
entre las agencias, el Gobierno creó el Gabinete Social (Decreto 236/005, Julio
15, 2005) presidido por el Ministro de Desarrollo Social y compuesto de 13
ministerios, más un representante de la Oficina de Planificación y Presupuesto, y
un miembro del Congreso. Su función principal es la de asesorar al Ejecutivo
sobre programas y políticas sociales. Este esfuerzo de coordinación es
fundamental. Sin embargo, la dispersión de esfuerzos ha prevalecido hasta ahora
en la implementación de la política social, por ejemplo, al momento, hay tres
ministerios, cinco agencias gubernamentales, y seis instituciones independientes
involucradas en el diseño, implementación y evaluación del programa de
transferencias monetarias condicionadas (Ingreso Ciudadano). Algunas de estas
instituciones se enfocan exclusivamente en la administración, otras en
macrofinanzas, y otras en el diseño e implementación de diferentes programas.
A pesar de que el papel de cada institución está definido en la legislación, en
algunos casos las presiones políticas o los diferentes enfoques metodológicos
generan tensiones interinstitucionales con respecto a los programas y a su
implementación (Rofman 2007, Pág. 6).
C. Contexto del Programa
2.9 El PANES fue creado a inicios del 2005 para atender el impacto social de la
crisis macrofinanciera. Su presupuesto total fue de US$200 millones. El
PANES integra siete programas sociales interrelacionados para ingreso mínimo,
trabajo, apoyo nutricional, emergencias de salud, asistencia a indigentes,
educación para áreas críticas y acceso a la vivienda (ver Cuadro 1 más adelante,
y ver Anexo 1 para detalles sobre el PANES).
5
Cuadro 1: Programas del Plan de Atención Nacional a la Emergencia Social (PANES)8
1. Ingreso Ciudadano Trasferencias monetarias de 1.360 pesos Uruguayos
por mes por hogar.
2. Programa de Obras Públicas
(Trabajo por Uruguay)
Programa de trabajo temporal para readiestramiento
en trabajo comunitario y con compensación.
3. Apoyo Alimentario Provisión de alimentos básicos así como de servicios
de salud y educación.
4. Emergencia Sanitaria Prevención y nivel básico de cuidados de salud
integral, enfocándose en la población en riesgo.
5. Programa de Atención a los Sin
Techo (PAST))
Asistencia a las familias e individuos sin techo
(refugio, comidas, cuidados sicológicos y de salud, y
promoción social).
6. Apoyo Educativo en Zonas de
Contexto Crítico
Apoyo a escuelas localizadas en zonas críticas
(infraestructura, materiales de apoyo, cobertura
nutricional; actividades extra curriculares).
7. Mejoramiento del Hábitat Provisión de asistencia habitacional por un total de
US$ 1,000 por hogar, incluyendo materiales de
construcción.
2.10 De acuerdo con los datos del MIDES, el PANES cubre el 10 por ciento de la
población Uruguaya9 total y la mayoría de los hogares beneficiarios residen
en el interior, por ejemplo fuera de Montevideo. Un estudio preliminar del
impacto de los programas del PANES encontró que más del 70 por ciento de los
beneficiarios del PANES viven en el interior del Uruguay (ver Cuadro 2 más
adelante).10
Cuadro 2: Hogares solicitantes y beneficiarios del PANES
por región geográfica
Grupo Total – País Montevideo Interior
Hogares solicitantes 131.354 34.888 96.466
Hogares beneficiarios 78.701 22.559 56.142
Beneficiarios individuales 352.583 106.141 246.442
Tasa de aprobación (% de
hogares)
58.6 54.9 60.0
Hogares solicitantes 100.0 26.6 73.4
Hogares beneficiarios 100.0 28.6 71.4 Fuente: Indicadores del PANES, procesados por DINEM - MIDES (Pro-Fundación)
2.11 El mismo estudio del MIDES concluyó que el 80 por ciento de los
beneficiarios del PANES están en el primer quintil de la población por
ingresos (ver Cuadro 3 más adelante). Los datos muestran las siguientes
características para este grupo: (i) mayor porcentaje de mujeres (53.4%), (ii) la
mayoría de ellos son jóvenes (por debajo de los 16 años de edad), (iii) cerca de
la mitad de ellos habitan en núcleos familiares, (iv) hogares de una sola cabeza
de familia están sobre-representados en comparación con el promedio de
8 Este es un resumen del Cuadro 1 del Anexo 1.
9 “Perfil Socioeconómico de la Población Incluida en el PANES” un estudio realizado por Vigorito et al
(2007), IECOM, y FCCEE. 10
“Propuesta: Evaluación de Impacto del Plan de Asistencia Nacional de Emergencia Social (PANES) –
Ministerio de Desarrollo Social (MIDES)”, realizado por Pro-Fundación para Estudios Sociales, Facultad
de Estudios Sociales, Universidad de la República, 2006 por encargo del Banco Mundial (mimeo).
6
Uruguay, y (v) cerca de dos tercios de los beneficiarios (73.4%) residen en el
interior.
2.12 Un estudio del Banco Mundial (Rofman, 2007) sobre las transferencias de
ingreso en Uruguay anteriormente mencionado, concluyó que existen tres
retos centrales claves de mediano plazo. Estos son: (1) las brechas existentes y
superposiciones en la cobertura de los programa, (2) débiles perspectivas para la
sostenibilidad fiscal y social de las transferencias de ingreso, y (3) evidentes
fragmentaciones en el diseño institucional de estos programas.
2.13 En este contexto, el Gobierno ha identificado la necesidad de evaluaciones
cuantitativas y cualitativas de los programas de PANES, con apoyo en parte
de la UY NLTA, en tanto diseña un nuevo plan propuesto de asistencia
social, llamado Plan Nacional de Equidad. Con el objeto de dirigir
efectivamente el contexto del programa, la UY NLTA incluyó no solamente
actividades para la elevación de la capacidad para el diseño de un sistema
participativo de monitoreo y evaluación – el cual puede ser eventualmente
adoptado por todos los ministerios involucrados en la política social – pero
también incorporó elementos analíticos para informar tanto el diseño de los
programas de elevación de la capacidad como el proceso de transición del
gobierno del PANES a un nuevo plan de asistencia social. En particular, ésta
incluyó evaluaciones de impacto para contribuir a un entendimiento del
resultado de los programas del PANES en atender las condiciones
socioeconómicas posteriores a la crisis en Uruguay. De esta forma, el diseño
conjunto del gobierno y el Banco de la UY NLTA fue claramente orientada por
elementos clave a los contextos del país, institucional y del programa, que la
operación busca abordar, incluyendo la necesidad de:
Asegurar la cobertura total del quintil más pobre vía mejoramientos en la
identificación de beneficiarios del programa, mecanismos de registro, y el
monitoreo de la implementación del programa.
Evaluación sistemática del impacto del PANES a la luz de la relativamente
alta inversión en asistencia social del Uruguay.
Fortalecimiento de la capacidad del MIDES para asegurar la efectiva
coordinación interministerial de la asistencia social.
Desarrollo de sistemas confiables de monitoreo y evaluación para informar
el diseño y la implementación del programa.
Incorporar mecanismos de voz que puedan influenciar sistemáticamente el
diseño de políticas y la rendición de cuentas.
2.14 La reforma de los programas de emergencia social en ejecución podría
implicar cambios que modifiquen la participación del MIDES en el manejo
y responsabilidades de programas futuros de asistencia social. Esto podría
constituir tanto un reto como una oportunidad para el Ministerio. Entre los retos
está la transición del PANES, que está programado para cerrar a finales del
2007, hacia el nuevo plan de asistencia social, Plan Nacional de Equidad.
Mientras el papel del MIDES es aún incierto en la implementación de este nuevo
plan, la introducción de un proceso de M&EP en las primeras etapas de su
implementación, servirá tanto al MIDES como a otras instituciones responsables
de coordinar y supervisar la ejecución del plan, a armonizar los esfuerzos inter-
institucionales y evaluar los impactos de la política social del país.
7
3. Objetivos, Resultados Esperados y Actividades de la UY NLTA
3.1 Los objetivos de la UY NLTA son: (i) evaluar el impacto de los programas de
emergencia del PANES; (ii) informar un diálogo acerca del papel futuro de los
programas de emergencia social y del MIDES como una entidad destacada en la
coordinación y supervisión de la política social en Uruguay; y (iii) fortalecer la
capacidad del MIDES para valorar, monitorear y evaluar la política social en
Uruguay, con considerable peso de enfoques participativos para monitoreo y
evaluación.
3.2 Los resultados esperados de la UY NLTA incluyen: (a) eficiencia
incrementada en la implementación de Programas Sociales de Uruguay mediante
la consolidación de bases de datos existentes y dispersas y fortalecimiento del
sistema de M&E del MIDES; (b) mayor transparencia y rendición de cuentas
mediante el pilotaje de un enfoque de monitoreo y evaluación participativo en
dos departamentos seleccionados; (c) involucramiento más fuerte de la sociedad
civil en la reforma del sector público en Uruguay; y (d) decisiones informadas
acerca del futuro de los programas de asistencia social, bajo el Plan Nacional de
Equidad, y el papel del MIDES basado en los resultados de la evaluación de
impacto social y sobre la pobreza del PANES.
3.3 Para alcanzar estos objetivos y obtener los resultados esperados, la UY
NLTA definió resultados específicos para cada una de las dos fases como se
muestra en el cuadro de flujo de la Caja 1.
Caja 1: Cuadro de Flujo de la Asistencia Técnica No reembolsable para Uruguay (UY
NLTA)
Uruguay – Fortaleciendo el
Monitoreo y la Evaluación
Participativa de la Políticas
Social
Fase I
Año 06-07
1. Evaluación de capacidades
y sistema participativo de
M&E en el MIDES
diseñado
2. Reportes de evaluación
cualitativa de resultados de
dos actividades de PANES y
del diseño del sistema de
M&EP
Reporte actual
1. Nota Técnica
2. Reportes de M&EP
3. Reporte de pilotajes
participativos y su articulación
al sistema de M&E.
4. Reporte de análisis de impacto
social y sobre la pobreza de
PANES
5. Necesidades de AT
identificadas y desarrollo de un
mapa de ruta para establecer un
sistema integrado de
información social.
Reporte Fase II
Fase II
Año 07- 08
RESULTADOS
:
8
3.4 Resultados esperados en la Fase I y en la Fase II. El principal resultado en la
Fase I fue instalar la capacidad institucional del MIDE para la evaluación de
impacto y el sistema de M&EP; esto fue logrado, como se ha mostrado en este
reporte. Los resultados esperados en la Fase II son desplegar estas capacidades,
completar la evaluación de impacto del PANES, y hacer operativo el sistema de
M&EP. Una Nota Técnica informará el diálogo sobre el futuro de los programas
de asistencia social bajo el Plan Nacional de Equidad. La evaluación del impacto
social y sobre la pobreza del PANES se incorporarán dentro de la estrategia de
implementación de los nuevos programas de asistencia social. El sistema de
M&EP generará una creciente eficiencia en la implementación de los programas
sociales en Uruguay; y una mayor rendición de cuentas y transparencia pública.
Este reporte se enfoca en la implementación de la Fase I de la UY NLTA, la
cual fija las bases para el desarrollo de la Fase II. Los resultados y
recomendaciones generados del trabajo analítico realizado y del diseño
ejecutado durante la Fase I serán insumos para producir entregas específicas en
la Fase II.
3.5 Las actividades desarrolladas por el equipo del Banco en la Fase I de la UY
NLTA incluyeron tres misiones de planificación y fortalecimiento de
capacidades y un taller vía video conferencia. El alcance y la modalidad de
implementación para la UY NLTA fue acordado con el MIDES en la misión
inicial en Mayo 2006. En Octubre 2006, los Consejos Sociales piloto fueron
seleccionados para M&E participativa y los detalles de los análisis cualitativos y
cuantitativos fueron elaborados con el MIDES. Posteriormente a la misión, una
organización de la sociedad civil, el Instituto de Investigación y Desarrollo
(IDES) fue involucrado para desarrollar un programa de capacitación para los
Consejos Sociales sobre M&E participativos. Reportes preliminares de los dos
programas del PANES fueron entregados en Diciembre 2006, y en Marzo 2006
fue realizado un taller vía video conferencia sobre los conceptos generales de
M&E Participativos en Política Social y Mecanismos de Auditoría Social. Un
taller presencial posterior realizado en Montevideo en Abril 2007, enfocando la
dimensión conceptual de la participación en sistemas de Monitoreo y Evaluación
de Políticas Sociales fueron presentadas al MIDES y al equipo consultor. En él
se ofrecieron ejemplos concretos de las mejores prácticas internacionales sobre
la aplicación de metodologías de auditoría social y otras herramientas
participativas para el monitoreo de programas sociales. En Mayo 2007 los
consultores para el Análisis Cualitativo de las actividades de PANES entregaron
sus reportes preliminares para esta fase de la UY NLTA. Una descripción
detallada y un cronograma de las actividades de la UY NLTA puede ser
encontrados en el Anexo 2.
3.6 Los productos esperados de la Fase II son (1) una Nota Técnica producida
en base a los datos preliminares obtenidos a través de una encuesta de
hogares y del estudio cualitativo; éste incluye sugerencias sobre el futuro de
los programas de asistencia social en Uruguay y será preparado conjuntamente
por equipos del Banco (LCSSO, LCSHS y LCSPP) con la participación del
equipo de investigación del MIDES; (2) la producción de Reportes de M&E;
(3) la preparación de un Reporte sobre Pilotajes Participativos y la
articulación de mecanismos de monitoreo participativo dentro del sistema
general de M&E; (4) un reporte que analiza los impactos sociales y sobre la
9
pobreza del PANES; y (5) una identificación de las necesidades de asistencia
técnica y desarrollo de un mapa de ruta para establecer un sistema
integrado de información social.
4. Contribuciones de la UY NLTA Bajo la Fase I para Fortalecer la
Capacidad del Análisis de Impacto en el MIDES
4.1 Esta sección describe las contribuciones hechas por la UY NLTA para
fortalecer la capacidad de análisis de impacto en el MIDES. Ésta inicia con
un breve resumen de las contribuciones en la recolección de datos, para luego
presentar las contribuciones las contribuciones en los análisis cuantitativo y
cualitativo.
A. Recolección de Datos para la Evaluación de Impacto
4.2 La UY NLTA contribuyó con la recolección de datos para evaluación de
impacto a través del diseño de una Encuesta de Seguimiento de Hogares del
PANES. Además de las preguntas estándar del estatus socioeconómico, el
cuestionario de la encuesta recoge información relevante relacionada con el uso
de transferencias monetarias (Ingreso Ciudadano y otras transferencias del
gobierno), y la participación en y los efectos de otras actividades del PANES
(Trabajo por Uruguay y Rutas de Salida). El cuestionario también incluye un
módulo para recoger información sobre la asignación intra-hogar de recursos,
temas de género, y el uso del tiempo en los hogares, las cuales son todas
importantes dimensiones para evaluar el PANES y extraer recomendaciones
para el diseño de los programas del Plan Nacional de Equidad.
4.3 Un marco especial de muestreo fue desarrollado para el seguimiento de la
encuesta de hogares del PANES ya que los hogares pobres están sub-
representados en la muestra de la Encuesta Nacional de Hogares. El marco
especial de muestreo está basado en el de la Encuesta Nacional de Hogares
periódica del Uruguay, pero se espera que capture una muestra más
representativa de hogares pobres, hogares con cabeza de hogar femenina y Afro-
Uruguayos.
4.4 La UY NLTA también apoyó un análisis de los datos de registro existentes:
El PANES fue implementado en varias etapas, añadiendo nuevos beneficiarios y
graduándolos periódicamente. El MIDES recolectó y procesó datos
socioeconómicos de todos los participantes, tanto en el punto de entrada al
programa como en el punto de salida. Esta característica permitió el uso de estos
datos para propósitos de evaluación de impacto utilizando diferentes enfoques,
comparando individuos que salieron del programa con individuos similares que
entran al programa alrededor de la misma época.
B. Análisis de Impacto Cuantitativo
4.5 La UY NLTA ha proporcionado apoyo al MIDES en el diseño de una
evaluación de impacto utilizando métodos cuantitativos. La evaluación de
impacto y resultados del PANES atienden las siguientes áreas de investigación:
(1) impactos directos e indirectos del programa de transferencias monetarias
10
(Ingreso Ciudadano) sobre la reducción de la pobreza y sobre la distribución del
ingreso entre beneficiarios del PANES en relación con un grupo de
comparación; (2) el número de beneficiarios que todavía necesitarán
transferencias monetarias y otra asistencia una vez que el PANES concluya; (3)
impactos diferenciados de diferentes tipos de asistencia e intervenciones
(monetaria, capacitación permanente, inclusión social, obras públicas) sobre la
reducción de la pobreza; (4) impactos de todas las intervenciones del PANES
sobre capital humano (educación, capacitación y salud) y capital social (redes y
relaciones de confianza e información/asistencia mutua); (5) impacto a nivel de
los hogares sobre estrategias para asumir el riesgo y asignaciones intra-hogar de
recursos; (6) impacto sobre los roles de género, empoderamiento económico de
las mujeres y desarrollo de la juventud; y (7) impactos sobre los mercados de
trabajo (oferta laboral, desempleo, movilidad).
4.6 El análisis del impacto cuantitativo se basa en el análisis comparativo y
contrafactual a través de varios enfoques estadísticos complementarios
utilizando datos de la encuesta de seguimiento del PANES y otras fuentes
estadísticas. El análisis contrafactual está diseñado para comparar a los
beneficiarios del PANES (grupo de tratamiento) con los no beneficiarios (grupo
de comparación) utilizando dos técnicas: (1) Regresión de Discontinuidad (RD),
un método paramétrico que asume una regresión subyacente que modela la
relación entre un grupo de variables de control (tales como edad y educación)
sobre la variable de resultado de interés (por ejemplo, ingreso), y estableciendo
una desviación en la regresión subyacente debido a un desplazamiento
producido por la intervención que está siendo investigada. La evaluación puede
ser realizada mediante la observación de las diferencias en el resultado entre
participantes y no participantes para individuos (u hogares) muy similares unos a
otro y localizados cerca del punto de inflexión; (2) Pareo por Índice de
Probabilidad, un método semi-paramétrico o no paramétrico, que involucra la
construcción de grupos de tratamiento ex-post y grupos comparativos mediante
el pareo de individuos que son estadísticamente idénticos en un conjunto de
características, excepto en su participación en el programa.11
C. Análisis Cualitativo de Impacto
4.7 La fase de diseño de la evaluación cualitativa12
fue desarrollada desde
Agosto a Octubre de 2006 en consulta con múltiples grupos interesados. Los
grupos interesados incluyeron expertos de instituciones académicas, partidos
políticos, funcionarios y técnicos de agencias de gobierno, delegados
territoriales del MIDES, y los protagonistas de varios programas. La UY NLTA
se apoyó en paneles de expertos, entrevistas a grupos interesados, observación
in-situ de los programas, y análisis de las bases de datos existentes para informar
el diseño.
11
Para más detalles sobre las herramientas de análisis estadístico ver Anexo 1 de la Nota de Concepto. 12
Ver documentos: “Bases para el Diseño de una Evaluación Cualitativa – Relatoría de la Fase 0” por
Ignacio Pardo y MIDES. 2006, mimeo. “Plan de Atención Nacional a la Emergencia Social (PANES):
Programas „Trabajo por Uruguay‟ y „Rutas de Salida‟ – Bases para el diseño de una evaluación
cualitativa,” preparado por MIDES. 2006, mimeo.
11
4.8 Las consultas conllevaron a la formulación de varias hipótesis que puedan
ser contrastadas con los resultados preliminares del análisis cualitativo
descrito más adelante. Las consultas dieron lugar a las siguientes hipótesis
principales: (a) la participación de diferentes tipos de organizaciones de la
sociedad civil (OSCs) genera diferentes resultados con respecto al programa; (b)
la relación entre los protagonistas (que se benefician del apoyo del programa)
con la comunidad puede determinar o catalizar los resultados del programa, los
cuales tienen el potencial de hacerse visibles, fuertes y durables si las
condiciones adecuadas para esta relación son establecidas; (c) los protagonistas,
en general, portan un estigma que condiciona su relación con la comunidad a la
cual ellos pertenecen; (d) algunas formas de incremento de capacidades generan
mayores vínculos al mercado laboral y gozan de niveles de aprobación más
elevados entre unos protagonistas que otros, por ejemplo capacitación
vocacional; (e) los programas conducen a la asignación de un mayor valor al
trabajo y a una cultura de trabajo; (f) los programas contribuyen al desarrollo de
varias formas de redes y vínculos entre los protagonistas; y, finalmente, (g) una
tendencia de „feminización‟ (mayor número de protagonistas femeninos) de los
programas del PANES podría ser percibida por protagonistas masculinos como
una amenaza a su autoridad.
4.9 Un programa del PANES ‘Trabajo por Uruguay’ (TPU), y una actividad de
capacitación para beneficiarios del PANES ‘Rutas de Salidas’ fueron
seleccionados como estudios de caso por el MIDES. Capturas de información
“instantáneas” y “rastreos” de información por fases fueron desarrollados para
evaluar cada programa, utilizando enfoques de entrevistas a profundidad y
grupos focales. Ambas actividades fueron consideradas por el MIDES como las
más apropiadas para demostrar cómo la población objetivo en extrema pobreza
puede salir de los programas de emergencia e involucrarse en actividades de
generación de ingresos. En cada caso, la UY NLTA recomendó el uso de
enfoques de entrevistas a profundidad y grupos focales. La metodología de
entrevistas a profundidad es semi-estructurada, y la recolección de información
requiere que el formato no sea demasiado rígido, y que se presente en un
lenguaje que sea accesible para la entrevista y que inspire la autorreflexión. Los
enfoques de grupos focales permitieron a los moderadores el involucrar a los
individuos en la construcción de un discurso común o colectivo que involucra
negociaciones múltiples entre participantes13
. El análisis cualitativo se realiza en
dos fases. La primera fase proporciona una „visión instantánea‟ de los
protagonistas, evaluando su satisfacción, resultados y expectativas. La Fase II
hace „evaluaciones de rastreo‟ reconociendo que rastrear la trayectoria de los
protagonistas en su inserción en los mercados de trabajo es esencial para medir
el impacto de las actividades14
. Los Cuadros 3 y 4 ilustran los parámetros para la
13
La composición de los grupos focales responde a principios tales como factibilidad, homogeneidad
interna, y representatividad (no estadística), y los moderadores son provistos de una guía mínima para
facilitar la discusión del grupo focal, lo que a su vez es para enfocar uno o un número muy limitado de
temas. 14
La Parte 1 de la evaluación es una descripción exhaustiva de los componentes del programa y su
relación con los protagonistas, en la cual las fortalezas, debilidades y restricciones son identificadas. La
Parte 2 de la evaluación rastrea tanto al protagonista en los mercados laborales como observa los cambios
posibles que tienen lugar dentro del hogar después de la graduación del TPU y la RDS, así como
identifica las redes y cambios de actitud generados durante el período de salida.
12
evaluación bajo las fases de „instantánea‟ y de „rastreo‟ de la evaluación
cualitativa, así como la muestra y técnicas de entrevista de cada fase.
Cuadro 3: Parámetros para la Evaluación en el Análisis Cualitativo
Parámetro de Evaluación Instantánea
Fase I
Rastreo
Fase II
Capacitación laboral y competencias X X
Formación de capital social dentro de los hogares y entre
las redes sociales
X X
Formación en ciudadanía e inserción en una cultura de
derechos
X X
Aptitudes laborales X X
Aptitudes de comunicación X
Aptitudes matemáticas X
Aptitudes cognitivas X
Integración en el sistema educativo X
Auto-cuidado y acceso a los servicios de salud X
Equidad y relaciones intergeneracionales de equidad
dentro de la equidad de hogares y relaciones
intergeneracionales dentro del hogar
X X
Integración al sistema educativo X
Acceso a cuidados de salud y a cuidados de salud oral X Resumido del “Plan de Atención Nacional a la Emergencia Social (PANES): Programas „Trabajo por
Uruguay‟ y „Rutas de Salida‟ – Bases para el diseño de una evaluación cualitativa,” preparado por
MIDES. 2006, mimeo.
Cuadro 4: Técnicas y Muestra del Análisis Cualitativo
Fase de
Diseño
Tipo de técnica,
número total de
eventos
Descripción de la Muestra
Instantánea –
Fase I
16 grupos focales
basados en variables
socio-estructurales,
especialmente la
distribución por
género/edad por
localidad
Localidades: Montevideo y área metropolitana y
para el Interior. Distribución por localización: 2
grupos femeninos y 2 grupos masculinos por grupo
de edad (18-20, y 30 en adelante)
Rastreo –
Fase II
16 entrevistas a
protagonistas realizada
en tres momentos
diferentes (un total de
48 entrevistas)
4 entrevistas (2 a mujeres y 2 a hombres) que han
evaluado (positiva o negativamente) y están (o no
están) buscando trabajo [4 resultados posibles]
Resumido del “Plan de Atención Nacional a la Emergencia Social (PANES): Programas „Trabajo por
Uruguay‟ y „Rutas de Salida‟ – Bases para el diseño de una evaluación cualitativa,” preparado por
MIDES. 2006, mimeo.
4.10 El diseño preliminar del análisis cualitativo fue elaborado en Diciembre
2006 y fue conceptualizado más adelante en Marzo de 2007. El trabajo de
campo para la Fase I fue realizado en Abril y un reporte con resultados
preliminares estuvo disponible en Mayo de 2007. El reporte presenta las bases
teóricas utilizadas en el análisis, así como los indicadores propuestos (ver Anexo
XI). El Cuadro 5 resume los resultados preliminares de la evaluación cualitativa
de las actividades Rutas de Salida y Trabajo por Uruguay bajo el PANES.
13
Cuadro 5: Resumen de los Resultados Preliminares del Análisis Cualitativo de los
Programas del PANES
Área evaluada Rutas de Salida Trabajo por Uruguay
Tipo de talleres de
trabajo
Capacitación laboral: Los cursos fueron
vistos como que responden a las
necesidades de los beneficiarios del
programa consultados (uso de
computadoras, educación primaria).
Ciudadanía y derechos: Ellos ganaron
mayor sentido de ser „incluidos‟ y
„oídos‟; aprendieron acerca de las
obligaciones y cómo ejercer sus
derechos.
Competencias Sociales/genéricas: Se
encontró que son de ayuda para el
desarrollo personal (auto-estima) y
éticas de trabajo (puntualidad,
presentación)
Los talleres cubrieron derechos
laborales, violencia familiar,
sexualidad, adicción a drogas, entre
otros. Los beneficiarios sintieron
que en general las capacitaciones
fueron útiles pero algunas
demasiado teóricas o
improductivas. Ellos aprendieron
mejor acerca de cómo exigir sus
derechos, y cómo expandir su
desarrollo personal en aquello que
aprendieron sobre higiene personal
y métodos reproductivos.
Tareas a cumplir
asignadas
Se obtuvo gran satisfacción para
realizar tareas que contribuyan a
mejorar el barrio o la ciudad, y para
ayudar a forjar una cultura de limpieza
y buen mantenimiento.
Los beneficiarios que adquirieron
empleos en instituciones públicas
(escuelas, unidades de salud),
realizando construcciones y tareas
de mantenimiento tuvieron una
mejor evaluación que aquellos que
ejecutaron otras obras públicas
(mejoramientos, limpieza de
senderos de agua). Ningún grupo
obtuvo uniformes a tiempo, ni
tuvieron condiciones de trabajo
seguras/limpias.
Relaciones con
beneficiarios de
otros programas,
trabajadores de
ONGs, miembros
de la comunidad
Éstos generaron: apoyo mutuo entre los
beneficiarios del programa;
establecimiento de amistad y vínculos
de camaradería. Hubo opiniones
diversas sobre las relaciones con
trabajadores de ONGs; considerándolas
fluidas si éstas existieron antes del
programa.
Algunos beneficiarios
caracterizaron las relaciones con
los técnicos de ONGs como
horizontales, mientras que otros
como rígidas e inamistosas con
demasiada exigencia a los
trabajadores. La relación con
participantes de otros programas
fue vista como positiva. Las
relaciones con la comunidad
parecieron haberles ayudado a
mejorar su imagen.
„Trayectoria‟
Laboral y
Estrategias de
Salida
La mayoría de beneficiarios estuvieron
desanimados porque no habían sido
capaces de encontrar trabajo debido a la
falta de capacitación, edad o récord
criminal. Aquellos que buscaron
establecer pequeñas industrias
presentaron propuestas pero o
recibieron una respuesta negativa o
nunca tuvieron respuesta de las
autoridades.
La mayoría de beneficiarios
percibieron que adquirieron
técnicas obsoletas inútiles en el
mercado. Aquellos que no trabajan
para instituciones públicas (ver
tareas asignadas) percibieron que
no adquirieron nuevas destrezas en
absoluto. Ningún grupo concluyó
que las destrezas aprendidas les
preparaban suficientemente para
encontrar trabajo. No se encontró
ningún proyecto o empresa entre
los beneficiarios que esté
funcionando debido a falta de
herramientas y financiamiento.
14
Cuadro 5: Resumen de los Resultados Preliminares del Análisis Cualitativo de los
Programas del PANES
Área evaluada Rutas de Salida Trabajo por Uruguay
Asistencia social
complementaria
proporcionada
Estos servicios fueron considerados
muy útiles, particularmente el cuidado
dental, del cual se dijo que ayuda a
mejorar la autoestima y la presentación
cuando se busca trabajo.
[Ninguna fue descrita en el reporte
preliminar.]
Fuente: Reportes preliminares del análisis cualitativo del MIDES, 2006.
5. Contribuciones de la UYNLTA bajo la Fase I para el Monitoreo y
Evaluación Participativa del MIDES
5.1 Esta sección describe las contribuciones que han sido hechas y que están
siendo realizadas bajo el Componente de monitoreo participativo y
evaluación de la Fase I de la UY NLTA. La UY NLTA proporcionó apoyo en
las cinco áreas clave descritas más adelante: (1) diseño de software e
infraestructura tecnológica para el sistema de M&EP; (2) definición y
establecimiento de un grupo adecuado de indicadores para el sistema de M&E;
(3) pilotaje de experiencias de M&EP dirigidos por los Consejos Sociales; y (4)
compartiendo las mejores prácticas internacionales en M&EP y en mecanismos
de responsabilidad social.
A. Diseño de Software e Infraestructura Tecnológica para el Sistema de
M&EP
5.2 El Sistema Integrado de Información Social propuesto combina la
información en los niveles de los beneficiarios, de los programas sociales
como tales, y de los gastos sociales. La definición de estos elementos esenciales
contribuirá a la preparación de un mapa de ruta para el desarrollo de un sistema
integrado de información que permita compartir información entre las distintas
instituciones involucradas en la implementación de la política social. Esto
permitirá a las agencias del gobierno manejar información más fácilmente sobre:
ingreso familiar, acceso a trabajos formales, servicios gravados y no gravados,
estado de salud, rendimiento educativo, participación y derechos ciudadanos, y
acceso a servicios públicos.15
El sistema será creado en el mediano y largo plazo
ya que implica la construcción y articulación de iniciativas y herramientas
complejas, tales como aquellas para planificación, monitoreo y evaluación de
programas sociales.
5.3 La UY NLTA apoyó la contratación del apoyo de consultoría especializada
para el desarrollo de los términos de referencia para el diseño de software
para el Sistema de Información del sistema de M&E. El software será
diseñado para hacer uso de información e indicadores sobre asistencia social. El
sistema integrado de información social combinará datos de varias fuentes y será
la piedra angular del sistema de M&EP. En Mayo de 2007, el Especialista de
Información produjo un reporte proponiendo TdeR que contienen los pasos
15
Ver reporte de la actividad “Fortaleciendo la capacidad del MIDES para el análisis, el monitoreo y la
evaluación de la política social del Uruguay. – Propuesta de unificación de bases de datos con variables
sociales existentes en las diferentes dependencias del Estados” preparado por Milton Silveira, Mayo del
2007.
15
siguientes: (i) identificación de los recursos físicos y tecnológicos y de la
comunicación existente en la actual plataforma de información tecnológica que
utiliza el MIDES; (ii) diseño e instalación de la base de software necesario para
el nuevo sistema; planes de capacitación para grupos de usuarios designados por
el MIDES; (iii) preparación del enfoque y de las especificaciones de las pruebas
funcionales y estructurales necesarias para hacer los ajustes al sistema; (iv)
creación de manuales de usuarios así como de manuales técnicos para la
implementación, configuración, instalación y operación del sistema; y (v)
instalación del Almacén de Datos y de un servidor.
B. Indicadores para el Sistema Participativo de M&E
5.4 Para definir el sistema de M&EP, el MIDES está evaluando utilidad y
adecuación de un conjunto de utilizar sistemas de indicadores socio
económicos internacionales, regionales y nacionales. Entre ellos están los
desarrollados por instituciones internacionales y regionales como OECD,
UNRISD, Naciones Unidas y CEPAL. Las experiencias de país propuestas para
consulta son las de Argentina (Sistema Estadístico de Indicadores Sociales y
Demográficos y de Información, Monitoreo y Evaluación del Sistema de
Programas Sociales), Costa Rica (el Sistema de Indicadores de Desarrollo
Sustentable), Venezuela (el Sistema Integrado de Indicadores Sociales), Ecuador
(el Sistema Integrado de Indicadores Sociales), Panamá (el Sistema Integrado de
Indicadores de Desarrollo), y Chile (el Sistema Integrado de Información
Social). En Uruguay, los sistemas instalados propuestos para análisis son el
Sistema Nacional de Estadísticas y el Catálogo Estadístico desarrollado por el
Instituto Nacional de Estadísticas, el Observatorio de los Mercados Laborales
manejado por el Ministerio de Trabajo, el Observatorio de Montevideo sobre
Inclusión Social desarrollado por la Municipalidad, el Monitor de la Educación
Primaria establecido por la ANEP, y el Sistema Informativo sobre Infantes. Los
sistemas bajo diseño o implementación sugeridos para estudio son el Plan
Maestro Estadístico que es parte de la Estrategia Nacional para Desarrollo
Estadístico; la Encuesta de Protección Social realizada por el BPS; y el Sistema
Integrado de Información de Áreas Sociales y el Sistema Nacional de
Información de Infantes y Adolescentes promovido por el MIDES.
C. Pilotaje de Experiencias Participativas de M&E por parte de los
Consejos Sociales
5.5 El MIDES está comprometido en fortalecer la participación de la sociedad
civil a través del empoderamiento social y considera a los Consejos Sociales
locales como esenciales para construir la agenda social a nivel
departamental. Se espera que los Consejos lleguen a ser conductores de la
“voz” ciudadana y para llevar a cabo las funciones de monitoreo y evaluación a
nivel territorial que permitan mejorar la calidad de la provisión de servicios.
Esto implica un cambio en la cultura institucional de las instituciones públicas,
incluyendo la incorporación de mecanismos orientados a transparentar la
información pública y dar respuesta a quejas y demandas de información. La
propuesta para constituir un sistema de M&E participativo requiere del
desarrollo de un grupo de mecanismos y procedimientos para los Consejos
Sociales para completar apropiadamente su mandato participativo de M&E, así
16
como la capacitación de los miembros de los Consejos Sociales y el pilotaje de
estos enfoques.
5.6 Los Consejos Sociales de Rivera y Tacuarembó fueron seleccionados por el
MIDES para el pilotaje de mecanismos participativos de M&E. Los
Consejos están compuestos de actores sociales departamentales en varios niveles
organizativos y de varias áreas de trabajo, que pueden proponer, contribuir y
monitorear las políticas sociales. Estos Consejos, como otros en el futuro,
tendrán una función dual como usuarios y proveedores de información para el
sistema participativo de M&E. Los dos Consejos fueron establecidos a mediados
del 2006 y están ahora involucrados en planificar las experiencias piloto.16
Los
Consejos de Rivera y Tacuarembó han realizado siete reuniones de trabajo
durante el año pasado, con insumos del MIDES y la UY NLTA
(específicamente, a través del IDES), para preparar el lanzamiento de los
pilotajes, que tendrá lugar en la Fase II de la UY NLTA. La capacitación, que
será extendida a otros Consejos Sociales, incluye la elevación de la capacidad
para desarrollar una cercana cooperación entre las comunidades locales y los
Consejos y constituirse en conductos de voz representativos y consistentes entre
los ciudadanos y el Estado. También se prestará apoyo a procedimientos para
acceder a la información pública. El pilotaje propuesto asegurará que la
información participativa generada por los Consejos Sociales comience
efectivamente a alimentar el sistema de M&EP. El IDES también trabajará con
los Consejos Sociales para seleccionar los programas que serán monitoreados,
implementará el trabajo de campo, procesará los datos, y preparará un reporte
que contenga un análisis de los resultados obtenidos de las experiencias piloto.
Esto permitiría que las lecciones y enfoques aprendidos sean replicados en otros
Consejos Sociales departamentales.
D. Compartiendo las Mejores Prácticas Internacionales con M&E
Participativa
5.7 En el centro de la Asistencia Técnica No Reembolsable para el MIDES está
el compartir el conocimiento, la experiencia, y mejores prácticas
internacionales sobre el M&E participativo. Como un nuevo Ministerio con
un fuerte compromiso hacia la responsabilidad social, el personal del MIDES ha
fortalecido rápidamente su conocimiento sobre la teoría y la práctica en M&E
participativo, a través de diálogo continuo, talleres de capacitación sobre la
experiencia internacional. El Banco ha podido presentar herramientas y métodos
que ha identificado y promueve internacionalmente como parte de un enfoque
participativo de M&E, incluyendo por ejemplo, Evaluación Rural Participativa
(PRA), Encuestas de Rastreo del Gasto Público (PETS), Boletines Ciudadanos
de Calificación y Tarjetas de Puntaje Comunitario (ver Caja 2 más adelante).
Estas han sido compartidas con el MIDES durante el año pasado, y el MIDES
está considerando varios de estos elementos en el diseño de su enfoque
participativo de M&E.
16
Actualmente hay nueve Consejos Sociales Departamentales implementados, y dos departamentos están
en la fase final de establecer sus consejos.
17
Caja 2. Herramientas Seleccionadas para el Monitoreo y Evaluación Participativo
La Encuesta de Rastreo del Gasto Público (PETS) es una encuesta cuantitativa de los
servicios públicos por el lado de la oferta. La unidad de observación es típicamente una
instalación de servicios y/o un gobierno local, por ejemplo, proveedores directos como
escuelas y clínicas. La encuesta recolecta información sobre las características de las
instalaciones, flujos financieros, resultados (servicios entregados), acuerdos de
responsabilidad, etc.
Boletines Ciudadanos de Calificación son encuestas participativas que proporcionan
retroalimentación cuantitativa de las percepciones de los usuarios sobre la calidad, pertinencia
y eficiencia de los servicios públicos. Éstas van más allá de ser solamente un ejercicio de
recolección de datos para convertirse en un instrumento para hacer más consistente la demanda
de cuentas sobre la calidad de los servicios públicos a través de una extensa cobertura de
medios de comunicación y la presión que ejercen las organizaciones de la sociedad civil que
acompañan el proceso.
Tarjetas de Puntaje Comunitario son herramientas de monitoreo cualitativo que son
utilizadas a nivel local con las que la comunidad evalúa el funcionamiento de los servicios,
proyectos y unidades administrativas gubernamentales. La tarjeta comunitaria es un proceso
híbrido que involucra las técnicas de auditoria social, el monitoreo participativo comunitario y
los boletines ciudadanos de calificación. Como en los boletines ciudadanos de calificación, las
tarjetas comunitarias son un instrumento fuerte con el que cuentan los usuarios de los
programas sociales y los ciudadanos en general para monitorear y demandar que los servicios
sociales reúnan ciertos estándares básicos de calidad mediante el otorgamiento de puntajes a la
calidad de los servicios que reciben basados en sus experiencias y percepciones en asambleas
comunitarias y encuentros con los prestadores de los servicios.
6. Próximos Pasos – Fase II de la UY NLTA
6.1 Esta sección expone los resultados propuestos y el mapa de ruta para la
Fase II de la UY NLTA. Esta delinea brevemente los elementos de una nota
técnica a ser producida en la Fase II, que se basará en los resultados preliminares
de los análisis de impacto cuantitativo y cualitativo, y presenta las
contribuciones que son esperadas en relación con el análisis de impacto social y
sobre la pobreza de PANES, y con el componente M&E participativo, antes de
cerrar con un mapa de ruta para la Fase II de la UY NLTA.
A. Nota Técnica Basada en los Resultados Preliminares de Análisis de
Impacto Cualitativo y Cuantitativo
6.2 La Fase II contribuirá a la preparación de una Nota Técnica para
contribuir con elementos analíticos en el diálogo sobre el Plan Nacional de
Equidad propuesto. La Nota Técnica incluirá: (1) un análisis de los resultados
del programa Ingreso Ciudadano del PANES en las siguientes dimensiones:
pobreza, empleo y oferta de empleo, capital humano, capital social, roles de
género, y asignación de recursos intra-hogares; (2) una evaluación cualitativa de
los resultados de las actividades del Trabajo por Uruguay y Rutas de Salida,
incluyendo las mismas dimensiones como aquellas del análisis cuantitativo, así
como una evaluación de la calidad de la capacitación y de otros servicios
proporcionados por las organizaciones de la sociedad civil; (3) conclusiones y
18
recomendaciones para el Plan Nacional de Equidad, con mensajes claves para el
diseño de políticas y de programas. Los principales insumos para esta nota
técnica son los resultados de la primera ronda de la encuesta de seguimiento de
hogares de PANES y del grupo de comparación, los resultados del análisis
cualitativo de Rutas de Salida y Trabajo por Uruguay, el estudio realizado por el
Banco Mundial sobre Transferencia Monetarias, y otros estudios y trabajo
analítico disponible.
6.3 La principal audiencia de la nota técnica será el Consejo Nacional
Coordinador de Políticas Sociales presidido por el MIDES e integrado por
viceministros y directores del área social. La preparación de esta nota ha sido
aprobada por la Ministra y Directores del MIDES y sus objetivos han sido
discutidos con la Oficina Nacional para Monitoreo y Evaluación (DINEM) en el
MIDES. A la luz del amplio espectro del análisis, un equipo interdisciplinario
del Banco Mundial con personal especialista de diferentes sectores del Banco
(LCSSO, LCSHS y LCSPP) trabajará conjuntamente con el equipo de
evaluación central del MIDES para preparar la nota técnica. Durante la
preparación, también se buscarán insumos de otros ministerios y agencias
gubernamentales.
B. Implementación del Sistema Participativo de M&E
6.4 Se espera que el sistema participativo de M&E a ser implementado sea
ampliamente flexible, accesible, además de integral. Se intenta que el sistema
sea lo suficientemente simple para servir como un insumo para el trabajo de los
Consejos Sociales en términos de sus actividades participativas de M&E. Sin
embargo, este debe ser también suficientemente confiable y completo para guiar
el diseño de nuevas políticas sociales o reformular las existentes. Se espera que
permita la consulta y preparación de reportes para diferentes usuarios,
incluyendo técnicos, tomadores de decisiones políticas, organizaciones sociales,
y ciudadanos en general. El sistema será capaz de generar consultas en línea de
parte de usuarios remotos, ejecutar seguridad de datos y control de la privacidad,
crear una red de usuarios que reciba actualizaciones temáticas de datos, emitir
reportes específicos de acuerdo a módulos o indicadores temáticos
seleccionados, registrar a los visitantes basado en un protocolo pre-establecido,
y generar recordatorios de las actualizaciones de datos disponibles para los
administradores. Los usuarios deberían incluir a los Consejos Sociales, el
Gabinete Social, el Consejo Nacional Coordinador de Políticas Sociales, las
Mesas de Coordinación Interinstitucional (ver más adelante; la mayoría de estas
instancias de coordinación son también proveedores de datos para el sistema). El
sistema asegurará la posibilidad de incorporar cambios y expansiones en cada
uno de los aspectos antes mencionados, por medio de una estructura modular o
expandible.
6.5 Integrar la retroalimentación participativa de información de M&E dentro
del desarrollo eventual de un sistema integrado de información social es un
objetivo clave de la Oficina Nacional de Monitoreo y Evaluación (DINEM)
19
del MIDES.17
Con la facilitación de la UY NLTA, el DINEM promoverá un
diálogo interinstitucional que incrementará la orientación de resultados de la
política social y facilitará ajustes más rápidos de la política social en respuesta a
las condiciones entre los protagonistas. Específicamente, el sistema de M&EP
en construcción, indicará si un programa o política que está siendo
implementado está en concordancia con este plan; identificará problemas,
irregularidades y dificultades, así como oportunidades en la implementación de
las políticas sociales; auditará y controlará la ejecución del presupuesto de las
políticas sociales, y evaluará continuamente las acciones de política pública que
son relevantes para la comunidad. Más específicamente, la actividad elevará la
capacitación relacionada con la selección, combinación y recomendación de
instrumentos técnicos para el desarrollo de la información del sistema
(características de la solución, requisitos, funcionalidades, aplicación de
modelos, etc.), así como las herramientas institucionales más adecuadas para el
manejo del mismo (Comité de Manejo, etc). Esta elevación de la capacidad será
profundizada y expandida a otras agencias de gobierno en la Fase II de la
NLTA.
6.6 Uruguay produce un gran volumen de datos de sus programas sociales,
pero no hay una base de datos única del PANES y otros programas de
asistencia social. En particular, el Estado no tiene sistemas de información
adecuados para actualizar, integrar, desagregar, generar regularmente y divulgar
reportes integrales sobre los resultados de los programas. De hecho, varias
agencias gubernamentales tienen registros con información crítica sobre los
beneficiarios del PANES y los solicitantes, pero no hay datos coordinados para
administrar el PANES.18
La creación de un sistema integrado de información
social será un paso importante hacia la atención del problema de duplicación en
conjuntos de datos, así como la existencia de similares (pero diferentes), datos
no armonizados. El UY NLTA apoyará el esfuerzo nacional por la articulación
de instituciones claves como el BPS, OPP Y MIDES, que procura acordar un
mapa de ruta que permita la articulación entre el Sistema de Evaluación y
Monitoreo del MIDES y los componentes asociados al “Proyecto de Asistencia
Técnica para el Fortalecimiento Institucional para Uruguay”19
que apoyaran la
creación del Sistema Integrado de Información para el Área Social (SIIAS) y el
apoyo a los programas de planificación del presupuesto nacional.20
17
“Consideraciones respecto del proceso de construcción de un sistema de Evaluación y Monitoreo
Participativo. Ministerio de Desarrollo Social - Uruguay” – documento de discusión sobre la
construcción del sistema de PME preparado por Milton Silveira, Mayo del 2007. 18
Las personas a cargo de las bases de datos individuales del programa se reunieron en un taller realizado
en Junio 14, 2006 para mapear las bases de datos existentes, a las cuales el sistema del PANES pueda
acceder, por ejemplo, del Instituto Nacional de Estadísticas (INE), el Banco de Previsión Social (BPS), el
Ministerio de Salud Pública (MSP), la Administración de Educación Pública (ANEP), empresas de
servicios públicos (UTE, OSE, y ANTEL), la Corte Electoral, el Ministerio de Vivienda, y otros
programas dentro del MIDES (Infamilla). 19
El Componente 4 de este proyecto financiado por el Banco Mundial busca apoyar el fortalecimiento
institucional del BPS en el desarrollo de reformas de impuesto y protección social, el cual incluye la
implementación del sistema integrado de información para el área social (SIIAS). 20
Estos programas incluirán un sistema de metas e indicadores asociados a las metas, que serán
imprescindibles para el monitoreo del presupuesto y la política social. El sistema integrado recogerá
información de acciones de instituciones públicas para dar seguimiento a su cumplimiento. Además, el
sistema colectará información sobre la entrega de servicios de esas instituciones a la ciudadanía y en
especial a los Consejos Sociales.
20
6.7 La UY NLTA apoyará el desarrollo de auditorías de datos con el objeto de
asegurar la calidad de los mismos. El sistema ya considera incluir auditorías
que permitirán a los manejadores del sistema rastrear quién ingresó y cuando fue
ingresada la información en el sistema. La factibilidad de crear un mecanismo
independiente para la calidad de los datos responsable de realizar la auditoría
externa de datos será evaluada en la Fase II. El equipo de la UY NLTA
promoverá una evaluación de la capacidad instalada dentro de la sociedad civil y
entre universidades y otros centros de pensamiento, para realizar esta función.
Esto también incluirá una evaluación de los enfoques metodológicos más
apropiados para la M&EP.
6.8 El nuevo sistema buscará combinar la M&E realizada por las oficinas
públicas con el M&E realizado por los grupos sociales y asociaciones
barriales. El MIDES hará el esfuerzo de articular la producción de datos
estadísticos basados en indicadores sociales, y la retroalimentación a grupos
comunitarios. La piedra angular de este enfoque será la elevación de la
capacidad y el pilotaje de mecanismos participativos de M&E por parte de los
Consejos Sociales. Una decisión preliminar para el pilotaje de metodologías de
Tarjetas de Puntaje Comunitario ha sido adoptada por el MIDES para las
experiencias piloto. Más aún, los planes del MIDES para vincular este esfuerzo
con los organismos de coordinación interinstitucional existentes, tales como las
Mesas de Coordinación Interinstitucional, incluyen representantes a nivel
departamental de las instituciones públicas involucradas en la implementación
de la política social. Ellas buscan promover la coordinación horizontal y
transversal de las políticas sociales a nivel territorial. En razón de que el MIDES
convoca a estas instancias de coordinación local, éste está posicionado para
promover vínculos con los Consejos Sociales durante la fase de pilotaje.
6.9 La UY NLTA continuará promoviendo las mejores prácticas
internacionales en el diseño de M&EP. El equipo apoyará al MIDES para
facilitar la creación de un espacio para el diálogo de política interinstitucional y
territorial y para revisar buenas prácticas, como aquellas de los países
escandinavos. Estas prácticas permitirán al MIDES implementar nuevos
enfoques que harán posible la sostenibilidad, legitimidad, participación
informada de los ciudadanos, y transparencia que la política social pública
requiere en Uruguay.
6.10 Análisis de Impacto Social y Sobre la Pobreza de PANES. El análisis
contrafactual comparará a los beneficiarios del PANES (grupo de tratamiento)
con los no beneficiarios (grupo de comparación) utilizando métodos
paramétricos y no-paramétricos con el fin de estimar los impactos que el
PANES ha tenido sobre los hogares cubiertos por el plan21
. Más
específicamente, analizará los impactos directos e indirectos del programa de
transferencias monetarias (Ingreso Ciudadano) sobre la reducción de la pobreza
y sobre la distribución del ingreso; contribuirá a estimar el número de
beneficiarios que todavía necesitarán transferencias monetarias y otra asistencia
una vez que el PANES concluya; estudiará los impactos diferenciados de
21
Para más detalles sobre las herramientas de análisis estadístico ver Anexo 1 de la Nota de Concepto.
21
diferentes intervenciones (monetaria, capacitación permanente, trabajo por
apoyo monetario) sobre la reducción de la pobreza; impactos sobre capital
humano y social; revisará la asignaciones intra-hogar de recursos de los
beneficiarios de PANES y otras dimensiones de género y etarias; e investigará
los impactos sobre los mercados de trabajo (empleo, desempleo y movilidad).
Esta evaluación ofrecerá importantes elementos para la implementación del
Plan Nacional de Equidad a partir de 2008.
7. Lecciones Preliminares Aprendidas y Sugerencias para la
Implementación de la Fase II
7.1 Desde Mayo de 2006, cuando la NLTA inició su implementación, hasta la
fecha, las lecciones principales aprendidas pueden resumirse en seis áreas.
Estas lecciones informarán la estrategia para la implementación de la Fase
II:
Es fundamental llevar adelante una perspectiva de empoderamiento en
la entrega de asistencia técnica que tenga un fuerte enfoque de
fortalecimiento de capacidades. Es esencial facilitar un proceso de
aproximación por parte del cliente a las contribuciones del Banco, ya sea que
ésta sea la provisión de asistencia técnica, transferencia de experiencias
internacionales o financiamiento de las actividades. Esto ha sido crítico para
que el MIDES se apropie del diseño e implementación de los componentes
del UY NLTA. El diálogo permanente y abierto entre la gerencia del
MIDES, los equipos técnicos, y el equipo multidisciplinario del Banco ha
sido un elemento esencial para que el MIDES asuma el liderazgo de la
asistencia técnica, con el Banco Mundial respondiendo a las demandas del
Ministerio y apoyando el fortalecimiento de capacidades por medio de
actividades también lideradas por la gerencia del Ministerio.
Para ampliar la apropiación del país de la política social, es imperativo
reconocer la necesidad de integrar la voz de los protagonistas de las
acciones de desarrollo, sobre todo la gente que vive en extrema pobreza
y que se beneficia de los programas sociales. Es necesario desarrollar
operaciones de asistencia técnica que proporcionen apoyo simultáneo a los
gobiernos y a las organizaciones de la sociedad civil o a grupos beneficiarios
involucrados en el desarrollo de la política social. La UY NLTA ha estado
enfocada no solamente en el fortalecimiento de la capacidad institucional
dentro del MIDES, sino también en promover la capacidad a nivel local.
Como parte de estos esfuerzos, es muy relevante el apoyo proporcionado a
los Consejos Sociales y la articulación que el MIDES está buscando entre
estos Consejos y las Mesas de Coordinación Interinstitucional a nivel
Regional. Durante la Fase I de la UY NLTA, el MIDES fortaleció los
mecanismos de monitoreo y evaluación participativa para que la voz de los
usuarios pueda mejorar el enfoque y la calidad de los programas sociales que
maneja o coordina. El MIDES entiende el valor que tiene la voz en el
mejoramiento de la calidad en la prestación de servicios y ha encargado al
IDES el fortalecimiento de los Consejos Sociales.
Es importante ofrecer operaciones de asistencia técnica que sean
suficientemente flexibles para responder a las necesidades del cliente,
particularmente en el contexto de ambientes cambiantes e inciertos. Las
22
operaciones de asistencia técnica que tienen un enfoque rígido tienes menos
probabilidades de éxito en hacer las adaptaciones necesarias a los programas
cuando los contextos del país, institucionales o del programa son cambiantes
e inciertos. Uruguay está viviendo cambios institucionales importantes,
particularmente en el área de la política social. Estas condiciones se
caracterizan por la incertidumbre acerca del papel futuro del MIDES y de las
acciones de asistencia social. La naturaleza flexible de la UY NLTA ha
permitido al equipo multidisciplinario del Banco responder en mejor forma a
las necesidades específicas del MIDES durante este período de transición
con el fin de atender a la población objetivo.
Es vital para el desarrollo de cualquier operación de asistencia técnica
que se compartan las mejores prácticas internacionales. Ejemplos de
otros países informan y emulan la acción de los países clientes en el camino
de la innovación y la excelencia. Sin embargo, es necesario mantener un
balance delicado entre presentar a los clientes buenas prácticas y promover
su apropiación. La presentación de prácticas internaciones con el MIDES se
ha iniciado solo recientemente. En este proceso, es importante que MIDES
reciba información detallada y actualizada sobre las mejores prácticas
internacionales para que considere y debata internamente sobre aquellas que
mejor se adaptan al contexto y contribuyan a ilustrar la forma en que en
otros países se ha logrado vencer resistencias a los procesos participativos,
muchas veces atrincheradas en culturas institucionales que privilegian
proceso verticales de “arriba a bajo”. En la Fase II de la UY NLTA, un
equipo multidisciplinario del Banco podría apoyar en profundizar la
aplicación de las buenas prácticas internacionales adoptadas en este
contexto, poniendo especial énfasis en el intercambio de experiencias entre
pares con instituciones y procesos de otros países. Igualmente, el Equipo del
Banco Mundial promoverá un diálogo franco con la dirección del MIDES
que contribuya a identificar y superar cualquier eventual percepción de que
el Banco está promoviendo modelos de intervención que no corresponden
con la realidad del país.
La coordinación inter gubernamental es crítica para un diseño,
monitoreo y evaluación efectivos de la política social. En razón de que hay
muchos actores involucrados en la política social en Uruguay, se requiere un
esfuerzo coordinado de concertación. El sistema de M&EP que apoya el UY
NLTA ha ayudado al MIDES a ganar una mayor capacidad para la
evaluación de la política social del país. En una segunda fase del UY NLTA
podría ser oportuno ampliar el acceso a la metodología de M&EP en vista
del papel de varios ministerios en el diseño y la ejecución del conjunto de
programas sociales del país. Algunas formas de hacer esto incluyen: (a)
expandir y actualizar el análisis de los grupos interesados para incluir a los
otros ministerios involucrados en la política social; y (b) apoyar al MIDES
en la socialización de los resultados preliminares del análisis cualitativo en el
Gabinete Social, así como el diseño del análisis cuantitativo y los planes para
el establecimiento del sistema de M&EP (incluyendo las experiencias piloto
de M&EP que serán ejecutadas con los Consejos Sociales).
23
8. Un Mapa de Ruta para la Implementación de la Fase II de la UY NLTA
8.1 Una importante relación de trabajo ha sido desarrollada con el MIDES en
la Fase I de la UY NLTA. El MIDES está fuertemente comprometido en
incorporar la auditoría social en el diseño de una nueva política social en
Uruguay con una mejorada coordinación inter-ministerial, sistemas de
información optimizados y políticas informadas por la voz de los ciudadanos
como por cuidadosos análisis de impacto cualitativos y cuantitativos. Será
importante consolidar este trabajo en la Fase II, manteniendo un diálogo
fructífero con el MIDES y el Gabinete Social.
8.2 Especial atención será dada a los riesgos asociados con la implementación
de la Fase II de la UY NLTA. El Cuadro 6 presentado abajo describe dichos
riesgos y la forma en la cual estos pueden ser enfrentados.
Cuadro 6 – Riesgos Enfrentados en la Implementación de la Fase II y Medidas
Propuestas
Riesgos Medidas
La potencial falta de interés por
parte de otros ministerios e
instituciones públicas para
involucrarse en las actividades
propuestas.
Para desarrollar una base de apoyo más amplia dentro
del Gobierno de Uruguay, el Equipo promoverá un
mayor diálogo entre el MIDES y el BPS (Banco de
Previsión Social), el Ministerio de Economía y otros
actores claves con el objeto de construir consensos
sobre el objetivo y alcanzar acuerdos acerca del proceso
de la UY NLTA.
El desarrollo de un mapa de ruta
para el establecimiento de un
sistema integrado de información
social puede encontrar una fuerte
resistencia institucional de parte
de los ministerios y de otras
instituciones públicas que
controlan los datos de asistencia
social. Esto es muy probable que
resulte en continuas
superposiciones institucionales en
las funciones de M&E asociadas
con una débil coordinación
interinstitucional en la
implementación y el uso del
sistema de M&E.
El Equipo coordinará con varios ministerios y oficinas
intergubernamentales involucradas en la asistencia
social, la OPP (Oficina de Planificación y Presupuesto)
y otras oficinas públicas involucradas en actividades de
monitoreo. Éste sugerirá al gobierno el establecer
incentives claros de tal forma que la información sea
entregada completamente y en forma oportuna. Las
experiencias internacionales relevantes deberán ser
presentadas al Gobierno del Uruguay de tal forma que
pueda generar un diálogo entre los principales grupos
interesados (MIDES, BPS, Instituto Nacional de
Estadísticas y otros).
Resistencia por parte del MIDES
para involucrar a los Consejos
Sociales en el desarrollo de
mecanismos innovadores de
M&EP.
El Equipo colaborará con el MIDES y el IDES en el
desarrollo de actividades de capacitación para los
Consejos Sociales que incluyan las mejores prácticas
internacionales compartidas con ellos durante la Fase I.
El aprendizaje entre pares con otras instituciones en
otros países de Latinoamérica también será promovido.
La expansión de la cobertura del
PANES puede crear problemas en
la medición del impacto entre
grupos de comparación,
particularmente cuando miembros
de estos grupos lleguen a ser
beneficiarios del programa.
Asesorar al DINEM en coordinar estrechamente con la
gerencia del MIDES para suavizar cualquier
modificación de la línea de base debido a cambios en
los criterios de elegibilidad.
24
Cuadro 6 – Riesgos Enfrentados en la Implementación de la Fase II y Medidas
Propuestas
El compromiso de parte del
cliente puede no ser el mismo de
aquel de la Fase I.
El Equipo buscará el apoyo institucional explícito del
cliente para ejecutar las actividades propuestas para la
Fase II contenidas en este reporte.
8.3 Los pasos y actividades claves de la Fase II están representados en el mapa de
ruta descrito más adelante (Cuadro 7), que cierra este reporte sobre la NLTA
para una M&E participativa de la Política Social en Uruguay.
Cuadro 7 – Cronograma de Implementación para la Segunda Fase
Fecha Tipo de Evento Actividades
Octubre 2007 Vínculos con otras
operaciones del
Banco
Misión conjunta de Rafael Rofman y William
Reuben para vincular aún más la UY NLTA a las
Políticas de Transferencia de Ingresos ESW. William
Reuben coordinará más adelante con Enrique Fanta
para vincular la NLTA con TAL de Construcción de
Instituciones.
Octubre 2007 Nota Técnica Preparación de la Nota Técnica durante la misión
Noviembre 2007 Seminario de
Difusión
Presentaciones de los contenidos de la Nota Técnica
durante el Seminario: “Hacia la consolidación de
estrategia de reducción de la pobreza”.
Agosto a
Diciembre 2007
Programa Piloto Implementación del Programa Piloto de los
Consejos Sociales.
Septiembre a
Diciembre 2007
Sistema de
Información
Social
Desarrollo e implementación de los sistemas de
información social y de M&E.
Febrero 2008 Divulgación
Interna
Actividades de manejo del conocimiento: traducción
al idioma Inglés del documento preparado por
consultores locales.
Abril 2008 Divulgación de
resultados
Taller en Uruguay sobre el reporte final a las
Autoridades de Uruguay y eventos de GDLN sobre
experiencias en Monitoreo Participativo.
Mayo 2008 Fecha de Cierre Mayo 30, 2008 es la fecha de cierre de la Donación
Junio 2008 Reporte Borrador del Reporte de la Fase II del UY NLTA.
Julio 2008 Reunión de
Decisión
Reunión de Decisión de la Fase II del UY NLTA.
Agosto 2008 Primera Entrega al
Cliente
Taller para entrega de resultados al MIDES.
Octubre 2008 Entrega Final al
Cliente
Entrega de la versión final del Reporte Fase II del
UY NLTA
25
Referencias
Campos, H., et al. (2006) Diseño Conceptual de un Sistema de Monitoreo y Evaluación
Institucional y Participativa del Bienestar Social del Uruguay – Informe final. Banco
Mundial
Pardo, I. (2006) Presentación Preliminar de los Resultados del Campo de la Evaluación
Cualitativa. Componente: Trabajo por Uruguay (Mirada y voz de las y los
protagonistas). Banco Mundial.
Pardo, I., et al. (2006) Plan de Atención Nacional a la Emergencia Social (PANES):
„Programas Trabajo por Uruguay‟ y „Rutas de Salida‟ – Bases para el diseño de una
evaluación cualitativa – Relatoría Fase Cero, Banco Mundial.
Pardo, I., (2006) Plan de Atención Nacional a la Emergencia Social (PANES):
„Programas Trabajo por Uruguay‟ y „Rutas de Salida‟ – Bases para el diseño de una
evaluación cualitativa, Banco Mundial.
Pro-Fundación para Estudios Sociales, Facultad de Ciencias Sociales de la Universidad
de la República (2006) “Propuesta: Evaluación de Impacto del Plan de Atención
Nacional a la Emergencia Social (PANES)”. Banco Mundial.
Rofman, Rafael. (2007) Políticas de Transferencia de Ingreso en Uruguay: Cerrando
las Brechas para Incrementar el Bienestar. Banco Mundial.
Silveira, Milton (2007) Fortaleciendo la capacidad del MIDES para el análisis, el
monitoreo y la evaluación de la política social del Uruguay. – Propuesta de unificación
de bases de datos con variables sociales existentes en las diferentes dependencias del
Estados. MIDES.
Silveira, Milton (2007) Consideraciones respecto del proceso de construcción de un
sistema de Evaluación y Monitoreo Participativo. Ministerio de Desarrollo Social -
Uruguay. MIDES
