Embed Size (px)
Citation preview
Seminario Los desafíos de la evaluación
de políticas públicas: una aproximación
a partir del análisis de casos
Paula Amaya
Mendoza
20 y 21 de agosto de 2015
Objetivos Situar a la evaluación de políticas públicas en el contexto de
América Latina: Rol del Estado, políticas públicas y administración.
Integrar los principales conceptos vinculados con el “hacer” en evaluación: objetivos, momentos, componentes, modalidades y actores.
Introducir la perspectiva de evaluación integral de las políticas y programas.
Presentar el estudio “Mapa de la evaluación en Argentina”.
Compartir el caso de evaluación del Programa Conectar Igualdad.
Contenidos del módulo / encuentro
Marco y concepto de la evaluación, su relación con el Estado, la
política y la administración.
Descripción de relación entre modelo de Estado y perspectivas
de evaluación en América Latina.
Diagnostico de situación de la evaluación de políticas en
América Latina.
Momentos, componentes, estrategias y participación en el
diseño de un sistema de evaluación.
Presentación del “mapa diagnóstico de la evaluación en
Argentina”.
Principales características de la evaluación del programa
Conectar Igualdad
La evaluación de políticas
públicas en el contexto
argentino y latinoamericano
• Sociedad• Estado
• Poder• Política
Políticas Públicas
Articulación política y
administración
Evaluación de la
trascendencia social
Calidad de la gestión pública
Concepciones sobre el Estado, la política, políticas públicas y la evaluación en
contextos proclives a tendencias neoliberales del Estado en comparación con los
contextos de reivindicación del Estado para la inclusión social
Modelos de Estado nutridos por
las tendencias neoliberales
Modelos de Estado proclives al
protagonismo de las políticas de
inclusión social
Estado Intervenciones “mínimas” para
“optimizar” el funcionamiento del
mercado
Liderazgo estatal de los actores del
sistema socio -político.
Énfasis en la responsabilidad estatal
sobre la inclusión social.
Política Esfera representativa de objetivos
sectarios y espurios. Obstáculo de
desarrollo de la sociedad.
Liderazgo y sentido del desarrollo
social.
Estado y
sociedad
civil
Organización de la sociedad civil
para cubrir la intervención
“defectuosa” del Estado.
Liderazgo del en articulación con los
diferentes sectores de la sociedad.
Sentido de la
gestión de las
organizaciones
públicas
Hincapié en los defectos y
debilidades de la gestión estatal.
Necesidad de fortalecer las
capacidades del sector
público.
Relación de la
evaluación con la
política
Diferenciación y distancia. Se
enfatizan los saberes técnicos.
La evaluación esta influida por
la política.
Objetivos de la
evaluación de las
políticas públicas
Controlar al Estado, sistematizar y
transparentar la información
pública. Promover mecanismos de
rendición de cuentas.
Conocer, valorar y comunicar
los resultados de las políticas.
Promover el aprendizaje sobre
la intervención estatal.
Quienes evalúan
principalmente
Las ONG. Organismos
internacionales. Agencias de control
y rendición de cuentas.
Áreas de planificación y
evaluación, responsables de
las políticas y programas,
universidades públicas.
Rol de los
evaluadores
Profesionales de la evaluación
como analistas externos, con
pretensión de independencia de la
esfera política.
Profesionales de la
evaluación como parte de
los equipos de gestión y
toma de decisiones.
Facilitadores de la reflexión
participada.
Cómo se evalúa
habitualmente
A través de la opinión que pretende
objetividad de los expertos
(incongruencias, errores,
desempeños defectuosos)
Promoviendo la
participación de diversos
actores. Foco en los
resultados alcanzados,
aprendizajes y desafíos
pendientes. Resaltando la
subjetividad de las
conclusiones.
Para qué se utilizan
los resultados de la
evaluación
Para alimentar los debates
académicos. Para emitir juicios de
valor sobre la intervención del
Estado.
Para mejorar la capacidad
estatal, las políticas públicas
y socializar los resultados
alcanzados.
Cuadro en elaboración parte de la Tesis de Doctorado de Paula Amaya, Universidad Autónoma de
Barcelona.
Desafío de calidad de
las políticasObjetivos
sociales basados en la inclusión
El Estado ha
regresado
Los resultados de las políticas son producto
de la interacción social compleja entre
grupos con diferentes intereses.
La evaluación
Una estrategia de fortalecimiento entre
las decisiones estratégicas, la
capacidad institucional y los sistemas
de gestión,
Desafíos
La evaluación es una práctica política.
El desarrollo de la evaluación debe contemplar las características del sistema político en general y no
de la administración pública en particular.
Definición de evaluación
La evaluación integral de políticas y programas públicos es
una práctica de construcción, análisis y comunicación de
información para mejorar tanto los procesos como los
resultados de las decisiones e intervenciones del Estado.
Implica una reflexión social compleja y participativa, que
incluye el intercambio crítico y propositivo sobre los cursos de
acción. El foco principal de atención de la evaluación se centra
en la identificación, valoración y socialización de los
resultados construidos por las políticas y programas, en
términos de cambios sociales producidos en las condiciones
de vida de la población.
Relaciones entre conceptos
Evaluación de políticas y programas públicos
Auditoria externa
Seguimiento o monitoreo
Rendición de cuentas
Evaluación de resultados
Evaluación de la gestión Evaluación del desempeño
La evaluación es una actividad programada de reflexión
sobre la acción, que se realiza mediante procedimientos
sistemáticos de obtención, análisis e interpretación de
información para la emisión de juicios valorativos
fundamentados y comunicables, sobre procesos
(actividades) y resultados (alcanzados o futuros).
Pertinencia y viabilidad .
Mejora de las capacidades estatales.
Diálogo y negociación entre actores e intereses.
Articulación entre políticas, instituciones y niveles
de gobierno.
Fortalecimiento de la relación entre el Estado y la
sociedad.
La evaluación promueve:
¿Qué significa la “integralidad” de la
evaluación?
La integralidad de la evaluación hace referencia a
la multiplicidad de aspectos que conforman el
proceso de diseño e implementación de una
política, tomando como referencia los enfoques de
derechos, igualdad de género e interculturalidad.
Integralidad de la evaluación
Evaluación de
políticas públicas
Complejidad de las acciones del
Estado
Multiplicidad de voces y
perspectivas
Integración con los procesos e
planificación y gestión
Foco puesto en la valoración
de la trascendencia
social
Derechos de hombres y
mujeres
La evaluación integral es una estrategia de
transversalidad y articulación que integra los
ámbitos del gobierno (objetivos políticos y
estratégicos) con la gestión (implementación
de las políticas).
A través de la construcción sistemática de
información, análisis, valoración y comunicación
del progreso de las políticas.
Desafíos de la práctica de la evaluación de
políticas
Fortalecer su relación con los procesos de toma
de decisiones políticas.
Mejorar las estrategias, metodologías y diseños
de los procesos de evaluación.
Profundizar y diversificar: funciones (para qué?),
actores (quienes?), momentos (cuándo?)
Diálogo sobre diagnóstico institucional y
desafíos para fortalecer la capacidad estatal.
¿Cuáles son las fortalezas y desafíos
pendientes de las políticas y la gestión pública?
Fin del primer momento…
Los sistemas de evaluación de
políticas públicas en América Latina
Síntesis histórica de la evaluación
La evaluación como ciencia social se vuelve común durante los años 50.
En las décadas del 60 y 70 crece notablemente la cantidad de artículos libros sobre el tema.
Durante la década del 80 los avances tecnológicos influyen en su desarrollo.
Durante los últimos años se visualizan los mayores avances en el fortalecimiento de la disciplina.
Historia reciente de la evaluación en
América Latina
La evaluación a nivel país en América Latina
cobra ciertos niveles de protagonismo en la
década del 90. Estos desarrollos se han llevado
a cabo, principalmente, con los siguientes
objetivos:
Mejorar el proceso de toma de decisiones
políticas – estratégicas y económicas desde un
enfoque de racionalidad técnica.
Promover el ordenamiento de la información
pública y la transparencia.
Fortalecer mecanismos de rendición de cuentas.
Modelo Usuario Finalidad Responsable Ejemplos
Plan Presidente Mejorar las
decisiones
políticas +
rendición de
cuentas
Ministerio de
planificación
SINE, Costa
Rica.
SINERGIA,
Colombia.
SISER, Bolivia
Presupuesto Autoridades
presupuestarias
y / o el Congreso
Mejorar las
decisiones
presupuestarias
+ rendición de
cuentas
Ministerio de
Hacienda
Sistema de
control y gestión
de Chile.
Sistema de
evaluación e
desempeño de
México.
SEV de Uruguay
Luego…
En la década 2000, se visualiza una creciente
necesidad de cambio en los sistemas de
evaluación:
Profundizar la valoración de la utilidad social de
los programas, y no tanto la “sistematización de
la información acerca de los mismos”,
Aumentar la participación de los diferentes tipos
de actores involucrados en las políticas a la hora
de evaluarlas.
Fortalecer la calidad de los diseños
institucionales de los Sistemas de Evaluación
(SE),
Mejorar la calidad de la información producida
por los SE,
Revisar los mecanismos de comunicación de la
información producida (Publicidad de la
información de los programas publicados en
Internet).
Desafíos y Debates en la actualidad
Analizar la trascendencia que la evaluación tiene
para el desarrollo de “gobiernos inclusivos“.
Promover la cultura de la evaluación
incorporada a la gestión de las políticas
públicas.
Perfeccionar las metodologías evaluativas,
incoorporando estrategias participativas y
multimiradas.
Fortalecimiento la comunidad de evaluadores y
la evaluación misma como disciplina.
Profundizar la conformación de ámbitos de
estudio y perfeccionamiento, grupos de
discusión, redes y encuentros específicos sobre
la evaluación de políticas.
Necesitamos…
Lograr una mayor articulación entre la definición
de los objetivos estratégicos de gobierno y los
sistemas nacionales / provinciales de
evaluación.
Redoblar esfuerzos para definir los tipos,
modalidades y estándares de la evaluación de
políticas públicas.
Mejorar la calidad de las evaluaciones y su
impacto en la mejora de las políticas.
La Evaluación de políticas públicas en América
Latina:
Brasil, Ministerio de Planificación, presupuesto y gestión pública, “Sistema de Metas Presidenciales”.
México, Sistema de Seguimiento y Evaluación e Metas Presidenciales, SIMEP.
Chile, Sistema de Programación Gubernamental (Presidencia) y eñ Sistema de Control de Gestión (Hacienda).
Colombia, SINERGIA.
Costa Rica, SINE.
Argentina, diferentes órganos y programas de fortalecimiento de la gestión, no existe un sistema integrado.
Bolivia, SISER.
Uruguay, Sistema de Evaluación de la Gestión Pública, SEV. 1999
Perú, Sistema de Seguimiento y Evaluación del Gasto Público (SSEGP) 2004.
Paraguay, esfuerzos para un Presupuesto Orientado a Resultados.
Nicaragua, Sistema nacional de Seguimiento a Indicadores del Desarrollo, SINASID.
Honduras, iniciativas de articulación de la Evaluación a través de la Unidad de Apoyo Técnico de Presidencia (UNAT).
El Mapa de Evaluación en Argentina: Una perspectiva General
Contexto y oportunidad del estudio
OPORTUNIDAD: EvaluAR seleccionada para realizar un mapa diagnóstico de la evaluación en Argentina por EvalPartners “Peer-to-Peer (P2P) Support Program - Small Grant Facility”.
PROPÓSITO: Fortalecer y sistematizar la información sobre el estado de desarrollo que la evaluación presenta en Argentina.
ESTRATEGIA: Grupo de investigadores de diferentes provincias diseña de manera colectiva la investigación.
Estrategia de trabajo
Cualitativa: perspectiva de actores y registro de la
normativa disponible relacionada con la evaluación.
40 entrevistas a referentes clave en la temática (a nivel
nacional y provincial).
Entrevistados: Responsables de áreas de gestión y
políticas públicas, de áreas de capacitación, directores de
posgrados en temáticas relacionadas, referentes de OSC
dedicadas a estos temas, funcionarios de áreas de
fortalecimiento y planificación de diferentes ministerios,
referentes académicos y consultores en la materia.
Ejes temáticos que guiaron las entrevistas
Concepto de evaluación.
Experiencias de evaluación relevantes recientes.
Caracterización de la evaluación.
Avances ocurridos en los últimos 10 años.
Relación entre planificación - Evaluación y calidad institucional.
Condiciones y estrategias necesarias para profundizar las prácticas
de evaluación.
Principales hallazgos a nivel nacional
No existe un sistema integral de monitoreo y evaluación de
políticas públicas.
Los sistemas son más de monitoreo que de evaluación de políticas.
Alcance: Ministerio de Economía, Jefatura de Gabinete de Ministros,
Ministerio de Educación y Consejo Nacional de Políticas Sociales.
Sistemas más completos:
Ciclo presupuestario.
Sistema de información y evaluación de la calidad educativa.
Marco normativo de la evaluación
¿Qué significa evaluar?
Sistematizar, valorar, analizar, aprender. Evaluar
para tomar decisiones.
La evaluación como oportunidad de reflexión,
balances y mejoras "sustanciales sobre los
resultados de las políticas" a diferencia de
perspectivas de "control sobre las formas de
acción estatal"(rendición de cuentas,
transparencia, control de gestión).
Experiencias de evaluación reconocidas
ANSES.
Ministerio de Economía.
Ministerio de Salud.
Ministerio de Ciencia y tecnología.
Ministerio de Trabajo.
Ministerio de Desarrollo Social.
Ministerio de Educación.
Jefatura de Gabinete de Ministros.
Ideas comunes sobre las experiencias de evaluación
Existen nuevas prácticas de evaluación, pero estas no
han sido socializadas de forma extendida.
Es necesario promover la puesta en marcha de
experiencias de evaluación de políticas y programas
públicos (+ articulación, + en profundidad, + sobre
resultados de políticas).
El mayor desafío es lograr a nivel nacional un sistema
integral de planificación y evaluación de políticas y
programas públicos.
Evaluación y calidad de las políticas públicas
Existe una fuerte relación entre evaluación y calidad de las
políticas.
Resulta necesario articular planificación, gestión de
procesos y evaluación, para optimizar los resultados de las
políticas en términos sociales o de mejora de las
condiciones de vida.
No se puede concebir la planificación sin la evaluación
(relación entre conocimiento y acción).
Condiciones necesarias para el desarrollo de la evaluación
• Analizar la relación entre características del sistema político y el desarrollo de la evaluación.
• Promover la temática en los ámbitos políticos.
Fortalecer la capacidad burocrática.
Mejorar la articulación normativa entre presupuesto, planificación y gestión.
Mejorar la articulación entre academia y gestión de las políticas.
Diseñar herramientas atractivas y viables para evaluar, ligadas a la coyuntura política.
Formar profesionales en evaluación.
Que los equipos de gestión participen de las evaluaciones, que se realicen conjuntamente.
Disminuir el miedo a mirarse y reflejar debilidades.
Asignar recursos a la tarea de evaluar .
Reflexiones y posibles hipótesis a
nivel nacional
Respecto del sistema político
Tener en cuenta el desfasaje entre “tiempos
electorales” y / o “tiempos de permanencia en
los cargos políticos” y los “tiempos de
evaluación para visualizar resultados sociales de
las políticas” a la hora de diseñar estrategias de
sostenimiento de la evaluación.
Respecto de las organizaciones públicas
Profundizar la comprensión de las instituciones públicas
argentinas del Estado Nacional, estableciendo las
causas para explicar el escaso desarrollo de la cultura
de la evaluación en la administración, si este existiera,
y el análisis de las principales estrategias disponibles
para poder promover mayores niveles de compromiso
institucional con la temática.
Evaluación “externa”, evaluación “interna”…
El mayor potencia de la evaluación consiste en involucrar activamente a las personas que conforman la institución evaluada, lo cual no indica que la evaluación deba ser “interna” o “externa”, pero sí, debe ser liderada y participada hacia el interior de la institución, aunque metodológicamente pueda se ayudada por otras personas o instituciones, como pueden ser las universidades públicas.
Sistematización de experiencias
Emprender iniciativas de sistematización,
análisis y socialización de experiencias de
evaluación, con el propósito de profundizar el
material disponible para la reflexión y el
aprendizaje de personas e instituciones que
quizás estén interesados en llevar a cabo
experiencias de evaluación.
Socialización y difusión de los resultados de las
evaluaciones
Se advierte un interés particular en debatir estas cuestiones, ya que algunas personas entrevistadas asocian el escaso desarrollo de la evaluación con el “miedo” a ser “juzgado” o mostrarse débil frente a los otros.
Dado que este es un tema sensible, quizás resultara interesante promover algún espacio de reflexión conjunto respecto de las estrategias de comunicación de los resultados de la evaluación.
Respecto del fortalecimiento de las redes de
evaluación e instancias de intercambio en la sociedad
civil
Resulta altamente recomendable seguir
profundizando los lazos, articulaciones
institucionales, instancias de formación, redes,
espacios para compartir experiencias, tal como
lo está realizando la EvaluAR.
Diálogo sobre potencialidades para promover
el diseño de sistemas de seguimiento y
evaluación de políticas y programas
Fin del segundo momento.
MOMENTOS EN LA DEFINICIÓN DEL
SISTEMA DE EVALUACIÓN
Relación entre planificación y
evaluación
Identificación del
problema o necesidad
Programación de
objetivos
Diseño de la estrategia
Ejecución del programa
Evaluación de resultados
e impactosEVALUACIÓN
PLANIFICACIÓN
PLANIFICACIÓN Y
EVALUACIÓN
1- Definiciones preliminares de la
evaluación ¿Cuál es el contexto político – estatal de la evaluación?
¿Cuál es el potencial de la evaluación para contribuir a mejorarlas capacidades estatales?
¿Cuáles son los antecedentes de prácticas similares en laorganización donde se implementará?
¿Cuáles son las fortalezas y posibles dificultadespara poner en marcha la evaluación?
2- ¿Qué tipo de evaluación vamos a
realizar?
Desde el ENFOQUE POLÍTICO INTEGRAL se
evaluarán las diferentes dimensiones implicadas en el
plan o programa sujeto de la evaluación, relacionadas
con su proceso de aplicación y los resultados
alcanzados.
Preferentemente en los distintos momentos:
Diagnóstico, proceso, resultados, impacto.
3- Modelo de evaluación
Es una construcción basada en hipótesis teóricas sobre
el funcionamiento de una realidad compleja, para su
mejor comprensión y para provocar intervenciones
eficaces que produzcan transformaciones deseables.
Es una abstracción, una representación que se
construye para comprender y explicar una realidad
compleja; el modelo no es la realidad, pero facilita su
comprensión, para poder operar en ella.
Partes de un modelo de evaluación Precisiones conceptuales
Marco teórico acerca del objeto de evaluación
Dimensiones, variables e indicadores a considerar.
Aspectos metodológicos:
Técnicas sugeridas e Instrumentos
Fuentes de información
Actores participantes
Cronograma de aplicación
Matriz síntesis del modelo evaluativo
Modelo de evaluación: Matriz evaluativa
Es posible esquematizar los pasos descriptos en una
matriz que sintetice el modelo evaluativo:
Dimensiones.
Variables para cada dimensión.
Indicadores para cada variable.
Técnicas, instrumentos y fuentes / actores para
obtención de la información.
Dimensiones, variables e indicadores
Su determinación constituye el paso conceptual más
definitorio de la evaluación.
Son los grandes ejes analíticos con que se abordará la
realidad – objeto de la evaluación
Conviene establecerlas en interacción y acuerdos con
los actores relevantes de la formulación / gestión de la
intervención u organización a evaluar.
Se corresponden, en general, con las principales líneas
de acción y con las estrategias que plantea la
intervención.
Las variables son conceptos que aluden a atributos,
estados o situaciones de objetos o sujetos que pueden
cambiar en cantidad y/o cualidad, debido a la
influencia, intencional o no, de otras variables (o
intervenciones).
Los indicadores son medidas o apreciaciones directas o
indirectas de eventos, situaciones, condiciones,
conceptos; son también variables, pero de menor nivel
de abstracción, medibles, tangibles u observables.
Dimensiones Variables /
Indicadores
Técnicas /
Instrumentos
Actores
Matriz evaluativa
4- Diseño de la estrategia evaluativa
Elaboración del proyecto de evaluación.
Conformación del equipo evaluador.
Presupuesto de la evaluación.
Metodología de la evaluación
Cronograma de trabajo.
Análisis de las implicancias.
5- Construcción y análisis de la
información (entre muchas otras)
Análisis de información estadística.
Análisis de documentos existentes.
Encuestas.
Observación.
Entrevistas individuales.
Entrevistas grupales.
Talleres con los actores involucrados – Grupos focales.
Apreciaciones de grupos de evaluadores.
6- Comunicación de los resultados:
elaboración del informe de evaluación
¿Quiénes leerán los informes de evaluación?
Diálogo sobre referencias y prácticas
de evaluación conocidas...
Políticas o programas posibles de
ser evaluados…
Experiencia de evaluación del Programa
Conectar Igualdad y reflexión sobre
elementos fundamentales a la hora de
evaluar
Momento inicial y diseño participativo
Rol del demandante en la organización que
implementa el programa
Razones por las cuales se demanda la evaluación
Sujetos de interés en los resultados de la evaluación
Referencias inmediatas anteriores de evaluación
Intención formalizada de
evaluar un programa
público
Objetivos de la evaluación
Dimensiones a valorar
Variables o aspectos a indagar
Grupos y personas involucradas
Momento de construcción de la
información:
El trabajo de campo
Tamaño del programa y extensión territorial
Diversidad y competencias del equipo evaluador
Tiempos disponibles
Perfil de las personas
involucradas
Coherencia con el modelo evaluativo y articulación con
los actores protagónicos
Momento de cierre:
Construcción de informes y socialización
de los resultados de la evaluación
•¿Sirve para mejorar el programa, valorizar y / o socializar la intervención?
Utilidad
•¿Es el momento adecuado en función del contexto político y el ciclo de toma de decisiones?
Oportunidad •¿Lo dicho por la evaluación es información de interés para las personas involucradas?
Pertinencia
Aspectos destacados de la evaluación del
PCI
Proceso colaborativo entre el Estado (Educación) y las
Universidades públicas.
Cobertura y estrategia participativa.
Cercanía del proceso de evaluación con la toma de
decisiones del PCI.
Desde una perspectiva de la evaluación
como oportunidad de mejorar y socializar
los resultados de los programas, los
criterios de la política son los que deben
guiar el proceso.
