OBJETIVOS DE ESTA PRESENTACION
Comprender, valorar y aplicar los conceptos fundamentales asociados a la evaluación de programas, en general, y a la evaluación de impacto en particular
Crear un marco de referencia (lenguaje común) en los participantes, para el uso e interpretación de los enfoques, métodos y técnicas que serán estudiados en el curso.
2
¿QUÉ ES EVALUACIÓN?Un juicio sobre valor o mérito
El uso de procedimientos científicos para investigar sistemáticamente la efectividad de programas de intervención (Rossi et al, Bertrand)
3
UN POCO DE HISTORIALa evaluación, en su concepción moderna, es un
producto del siglo XXEl surgimiento de las Ciencias Sociales en las
universidades y el creciente apoyo a la investigación social le dieron un empuje decisivo a las actividades de investigación evaluativa
El mayor auge vino después de la Segunda Guerra Mundial (incluyendo la creación de programas internacionales para planificación familiar, salud y nutrición)
La Evaluación nace como disciplina a finales del los 60 y principios de los 70 (libro de Weiss)
4
¿QUÉ EVALUAMOS?
Programas (eficiencia, efectividad)Personas (aprendizajes, desempeño)InstitucionesLas anteriores constituyen tres grandes áreas de
especialización en el campo de la evaluación
5
EVALUACION DE PROGRAMAS
Programa: Conjunto de acciones y esfuerzos que se ejecutan deliberadamente con el propósito de solucionar o aliviar un problema
Problema: Situación indeseable que se desea cambiar
6
¿POR QUÉ EVALUAMOS LOS PROGRAMAS?
Para corregir y mejorarPara rendir cuentas (“accountability”)Para tomar decisiones acerca de continuar
o terminar con el programa o proyectoPor mandato o razones políticasPara generar conocimiento ¿Otras razones?
7
DISTINGUIMOS ENTRE...
Evaluación y monitoreo (seguimiento)Evaluación de impacto y de gestiónEvaluación de proceso y de productoEvaluación formativa y sumativa Evaluación interna y externaEvaluación cuantitativa y cualitativa (¿falsa
dicotomía?)
8
EVALUACION NO ES...(solamente) medición(solamente) investigación(solamente) establecer logro de objetivosauditoríauna actividad que se realiza cuando las cosas van maluna forma de castigo
9
DIFERENCIAS Entre metas y objetivos de un programa
metas (goals): proposiciones generales y abstractas del estado deseado hacia el cual se dirige un programa (Rossi, Bertrand)
objetivos (objectives): proposiciones específicas y operacionalizadas con el detalle de los logros deseados
10
ELEMENTOS RELATIVAMENTE NUEVOS
EN LOS ENFOQUES DE EVALUACION La importancia de realizar una valoración de
necesidades (especialmente desde el punto de vista de la población objetivo)
Ir más allá de la comprobación del cumplimiento de los objetivos del programa
Conocer la problemática sustantiva (tener referentes teóricos y también estar familiarizado(a) con las particularidades del contexto específico)
11
TEORIA DEL PROGRAMA
El conjunto de supuestos sobre la forma en que el programa (o proyecto) provoca los beneficios que se espera que produzca, incluyendo las estrategias y tácticas que ha adoptado para lograr sus metas y objetivos.
12
LA TEORÍA DEL PROGRAMA ...A veces no es explícita, no ha sido formalmente
articulada o establecida.Evaluación de caja negra: cuando se realiza la
evaluación sin haber articulado formalmente la teoría del programa
Nuestra recomendación: no hacer evaluación de caja negra
13
EN LA TEORIA DEL PROGRAMA PODEMOS DISTINGUIR
Teoría del impacto, relata la naturaleza del cambio en las condiciones de vida provocadas por la acción del programa (aquí se hace evaluación de impacto)
Teoría del proceso, describe los planes organizativo y de utilización de servicios del programa (aquí se hace monitoreo)
14
EN LA TEORÍA DEL PROGRAMA DEFINIMOS...
Hipótesis de acción: son las que ligan o conectan causalmente la teoría del proceso (están bajo el control directo del programa)
Hipótesis conceptuales: son las que ligan o conectan causalmente la teoría del impacto (no están bajo el control del programa)
15
EN LA TEORÍA DEL PROGRAMA
Las fallas de implementación están asociadas a la teoría del proceso (hipótesis de acción)
Las fallas de teoría están asociadas a la teoría de impacto (hipótesis conceptuales)
16
Teoría del proceso para un programa de Educación en Población en colegios de
secundariaCosta Rica
17
T E O R Í A D E L P R O C E S O P r o g r a m a d e E d u c a c i ó n e n P o b l a c i ó n , M i n i s t e r i o d e E d u c a c i ó n P ú b l i c a d e C o s t a R i c a y
F o n d o d e l a s N a c i o n e s U n i d a s p a r a A c t i v i d a d e s d e P o b l a c i ó n( S e l e e d e a b a j o h a c i a a r r i b a )
P o b l a c i ó n yM e d i oA m b i e n t e
S e x u a l i d a dV i d a e nF a m i l i a
D i a g n ó s t i c o i n i c i a l p a r ae s t a b l e c e re l n i v e l d e l a p o b l a c i ó nm e t a( e s t u d i a n t e s y d o c e n t e s )
P e r f i l e s d eA p r e n d i z a j eP o b l a c i ó n yA m b i e n t e
P e r f i l e s d eA p r e n d i z a j eS e x u a l i d a d
P e r f i l e s d eA p r e n d i z a j eV i d a e n F a m i l i a
C a p a c i t a c i ó nd o c e n t e sC i e n c i a s
C a p a c i t a c i ó nd o c e n t e s C i e n c i a s ,
R e l i g i ó n , V i d a e nF a m i l i a y
O r i e n t a c i ó n
C a p a c i t a c i ó nd o c e n t e s
V i d a e nF a m i l i a
D i r e c t a a u nd o c e n t ed e l c e n t r oe d u c a t i v o
P o r m e d i o d ea s e s o r e sr e g i o n a l e s
E n t r e g at é c n i c a a l o s
c e n t r o se d u c a t i v o s
C o n s t r u c c i ó n d em a t e r i a l e sG u í a s d i d á c t i c a sF a s c í c u l o s
C o n s t r u c c i ó n d em a t e r i a l e sG u í a s d i d á c t i c a sF a s c í c u l o s
C o n s t r u c c i ó n d em a t e r i a l e sG u í a s d i d á c t i c a sF a s c í c u l o s
P l a n e s d eE s t u d i o
Teoría del impacto para un programa de Educación en Población en colegios de secundaria, Costa Rica
(mismo programa del ejemplo anterior)
19
Disponibilidad de docentes
capacitados de Ciencias
Disponibilidad de docentes capacitados de Ciencias, Religión
Vida en Familia y Orientación
Disponibilidad de docentes capacitados de Vida en Familia
Disponibilidad de los materiales
Actitud positiva
hacia las guías
Plan operativo
Conoci-mientos de
los estudiantes
Actitudes de los
estudiantes
Proceso de mediación
Comporta-mientos de
los estudiantes
Población y
Ambiente
Sexualidad
Vida en Familia
Para los trescomponentes
Conocimientos sobre VIH
Uso de otros métodos
anticonceptivos
Conocimientos sobre anticonceptivos
Uso de condón con compañero
principal
Locus de control
EL MARCO CONCEPTUAL
El marco conceptual o “de investigacion” es un diagrama que identifica e ilustra las relaciones entre factores sistémicos, organizacionales, individuales y otros elementos relevantes que pueden influenciar la operación de un programa o proyecto y el logro exitoso de sus metas y objetivos
23
EJEMPLO: Marco conceptual (resumido) para un programa de salud
Demanda individual
Oferta del programa
Utilizaciónde servicios
Prácticassaludables
Condiciones de salud
Inputstécnicos
Capacidadinstitutional
Sustentabilidaddel programa
24
LA EVALUACION DE IMPACTO CONSISTE DE...
Un conjunto de actividades de investigación tendientes a establecer si el comportamiento observado en las variables de interés (variables de impacto) puede ser atribuido al programa
La meta es establecer evidencias de una relación causal entre los resultados observados y las actividades del programa
26
EL LOGRAR EVIDENCIAS DE RELACIONES CAUSALES ES CRUCIAL PARA LA EVALUACIÓN DE IMPACTO
X ES CAUSA DE Y SI Y SOLO SI: x precede en el tiempo a y
existe asociación entre x y y se han eliminado o controlado los otros factores o
variables (terceras variables, variables confusoras) que pueden explicar la asociación observada entre x
y y
27
EL IMPACTO SE REFIERE A...
Resultados del programa que pueden ser asociados a dimensiones de calidad de vida o desarrollo humano
Distinguimos entre resultados próximos o inmediatos y resultados distales o últimos
Los cambios esperados pueden ser cualitativos o cuantitativos pero siempre medibles.
28
ILUSTRACION DE EVALUACION DE IMPACTO
Inicio del programa
TIEMPO-->
Punto medio o fin
Con programa
Sin programa
Impacto del programa
Indicator de resultado del programa: TPA
OTRO EJEMPLO
Porcentaje de embarazos en adolescentes
adolescentes
TiempoIntervención
} IMPACTO
Sin el programa
Con el programa
ASI, EL IMPACTO PUEDE SER TAMBIEN DEFINIDO COMO…
La diferencia entre los resultados obtenidos con el programa y los resultados que se habría obtenido si el programa nunca se hubiera implementado
31
UN CONCEPTO ESENCIAL :
EL CONTRAFACTICO
Los resultados que se habría obtenido si el programa nunca hubiera sido implementado
32
En realidad nunca sabremos de seguro cuál hubiera sido el valor del contrafáctico
Pero podemos tratar de estimarlo de diferentes formas
Los diversos diseños y técnicas analíticas en evaluación de impacto se pueden distinguir por la forma en que “estiman” o “simulan” el contrafáctico
33
BIBLIOGRAFIABertrand, J.T. et al. (1996). Evaluación de
Programas de Planificación Familiar. The Evaluation Project, USAID
Mohr, L. (1995). Impact Analysis for Program Evaluation. Sage Publications
Rossi, P.H.; Freeman, H.E. & Lipsey, M.W. (1999). Evaluation: A Systematic Approach. Sage Publications
34
Ejercicio para ser realizado en pequeños grupos
1. Escoja uno de los siguientes temas:
-Enfermedades cardiovasculares
-Embarazo en adolescentes
-Infecciones de trasmisión sexual
-Violencia de género
-Mortalidad infantil
35
Ejercicio (continuación)...2. Trate de desarrollar los elementos clave de
un marco conceptual (la teoría del programa incluida).
3. Identifique cuáles “cajas” pertenecen a la teoría del programa y cuáles no
4. Identifique cuáles cajas pertenecen a la teoría del impacto y cuáles a la teoría del proceso
36
Ejercicio (continuación)...
5. Escoja un resultado (variable de impacto) y defina un indicador para él. Discuta si los cambios deseados son cuantitativos o cualitativos. ¿Cómo es que este indicador se relaciona con dimensiones de calidad de vida?
6. Defina el contrafáctico en términos del problema.
37
Recommended