Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y ...pablodelarosa.sitios.uva.es/sites/pablodelarosa.sitios.uva.es/files/Tema II La... · 3 Prof. Pablo de la Rosa Gimeno. Dpto

1Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid



Observación

Interpret.

Valoración

Diseño de la

Ejecución Acción

Evaluación


Ejercicio práctico:

Pensar en dos minutos la respuesta a estas tres preguntas:

• ¿Qué es evaluar?• ¿Para qué sirve?• ¿Cómo se hace?


• Consumidor• Estudiante (evaluamos – nos evalúan)• Amigo/a• Ciudadano

LA EVALUACIÓN EN LA VIDA COTIDIANA


• Reflexión• Conocimiento• Valoración• Proceso• Rendir cuentas• Mejora

• Participación• Utilidad• Sensibilidad• Credibilidad• Rigor• Honradez

VALORES CLAVE:


II.1.Concepto, objeto y objetivos.II.2. Tipos, enfoques y modelos.II.3. El proceso de evaluación.II.4. Cuestiones básicas en evaluación de programas sociales.


QUÉ NO ES EVALUAR:

• Medir• Controlar• Investigar - estudiar

Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid 9

La evaluación es…

Valorar


• Dar valor

• Visibilizar

• Justificar – rendir cuentas

• Revisar – mejorar - aprender

• …

La evaluación … ¿para qué sirve…?


Reflexión respecto del valor/mérito dedeterminados elementos comprendidos enun proceso de intervención, en base a

evidencias obtenidas de forma sistemática,

con el propósito de contribuir a la mejoradel proceso y, con ello, a la satisfacción denecesidades de todos los implicados.


CON QUÉ PROPÓSITOS:

Control, fiscalización, rendición de cuentas… SUMATIVA

Aprendizaje, mejora… FORMATIVA


2. Tipos, enfoques y modelos.


TIPOS…

SEGÚN EL MOMENTO:

Antes (ex - ante) Durante (monitorización) Después (ex -post)

De la implementación


TIPOS…

SEGÚN QUIÉN LA REALIZA:

Interna (auto-evaluación) Externa Mixta

AutoevaluaciónEvaluación

externa

VentajasEvalúan los que mejor conocen el programa y los que tienen más interés por los resultados de la evaluación.

No están condicionados por los efectos de la evaluación

Inconvenientes Falta de objetividad

Dedican gran parte del tiempo a conocer el programa por vías indirectas: documentación, implicados...



TIPOS…

SEGÚN LA METODOLOGÍA:

Cuantitativa Cualitativa


OTROS TIPOS…

Metaevaluación De la calidad

19

8. Satisf. del cliente

9. Impacto social

10. Innovación

11. Resp. medio amb.

12. Igualdad género

13. Visibilidad

14. Generación sinergias

1. Participación2. No fallos3. Mejora continuada4. Comunicación5. Documentación6. Flexibilidad -

seguridad7. Liderazgo

Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y Trabajo Social. Universidad de Valladolid

20

▪ Efectividad (efectos) ▪ Económico (coste/producto)▪ Procedimental (previsiones-realizaciones)▪ Toma de decisiones▪ Profesional - técnico▪ Cuasi – judicial (contraste)▪ Certificación – acreditación (estándares)



EFECTIVIDAD… atendiendo a :

• Metas• Todos los resultados (sin tener en cuenta las metas)

• Según clientes - beneficiarios• Según todos los implicados

22

Interesados en las cifras

Interesados en la gestión

y el aprendizaje

Interesados en lo que opina la

gente

Interesados en la utilidad

social

(perspectiva política)

Jen

nif

er

Gre

en

e


IR

http://education.illinois.edu/faculty/jcgreene

23

Positivista Pragmático

Interpretativo Crítico

Jen

nif

er

Gre

en

e


IR

http://education.illinois.edu/faculty/jcgreene

24

• ¿Se consiguen los resultadosprevistos?

• ¿Son atribuibles al programa?

• ¿El programa es la opción máseficaz?


25

• ¿Qué partes del programa funcionanbien?

• ¿Qué partes funcionan mal?

• ¿Qué se puede mejorar?

• ¿Cómo contribuye el programa a losobjetivos de la organización?

• ¿Cómo afecta a las necesidades de losbeneficiarios?


26

• ¿Qué imagen tienen los distintos implicados (stakeholders) del programa?


27

• ¿De qué forma el programa contribuye ahacer una sociedad más justa?

• ¿El programa contribuye a hacer a losbeneficiarios más libres?

• ¿El programa contribuye a reducir lasdesigualdades?

• ¿El programa ayuda al empoderamientode los usuarios?



Un ejemplo:

Evaluación de un programa de atención en domicilio a personas en situación de dependencia.

- Aplicar distintos enfoques (determinar algunos asuntos de interés)


Personas atendidas: número y perfiles

Impacto de las atenciones en la autonomía personal

Coste/servicio/domicilio-persona atendida

Comparación con atenciones alternativas (centro de día-residencias)


Enfoque Positivista


¿El programa se ha ejecutado según las previsiones?

Incidencias detectadas y soluciones implementadas

¿Qué aspectos de la calidad de vida de los mayores han mejorado, permanecido igual o empeorado?

Mejora de la autonomía en las personas atendidas

¿Qué apoyos, actividades, dispositivos… han resultado más eficaces?


Enfoque Pragmático


Satisfacción con el programa de las personas atendidas … y sus familias

Los trabajadores implicados han desarrollado sus tareas con satisfacción

El programa tiene buena imagen interna y externa


Enfoque Interpretativo


Las personas atendidas son ahora más libres Se ha tenido en cuenta a las personas atendidas (intereses,

preferencias, gustos…) Es un modelo de atención sostenible El modelo de atención se puede extender a toda la

población Se ha aplicado a una muestra representativa de las

personas en situación de dependencia Las personas atendidas tienen ahora más posibilidades de

incrementar y/o usar sus capacidades


Enfoque Crítico


II.1.Concepto, objeto y objetivos.II.2. Tipos, enfoques y modelos.

II.3. El proceso de evaluación.II.4. Cuestiones básicas en evaluación de programas sociales.


Decisión de evaluar

Determinación de

responsables

Determinación del uso

Planteamiento

TécnicoPolítico - organizativo


• Objeto• Objetivos• Criterios• Metodología• Productos (informes)• Difusión• Devolución información

PLANTEAMIENTO:


• Pertinencia• Suficiencia• Progreso• Eficacia• Eficiencia• Impacto• Viabilidad futura (sostenibilidad)• Satisfacción beneficiarios – implicados• Calidad

PRINCIPALES CRITERIOS:


OTROS CRITERIOS…

• Justicia• Igualdad (p.e. género)• Respeto medio ambiente• Empoderamiento - capacitación• Innovación• Cooperación – complementariedad• …


TÉCNICAS RECOGIDA DE INFORMACIÓN:

Análisis documental

Informes –memorias de

ejecución

Fichas actividades

Audiencias (informantes

clave)Encuestas Entrevistas

FormulariosObservación

directaEntrevistas

grupales


II.1.Concepto, objeto y objetivos.II.2. Tipos, enfoques y modelos.II.3. El proceso de evaluación.

II.4. Cuestiones básicas en evaluación de programas sociales (10).


1. EL PROPÓSITO

• Tiene que estar claro.• Conocido por todos.• Debe relacionarse con el uso que se quiera dar.


2. EL OBJETO

• Se pueden evaluar muchas cosas.• Importante elegir bien.• Determina el método.• Es muy importante de cara a la utilidad de la

evaluación.


3. DETERMINACIÓN Y

EXPLICACIÓN DE RESULTADOS

• Es lo más complicado de la evaluación.• La comparación es una de las estrategias más

útiles (grupo control).


4. EL MOMENTO -LOS MOMENTOS

• Muy importante. Depende de la finalidad.• La evaluación ex – post es interesante hacerla

en diferentes momentos.


5. LOS CRITERIOS

• Determinan los resultados.• Es importante elegirlos y justificarlos bien.• Los criterios deben operacionalizarse hasta

convertirlos en indicadores


6. LAS EVIDENCIAS

• Son las pruebas sobre las que se aplican los criterios y la base empírica de las conclusiones.

• Deben ser suficientes, válidas y fiables.• Es interesantes que sean de distinta naturaleza.• En evaluación, las evidencias se ordenan en una

narración que explica y valora qué ha pasado


7. LAS AUDIENCIAS

• En evaluación es muy importante la información y los relatos.

• Es muy importante escuchar a todos los implicados (son los que (+) saben).


8. LA RELACIÓN CLIENTE -EVALUADOR

• Relación complicada.• Suscita reticencias entre los responsables del

asunto objeto de evaluación.• Importancia del contrato.


9. LA PRESENTACIÓN DE

RESULTADOS

• Los informes no siempre se leen.• Sirve para reforzar la utilidad de la evaluación.• Puede servir de contraste.• La publicidad a veces es un problema.


10. LOS VALORES:

• La evaluación, como proceso, está dominada por tres tipos de valores:• Científicos… relativos a la información• Éticos… relativos a los valores• Políticos… relativos al uso


ERNEST R. HOUSE (2000): EVALUACIÓN ÉTICA Y PODER

La evaluación…

No puede/debe:

• Convencer• Demostrar• Presentarse

como cierta

Sí puede/debe:

• Persuadir• Argumentar• Ser creible


• Se focalizan en tener un impacto• Dan voz a los sin voz• Proporcionan evidencia creíble• Utilizan un enfoque positivo• Aseguran que los usuarios y los destinatarios de

los programas participan activamente en la evaluación

• Insertan e inscriben el ejercicio de la evaluación dentro del programa

• Son reconocidas como importantes• Cuentan con un paladín dentro del programa

Evaluaciones que marcan la diferencia(al borde del caos)

Las evaluaciones más interesantes…

https://evaluationstories.files.wordpress.com/2015/09/evaluaciones-que-marcan-la-diferencia_2015.pdf


https://albordedelcaos.com/

https://evaluationstories.files.wordpress.com/2015/09/evaluaciones-que-marcan-la-diferencia_2015.pdf

https://albordedelcaos.com/


NIRENBERG, O., BRAWERMAN, J. Y RUIZ, V. (2000):

Evaluar para la transformación.

Paidós. Buenos Aires.

16/04/2018 54

Enlace Editorial

FERNÁNDEZ GARCÍA, Tomás y PONCE DE LEÓN ROMERO (dirs)(2016): Elaboración, gestión y evaluación de proyectos sociales. Pirámide. Madrid.

Diseño, gestión y evaluación de programas sociales. Grado en Trabajo Social. Prof. Pablo de la Rosa. Departamento de Sociología y Trabajo Social. Universidad de Valladolid.

http://www.edicionespiramide.es/libro.php?id=4251855


REBOLLOSO, E., FERNÁNDEZ-RAMÍREZ Y CANTÓN, P. (2008):

Evaluación de programas de intervención social. Síntesis. Madrid

Editorial

http://www.sintesis.com/libros/analisis-e-intervencion-social-91/evaluacion-de-programas-de-intervencion-social-libro-494.html


STAKE, R. (2006): Evaluación comprensiva y evaluación basada en estándares. Graó. Barcelona

Síntesis

http://leocorredor.files.wordpress.com/2010/06/robert-stake-evaluacion-comprensiva.pdf


Pablo de la Rosa GimenoFundamentos para un modelo de evaluación de programas sociales basado en el aprendizajeAtlántida. Revista Canaria de Ciencias Sociales. Págs.: 73 a 89.Edita: Universidad de La LagunaAño 2012.Ver

http://publica.webs.ull.es/upload/REV ATLANTIDA/4 - 2012/textos completos/03.pdf


Pablo de la Rosa Gimeno.Título: La evaluación de programas de intervención socialRevista de Servicios Sociales y Política Social nº 83. Septiembre 2008. ISSN: 1130-7633Edita: Consejo General de Colegios Oficiales de Diplomados en Trabajo Social y Asistentes Sociales de EspañaMadrid. Págs. 16. 69 a 84.Ver

http://www.cgtrabajosocial.es/app/webroot/revista_digital/publicas/no_83_instrumentos_de_valoracion_y_programacion/


12. La evaluación: valores clave13. La evaluación: concepto, objeto y objetivos14. La evaluación: tipos y enfoques15. La evaluación: modelos básicos16. La evaluación: modelos según Jennifer Greene17. El proceso de evaluación18. Principales criterios de evaluación19. Técnicas de recogida de información para la

evaluación20. Cuestiones básicas en evaluación de programas

Documents

Prof. Pablo de la Rosa Gimeno. Dpto. de Sociología y ...pablodelarosa.sitios.uva.es/sites/pablodelarosa.sitios.uva.es/files/Tema II La... · 3 Prof. Pablo de la Rosa Gimeno. Dpto