Evaluación, módulo 6 curso atención comunitaria para profesionales de atención primaria

Autores: D. Victorio Perera Cárdenes Médico Especialista Familiar y Comunitario D. Juan José Suárez Sánchez Tutor en Enfermería Familiar y Comunitaria Dña Lucía Quintana Hidalgo Médico Especialista en Análisis Clínicos

Índice del curso1º MÓDULO.- INTRODUCCIÓN A LO COMUNITARIO

2º MÓDULO.- INVESTIGACIÓN CUANTI/CUALITATIVA

3º MÓDULO.- DINÁMICAS DE GRUPO

4º MÓDULO.- GESTIÓN DE REUNIONES

5º MÓDULO.- GESTIÓN DE PROYECTOS

6º MÓDULO.- EVALUACIÓN DE PRÁCTICAS Y RESULTADOS

7º ANEXOS.- MARCO LEGAL DE PARTICIPACIÓN Y COORDINACIÓN

8º ANEXOS .- DETERMINANTES Y EVIDENCIAS DE INTERVENCIÓN

Tiempo previsto: 2 horas

6º Módulo:

Objetivos del Módulo 6: Evaluación de Prácticas y Resultados

1.-Describir enfoques, perspectivas, tipos de Evaluación y su relación con la Participación.

2.-Describir la Evaluación de indicadores: de gestión (procesos, cronogramas…) y/o logro (sostenibilidad…)

3.- Describir la Evaluación de Resultados e Impactos (Delphi)

4.- Describir la Evaluación de Buenas Prácticas y Lecciones aprendidas

5.- Facilitar referencias de recursos accesibles para consulta de contenidos.

Investigación evaluativa. Santiago Correa Uribe & colhttp://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf

LA PARTICIPACIÓN EN LA EVALUACIÓN

Para la evaluación, la participación ciudadana es un componente muy importante. Según Wagner y Dinkel (1981), la participación ciudadana en la evaluación se justifica por las siguientes razones:

La participación hace más responsable a las instituciones con relación a la comunidad.

La participación ciudadana refleja los valores de la comunidad.

La participación ciudadana incrementa el uso de la información evaluativa.

Es una oportunidad para que los ciudadanos adquieran habilidades y conocimientos.

Incrementa el conocimiento de los ciudadanos acerca del programa.

Proporciona un beneficio terapéutico para los usuarios del programa.

Los ciudadanos proveen fuentes adicionales de información para la evaluación

Es un mecanismo para estimular la aceptación de los programas por la comunidad.


Enfoque de Oakley

ANTES.- Características de los usuarios antes del desarrollo del programa:

• Individualismo, que se ve reflejado en el predominio de la propiedad privada, en el poco interés en proyectos comunitarios, así como también en la escasa participación en las decisiones.• Falta de análisis crítico de su situación: incapacidad para identificar las causas de problemas estructurales y buscarles solución.• Dependencia económica, social y política del patrón y explotación por parte del mismo.• Falta de confianza en su propia capacidad para cambiar la situación.• Ausencia de organizaciones que representen los intereses del grupo.• Falta de cooperación.• Ignorancia, sospecha y aislamiento. La gente tiene temor de conversar y discutir y verse involucrada.

DESPUÉS.- Características del grupo después de un período de desarrollo del programa:

• Cohesión interna.• Sentido de la solidaridad.• Conciencia crítica. Facultad crítica.• Participación activa y crítica.• Menor dependencia. Aumento de la autoconfianza.• Autogestión, autosuficiencia y autonomía del grupo.• Recursos colectivos. Reservas de capital.• Capacidad para la administración del programa.• Demostración del poder. Responsabilidad colectiva.• Articulación con otras instituciones controladas por campesinos.• Interés en la creación de grupos similares.• Capacidad para tratar con funcionarios oficiales.

LA EVALUACIÓN COMO ELEMENTO DE EMPODERAMIENTO

EJERCICIO 1: EXPRESIÓN EN GRUPO

¿Cómo crees que es el organigrama del equipo de tu centro de salud?

LA EVALUACIÓN COMO ELEMENTO DE ENTENDIMIENTO ORGANIZACIONAL


TIPOS GENERALES DE EVALUACIÓN

Para Espinoza (1983), la evaluación debe partir de una traducción de los objetivos a metas, pues el autor considera que una meta es un objetivo cuantificado y calificado. Por lo tanto, a cada objetivo corresponde una o varias metas. O sea que para medir el grado de obtención de los objetivos es necesario medir el grado de obtención de las metas.

De cantidad:

Consiste en medir el número de unidades logradas en comparación con las unidades programadas.

De calidad: La meta tiene unos atributos que conforman su calidad y se debe medir el grado de obtención de los atributos.

Del tiempo: Mide el tiempo gastado en la consecución de la meta en comparación con el tiempo previsto.

De objetivos:

Mide el grado de obtención de los objetivos.

De cobertura:

Mide si las metas logradas cubrieron a toda la población usuaria del programa.

De costos: Mide la inversión realizada para el logro de las metas en comparación con los costos previstos.

Formativa, intermedia, de proceso, configurativa, continua o concurrente

1.-Es un componente de la planificación. 2.-Es continua e integral. 3. Estudia la eficiencia y eficacia4. Implica una autoevaluación. 5. Cumple una función retroalimentadora

Sumativa, acumulativa, terminal, de punto, de resultado,final de producto

1.Es complemento de proceso. 2. Es circunstancial. 3. Estudia factores de eficiencia. 4. Evaluadores no presta servicios: coste 5. No ofrece identificación oportuna de problemas. 6. Evalúa productos,, efectos e impacto

Externa, auditorías 1.Son más innovadoras 2.Son más objetivas 3. Son más hábiles para elegir claves, indicadores 4.No comprende las intimidades 5. No propicia una cultura y empoderamiento

Interna: autoevaluación 1.- Facilitan compromiso de acción 2. Dificultad autocrítica (riesgo empleo) 3. Mayor aceptabilidad resultados y medidas respectivas.

Mixta;: investigación-acción Tarea de todos sus participantes

De procesos Se centra en el funcionamiento y otros aspectos dinámicos del programa

De repercusiones Se refiere a la determinación del logro de objetivos de un programa o a la evaluación de efectos externos.

De impacto Determinar los efectos residuales del proyecto en su totalidad

Institucional Evalúa su nivel de organización, atendiendo a las funciones que debe cumplir y define objetivos puntuales entre actividades permanentes.

De programas Evaluación de actividades más o menos cardinales en torno a objetivos de duración variable.

De objetivos internos Verificar el logro de los objetivos que han de alcanzarse en la población en la cual actúa directamente.

De objetivos externos Evaluación de situaciones o estados deseables de alcanzar fuera del ámbito del programa cuando éste ya ha finalizado.

Descriptiva: Describe diferentes situaciones del programa (características, factores que intervienen y relaciones de asociación entre éstas).

Explicativa: Establece la relación causal entre los diferentes factores que intervienen en el programa y entre éste y el contexto.

Costo-beneficio Estima el valor de bienes intangibles y para tomar decisiones que implican una asignación de recursos. la medición del beneficio se expresa mediante la utilización de uno o varios indicadores de impacto sobre la población objetivo.

Costo-efectividad Relaciona .sus costos monetarios y productos con los efectos alcanzados

Costo-rendimiento Toma en consideración también costos y rendimientos que inciden sobre sujetos distintos de los directamente afectados por el proyecto.

costo-utilidad social Útil como ganancia o pérdida la sociedad en conjunto y que no necesariamente son iguales a la de los que hacen dicha actividad.

Ex-ante En la formulación estudia la viabilidad en sus términos técnico, financiero, jurídico, sociocultural, institucional y político. Y la transcendencia social, la eficiencia del proyecto o su capacidad para producir impacto en los destinatarios, organizaciones y medio social.

Intermedia: Durante el desarrollo del programa con el fin de detectar problemas de funcionamiento y buscarles soluciones adecuadas y oportunas

Expost Se realiza después de que el programa ha terminado, con la finalidad de establecer si se obtuvieron los resultados esperados y los factores que actuaron en una u otra dirección.

METAEVALUACIÓN Evaluación de la evaluación


TIPOS ESPECÍFICOS DE EVALUACIÓN


CUALIDADES DE LA EVALUACIÓN


Criterios práctico-operativos de la evaluación

1. Integral: de modo que comprenda todos los elementos e involucre todos los factoresque intervienen en el programa o acción evaluada.

2. Participativa:

esto es que vincule activamente los diferentes actores que intervienenen el programa o acción que se va a evaluar.

3. Permanente: ha de realizarse en forma continua, asociada al desarrollo del programa.

4. Acumulativa: al considerar los resultados de evaluaciones previas, para determinarsus efectos sobre las sucesivas.

5. Autocorrectiva:

esto es, contempla mecanismos de ajuste de estrategias einstrumentos para futuras etapas del proceso de evaluación permanente.momento requerido.

6. Útil: en la medida en que contemple los aspectos más importantes en relación con los objetos evaluados (relevante) y que sea oportuna, de manera que proporcione a los niveles decisorios la información necesaria en él.

7. Eficiente: si obtiene un máximo rendimiento de los recursos disponibles (humanos,físicos, financieros).

¿Podrías reordenar los criterios según la prioridad que tienen para un equipo de AP?

B u e n a s P r á c t i c a s e n S e g u imi e n t o y E va l u a ci ó n d e P ro ye c t o s d e E m p l e o

Exper i e n c i a s d e l a I n i c i a t iva Comuni t a r i a EQUAL e n A n d a l u c í a

http://www.juntadeandalucia.es/empleo/equal/npe/www/doc/47.pdf

PERSPECTIVAS DE LA EVALUACIÓN


UTILIDAD DE LA EVALUACIÓN

Briones (1991) define como propósito principal de la evaluación: “proporcionar criterios para la toma de decisiones en relación con la estructura, el funcionamiento y el desarrollo del programa”. Propósitos que pueden perseguirse:

1. Mejorar la efectividad cuantitativa del programa, es decir, el logro de sus objetivos.

2. Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del programa.

3. Aumentar la eficiencia interna del programa, vale decir, la relación entre insumos y resultados.

4. Mejorar la eficiencia externa del programa o adecuación de resultados con objetivos externos.

5. Someter a verificación la teoría o hipótesis que relaciona los componentes del programa con los resultados buscados.

6. Redefinir la población objeto: reducirla, homogeneizarla, etc.

7. Modificar la estructura, el funcionamiento y la metodología del programa.

8. Tratar de cumplir, si es pertinente, las expectativas de la población objeto del programa (sobre su funcionamiento, recursos, objetivos, etc.).

9. Controlar la aparición de posibles prácticas o resultados no deseados.

10.Tratar de homogenizar los efectos, consecuencias y repercusiones del programa en diversos subgrupos de la población de referencia del programa.

PASOS A SEGUIR EN LA FORMULACIÓN Y EVALUACIÓN DE PROYECTOS

Diagnóstico 1 Análisis de problemas sociales2 Identificación del problema central3 Elaboración de la línea de base4 Definición de la población objetivo5 Estudio de la oferta y la demanda6 Análisis del contexto (geográfico, demográfico, socioeconómico, sociocultural, legal y financiero)7 Identificación de actores y grupos relevantes8 Análisis de causas y efectos (árbol de problemas)9 Identificación de medios y fines (árbol de objetivos)10 Áreas de intervención (viabilidad e importancia)

Formulación 1 Definición de los objetivos y metas de impacto2 Descripción de los objetivos de producto3 Determinación del horizonte del proyecto4 Definición de las metas y planes de producción5 Descripción de la tecnología y proceso productivo6 Identificación de las variables e indicadores a utilizar7 Selección de las fuentes de información8 Caracterización de los supuestos9 Confección de una Matriz Lógica de las alternativas a evaluar

Evaluación Ex-Ante 1 Identificación de los recursos necesarios2 Estimación de los costos3 Estimación de los impactos4 Análisis de las relaciones costo/impacto

Programación 1. Generación del mapa de procesos2. Descripción de las actividades por proceso3. Confección del cronograma y ruta crítica4. Determinación de insumos5. Definición de la estructura organizacional6. Diseño del modelo de focalización7. Programación del monitoreo y la evaluación ex-post8. Análisis detallado del presupuesto y plan de financiamiento.

Monitoreo y Evaluación Ex-Post

1. Diseño de un plan de Monitoreo2. Recolección y procesamiento de la información3. Elaboración de informes

Evaluación Ex-Post 1 Diseño del modelo de evaluación2 Medición de los costos reales3 Análisis de la relación entre costos e impactos4 Elaboración de informes

EVALUACIÓN DEL DIAGNÓSTICO: PROBLEMAS vs DEMANDAS


Los problemas sociales se definen como carencias o déficits existentes en un grupo poblacional determinado. Constituyen una brecha entre lo deseado (por la sociedad) y la realidad.

Son situaciones observables empíricamente que requieren de análisis científicotécnico.

No se pueden, por tanto, fundamentar en meras suposiciones o creencias.

Los valores que alcanzan los indicadores de la "variable problema" al momento de su identificación es la Línea de Base (LB) del proyecto.

Es deseable que la identificación y caracterización técnica de los problemas sociales sean equivalentes a las demandas efectivas de la población. Sin embargo, ello no siempre ocurre, lo que debe llevar al análisis y discusión, de modo de alcanzar una comunidad de intereses que limite los riesgos y aumente la probabilidad de éxito del proyecto. en sí.

No se debe confundir un problema social con la ausencia de cobertura o falta de entrega de un servicio específico. Esta podría ser una causa importante en la generación de un problema social (que se refiere a la calidad de la oferta) pero no es el problema

Circunscribir el problema social a la gestión, calidad o cantidad de la oferta existente limita el campo de intervención y la posibilidad de alcanzar los objetivos perseguidos.

¿Cita algunas parejas de problemas sociales-déficits de servicios que se te ocurran?

EJEMPLO DE DISTINCIÓN ENTRE MEDIOS (DEMANDA DE SERVICIOS) Y

OBJETIVOS – FINES (INTERVENCIÓN EN PROBLEMAS)

FUNCIONES DEL DIAGNÓSTICO PARA LA EVALUACIÓN


Un proyecto sin un diagnóstico adecuado corre el serio peligro de no generar impacto alguno. La cantidad de recursos y tiempos involucrados en este proceso deben estar en relación con la escala del proyecto. El diagnóstico no debe ser de mayor escala que el proyecto, porque en esa misma medida puede perder utilidad para solucionar el problema que le dio origen.

La descripción:

Caracteriza el problema y cuantifica su magnitud y distribución en la población objetivo. También es necesario realizar una descripción de la población objetivo y del contexto (los aspectos demográficos, geográficos, económicos, sociales, legales, los grupos relevantes, la oferta y demanda, etc).

La línea de base:

Resume dicha información, mostrando el valor del (o los) indicador(es) del problema al momento del diagnóstico y sus tendencias futuras. Permite conocer la brecha entre la población objetivo y el resto de la población, así como su distancia con los estándares vigentes. Permite formular adecuadamente el proyecto y medir su impacto. Para elaborarla es necesario disponer de la información más precisa posible. Esto facilita la posterior medición del impacto de las intervenciones, tanto en términos de confiabilidad como de costo.

La explicación: Plantea la estructura causal cualitativa y cuantitativa de las variables que determinan el problema central. Se lleva a cabo para establecer qué y cuantos bienes y/o servicios es necesario entregar para solucionar total o parcialmente el problema central (o alcanzar el objetivo general).

¿Podrías sugerir varios indicadores de línea de base para una intervención en tabaquismo?

EVALUACIÓN DE PROBLEMAS IDENTIFICADOS

El ideal es contar con un sistema que integre la información de distintos proyectos y permita analizarlos en sus distintas etapas del ciclo de vida, con datos relativos a los sectores (salud, educación, vivienda, etc.) y estudios de base de la población, donde ésta priorice los problemas que la afectan . Para ello se deben recoger opiniones y jerarquizar los problemas, haciendo, por ejemplo, que cada persona asigne un puntaje a cada problema en una escala de 0 a 5 puntos.

Su cálculo se realiza recopilando la información existente sobre el problema central que afecta a la población, utilizando indicadores que permitan determinar:

1.- El grado de validez y confiabilidad.2.- El grado de generalidad-especificidad de las estimaciones, para determinar si son aplicables al ámbito, geográfico y poblacional, de análisis.

Si la información existente proporciona sólo un visión general del problema en la población analizada, será necesario complementarla y realizar entrevistas a informantes claves.

Si es de mala calidad o inexistente, será necesario realizar estudios específicos.

La línea de base debe reflejar el problema, de la población objetivo, al momento del análisis y ser complementada con estimaciones sobre sus tendencias futuras.

ESTIMACIÓN DE LA LINEA BASE DE LOS PROBLEMAS


¿Plantea un proyecto y define como se distribuiría la población según el esquema?

EVALUACIÓN DE LA POBLACIÓN EN EL PROYECTO

FOCALIZACIÓN Criterios que permiten identificar a la población objetivo para que sean ellos (y no otros) los que reciban los beneficios del programa .Una oferta homogénea suele no ser adecuada para quienes tienen mayores necesidades insatisfechas, debido a barreras culturales, analfabetismo y carencia de información.Para aumentar el impacto y la eficiencia de un proyecto social, debe existir un modelo de focalización que asegure la selección y acceso de la población objetivo definida para el mismo.

Inclusión:

Acertada:

entregar productos a quienes son integrantes de la población objetivo (las familias pobres reciben los beneficios de un subsidio para la vivienda social).

Errónea:

entregar productos a personas ajenas a la población objetivo (las familias de clase media acceden a subsidios de vivienda social).

Exclusión:

Acertada:

no entregar productos a quienes no forman parte de la población objetivo (no hay familias de clase media recibiendo el subsidio de vivienda social).

Errónea:

no entregar productos a personas que forman parte de la población objetivo. (hay familias pobres que no tienen acceso al subsidio de vivienda social).

Cuando sólo están presentes los aciertos, esto es, que ambos errores son iguales a “0”, la focalización es totalmente correcta. Entonces: cobertura bruta = cobertura neta = 100%.

IDENTIFICACIÓN DE LA POBLACIÓN OBJETIVO

IDENTIFICACIÓN DE LA POBLACIÓN BENEFICIARIA


Tipos de beneficiariosLos programas y proyectos sociales también producen impacto sobre otras

personas no incluídas como población objetivo (PO).

Legítimos:

Directos: cuando son la población objetivo que recibe los productos del proyecto (acierto de inclusión).

Indirectos:

cuando no se definen como población objetivo, pero favorecerlos se compadece con el espíritu del proyecto.

Ilegítimos :

Directos: cuando no forman parte de la PO (error de inclusión).

Indirectos:

son favorecidos por el proyecto a pesar de no ser destinatarios de los mismos y, al mismo tiempo atentan contra los objetivos redistributivos que este persigue.

¿Podrías describir ejemplos de beneficiarios del programa Atención Sanitaria Universal?

Contribuciones a la Economía" es una revista académica con el Número Internacional Normalizado de Publicaciones Seriadas. ISSN 16968360. FORMULACIÓN Y EVALUACIÓN DE PROYECTOS. Jairo Toro Díaz. http://www.eumed.net/ce/2008b/jtd.Investigación evaluativa Tipos Evaluación segúb ías

Naciones Unidas (1978) Santiago Correa Uribe & col http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdf

INDICADORES DE GESTIÓN: seguimiento o monitoreo de la utilización de los recursos

INDICADORES DE EFICIENCIA:

INDICADORES DE EFICACIA: INDICADORES DE EFECTIVIDAD:

Variables de eficiencia para la creación de indicadores: Determina si los resultados del programa se obtuvieron de la forma más económica, maximizando productos y minimizando insumos. Los indicadores adecuados a este tipo de información son aquellos que tienen como unidad de medida la monetaria.

Da cuenta si el programa logró losobjetivos propuestos y en qué medida. Para este tipo de información, los indicadores son las metas del programa. Cuando no existen las metas, los objetivos deben ser traducidos a indicadores observables.

Es la información que da cuenta de si la ejecución del programa se realizó de conformidad con el plan y el presupuesto asignado. Para este tipo de información se cuenta con indicadores establecidos en el cronograma de acción y en el presupuesto asignado a la ejecución del programa.

- Materiales - Maquinaria - Mano de obra - Medios Logísticos - Métodos - Monetarios

- Calidad - Cumplimiento - Costo - Confiabilidad (garantía) - Comodidad - Comunicación (amabilidad)

- Rendimiento - Productividad - Competitividad - Participación - Crecimiento - Coberturas - Adaptación

INDICADORES DE LOGRO: valoración de los objetivos, cambios, éxito o impacto en las variables socioeconómicas.

DE PRODUCTO: DE RESULTADO: DE EFECTO: DE IMPACTO:

Logros del inmediato plazo, contribuyen al cumplimiento de los objetivos específicos del proyecto social.

Logros a corto plazo, contribuyen a resolver las necesidades y problemas del grupo.

Logros a mediano plazo, contribuyen al cumplimiento de los objetivos programáticos en una región específica.

Logros a largo plazo, contribuyen al cumplimiento de la misión de la organización.

EVALUACIÓN DE INDICADORES

EVALUACIÓN DE PROCESOS: SUPERVISIÓN

Responsable

Frecuencia Área Indicador Método Procedimiento

Participantes Continua-máxima(1 semana/mes)

Puntualidad en la implementación de los proyectos

Nº de actividades implementadas a su debido tiempo

Visitas de campo Formulario de supervisión rutinario

Uso adecuado de los recursos del proyecto

Desvío recursos Visitas de campo Control de calidad

Formulario de supervisión.Procedimientos técnicos de calidad.

Obtención y registro adecuados de la información

Porcentaje de proyectos con archivos y nº de informes

Revisión de archivos Análisis documentos y discursos

Comisiones Alta (1-3 meses)

Plan de tareas realista Nº de planes con orden de tareas correcto

Comparar la planes con implementación

Análisis de Flujo de tareasVisitas de campo

Participación comunitaria en las actividades

Nº de personas que cumplen tareas

Nº de actividades. Nº de recursos aportados por la comunidad

Visitas de campo. Grupos Discusión

Justificación de los recursos Porcentaje de recursos contabilizados

Justificación de uso eficiente de recursos

Formulario justificación de recursos

Modificado de Manual de supervisión. Phil Bartle, PhD traducción de Mª Lourdes Sada www.scn.org/mpfc/modules/pd-pds.htm

Responsables

Media(3-6 meses) Justificación de los recursos

Porcentaje de recursos contabilizados

Justificación de uso eficiente de recursos

Formulario justificación de recursos

Consejo Baja(6-12 meses)

Eficacia de comités comunitarios

Número de comités que cumplen sus tareas

Revisión del cumplimiento de tareas/comité

Estudios cualitativosde rendimiento

Encaje adecuado de proyectos en los planes y las prioridades generales

Número de proyectos adscritos a planes generales

Revisión de informes Visitas de campo

Revisión de planes y prioridades locales para valorar encaje con los generales.

Conocimientos de gestión comunitaria por líderes comunitarios

Número de comunidades con proyectos comunitarios participativos

Revisión de informes Grupos de discusiónOtros

Estudios cualitativos sobre la participación de la comunidad en las actividad/proyecto

Entidad Eventual-mínima (12-24 meses)

Conocimiento de la metodología por la comunidad

Proporción de gente consciente de la metodología

Grupos de discusión, Entrevistas Testigos

Estudios

Efectividad del diseño del proyecto

Porcentaje objetivos conseguidos. Porcentaje aspectos del diseño aceptados por la comunidad.

Revisión de informes Grupos de discusión Entrevistas Testigos

Estudios

Transferibilidad de la experiencia a otros proyectos.

Proporción de aspectos del diseño del proyecto adaptados

Discusión de proyectos Eventos para buscar aspectos metodología repetidos en diversos proyectos.

Explicativo de símbolos:

VISUALIZACIÓN DE PROCESOS CON FLUJOGRAMAS

Carta Gantt

EjJERCICIO 6: EXPRESIÓN EN GRUPO :

¿QUÉ OPINAS DE ESTOS 2 CRONOGRAMAS DE LA MISMA ACTIVIDAD?

VISUALIZACIÓN DE PROCESOS CON CRONOGRAMAS

Contribuciones a la Economía" es una revista académica con el Número Internacional Normalizado de Publicaciones Seriadas. ISSN 16968360. FORMULACIÓN Y EVALUACIÓN DE PROYECTOS. Jairo Toro Díaz. http://www.eumed.net/ce/2008b/jtd.htm

EVALUACIÓN DE ALTERNATIVAS DE PROYECTOS:

Metodología para establecer que alternativa produce el máximo beneficio (impacto), al mínimo de costo .

1.-Costo total de cada alternativa (CT).

2.-Número de servicios prestados con el proyecto (SP).

3.-Costo por unidad de producto (CUP): CUP = CT / SP

4.-Unidad de tiempo del proyecto.

5.-Impacto anual promedio para cada alternativa (IAP)

6.-Magnitud (%) de cambios del entorno al lograr fracciones de metas

7.-Costo por unidad de impacto (CUI), costo de lograr 1% de impacto por objetivo: CUI = CT / (IAP x 100)

El CUI nos señala la estrategia para obtener impacto a más bajo costo

Para que los productos generen los impactos esperados, es necesario tomar en cuenta su sustentabilidad y sostenibilidad.

Sustentable Un proyecto lo es en la medida que exista capacidad instalada (recursos físicos, humanos y financieros) para que los procesos requeridos sean adecuadamente implementados.

Sostenible Un proyecto lo es cuando los impactos producidos perduran en el tiempo.

CONCEPTOS DE SUSTENTABILIDAD Y SOSTENIBILIDAD

Evaluación de resultados

www.msc.es/.../saludPublica/prevPromocion/docs/

PRSENTACIONES PARA ANÁLISIS DE RESULTADOS

Resultados Todo / nada Rectángulo homogéneo ineficaz Pendiente de/creciente Normal Tantos + como - Asimétrica Mayoría/ dispersos

Distribución cuantitativa de los resultados:

Distribución temporal de los resultados:

x.- Proyecto sin impacto añadido +.- Cambios no causados por el proyectoo.- Cambios atribuibles al proyecto

Las etapas del método exigen:

1.- Reunir a un conjunto de expertos en el problema que busca solucionar el proyecto.

2.- Entregar a cada uno un informe detallado de las alternativas.

3.- Solicitar que en forma independiente hagan una estimación de la magnitud del impacto y/o demanda que producirá cada alternativa, en los períodos de tiempo que sean pertinentes para la evaluación.

4.- Calcular la mediana y los cuartiles 1 y 3. Estos, deben ser acompañadas de la desviación intercuartil (Q), que permite medir el grado de consenso/disenso existente entre los expertos. Q = (Q3 - Q1)/2

5.- Pedir a quienes se ubicaron en el primer y cuarto cuartil que expliquen y fundamenten su posición.

6.- Solicitar a quienes están en el segundo y tercer cuartil que comenten las opiniones de los del primero y el cuarto.

7.- Repetir el proceso hasta que la realización de una nueva iteración no disminuya la desviación intercuartil.

La estimación a considerar es el valor que adquirió la mediana en la última iteración. El método también se puede implementar a distancia, solicitando que los expertos entreguen su información repetidas veces, hasta generar la convergencia buscada. En este caso no existe la posibilidad de compartir opiniones, por lo tanto, en lugar de los pasos 5 y 6, sólo se entregan los resultados de la iteración anterior.

EVALUACIÓN DEL IMPACTO: CALCULO x PESO DELPHI

Entre las variables que debieran incluirse en los criterios mínimos se tienen:

1.- Social: grado de relevancia del problema (según la prioridad asignada por la población objetivo y la línea de base); grado de carencialidad-vulnerabilidad de la población objetivo (pobreza, acceso a servicios sociales); grado de cobertura actual (déficit de oferta de bienes y servicios previos a la implementación del proyecto); impacto que se espera lograr con el proyecto.

2.- Técnico: pertinencia (grado de adecuación del proyecto a sus objetivos y a la población meta); coherencia externa (entre el diseño del proyecto y las políticas institucionales); coherencia interna de la matriz lógica del proyecto (entre los insumos y las metas de actividades, productos, efectos e impacto); incremento de cobertura - eficacia (metas de producción de bienes y servicios).

3.- Económico: costos totales (con valores presente y anualidades, desglosados en un presupuesto); eficiencia (CUP); beneficios (externalidades positivas para la población objetivo u otros beneficiarios legítimos).

4.- Institucional:

capacidad para lograr las metas propuestas (del organismo ejecutor y del equipo específico adscrito al proyecto); trayectoria del organismo ejecutor (experiencia y grado de éxito en proyectos anteriores); participación de la población objetivo (grado de involucramiento en la operación del proyecto).

CRITERIOS MÍNIMOS DE EVALUACIÓN DE IMPACTO

B u e n a s P r á c t i c a s e n S e g u imi e n t o y E va l u a ci ó n d e P ro ye c t o s d e E m p l e o Exper i e n c i a s d e l a I n i c i a t iva Comuni t a r i a EQUAL e n A n d a l u c í ahttp://www.juntadeandalucia.es/empleo/equal/npe/www/doc/47.pdf

OPCIONESDEPRESENTACIÓNDE LAS EVALUACIONES


Valora cada pregunta con positivos o negativos considerando el programa de Dispositivos de Alarma de Cruz Roja

CRITERIOS DE IDENTIFICACION DE BUENAS PRÁCTICAS1. ¿De qué forma participan las personas a las que va dirigido el proyecto ? 2. ¿De qué forma se promueve la autonomía e independencia que las personas con este recurso? 3. ¿Qué mecanismos se usan para incorporar diferentes perspectivas sobre los problemas y necesidades de las personas ? 4. ¿El proyecto ofrece apoyo y seguridad contra explotación, violencia…a los beneficiarios vulnerables ? 5. ¿De qué manera se garantiza que el proyecto sea también accesible para personas discapacitadas?6. ¿Cómo participan los propios profesionales que intervienen en el desarrollo del proyecto ?7. ¿De qué forma tiene el proyecto un enfoque interdisciplinar? 8. ¿De qué manera han sido diseñados los servicios para responder a las necesidades específicas y a la diversidad ? 9. ¿ El proyecto cuestiona e innova respecto a las ideas y tópicos comúnmente aceptados sobre la problemática que trata? 10. ¿Se incluyen innovaciones en el aprovechamiento y uso responsable de los recursos existentes?. 11. ¿De qué forma se evalúa o se valora la eficacia del proyecto en cuanto a la gestión y administración? 12. ¿Cómo se prevé la sostenibilidad del proyecto? 13. Los resultados y datos del proyecto son públicos y los procesos de participación y designación de cargos democráticos? 14. ¿Qué tecnologías de las llamadas de la información y la comunicación emplean en la organización ? 15. ¿Puede este proyecto, o algunos de sus elementos, servir como modelo para otras organizaciones o contextos ? 16. ¿De qué forma participaría el proyecto en alguno de los programas conjuntos de la Unión Europea? 17. ¿Cuáles son los impactos concretos medibles que han hecho mejorar la calidad de vida de los beneficiarios? 18. ¿Existe alguna documentación, investigación u evaluación, que reflejen el impacto del proyecto ?19. Adjunten 3 cartas de apoyo y/o aval por parte de otras organizaciones o expertos que puedan dar referencias .

EVALUACIÓN DE BUENAS PRÁCTICAS

www.cruzroja.es/.../PRACTICAS/08-

Recomendaciones OMS para obtener buenos resultados en prevención primaria del consumo de drogas:

1.- Procure hacerse la reputación de que es una organización eficaz que colabora con la comunidad, haciendo bien su trabajo y, siempre que pueda, apoyando las actividades de otros interesados.2.- Fortalezca su posición asociándose con otros interesados reconocidos que puedan abrirle puertas.3.- Utilice un enfoque personal, llamando por teléfono o visitando a quienes puedan tener información útil.4.- Emplee un enfoque de “reciprocidad”, ofreciendo compartir la información obtenida en sus investigaciones (evidentemente, dentro de los límites de la confidencialidad).5.- Asegúrese de que los investigadores de la comunidad estén enterados de su evaluación y comprendan su labor.6.- Asegúrese de que tiene la capacidad necesaria para realizar la evaluación, combinando la capacitación (en particular de los jóvenes) y las alianzas con interesados que tengan reconocida experiencia en este campo.7.- Utilice una combinación de métodos para que su información sea más precisa;8.- Recurra a representantes del grupo destinatario para recoger la información entre su grupo. Esto también contribuirá a ganarse la confianza de los entrevistados.9.- Emplee a los adultos como facilitadores y no como “agentes”. Asígneles la función de apoyar a los jóvenes en la tarea de recopilar información.10.- Utilice sus contactos para tener acceso a las personas de las que desea obtener información.11.- Antes de ponerse en contacto con las personas de las que desea obtener información, determine si sería más apropiado adoptar un enfoque formal o informal.12.- Prepare un “protocolo” o conjunto de directrices para reunir información y asegurar su confidencialidad; el protocolo debería servir de guía a quienes reúnan información para usted y debería presentarse a los entrevistados para ganarse su confianza.13.- Encuentre una forma divertida y no intimidatoria de introducir sus preguntas, sobre todo en el caso de los jóvenes (por ejemplo, preguntas generales sobre sus intereses, juegos, teatro, diversiones, etc.).14.- Busque un lugar seguro y apropiado, de ser posible lejos de los adultos y del entorno habitual.15.- Vele por la seguridad personal de quienes reúnen información y de quienes la dan previendo y evitando las situaciones peligrosas.16.- Demuestre que está dispuesto a compartir las oportunidades y a controlar el proyecto.17.- Actúe con transparencia, es decir, exponga claramente y con honradez sus objetivos y su panorama financiero;18.-Evite crear excesivas expectativas; concéntrese en los problemas y los objetivos y no en cuestiones de financiación.19.- Utilice los resultados de la evaluación para crear una red y para impulsar la planificación.20.- Atraiga la participación de todos los jóvenes interesados en el proceso de planificación proporcionándoles información clara sobre el proyecto, procurando asignarles funciones que correspondan a sus aptitudes capacitándolos de ser necesario y apoyándoles en la realización de sus funciones.21.- Procure que haya siempre continuidad y seguimiento.22.- Muestre su agradecimiento a quienes apoyen el proyecto;23.- Celebre acuerdos con sus asociados mediante declaraciones escritas en las que se delimiten las funciones y responsabilidades.

OMS La presente publicación es producto del Proyecto Conjunto “Iniciativa Mundial de prevención primaria del uso indebido de sustancias”

entre la ONUDD y la OMShttp://www.unodc.org/pdf/globalinitiative/initiative_goodpractice_assessing_strong_start_S.pdf

REQUISITOS DE BUENAS PRÁCTICAS PARA INTERVENIR

Instrumento de autoevaluación sobre Prevención Primaria del uso Indebido de Sustancias del PNUFID y la OMS

Parte A: Evaluación de la situación local consistía en ayudar a su organización a definir el problema. 1.-Sírvase dibujar un círculo para indicar el porcentaje de su evaluación, que se basó en información ya existente, y el porcentaje basado en información nueva reunida por su grupo para este proyecto. 2.- ¿Qué le resultó útil cuando reunió la información existente? ¿Por qué? ¡Dé un ejemplo concreto!3.- ¿Qué fue lo que no resultó útil al reunir la información existente? ¿Por qué? ¡Dé un ejemplo concreto! 4.- Hay distintas maneras de reunir información nueva (por ejemplo, debates de grupos especiales, entrevistas con los principales informantes, encuestas, relatos, la observación y estudios de casos). Piense en la cantidad y la calidad de la información que obtuvo con cada uno de los métodos que utilizó. ¿Cuál fue más útil? A continuación, sírvase enumerarlos en orden de importancia (1 = método más útil, etc.).5.- ¿Qué le resultó útil al reunir información nueva? ¿Por qué? ¡Dé ejemplos!6.- ¿Qué fue lo que no resultó útil al reunir información nueva? ¿Por qué? ¡Dé ejemplos! 7.- Los jóvenes a los que usted desea beneficiar pueden ser una buena fuente de información. Si trató de obtener información de esos jóvenes, ¿qué fue lo que resultó útil? ¿Por qué? ¡Dé ejemplos!8.- Si trató de obtener información de esos jóvenes, ¿qué fue lo que no resultó útil? ¿Por qué? ¡Sírvase dar ejemplos!

Parte B: Contribución a movilizar la comunidad al cobrar conciencia del problema. 9.- Sírvase dibujar los cambios que se han producido en la idea que tienen distintos grupos de la comunidad como resultado de la evaluación. Utilice círculos para representar su organización y los grupos importantes de su comunidad (por ejemplo, los jóvenes beneficiarios, los principales funcionarios gubernamentales, los políticos locales, las escuelas, los servicios sanitarios y los medios, etc.) Utilice tantos círculos como desee. Cuanto más grande sea el círculo que corresponda a un grupo, mayor será su conocimiento del problema del uso indebido de sustancias nocivas. Haga dos dibujos: uno para la situación antes de la evaluación y otro para la situación después de ella. 10.- Sírvase dibujar los cambios que se han producido en la relación entre su organización y diversos grupos de la comunidad como resultado de la evaluación. Represente con círculos su organización y los diversos grupos de su comunidad . Cuanto más cerca esté un círculo de su organización, más estrecha será su relación. Haga dos dibujos: uno para la situación antes de la evaluación y otro para la situación después de ella. 11.- Al tratar de movilizar a diversos grupos de la comunidad para que apoyaran su proyecto, ¿qué fue lo que dio mejores resultados? ¿Por qué? ¡Dé un ejemplo concreto!12.- ¿Qué fue lo que no dio resultados? ¿Por qué? ¡Dé un ejemplo concreto!13.- Si procuró movilizar a los jóvenes beneficiarios para que apoyaran su proyecto, ¿qué le resultó útil? ¿Por qué? ¡Dé ejemplos!14.- ¿Qué fue lo que no resultó útil? ¿Por qué? ¡Sírvase dar ejemplos!

Parte C Con la información sobre el alcance y las características del consumo, los factores de riesgo y de protección y los asociados y recursos que podrían ayudar a hacer frente a la situación. Debe utilizar esa información para elaborar una propuesta con la participación de los asociados correspondientes.15.- Sírvase dibujar un círculo para indicar lo siguiente: A.- quién participó desde el principio hasta el final del proyecto. B.- Cuán importante fue el papel de esos asociados (más importante=círculo mayor).16.- ¿Qué fue lo que dio mejores resultados cuando trató de que otros grupos participaran en la preparación de su propuesta? ¿Por qué? ¡Sírvase dar ejemplos!17.- ¿Qué fue lo que no dio resultados? ¿Por qué? ¡Sírvase dar ejemplos!18.- Una vez más, pensando en los jóvenes beneficiarios ... ¿Trató usted de que esos jóvenes participaran en la preparación de su propuesta de proyecto? De ser así, ¿Qué fue lo que le resultó útil? ¿Por qué? ¡Sírvase dar ejemplos!19.- ¿Qué fue lo que no dio resultados? ¿Por qué? ¡Sírvase dar ejemplos!20.- Describa la línea temporal que indique los pasos que dio para preparar su propuesta de proyecto basándose en los resultados de la evaluación de la situación local. Parte D ¿Hay algo que haría de otra manera?OMS La presente publicación es producto del Proyecto Conjunto “Iniciativa Mundial de prevención primaria del uso indebido de sustancias”

entre la ONUDD y la OMShttp://www.unodc.org/pdf/globalinitiative/initiative_goodpractice_assessing_strong_start_S.pdf

CUESTIONARIO DE AUTOEVALUACIÓN DE BUENAS PRÁCTICAS

“Lo importante es no dejar de hacerse preguntas”

Albert Einstein

REPASO DE OBJETIVOSParticipación, enfoques, perspectivas, tipos de Evaluación

Evaluación de indicadores: de gestión (cronogramas…) y/o logro (sostenibilidad…)

Evaluación de Resultados e Impactos (Delphi)

Buenas Prácticas y Lecciones aprendidas

Recursos accesibles on-line

http://200.26.134.109:8080/endeporte/hermesoft/portal/home_1/rec/arc_1355.pdfhttp://www.eclac.org/dds/noticias/paginas/8/15448/Manual_dds_200408.pdf

http://www.juntadeandalucia.es/empleo/equal/npe/www/doc/47.pdfwww.cruzroja.es/.../PRACTICAS/08- http://www.eumed.net/ce/2008b/jtd

www.msc.es/.../saludPublica/prevPromocion/docshttp://www.unodc.org/pdf/globalinitiative/

initiative_goodpractice_assessing_strong_start_S.pdf

Health & Medicine

Evaluación, módulo 6 curso atención comunitaria para profesionales de atención primaria