Guía de Evaluación de la ACDI

Canadian International Development Agency200 Promenade du PortageGatineau, QuebecK1A 0G4Tel: (819) 997-5006Toll free: 1-800-230-6349Fax: (819) 953-6088(For the hearing and speech impaired only (TDD/TTY): (819) 953-5023Toll free for the hearing and speech impaired only: 1-800-331-5018)E-mail: [email protected]

dnpouder

Guía de Evaluación de la ACDI

AGENCIA CANADIENSE DE DESARROLLO INTERNACIONAL

DIRECCIÓN GENERAL DE ANÁLISIS DEL RENDIMIENTO

Enero de 2000

GUÍA DE EVALUACIÓN DE LA ACDI

Preparada por:

PERFORMANCE REVIEW BRANCH

Robert C. JonesCIDA

Chris StanleyOakron Consultants Inc.

DIRECCIÓN GENERAL DE ANÁLISIS DEL RENDIMIENTO

EL VÍNCULO ENTRE RENDIMIENTO Y DESARROLLO

GUÍA DE EVALUACIÓN DE LA ACDI

QUE REMOS CONO CER S U OPI NIÓN

ESTA GUÍA ES U NA OB RA EN CONS TANTE EVOL UCIÓN . E STÁ SIE NDO P UESTA A PR UEBA EN EL LUGA R DE TRABA JO AFIN DE C OMPRE NDER MEJOR SU U TILID AD EN LASACT IVIDA DES D IARIA S E I DENTI FICAR LA F ORMA DEMEJ ORARL A. L E I NVITA MOS A ANAL IZAR SU CO NTENI DO EN SU TOTAL IDAD Y HAC ERNOS LLEG AR SU S SUG ERENC IAS.

DEBE MOS P RECIS AR QU E EST A GUÍ A PRE SUPON E LACON FIRMA CIÓN DE AL GUNAS POSI CIONE S POL ÍTICA S QUE AÚN ESTA BAN E LABOR ÁNDOS E EN EL MO MENTO DE S URED ACCIÓ N (POR EJ.: LA POLÍT ICA D E ANÁ LISIS DELREN DIMIE NTO P ARA 200 0 Y L OS MA RCOS DEREN DIMIE NTO).

LE R OGAMO S NOS ENVÍ E SUS COME NTARI OS YSUG ERENC IAS P OR CO RREO ELECT RÓNIC O A L ASIG UIENT E DIR ECCIÓ N:

DGE R_PRD @ACDI -CIDA .GC.C A

LAS CONTR IBUCI ONES RECIB IDAS SE ES TUDIA RÁNDET ENIDA MENTE CON OBJET O DE ELABO RAR U NAHER RAMIE NTA D E TRA BAJO MÁS E FICAZ .

… g racia s por su c olabo ració n

P R E F A C I O

l análisis del rendimiento es el proceso que facilita lainstitucionalización de las mejoras en materia de

medición del rendimiento e información sobre el rendimientode la ACDI. La Dirección General de Análisis delRendimiento (DGAR) ha preparado una serie deinstrumentos y herramientas funcionales para sustentardicho análisis.

La “Guía de evaluación de la ACDI” es un manual fácil deutilizar que establece normas de aplicación sistemática enmateria de evaluación y propone una serie de pautas ydirectrices que deben seguirse a fin de satisfacer lasexpectativas de la dirección de la Agencia.

Esta Guía ha sido concebida para ayudar al personal de laDGAR y a los consultores que ésta contrata en el diseño yrealización de las evaluaciones. Algunas de las pautas, sinembargo, se pueden adaptar a las necesidades de otrasiniciativas relacionadas con el rendimiento para las que noexistan instrumentos más específicos.

La presente versión de la “Guía de evaluación de la ACDI”no es definitiva. Se irán incorporando mejoras a fin deadaptarla a los cambios que experimente el análisis delrendimiento y a la evolución de otros aspectosrelacionados con el rendimiento.

El sitio web oficial de la Agencia ofrece una gran cantidadde información sobre la medición del rendimiento y lainformación sobre el rendimiento, y permite al usuariofamiliarizarse con el trabajo que realiza la DGAR ydescargar información estratégica. El acceso a algunosdocumentos está reservado exclusivamente al personal dela Agencia.

E

Guía de evaluación de la ACDI

Í N DI CE D E M A TE RI A S

INTRODUCCIÓN 1

CAPÍTULO 1: LAS NOCIONES BÁSICAS 5

1.1 La razón de ser de las evaluaciones 51.2 Las expectativas de la dirección 61.3 Los tipos de evaluaciones 61.4 Cómo se programan las evaluaciones 81.5 Cómo se realizan las evaluaciones 81.6 El proceso de evaluación de la ACDI 9

CAPÍTULO 2: LA CONSECUCIÓN DE RESULTADOS COMO OBJETIVO 13

2.1 El análisis del rendimiento 132.2 La gestión basada en los resultados 142.3 El marco de responsabilización de la Agencia 162.4 Plan de los programas geográficos 162.5 El marco de resultados y factores claves de éxito 16

CAPÍTULO 3: EL CONTEXTO DE REALIZACIÓN DE LAS EVALUACIONES 21

3.1 El marco de realización de las evaluaciones 213.2 Las realidades de la cooperación para el desarrollo 25

CAPÍTULO 4: RESPONDER A LAS EXPECTATIVAS 27

4.1 La aplicación de los principios de la GBR 274.2 Cuáles son las características de una buena evaluación 284.3 La ética, el fundamento del profesionalismo 29

ii

CAPÍTULO 5: DESARROLLAR LA CAPACIDAD DE EVALUACIÓN

EN LA PLANIFICACIÓN Y EL DISEÑO 33

5.1 Los marcos de rendimiento de la GBR 345.2 La aplicación del “Marco de resultados y factores claves de éxito” 355.3 El desarrollo de la capacidad de evaluación 35

CAPÍTULO 6: DIRECTRICES PARA EL ÉXITO 37

6.1 Optimizar los resultados 376.2 La importancia de fomentar la participación de los grupos interesados 406.3 El desarrollo de las capacidades locales 40

CAPÍTULO 7: LA PREPARACIÓN DEL MANDATO 41

7.1 La utilidad del mandato 427.2 Antes de comenzar 427.3 La preparación del mandato 43

7.3.1 Título 437.3.2 Perfil de la inversión 437.3.3 Razones para la evaluación 447.3.4 Alcance y objeto 457.3.5 Participación de los grupos interesados 457.3.6 Papeles y responsabilidades 467.3.7 Proceso de evaluación 477.3.8 Documentos a producir 477.3.9 Cualidades del evaluador 497.3.10 Previsiones presupuestarias 50

7.4 La etapa siguiente 50


iii

CAPÍTULO 8: LA SELECCIÓN DEL EVALUADOR 51

8.1 Cómo se realiza la selección 528.2 La contratación competitiva 538.3 La contratación de especialistas locales 548.4 El establecimiento de la mejor relación calidad-precio 54

8.4.1 Valoración estratégica 558.4.2 Imparcialidad e independencia 558.4.3 Liderazgo y dinámica de equipo 558.4.4 Dominio de conocimientos básicos 558.4.5 Calificaciones 56

8.5 ¿Ha escogido al buen candidato? 568.6 La etapa siguiente 57

CAPÍTULO 9: LA PREPARACIÓN DEL PLAN DE TRABAJO 59

9.1 En qué consiste la preparación del plan de trabajo 609.2 Aspectos estratégicos a considerar 619.3 La preparación del plan de trabajo 62

9.3.1 Descripción general de la inversión 629.3.2 Expectativas con respecto a la evaluación 639.3.3 Papeles y responsabilidades 649.3.4 Metodología 659.3.5 Marco de evaluación 749.3.6 Informes 759.3.7 Calendario de trabajo 76

9.4 La aprobación 77

iv

CAPÍTULO 10: LA RECOPILACIÓN Y EL ANÁLISIS DE LA INFORMACIÓN 79

10.1 Los métodos y las técnicas 8010.2 Mantener una perspectiva estratégica 8010.3 Privilegiar la flexibilidad 8110.4 Las consultas a los grupos interesados 8110.5 Mantener informado al público 8210.6 Responder a los problemas 83

10.6.1 Valores fundamentales 8310.6.2 Dinámica interpersonal 8410.6.3 Problemas que pueden surgir 84

10.7 La etapa siguiente 85

CAPÍTULO 11: LA PREPARACIÓN DEL INFORME FINAL 87

11.1 Para qué sirve el informe final 8811.2 Los públicos destinatarios 8911.3 Los elementos principales del informe 8911.4 La redacción del informe 91

11.4.1 Resumen 9211.4.2 Introducción 9411.4.3 Perfil de la inversión 9411.4.4 Perfil de la evaluación 9611.4.5 Constataciones 9811.4.6 Conclusión 9911.4.7 Recomendaciones 9911.4.8 Lecciones 10011.4.9 Anexos 101

11.5 La aprobación 102


v

CAPÍTULO 12: LA COMUNICACIÓN DE LOS RESULTADOS 103

12.1 Invertir en el saber 10412.2 Buenas comunicaciones 10512.3 Aprovechar los resultados 10612.4 Las opciones para difundir los resultados 107

CAPÍTULO 13: LAS RESPUESTAS A LAS PREGUNTAS MÁS FRECUENTES 109

13.1 Generalidades 10913.2 La planificación, el diseño y la ejecución 11213.3 Los informes y la comunicación de los resultados 118

RECUADROS

Recuadro 1 El proceso de evaluación de la ACDI 10Recuadro 2 Marco de resultados y factores claves de éxito 17Recuadro 3 El marco de evaluación de la ACDI 23Recuadro 4 Directrices para el éxito 37Recuadro 5 Aspectos a tener en cuenta para elaborar

evaluaciones sustentables 66Recuadro 6 Metodologías de evaluación 67Recuadro 7 Fuentes de información 70Recuadro 8 Principales métodos de recopilación de información 71Recuadro 9 Técnicas de análisis 73Recuadro 10 Marco de evaluación 74Recuadro 11 Calendario de trabajo 76Recuadro 12 Elementos principales del informe 90


INTRODUCCIÓN

Las evaluaciones establecen un vínculo entre losresultados obtenidos en materia de rendimiento

y las ventajas que aportan al desarrollo.

a ACDI considera que la medición e información sobre el rendimiento es un elementoesencial para lograr el éxito de las actividades en favor del desarrollo sostenible.

Las lecciones que se aprenden con la experiencia contribuyen a tomar decisiones bienfundamentadas, lo que a su vez favorece la adopción de políticas, estrategias yprácticas de desarrollo más eficaces y efectivas.

Además de permitir a la Agencia rendir cuentas de sus actividades y practicar latransparencia para con los ciudadanos canadienses, la medición del rendimiento y lainformación sobre el rendimiento le ofrecen también la posibilidad de cumplir con susobligaciones ante la comunidad de desarrollo internacional.

En la ACDI, estas dos funciones forman parte de una política general de gestión basadaen los resultados. Las evaluaciones facilitan la aplicación de esta política y suministran ala dirección de la ACDI información plausible, pertinente y objetiva sobre el rendimiento delas iniciativas de desarrollo, sobre lo que funciona y no funciona, y lo que hay que hacerpara mejorar la situación.

Las evaluaciones únicamente son útiles si los resultados que generan aportan un valorañadido. En la ACDI, las constataciones, recomendaciones y lecciones aprendidas sonintegradas en el proceso de toma de decisiones a nivel de la alta dirección y de lagestión. Los resultados de las evaluaciones desempeñan un papel estratégico a la horade adoptar decisiones fundamentadas en materia de formulación de políticas, elaboraciónde estrategias, asignación de recursos y adopción de mejores prácticas.

Acerca de esta Guía

La “Guía de evaluación de la ACDI” ha sido elaborada para informar al lector sobre laestrategia actual de la Agencia en materia de evaluación. Describe las expectativas de ladirección respecto a los resultados que espera obtener, propone pautas para suconsecución, e identifica normas y requisitos esenciales.

L

2

Esta Guía se propone tener múltiples aplicaciones. Ha sido diseñada como unaherramienta didáctica con fines formativos, una obra de referencia de fácil manejo paraquienes desean información sobre un aspecto concreto y un compendio exhaustivo de laestrategia adoptada por la ACDI en materia de evaluación.

Una lectura detenida de esta Guía permite comprender en profundidad todos losaspectos de la evaluación en la Agencia, si bien también se puede consultar rápidamentepara encontrar respuesta a preguntas precisas. El lector más profano puede utilizar laGuía para aprender los aspectos fundamentales del proceso de evaluación, mientras queel evaluador experimentado encontrará en ella gran cantidad de consejos para completarcon éxito su tarea.

La Guía se divide en trece capítulos:

Primera parte: Los grandes principios

1. “Las nociones básicas” ofrece información elemental sobre la estrategia de la ACDIen materia de evaluación, describiendo el proceso paso por paso.

2. “La consecución de resultados como objetivo” describe la iniciativa emprendida por

la Agencia para convertirse en una organización responsable cuya gestión estéorientada hacia la consecución de resultados.

3. “El contexto de realización de las evaluaciones” describe el marco y el cuadro de

repartición de funciones relativas a la evaluación, y estudia las dificultadesinherentes en la cooperación en materia de desarrollo.

4. “Satisfacer las expectativas” explica con detalle en qué consiste una buena

evaluación e identifica las expectativas con respecto a determinadas normaséticas.

5. “Desarrollar la capacidad de evaluación en la planificación y el diseño” analiza la

necesidad de incorporar desde las primeras etapas la capacidad de medir elrendimiento e informar sobre el rendimiento de la inversión.

Segunda parte: La realización de la evaluación

6. “Directrices para el éxito” explica cómo sacar el máximo provecho de la inversiónque representa una evaluación.

7. “La preparación del mandato” describe los aspectos esenciales de la preparación

del mandato. 8. “La selección del evaluador” analiza el proceso de otorgamiento de contratos y las

cualidades que deben reunir los candidatos.


3

9. “La preparación del plan de trabajo” describe los elementos esenciales que debeabordar el evaluador en su plan de trabajo.

10. “La recopilación y el análisis de la información” estudia los métodos utilizados y las

dificultades que pueden surgir en esta etapa del proceso de evaluación. 11. “La preparación del informe final” describe los aspectos estratégicos de la

preparación del informe e identifica las normas que deben seguirse al respecto. 12. “La comunicación de los resultados” explica de qué manera pueden contribuir los

resultados de las evaluaciones a alcanzar los objetivos de desarrollo y describedistintas opciones para dar a conocer dichos resultados.

Tercera parte: Preguntas y respuestas

13. “Las respuestas a la preguntas más frecuentes” aborda los aspectos más básicosde la evaluación.

Sus comentarios nos son de gran utilidad

La DGAR depende de la aportación de los usuariospara mejorar sus prácticas de trabajo.

Le invitamos por lo tanto a hacernos llegar cualquiercomentario o sugerencia que pueda tener.

Deseamos expresar nuestro agradecimiento a todas las personas que generosamente han

dedicado gran parte de su tiempo aa preparación de esta Guía.

Sin su decisiva contribución y sus valiosas ideasy consejos, esta obra no habría sido posible.

4


5

CAPÍTULO 1: LAS NOCIONES BÁSICAS

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• El porqué y el cómo de las evaluaciones en la ACDI• Las expectativas• Quién hace qué

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Definición de la evaluación

Análisis de las políticas, estructuras,programas y proyectos destinados a facilitar

la toma de decisiones, la asignación derecursos y la rendición de cuentas.

n este capítulo se abordan las nociones básicas del proceso de evaluación de laACDI. ¿Por qué realiza la ACDI evaluaciones? ¿Cuáles son las expectativas de la

dirección? ¿Cómo se programan las evaluaciones? ¿Cómo se realizan? En el análisis deestas cuestiones se insiste constantemente en el interés que revisten las evaluacionespara la ACDI y las ventajas que pueden aportar a las políticas, estrategias y prácticas dedesarrollo.

1.1 La razón de ser de las evaluaciones

Los ministerios y organismos públicos deben dar cuenta de su rendimiento y adoptar amenudo decisiones difíciles respecto a la utilización de los fondos del erario público. Laevaluación ofrece una herramienta de gestión práctica para analizar el rendimiento queayuda a la Agencia a aprender de la experiencia con objeto de mejorar el diseño de susnuevas iniciativas y la consecución de los resultados previstos.

Las evaluaciones suministran a la ACDI información veraz, útil y pertinente con la queanalizar las políticas, estructuras, programas y proyectos a fin de mejorar el proceso detoma de decisiones, de asignación de recursos y de rendición de cuentas. La

E

6

disponibilidad de información estratégica basada en los resultados obtenidos permite alPresidente y al Comité Ejecutivo orientar adecuadamente las intervenciones en favor deldesarrollo a fin de obtener los resultados previstos, al mismo tiempo que los gerentespueden aumentar la eficacia y eficiencia de dichas intervenciones. Por otra parte, laresponsabilización de la ACDI se ve dotada de mayor transparencia al disponer laAgencia de mejores medios para rendir cuentas de sus actividades al Parlamento y a lospropios ciudadanos canadienses.

1.2 Las expectativas de la dirección

La prioridad absoluta de la Agencia es producir información plausible y útil que le ayude aalcanzar sus objetivos estratégicos. Para tener éxito es primordial contar con un procesosimplificado que utilice con eficacia y eficiencia el tiempo valioso y los recursos limitadosde que dispone.

La ACDI espera que las evaluaciones se fundamenten en el análisis de los resultadosobtenidos, esto es, que integren los principios y prácticas establecidas en su propiapolítica de “gestión basada en los resultados” (GBR).

Se espera que las evaluaciones pongan de relieve:

v El compromiso contraído por la ACDI para utilizar eficaz y eficientemente susrecursos en favor del desarrollo sostenible a fin de reducir la pobreza en los paísesen desarrollo.

v El objetivo de contribuir a la construcción de un mundo más seguro, equitativo y

próspero. v El rendimiento en relación con los resultados en materia de desarrollo y factores

claves de éxito enunciados en el “Marco de resultados y factores claves de éxito”.

1.3 Los tipos de evaluaciones

Existen varios criterios para clasificar las evaluaciones.

En primer lugar, las evaluaciones pueden dividirse en sumativas y formativas. Lasevaluaciones sumativas se realizan en una etapa avanzada de la realización delprograma o proyecto, o bien a posteriori una vez terminado, a fin de evaluar su eficaciay establecer los resultados y utilidad general. Las evaluaciones formativas, por elcontrario, suelen realizarse en una etapa más temprana a fin de comprender mejor lamarcha del proyecto o programa y su grado de consecución de los objetivos, y adoptarlas medidas correctivas necesarias. Ambos tipos de evaluación contribuyen al procesode aprendizaje.


7

A menudo las evaluaciones se clasifican por su objeto (esto es, en función de lo que seestá evaluando). Así, las categorías posibles según este criterio son:

v Las evaluaciones temáticas (por ej.: las que tratan de la integración de la mujer en eldesarrollo, la satisfacción de las necesidades humanas básicas, el desarrollo de lacapacidad).

v Las evaluaciones de programas, proyectos y otras inversiones. v Las evaluaciones institucionales de organizaciones multilaterales (por ej.: UNICEF,

ACNUR) o de ONG internacionales, canadienses o locales.

Por último, las evaluaciones pueden clasificarse también en función del momento o de laetapa del ciclo de la iniciativa evaluada:

v Las evaluaciones intermedias sirven para medir el rendimiento al final de un períododeterminado e informar al respecto para que puedan hacerse los ajustes y mejorasnecesarias en el transcurso de la realización.

v Las evaluaciones de final de etapa se llevan a cabo tras completar una etapa de las

iniciativas que se componen de varias etapas y ofrecen información útil para laejecución de las etapas siguientes.

v Las evaluaciones de final de proyecto/inversión o de programa se realizan una vez

completada la iniciativa en cuestión. A menudo los resultados de una iniciativa a nivelsocial o sus repercusiones no se dejan ver de inmediato sino que precisan ciertotiempo para manifestarse. Por consiguiente, este tipo de evaluación puede limitarse ainformar sobre los logros en materia de desarrollo y los primeros indicios de losefectos, sin ofrecer una indicación realmente concluyente en cuanto al grado deconsecución de los objetivos a medio y largo plazo.

v Las evaluaciones de las repercusiones a posteriori sirven para medir e informar del

grado de consecución de los objetivos en materia de desarrollo que se ha alcanzadoa medio y largo plazo, fijándose principalmente en los efectos y consecuencias queresultan de los logros realizados.

Todas estas categorías de evaluación pueden considerarse además como: 1)participativas, 2) conjuntas, 3) externas o internas, 4) completamente independientes, o5) una autoevaluación.

8

1.4 Cómo se programan las evaluaciones

El Comité Ejecutivo de la ACDI se encarga de establecer el calendario de las evaluacionesen función de las prioridades establecidas en el marco del ciclo de planificación de laAgencia. Es el Comité Ejecutivo quien asume en última instancia la responsabilidad delrendimiento de la Agencia y quien debe rendir cuentas al respecto. El Comité se ocupa decuestiones de carácter general que influyen en la evaluación y aprueba el plan de trabajogeneral en materia de control interno y evaluación.

Las evaluaciones se planifican y realizan en función de las necesidades de la direcciónen materia de información sobre los resultados y repercusiones de los programas yproyectos en el área del desarrollo. El Comité puede solicitar la realización deevaluaciones a nivel de la Agencia, o bien los propios directores de programas pueden,si así lo desean, evaluar una actividad de desarrollo concreta para la que se justifique unanálisis independiente.

¿Cómo se toma la decisión de realizar una evaluación? Esta decisión no se toma hastaque la dirección comprenda claramente todos los aspectos precisos, los parámetros ylas ventajas que aportará a la ACDI la evaluación propuesta. La decisión final de seguiradelante con la evaluación corresponde en última instancia al director del centro deresponsabilidad que financiará la evaluación en cuestión.

1.5 Cómo se realizan las evaluaciones

Las evaluaciones de la ACDI se realizan según: 1) el proceso establecido por la Agenciapara realizar las evaluaciones; 2) la repartición de las responsabilidades entre la ACDI yel evaluador; y 3) los métodos utilizados. Si bien las evaluaciones se llevan a cabo dentrode una estructura establecida, su realización propiamente dicha depende, en granmedida, del buen juicio tanto del director de evaluación de la ACDI como del evaluador.Cada evaluación es única y suele plantear desafíos nuevos o imprevistos.

Por lo general, la ACDI subcontrata las evaluaciones a un profesional, compañía uorganización externa. En algunos casos se considera preferible formar un equipo deevaluación reuniendo a representantes de distintas compañías u organizaciones.Subcontratando la realización de las evaluaciones a evaluadores externos, la Agenciareduce los costos que implicaría mantener permanentemente un equipo interno deevaluadores y se beneficia al mismo tiempo de la creatividad e innovación que le ofrecela variedad de proveedores disponibles.


9

En lo que respecta la organización de la evaluación, suelen aplicarse las siguientesreglas:

v Para las evaluaciones complejas o de gran envergadura, a menudo se crea un comitéasesor encargado de establecer la orientación general de la evaluación. En estacategoría se incluirían, por ejemplo, las evaluaciones en las que participan variosdonantes y las grandes evaluaciones temáticas. En estos casos, uno de losmiembros del comité asesor será nombrado director de evaluación para la ACDI,actuando al mismo tiempo como persona de contacto con el evaluador.

v Para el resto de las evaluaciones se suele asignar a un director de evaluación de la

ACDI la responsabilidad de representar a la Agencia. En este caso también, lapersona actuará de enlace con el evaluador.

v El evaluador es responsable de dirigir las actividades cotidianas y producir los

documentos exigidos de conformidad con los términos del contrato.

1.6 El proceso de evaluación de la ACDI

El recuadro 1 describe paso por paso cómo se distribuyen las tareas y cómo se realizanlas evaluaciones una vez que han sido autorizadas por la ACDI. Si bien el mandato defineen términos generales los parámetros de la evaluación, ésta no podrá iniciarse realmentehasta que la Agencia no haya aprobado el plan de trabajo del evaluador. Lacomunicación de los resultados y su aplicación confieren a las evaluaciones un valorduradero.

10

Recuadro 1

El proceso de evaluación de la ACDI

Etapa Responsable Función PasosMandato Director de

evaluación dela ACDI

Establece elenunciado inicial delas expectativas ylas necesidades,fijando losparámetros yresultados que seespera obtener.

1. Análisis de las fuentes deinformación.

2. Realización de consultas.3. Preparación del mandato.4. Notificación a la misión

interesada.5. Aprobación de la ACDI.

Selección delevaluador

Director deevaluación dela ACDI

Selecciona al mejorcandidato en funciónde las cualidadesexigidas y requisitosen materia derendimiento.

1. Adopción de unmecanismo de selección.

2. Establecimiento de una primera lista de candidatos y posteriormente de una lista prioritaria de candidatos.3. Selección propiamente dicha.4. Notificación al candidato seleccionado. Negociación del contrato.

Plan detrabajo

Evaluador Prepara unadescripción de cómose realizará laevaluación y quéobjetivos debenobtenerse.

1. Consultas, análisis de la documentación, organización de los desplazamientos.2. Elaboración del plan de trabajo.3. Aprobación de la ACDI.4. Notificación a la misión interesada.

Recopilacióny análisis delainformación

Evaluador Recopila lainformación en laque se basarán losresultados.

1. Organización y reconocimiento sobre el terreno.2. Recopilación de la información (informe del avance).3. Informe sobre el terreno.4. Análisis e interpretación de la información.


11

Etapa Responsable Función PasosInforme de laevaluación

Evaluador Da a conocer losresultados.

1. Determinación de losresultados obtenidos y laslecciones aprendidas.

2. Análisis estratégicoadaptado a los diferentestipos de público.

3. Preparación del informefinal.

4. Aprobación de la ACDI.Difusión delosresultados

Director deevaluación dela ACDI

Trata de que laevaluacióncontribuya lo másposible a aumentar laeficiencia y eficaciade lasintervencionesfuturas en favor deldesarrollo.

1. Análisis estratégico.2. Extracción de las lecciones aprendidas.3. Difusión de los resultados.4. Carga de los resultados en la memoria central.

Fuentes útiles

v Evaluation of Development Assistance (Ministerio Real de Asuntos Exteriores, Noruega, noviembre de 1993) v Guidelines for Evaluation (Danida, febrero de 1994) v Benefit Monitoring and Evaluation (Banco Asiático de Desarrollo) v Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos (Banco de Desarrollo Interamericano, marzo de 1997) v Enhancing Organizational Performance:

A Toolbox for Self-Assessment (Centro de Investigación para el Desarrollo Internacional, 1999)

12


13

CAPÍTULO 2: LA CONSECUCIÓN DE RESULTADOS

COMO OBJETIVO

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• Transparencia y responsabilización• La GBR o cómo fomentar la consecución de resultados• El análisis del rendimiento, un punto de partida

••••••••••••••••••••••••••••••••••••••••••••••••••••••

n 1994 la ACDI inició una ambiciosa renovación institucional, comprometiéndoseante el Parlamento y los ciudadanos canadienses a adoptar un estilo de gestión que

estuviera orientado prioritariamente hacia la consecución de los resultados y fuera másresponsable. En julio de ese mismo año se daba a conocer la “Política de la ACDI para elanálisis del rendimiento” que establecía un marco general para medir y presentarinformes sobre el rendimiento. En este marco se describe la evaluación como uno de loselementos claves e integrales del sistema de análisis del rendimiento.

En octubre de 1996 se precisaron los papeles y responsabilidades de cada personadentro de la ACDI en la “Actualización de la Política de análisis del rendimiento de laACDI”, en la que se establecía que la responsabilidad de las evaluaciones corresponde ala DGAR.

En su “Política de análisis del rendimiento para 2000” de la ACDI (actualmente en curso deredacción), la ACDI debería confirmar su posición de principio y precisar ciertosaspectos.

2.1 El análisis del rendimiento

El análisis del rendimiento, que constituye un ejercicio de reflexión permanente a nivel dela Agencia, facilita la integración de las mejoras en la valoración del rendimiento y latransmisión de la información. Engloba todas las funciones e instrumentos utilizados porla dirección y el personal de la Agencia para analizar los resultados de susintervenciones en materia de desarrollo y de las operaciones.

El análisis del rendimiento es un componente integral del proceso de gestión y sirve paraestablecer el vínculo entre una amplia gama de actividades y el objetivo principal que

E

14

consiste en aumentar la eficacia de la ayuda. La DGAR desempeña un papelpreponderante en las iniciativas de medición del rendimiento, colaborando con lasdirecciones generales de operaciones y de apoyo, y aprendiendo de sus distintasexperiencias y competencias.

En principio, el análisis del rendimiento debe:

v Ofrecer a los directores de la ACDI las herramientas necesarias para asumir susresponsabilidades y alcanzar los resultados previstos.

v Desempeñar un papel fundamental en la transformación de la Agencia en una

organización más orientada hacia los resultados, más transparente y másresponsable.

v Contribuir de manera esencial a la iniciativa de renovación de la gestión de la ACDI,

poniendo de relieve la excelencia, el saber, el aprendizaje, el trabajo en equipo y lainnovación.

Los objetivos que se persiguen son producir resultados útiles y fiables, aprender con lapropia experiencia y fomentar una forma de participación válida de los gruposinteresados.

2.2 La gestión basada en los resultados

Definición de un resultado

“Un resultado es un cambio de la situaciónque puede describirse o medirse y que es

resultado de una relación de causa y efecto”.

Gestión basada en los resultados en la ACDIDeclaración de política, abril de 1996

La gestión basada en los resultados o GBR, estrategia general adoptada por la ACDI parasu gestión, se propone alcanzar resultados y mejorar la transparencia yresponsabilización mediante la rendición de cuentas sobre el rendimiento.


15

Así, están basadas en los resultados:

v Las actividades de desarrollo: programas, proyectos y otras inversiones. v Las actividades internas de medición del rendimiento: evaluaciones de los riesgos,

auditorías financieras, estudios operacionales, actividades de seguimiento. v Las actividades independientes de medición del rendimiento de la Agencia: estudios,

evaluaciones, investigaciones especiales, auditorías internas.

La política en materia de GBR reconoce la importancia de medir tanto el cambio producidocomo sus causas, puesto que ambos elementos juntos constituyen el fundamento lógicode la gestión del cambio. Los resultados corresponden a los cambios que son atribuiblesa la influencia que una organización ejerce al utilizar sus recursos.

La publicación en enero de 1999 por parte de la DGAR de “La gestión basada en losresultados en la ACDI: Guía de introducción a los conceptos y principios” se proponíauniformizar la interpretación de la política en materia de GBR y su aplicación por parte delos responsables de los distintos programas geográficos y del programa de cooperaciónde la Agencia. Algunos de los temas abordados son: la participación de los gruposinteresados, la identificación de hipótesis y riesgos, el marco de medición del rendimiento,así como la información sobre el rendimiento y la toma de decisiones relativas a lagestión.

La GBR pone de relieve:

v La importancia de definir expectativas realistas respecto a los resultados que seespera obtener, identificando claramente a los beneficiarios y adaptando lasintervenciones en favor del desarrollo a sus necesidades.

v El seguimiento del grado de consecución de los resultados previstos utilizando

indicadores adecuados y gestionando los riesgos con eficacia. v La habilitación de supervisores directos y socios para medir el rendimiento y tomar

las decisiones necesarias de acuerdo con la información disponible. v Las ventajas que aporta recurrir a especialistas independientes para realizar las

auditorías internas y las evaluaciones. v La importancia de contar con una participación constructiva de los grupos

interesados. v La transparencia de la comunicación de los resultados obtenidos y los recursos

utilizados.

16

2.3 El marco de responsabilización de la Agencia

El “Marco de responsabilización de la Agencia”, publicado por la DGAR en julio de 1998,expone las responsabilidades de la ACDI como ministerio gubernamental federal.

Este marco establece:

v La responsabilidad plena de la ACDI en cuanto a los resultados en el área de lasoperaciones y su responsabilidad conjunta en cuanto a los resultados en materia dedesarrollo.

v Las responsabilidades de determinados cargos de la ACDI, incluidas las relacionadas

con el análisis y medición del rendimiento.

2.4 Plan de los programas geográficos

El guía de los programas geográficos (versión 5.0 de febrero de 1999), preparado por lasdirecciones generales de Asia, las Américas, África y Oriente Próximo, es la guíapráctica del programa de ayuda bilateral de la Agencia. En él se describe el contextoparticular para las operaciones, así como los métodos demostrados y prácticasestablecidas para diseñar y poner en práctica las intervenciones, proyectos y programasde ayuda bilateral.

2.5 El Marco de resultados y factores claves de éxito

El “Marco de resultados y factores claves de éxito” de la ACDI proporciona un punto dereferencia permanente para medir los resultados en materia de desarrollo y contribuye ahacer respetar la política de la ACDI en materia de GBR. Al precisar cómo debe medirse eléxito, este marco identifica los límites que deben aplicarse para medir el rendimiento delas inversiones de la ACDI.

Se indica pues claramente a los evaluadores cuáles son los resultados que constituyenun logro, lo que a su vez proporciona a los programas y proyectos de la ACDI unaorientación que se ajusta a las políticas, prioridades y principios de la Agencia ycontribuye fundamentalmente a orientar adecuadamente sus intervenciones en materiade desarrollo. El resultado global se traduce en una mejora del rendimiento de lasinversiones de acuerdo con los resultados que la Agencia espera obtener.

El marco es una herramienta de trabajo que conviene utilizar de forma constante,sistemática y estratégica en las etapas del diseño, planificación, ejecución y preparaciónde los informes de las actividades de valoración del rendimiento. Se espera que losevaluadores se concentren en la producción de resultados inspirándose para ello en losresultados de desarrollo y factores de éxito del marco.

En el recuadro 2 se ilustra el “Marco de resultados y factores claves de éxito” de laAgencia:


17

Recuadro 2

Marco de resultados y factores claves de éxito

A. Resultados en materia de desarrollo1. Resultados alcanzados¿Qué progresos se están haciendo en la consecución de los resultados previstos (anivel de los logros, efectos y repercusiones)? ¿Contribuyen esos resultados a losobjetivos generales de la Agencia de reducir la pobreza y fomentar el desarrollosostenible, y/o a los esfuerzos para apoyar el desarrollo democrático y la liberalizacióneconómica en Europa Central y del Este?

a) Resultados reales y previstos en el país beneficiario.b) Resultados/beneficios reales y previstos en Canadá.c) Resultados imprevistos.2. Relación costo-eficacia de los resultados¿Es razonable la relación entre los costos y los resultados?

a) Comparación de los costos con los parámetros de referencia pertinentes, cuandosea posible, teniendo en cuenta los resultados alcanzados.

b) Gastos reales correspondientes a los gastos previstos o justificación detallada decualquier discrepancia importante.

B. Factores de éxito3. Pertinencia de los resultados¿Es pertinente la iniciativa teniendo en cuenta la situación, las necesidades o losproblemas a los que se propone responder?

a) Adecuación a las necesidades y prioridades de los beneficiarios, los socios locales,del país, de la región a la que se destina.

b) Conformidad con las políticas de reducción de la pobreza y fomento del desarrollosostenible de la ACDI, y con otras políticas, prioridades y programas de la DirecciónGeneral.

c) Conformidad con la política exterior de Canadá, incluidos los posibles beneficios paraCanadá.

d) Conformidad con las intervenciones de organizaciones locales, organizacionescanadienses y otros donantes que tratan de responder a las mismas necesidades yproblemas.

18

4. Sostenibilidad de los resultados¿Se mantendrán los resultados/beneficios una vez concluida la iniciativa?

a) La población local asume el control de las actividades del proyecto/programa y secompromete a alcanzar los resultados previstos y mantener los métodosseleccionados a tal fin.

b) Asignación de recursos suficientes para mantener los beneficios/resultados, cuandoproceda.

c) Capacidad institucional adecuada y pertinencia continua para mantener losresultados.

d) Política interior y marco institucional que propicien el mantenimiento de los resultados.e) Coyuntura nacional e internacional que propicien el mantenimiento de los resultados.5. Asociaciones¿Se asume conjuntamente la responsabilidad en cuanto a la consecución de losresultados?

a) Participación directa de los socios locales del país, de los beneficiarios (incluidas lasmujeres) en el diseño, ejecución y seguimiento/evaluación del programa/proyecto.

b) Definición clara y aceptación por parte de los participantes de sus papeles yresponsabilidades en el proyecto/programa.

c) Los asociados en la gestión del proyecto poseen la autoridad e instrumentosnecesarios para adoptar decisiones y tomar las medidas pertinentes.

d) Creación de nuevas asociaciones para obtener resultados.6. Adecuación del diseño¿Es adecuado el diseño y se fundamenta en conocimientos sólidos del contexto local?¿Se identificaron y evaluaron los riesgos y se formularon estrategias para garantizar unseguimiento continuo? ¿Se estudiaron ideas y métodos innovadores y creativos paraobtener resultados?

a) Las metas, objetivos, resultados e indicadores de rendimiento responden a lasnormas de la ACDI en materia de gestión basada en los resultados, se establecieronutilizando métodos participativos y se fundamentan en conocimientos sólidos delcontexto local, incluyendo la relación entre los sexos y la situación del medioambiente.

b) Los recursos y servicios se adaptan bien a la situación (incluidos los riesgos), lasnecesidades o los problemas identificados.

c) El análisis de riesgos en la etapa de planificación da lugar a la formulación deestrategias que garanticen un seguimiento continuo durante la ejecución delprograma/proyecto.

d) Se ponen a prueba nuevos métodos para diseñar proyectos/programas y nuevasformas de proceder.

e) Se aplican las lecciones aprendidas de la experiencia en materia de desarrollo y seconsignan y divulgan las lecciones aprendidas de los nuevos métodos.


19

7. Utilización adecuada de los recursos¿Se cuenta con los suficientes recursos humanos, financieros y materiales, y se utilizanadecuadamente? ¿Es completa, exacta y fiable la información financiera? ¿Se utilizan losrecursos con suficiente prudencia y probidad?

a) Buenas políticas y procedimientos de gestión financiera, incluyendo los sistemas yprácticas de preparación de presupuestos, la contabilidad y la preparación deinformes.

b) Adjudicación y gestión de contratos conforme a buenas políticas y prácticas decontratación.

c) Capacidad de Canadá de suministrar los bienes y servicios necesarios para alcanzarlos resultados previstos.

d) Concordancia entre las necesidades y los conocimientos, competencias y cualidadespersonales de los principales participantes en el proyecto/programa.

e) Gestión adecuada de los recursos humanos y materiales asignados alproyecto/programa.

8. Medidas documentadas y rápidas¿Hemos anticipado y respondido a los cambios basándonos en información adecuada?¿Hemos tomado las medidas necesarias para la buena gestión de los riesgos?

a) Eficacia de las redes y métodos para establecer y evaluar las grandes tendencias ylos cambios importantes que pueden influir en el proyecto/programa.

b) Eficacia de los sistemas de vigilancia e información para la gestión de los riesgosinternos y externos, y capacidad de reacción adecuada y rápida a los riesgos yposibilidades que se presenten.

c) Estrategias y prácticas adaptadas a la naturaleza y amplitud de los riesgos internos yexternos a los que se exponen los fondos y activos del proyecto/programa.

d) Recursos y servicios prestados de manera que respondan eficazmente y se adaptena la situación, incluyendo los riesgos, las necesidades, las posibilidades y losproblemas.

20


21

CAPÍTULO 3: EL CONTEXTO DE REALIZACIÓN DE LAS EVALUACIONES

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• El marco de evaluación de la ACDI• Principales factores determinantes• Las realidades de la cooperación para el desarrollo

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Cuáles son los factores que determinan la estrategia de la ACDI en materia deevaluación? ¿Quién asume las distintas responsabilidades en el Gobierno de

Canadá? ¿Qué se espera de la ACDI? ¿De qué manera influye en el proceso de toma dedecisiones las intervenciones en los países en desarrollo?

La respuesta a estas preguntas se encuentra en una multitud de expectativas,condiciones y circunstancias que repercuten en el proceso de evaluación en general oque se aplican específicamente a proyectos individuales. Algunas de estas influencias ofactores determinantes son particulares de la ACDI y otros no. Y algunos soncompetencia de la Agencia y otros no.

Este capítulo describe: 1) el marco de la ACDI para realizar las evaluaciones e identificarlas responsabilidades que corresponden a la función; y ) las dificultades coyunturalespropias de la cooperación para el desarrollo.

3.1 El marco de realización de las evaluaciones

El gobierno federal, a través del Consejo del Tesoro de Canadá, establece para cadaministerio y organismo los requisitos en materia de realización de evaluaciones. Estasevaluaciones se utilizan para identificar qué es lo que realmente funciona y lo que nofunciona, y encontrar nuevas formas de conseguir los objetivos gubernamentales de lamanera más rentable posible.

El Consejo del Tesoro actúa como gerente general del Gobierno de Canadá,encargándose de la gestión de sus recursos financieros, humanos y administrativos.

¿

22

Sus responsabilidades consisten en:

v Garantizar que los ministerios y organismos federales evalúen sus políticas yprogramas desde un punto de vista estratégico y utilicen los resultados para informarel proceso de toma de decisiones y la rendición de cuentas.

v Establecer un marco estratégico para la realización de las evaluaciones y proponer

normas y directrices.

La ACDI se ha comprometido a utilizar sus recursos de manera eficaz y efectiva en favordel desarrollo sostenible a fin de reducir la pobreza en los países en desarrollo ycontribuir a un mundo más seguro, más justo y más próspero.

Para ello, existen tres niveles de análisis del rendimiento, esto es:

v Los análisis que dependen de los socios o la dirección, entre los que se incluyen lasevaluaciones de riesgos y auditorías financieras, las autoevaluaciones, los estudiosoperacionales y las actividades de seguimiento.

v Los análisis independientes que dependen de la DGAR, como por ejemplo los

exámenes, evaluaciones, investigaciones especiales y auditorías internas. v Los análisis realizados por los organismos centrales y el Parlamento.

Se espera que las evaluaciones proporcionen información útil que contribuya a tomardecisiones bien fundamentadas para lograr los objetivos de la ACDI de acuerdo con lasprioridades estratégicas de la Agencia.

El recuadro 3 describe someramente el marco de evaluación de la ACDI, identificando lasprincipales funciones, objetivos y contribuciones. En la “Actualización de la política de laACDI para el análisis del rendimiento” se estableció con claridad la repartición de lospapeles y responsabilidades entre la DGAR y las distintas direcciones generales deoperaciones y de apoyo de la Agencia.


23

Recuadro 3

El marco de evaluación de la ACDI

Función Objetivo ContribuciónEl Consejo del Tesoro de Canadá

1. Ac tú a d e ger en tege ne ral d el Go bie rn ode C ana dá en ca rgá nd ose d esu pe rvi sa r l a ges ti ónde l os re cur so sfi na nci er os, h uma no sy ad min is tra ti vos .

2. In di ca a los mi ni ste ri os yor ga nis mo s c óm ore al iza r la ev alu ac ión es tr até gi ca de su spo lí tic as y pr ogr am as, y ut ili za lo sre su lta do s p ar ame jo rar e l p ro ces o deto ma de d eci si one s yre nd ici ón de c uen ta s.

Ga ra nti za r q ue la sev al uac io nes pr op orc io nen i nfo rm aci ón op or tun a, út il y ob jet iv aqu e per mi ta ev alu ar :

1. La p ert in enc ia co nt inu a de la spo lí tic as y pr ogr am as(t en ien do en c uen ta la ev ol uci ón de l asi tu aci ón ).

2. Lo s res ul tad os qu e sees tá n p ro duc ie ndo .

3. La s opo rt uni da des d eut il iza r otr os in st rum en tos o me ca nis mo s m ás re nt abl es .

1. Es ta ble ce el m arc o gen er alpa ra la r eal iz aci ón de l asev al uac io nes .

2. Es ta ble ce la s nor ma s,di re ctr ic es y pri nc ipi os .

3. Pr om uev e el ap ren di zaj eor ga niz at ivo .

La alta dirección de la ACDI1. Se asegura de que los

recursos seanutilizados con eficaciay eficiencia en favordel desarrollosostenible.

2. Cuida de que elfinanciamiento y lasintervencionesarmonicen con lasprioridades y objetivos.

3. Mantiene informados alos canadienses sobreel rendimiento.

Utilizar la información sobreel rendimiento para:

1. Establecer políticas,estrategias yorientaciones.

2. Informar el proceso detoma de decisiones y laasignación de recursosen el área de lasoperaciones.

3. Mejorar la rendición decuentas sobre elrendimiento.

1. Garantiza que lasoperaciones se beneficien delos informes sobre elrendimiento.

2. Se encarga de mantener unsistema de informes anualessobre los avances realizadosen los que figuran losresultados previstos y losresultados reales.

3. Presenta al Parlamento elInforme sobre el rendimientode la ACDI.

4. Archiva los resultados y laslecciones en la memoriacentral de la Agencia.

24

Función Objetivo ContribuciónLa Dirección General de Análisis del Rendimiento

1. Constituye el centrode responsabilidadprincipal de la ACDI enrelación con lamedición delrendimiento y lainformación sobre elrendimiento.

2. Se asegura de que

los resultados sobreel rendimiento facilitenla toma de decisionesfundamentadas.

Analizar las actividades enfavor del desarrollo parainformar a la dirección sobre:

1. El grado de consecuciónde los resultadosprevistos y su relacióncosto-eficacia.

2. La pertinencia de los

resultados y su caráctersostenible.

3. La calidad de las

asociaciones, laadecuación del diseño yla asignación derecursos, y la medida enla que las intervencionesson útiles y oportunas.

1. Realiza las evaluaciones deacuerdo con las prioridadesde la Agencia.

2. Elabora instrumentos,

sistemas y guías. 3. Proporciona apoyo

metodológico a todos lossectores de la Agencia.

Las direcciones generales de operaciones y de apoyo1. Garantizan una

gestión eficaz yeficiente de acuerdocon las políticas,prioridades, normas yprácticas de laAgencia.

2. Se ocupan de medir el

rendimiento para quelas operaciones esténbien orientadas.

3. Determinan qué

políticas, programas yproyectos pueden serevaluados.

Tener en cuenta constante ysistemáticamente losresultados en materia derendimiento y las leccionesaprendidas en:

1. La gestión y laplanificación estratégicaa nivel de la direccióngeneral.

2. El diseño y la ejecución

de programas yproyectos.

3. La elaboración de

sistemas, métodos yprácticas.

1. Orientan su gestión convistas a obtener resultados.

2. Participan en la realización

de las evaluaciones. 3. Informan sobre los

resultados del análisis delrendimiento, comunicándolosa los grupos interesados.

4. Colaboran con la DGAR para

mejorar las técnicas einstrumentos.


25

3.2 Las realidades de la cooperación para el desarrollo

El lugar en el que se trabaja o las personas con las que se trabaja suelen desempeñar unpapel decisivo a la hora de determinar el contexto para realizar las actividades. En lospaíses en desarrollo, el éxito o fracaso de una intervención puede depender de unconjunto de factores o circunstancias que a menudo quedan fuera del control de la ACDI.

Entre dichos factores se puede citar:

v El clima político, económico, social y cultural en el país o países beneficiarios. v Los marcos institucionales y el nivel de acceso a los grupos interesados claves (por

ej.: funcionarios, principales beneficiarios). v La estructura organizativa (las iniciativas con varios donantes pueden ser más

complejas). v Los distintos puntos de vista de los socios participantes y organismos de ejecución

canadienses. v Las expectativas de los grupos interesados, sobre todo de los beneficiarios. Las expectativas de éxito deben ser plenamente conscientes de los desafíos que planteael trabajo en el extranjero y con otros socios. A menudo, no se comprende bien estadimensión del trabajo en el área del desarrollo internacional. Conviene pues mantener unaactitud realista a la hora de definir los resultados que se espera obtener.

En su informe sobre los programas geográficos de la ACDI presentado a la Cámara delos Comunes en diciembre de 1998, el Interventor General de Cuentas de Canadá (IGC),reconociendo la envergadura de dicho desafío, recomendó a la ACDI que identificara losfactores políticos y económicos atenuantes en sus informes para hacerlos másequilibrados y mejorar su credibilidad.

Otros factores que influyen en el contexto de medición del rendimiento son:

v No existe una vía única y definitiva para favorecer el desarrollo. Recurrir a nuevosmétodos y experimentar sobre el terreno puede aumentar los riesgos y perjudicar elrendimiento. Las estrategias iterativas pueden ofrecer el margen de maniobra oflexibilidad necesaria.

v El amplio alcance de la cooperación en favor del desarrollo complica la preparación

de los informes sobre el rendimiento. Resulta más fácil cuantificar los resultadosconcretos (el acceso al agua, la ayuda alimentaria, etc.) que el resto. En algunasiniciativas, los resultados son más bien cualitativos y no se manifiestan más que alargo plazo (por ej.: en las intervenciones en favor del desarrollo de recursoshumanos, el desarrollo democrático).

26

Este es el contexto en el que se realizan las evaluaciones en los países en desarrollo.Las realidades de la cooperación para el desarrollo y las dificultades que presentan lasintervenciones de ayuda internacional constituyen siempre factores importantes queinfluyen en el diseño y ejecución de todas las actividades de medición del rendimiento yde información sobre el rendimiento. Al estar basado en la cooperación, el trabajo dedesarrollo internacional obliga por lo general a alcanzar un nivel importante decompromiso. Por consiguiente, no es aconsejable en absoluto mostrarse autoritario yadoptar decisiones unilaterales que perjudican la consecución de los resultadosprevistos.

Fuentes útiles

Publicaciones de la ACDI

v Política de la ACDI para el análisis del rendimiento (julio de 1994) v La gestión basada en los resultados: declaración de política (abril de

1996) v Actualización de la política de la ACDI para el análisis del rendimiento

(octubre de 1996) v El marco de responsabilización de la Agencia (julio de 1998) v Lecciones aprendidas de la gestión basada en los resultados de la

ACDI (junio de 1998) v La gestión basada en los resultados en la ACDI: Guía de introducción a

los conceptos y principios (enero de 1999) v Marco de resultados y factores claves de éxito (1999)

Publicaciones del Consejo del Tesoro

v Política de examen – Manual del Consejo del Tesoro - Examen,auditoría interna y evaluación


27

CAPÍTULO 4: RESPONDER A LAS EXPECTATIVAS

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• La aplicación de los principios de la GBR• Las características de una buena evaluación• La probidad profesional

••••••••••••••••••••••••••••••••••••••••••••••••••••••

on varios los factores que contribuyen al éxito de una evaluación: adoptar elenfoque adecuado, seleccionar un evaluador competente y motivado, realizar el

trabajo con debida diligencia y garantizar que los resultados sean al mismo tiempo útiles yutilizables. Asimismo, es necesario que el proceso de toma de decisiones reflejecontinuamente “buenas” reglas morales y “buenos” valores.

Las buenas evaluaciones son imparciales e independientes, producen resultadosconvincentes, responden a las expectativas del cliente, se ajustan al presupuestoestablecido y mantienen y garantizan que los resultados se utilicen en todas las etapasdel proyecto.

4.1 La aplicación de los principios de la GBR

En su declaración de política sobre la gestión basada en los resultados, la ACDI invita asus directores a orientar sistemáticamente sus decisiones hacia la consecución deresultados, garantizando que se apliquen los principios de la GBR a todos los programasy actividades de la Agencia.

Se establecen los principios siguientes:

v la simplicidad v el aprendizaje por tareas v la aplicación amplia v las asociaciones

S

28

v la responsabilidad v la transparencia

La ACDI se ha comprometido a “hacer aceptar a sus empleados la idea de que laconsecución de los resultados forma parte integral de sus responsabilidades”. Se lograráuna mayor transparencia mediante “una mejor comunicación de los resultados en materiade desarrollo definidos con mayor claridad”.

4.2 Cuáles son las características de una buena evaluación

La evaluación debe orientarse más hacia resultados que hacia opiniones.

La calidad de una evaluación se mide no sólo por sus recomendaciones sino también porla forma en que el evaluador ha llegado a formularlas. El valor de una evaluación dependede la calidad de sus resultados. Al final, lo que determina si una evaluación es buena esel éxito de su contribución a la toma de decisiones informadas y al ciclo de aprendizajemediante la difusión de información fiable, objetiva y veraz.

La medida en que los grupos interesados se sientan afectados por los resultados de laevaluación permite a menudo saber si la evaluación ha sido un éxito. Si los gruposinteresados han participado en todas las etapas de la evaluación, probablemente lasrecomendaciones y lecciones aprendidas darán aún más frutos.

Algunas de las características de una buena evaluación son:

Satisfacción de las expectativas

v Cumplimiento de los requisitos del contrato y las expectativas establecidas en el plande trabajo.

v Aplicación de las normas profesionales que satisfacen las expectativas de la

dirección.


29

Valor añadido

v Orientación hacia el mandato de la ACDI, sus prioridades de intervención y sus temasmultidisciplinarios (por ej.: la igualdad entre los sexos, el medio ambiente, el desarrollode capacidades).

v Contribución al esfuerzo en favor del desarrollo de la ACDI, a la toma de decisiones

informadas y al aprendizaje. v Presentación clara y concisa de los resultados adaptada a las necesidades de los

públicos principales. v Formulación de recomendaciones útiles y pragmáticas y presentación de lecciones

aprendidas mediante un proceso basado en la participación directa de los gruposinteresados.

Calidad de los resultados

v Producción de resultados convincentes y fiables mediante un diseño adecuado, unexamen profundo de los hechos y la utilización de métodos y técnicas rigurosas.

v Imparcialidad y objetividad mediante el respeto constante de los principios de

independencia, neutralidad, transparencia y justicia en todas las etapas.

Relación costos-beneficios

v Beneficios reportados a la Agencia. v Utilización razonable de los recursos humanos, financieros y materiales.

4.3 La ética, el fundamento del profesionalismo

Las normas éticas constituyen los cimientos de los valores en que se fundamentan todaslas decisiones. A menos que se respeten esas reglas, la credibilidad y calidad de losresultados de la evaluación pueden peligrar.

La Sociedad Canadiense de Evaluación destaca en sus “Directrices de conducta ética” laimportancia de: 1) la competencia en la prestación de servicios; 2) la integridad en lasrelaciones con los grupos interesados; y 3) la responsabilización en cuanto alrendimiento y los resultados.

30

La ACDI espera de los evaluadores de sus programas y proyectos que respeten loscinco principios generales en lo referente a la conducta ética:

Rigor en la aplicación de los métodos de investigación

v Realizar investigaciones profundas y objetivas utilizando métodos y técnicasadecuadas y observando las normas técnicas más rigurosas.

v Validar la información mediante las distintas medidas y fuentes, incluidos los grupos

interesados, que sea oportuno utilizar en el ámbito de la evaluación.

Competencia

v Garantizar que el equipo de evaluación esté formado por personas con los estudios,competencias, cualidades y experiencia necesarios para realizar la evaluación.

v Trabajar únicamente dentro de los límites de la formación y competencia profesional

que se posea. v Tratar en todo momento de mejorar sus competencias metodológicas y

especializadas.

Integridad

v Ser honesto en cuanto a los conocimientos y competencias que se afirma poseer. v Comunicar con prontitud al cliente cualquier conflicto de interés o la posibilidad de que

una situación se perciba como tal. v Explicar con exactitud los métodos, la información y los resultados, y tratar de evitar

que ninguna otra persona pueda proporcionar información falsa. v Consignar todos los cambios efectuados durante la realización o informes de

evaluación que se alejen del plan de trabajo, ofreciendo las explicaciones necesariase informando al cliente y a los principales grupos interesados.

v Informar al cliente de cualquier problema importante o constataciones que no estén

directamente relacionadas con el mandato, o de cualquier fechoría real o percibida.

Respeto

v Garantizar el carácter confidencial de la información proporcionada impidiendo laposibilidad de encontrar la fuente de dicha información.

v Adoptar las estrategias necesarias para evitar que se perciba a los evaluadores

como si fueran críticos con su sociedad.


31

v Familiarizarse con las creencias, prácticas y costumbres de los habitantes de lospaíses beneficiarios a fin de poder manifestar el respeto debido en materia decreencias religiosas, indumentaria, relaciones interpersonales, etc.

v Encontrar un justo equilibrio entre la necesidad de satisfacer determinados requisitos

relativos a la gestión (en materia de liderazgo, competencia, etc.) y la necesidad derecurrir a determinadas personas.

Responsabilidad

v Presentar los documentos exigidos en los plazos previstos de conformidad con loacordado con el cliente.

v Presentar los resultados e informar con precisión de la marcha de la evaluación,

identificando cualquier limitación o incertidumbre que pudiera influir en lainterpretación de los resultados.

v Demostrar prudencia y honestidad en la toma de decisiones financieras de forma que

puedan justificarse los gastos y que el cliente salga ganando también.

Fuentes útiles

v Directrices de conducta ética de la Sociedad Canadiense deEvaluación

v Program Evaluation Standards – American Evaluation Association

(AEA) v Guiding Principles for Evaluators (AEA)

32


33

CAPÍTULO 5: DESARROLLAR LA CAPACIDAD DE EVALUACIÓN

EN LA PLANIFICACIÓN Y EL DISEÑO

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• La GBR y la capacidad de evaluación• La aplicación del “Marco de resultados y factores claves de éxito”• Directrices para desarrollar la capacidad de evaluación

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Distinción entre planificación y diseño

El diseño se basa en los conocimientos adquiridosy la información reunida durante la etapa

de planificación (por ej.: en las evaluaciones deviabilidad, consultas, análisis).

esulta conveniente tener en cuenta la evaluabilidad de las inversiones en lasetapas de planificación y diseño. Las posibilidades de éxito de una evaluación

aumentan si durante la planificación y el diseño de los programas, proyectos oinversiones de desarrollo se desarrolla su capacidad de evaluación.

La orientación de la ACDI hacia la consecución de resultados previamente determinadoscontribuye a mejorar la evaluabilidad de las inversiones:

v Desde la institucionalización de la GBR, el Marco de rendimiento y el Marco demedición del rendimiento (MMR) se han convertido en elementos esenciales para laplanificación y el diseño (en sustitución del Marco de análisis lógico). Estas matricespresentan la progresión jerárquica de la consecución de resultados con el paso deltiempo (esto es, logros, efectos y repercusiones) y la forma de medir el rendimientocon respecto al grado de consecución de los resultados previstos.

R

34

v Los resultados previstos deben tener en cuenta los resultados en materia dedesarrollo y factores de éxito descritos en el “Marco de resultados y factores clavesde éxito” de la ACDI. Esta herramienta de trabajo integral deberá aplicarse de formaconstante, sistemática y estratégica a la hora de establecer las modalidades dediseño, planificación, ejecución y presentación de informes.

5.1 Los marcos de rendimiento de la GBR

La GBR introdujo el marco de rendimiento y el marco de medición del rendimiento parafacilitar la sistematización de un enfoque racional y global que privilegie la consecuciónde resultados y su aplicación en la planificación y el diseño de los programas yproyectos de desarrollo.

El marco de rendimiento representa gráficamente las relaciones de causa y efecto entrelas actividades, el alcance y los resultados de desarrollo. En él se describen los objetivosestratégicos, la cadena de resultados previstos, los principales grupos interesados y lasactividades más importantes. Numerosos factores influirán en la evolución de lasrelaciones entre esos elementos diferentes. El marco de rendimiento ofrece un contextopara esas relaciones estableciendo las condiciones necesarias para el éxito. Para ello espreciso determinar las hipótesis subyacentes en las que deberían fundamentarse lasrelaciones de causa y efecto, y evaluar los riesgos asociados.

El marco de medición del rendimiento explica de forma sistemática cuál es el objeto delestudio, ofreciendo un plan estructurado para recopilar, analizar, utilizar y difundir lainformación sobre el rendimiento. Describe las actividades que se realizarán, quién seencargará de realizarlas, cómo y cuándo. La primera etapa en la preparación del marcode medición del rendimiento consiste en establecer los indicadores de rendimiento queayudarán a definir las modalidades de recopilación de la información. Algunos de losaspectos claves que deben tenerse en cuenta a la hora de escoger los indicadores derendimiento son su claridad, su eficacia para responder a las necesidades y sucapacidad para ser medidos o evaluados.

Los marcos de rendimiento deben actualizarse regularmente durante el curso de lainiciativa a fin de reflejar los cambios y hechos que puedan repercutir en los resultadosprevistos, la forma en que se miden los progresos realizados y las hipótesis y riesgossubyacentes. Actualizar regularmente los marcos de rendimiento mejorará su utilidad a lahora de medir el rendimiento e informar al respecto.


35

5.2 La aplicación del “Marco de resultados y factores claves de éxito”

Los resultados en materia de desarrollo y los factores de éxito son en realidad una listade control que permite analizar e integrar los aspectos claves en las etapas deplanificación y diseño. De esta forma se puede determinar qué medios se adoptarán paraobtener los resultados que la Agencia espera alcanzar.

En realidad esto equivale a diseñar la inversión en función de la consecución deresultados, debiendo constituir sus elementos la base de valoración del rendimiento encualquier evaluación posterior.

5.3 El desarrollo de la capacidad de evaluación

El éxito de una evaluación puede variar dependiendodel tiempo que se dedica a desarrollar la capacidad de

evaluación en la etapa de diseño.

La aplicación de las siguientes directrices puede contribuir a desarrollar la capacidad deevaluación en las etapas de planificación y diseño:

v Desde la institucionalización de la GBR, el Marco de rendimiento y el Marco demedición del rendimiento (MMR) se han convertido en elementos esenciales para laplanificación y el diseño (en sustitución del Marco de análisis lógico). Estas matricespresentan la progresión jerárquica de la consecución de resultados con el paso deltiempo (esto es, logros, efectos y repercusiones) y la forma de medir el rendimientocon respecto al grado de consecución de los resultados previstos.

v Es importante ser realista a la hora de decidir qué logros pueden alcanzarse. Las

expectativas en cuanto al rendimiento deben tener en cuenta las realidades de lacooperación para el desarrollo y los desafíos que conlleva trabajar en el extranjero.

v El evaluador debe comparar los resultados reales con los resultados previstos. En

realidad, su tarea consiste en determinar en qué medida se ha logrado resolver losproblemas que la dirección esperaba solucionar. Por consiguiente, es importante quelos resultados previstos se expresen claramente durante las etapas de planificacióny diseño a fin de establecer la base para dicha comparación.

36

v La política de la ACDI identifica una serie de temas multidisciplinarios (por ej.: lareducción de la pobreza, la igualdad entre los sexos, el medio ambiente) que todaslas actividades de desarrollo deben abordar. Corresponde pues a los diseñadoresgarantizar que se incluyan los puntos de referencia necesarios relacionados condichos temas. El evaluador, por su parte, debe medir los efectos e implicaciones de lainversión con relación a esos temas e informar al respecto.

v Debe limitarse el número de indicadores establecidos para medir el rendimiento

durante las etapas de planificación y diseño a fin de simplificar la medición delrendimiento.

v Las lecciones aprendidas de la experiencia pueden resultar de gran utilidad. Es

necesario insistir durante las etapas de planificación y diseño en la necesidad deconsignar esas lecciones.

v La GBR favorece la participación de los grupos interesados durante todas las etapas

del programa/proyecto, incluidas las de planificación y diseño. Se espera que lasevaluaciones sean participativas, esto es, que los evaluadores establezcan con losgrupos interesados la importancia de su participación.

v Si se dispone de los recursos necesarios, se pueden establecer en las etapas de

planificación y diseño las modalidades relativas a la recopilación de informaciónbásica. Prever anticipadamente las necesidades en materia de información ayuda aprevenir los problemas de falta de información que pueden presentarse durante eltranscurso de la evaluación o a posteriori. Los evaluadores que no dispongan de lainformación básica deberán escoger otra solución para medir el rendimiento. Porejemplo, los informes sobre los avances realizados son menos precisos a la hora demedir los cambios marginales.


37

CAPÍTULO 6: DIRECTRICES PARA EL ÉXITO

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• Cómo rentabilizar las evaluaciones• Las evaluaciones participativas• El desarrollo de las capacidades locales

••••••••••••••••••••••••••••••••••••••••••••••••••••••

ste capítulo analiza las opciones para rentabilizar al máximo las inversiones de laACDI en las evaluaciones. Tras presentar las directrices para que las evaluaciones

sean lo más rentables posible, analizaremos la importancia de la participación de losgrupos interesados y del desarrollo de las capacidades locales.

6.1 Optimizar los resultados

Las evaluaciones pueden ofrecer lecciones de desarrollo para mejorar la entrega deayuda y lecciones operacionales para mejorar las prácticas de trabajo gerenciales yadministrativas.

El recuadro siguiente presenta varias directrices para realizar evaluaciones exitosas:

Recuadro 4

Directrices para el éxito

Planificación

1. En la etapa de planificación, deberán considerarse de manera especial los siguientesaspectos: la contribución a la reducción de la pobreza, las repercusiones en losobjetivos prioritarios de la ACDI y la satisfacción de las necesidades de losbeneficiarios locales.

E

38

2. Se espera que el evaluador respete las normas e informe de los elementosesenciales.

3. El objetivo del proceso de evaluación es obtener resultados exactos, útiles y

pertinentes, y hacerlo de manera racional a fin de reducir al mínimo posible el uso delos recursos y tiempo disponibles.

4. Deben enunciarse claramente las expectativas y necesidades de la evaluación,

garantizándose al mismo tiempo que la dirección de la ACDI y el evaluador lascomprendan bien.

5. La evaluación debe servir para mejorar el proceso de toma de decisiones y

resolución de problemas, al utilizar la Agencia sus resultados como elemento clave ala hora de determinar el diseño.

6. El evaluador deberá poder dedicar todo el tiempo y energía necesarios a la

elaboración de un plan de trabajo adecuado y eficaz. 7. El plan de trabajo debe ser lo suficientemente detallado para que sea posible

determinar si se ha respondido a las expectativas y necesidades. 8. A la hora de formar el equipo de evaluación deberá tenerse en cuenta principalmente

la capacidad de los interesados para trabajar juntos a fin de realizar la evaluacióncon éxito y no únicamente su experiencia y competencias.

9. El equipo de evaluación debe poseer las competencias técnicas que requiere el

análisis de los temas multidisciplinarios pertinentes. 10. La participación constructiva de los grupos interesados debe formar parte integral de

los procesos de planificación, ejecución y diseño. 11. Las expectativas en cuanto al rendimiento deben tener en cuenta los desafíos que

conlleva trabajar en los países en desarrollo.

Ejecución

1. Los evaluadores deben garantizar que los recursos sean bien utilizados y sirvanprincipalmente para medir el rendimiento durante el transcurso de la evaluación. Lamejor manera de garantizar que se respete el plan de trabajo y se hagan las mejorasnecesarias en materia de operaciones es la preparación de informes sobre la marchade la evaluación.

2. Las actividades de evaluación deben respetar el plan de trabajo y ser al mismo tiempo

lo suficientemente flexibles para mejorar las ideas y métodos. Deberá informarse a laAgencia inmediatamente de cualquier cambio significativo con relación a la estrategiaestablecida.


39

3. Los evaluadores deberán ser conscientes de que las evaluaciones son molestas, porlo que se mostrarán respetuosos y se adaptarán a la situación, evitando en la mayormedida de lo posible interrumpir a las personas afectadas en su trabajo diario.

4. Las evaluaciones deben llevarse a cabo en un ambiente positivo, destacando la

consecución de objetivos constructivos. 5. Deberá mantenerse un diálogo abierto y franco con los grupos interesados durante

todas las etapas del programa o proyecto, e informarles periódicamente a fin demantenerles al corriente de la evolución de la situación.

6. Los informes sobre la marcha del proyecto o programa deberán ser objetivos y

moderados. Nadie se ve beneficiado cuando los problemas no se solucionan oempeoran.

7. Los evaluadores deben demostrar en todo momento respeto absoluto de a cultura,

creencias, costumbres y prácticas locales.

Informes

1. Los informes de evaluación deben explicar detalladamente las razones por las que sedecidió realizar la evaluación, qué es lo que se hizo, cuáles fueron los logros y quélecciones se aprendieron.

2. Los informes de evaluación no deben ser demasiado largos a fin de facilitar su

lectura por el mayor número posible de personas, y se centrarán únicamente en losaspectos esenciales.

3. Los informes deberán adaptarse específicamente al tipo de público al que se dirigen. 4. La información presentada debe ser precisa y de fácil comprensión a fin de reducir el

riesgo de que sea malinterpretada. 5. Los informes deben presentar únicamente resultados convincentes, útiles y válidos. 6. Los encuentros con ciertos públicos de grupos interesados pueden resultar útiles y

permiten proporcionar explicaciones y aclaraciones.

Comunicación de los resultados

1. Debe garantizarse que las evaluaciones aporten los máximos beneficios al mayornúmero posible de personas en materia de desarrollo por todo el mundo.

2. A fin de que la comunicación de los resultados tenga éxito se necesita preparar un

plan de comunicación que tenga en cuenta las necesidades de todos los públicos aquienes se dirige la información.

40

3. La difusión de la información debe realizarse de forma estratégica, respondiendo a

las necesidades de los grupos interesados de aprender del proyecto y respetando almismo tiempo las reglas impuestas por la ACDI.

6.2 La importancia de fomentar la participación de los grupos interesados

Es indispensable que los grupos interesados participen en el establecimiento del alcancede las evaluaciones y en el diseño, la planificación de las actividades, la recopilación dela información y la difusión de los resultados.

Las evaluaciones mejoran cuando los grupos interesados participan directamente enlugar de ser una mera fuente de información. Además de favorecer la adopción de unaorientación más pragmática y una mayor colaboración sobre el terreno, estaparticipación aumenta las posibilidades de que se apliquen las recomendaciones.Cuando las evaluaciones son participativas, los beneficiarios y otros intervinienteslocales disfrutan de las ventajas que les reporta la experiencia de trabajo y seresponsabilizan desde el punto de vista del perfeccionamiento profesional.

6.3 El desarrollo de las capacidades locales

El empleo de recursos locales y la participación de los grupos interesados en lasevaluaciones debería considerarse como una oportunidad ventajosa para todos.Identificar métodos y prácticas mejores resulta sin duda beneficioso en el área deldesarrollo internacional. La ACDI puede aprovechar los conocimientos, competencias yperspectivas locales, mientras que por su parte, los países beneficiarios mejoran suscapacidades profesionales.

Otras ventajas destacadas son:

v Las posibilidades de que se apliquen las recomendaciones son mayores, dado quelos grupos interesados se sienten más afectados cuando participan directamente.

v La difusión de la información sobre prácticas de desarrollo y la transparencia al

respecto, al ser formas de rendir cuentas al público, pueden aumentar la confianzadel público en el gobierno del país beneficiario.

v Las evaluaciones pueden favorecer la instauración de una cultura de aprendizaje y la

creación de una infraestructura de información en los países en desarrollo.


41

CAPÍTULO 7: LA PREPARACIÓN DEL MANDATO

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• La utilidad del mandato• Pautas para preparar el mandato

••••••••••••••••••••••••••••••••••••••••••••••••••••••

El mandato conceptualiza la evaluación ydetermina los parámetros generales para

su realización

l mandato expone las necesidades y expectativas de la dirección con respecto a laevaluación. Describe lo que debe evaluarse, la razón por la que se solicita la

evaluación y la forma en que debe realizarse. El mandato permite al lector visualizarclaramente la situación, conceptualiza la evaluación y establece sus parámetrosgenerales y elementos esenciales.

Por lo general, es el director de evaluación de la ACDI quien prepara el mandato pocotiempo después de que el director del centro de responsabilidad de la Agencia decidarealizar la evaluación. La longitud y profundidad del mandato dependen normalmente de laimportancia y complejidad de la evaluación.

Más concretamente, el mandato comporta:

v Una descripción de la inversión que ha de evaluarse y de su contexto de rendimientoparticular.

v Una exposición de las razones por las que se realiza la evaluación. v Una descripción del alcance y el objeto.

E

42

v Una exposición de la forma en que se realizará la evaluación. v Un programa y calendario. v Las previsiones presupuestarias.

El mandato debe reflejar la prioridad que la GBR otorga a la consecución de resultados,incorporando los principios y prácticas de la Agencia en materia de GBR. Deberánaplicarse los resultados en materia de desarrollo y los factores de éxito enunciados en el“Marco de resultados e indicadores claves del éxito” de la ACDI a fin de describir quéaspectos debe abordar la evaluación y establecer la orientación de las actividadesprevistas.

7.1 La utilidad del mandato

El mandato presenta una visión general preliminar de la evaluación. Sirve para orientar elproceso de evaluación hasta que se complete su plan de trabajo, convirtiéndose éste apartir de ese momento en el principal documento de referencia. El plan de trabajo de laevaluación, que es preparado por el evaluador, es más detallado y preciso que elmandato, pudiendo considerársele como su versión mejorada.

Desde el punto de vista práctico, el mandato sirve para:

v Describir el proyecto que ha de evaluarse para las necesidades de la administracióny gestión internas.

v Explicar las etapas de selección del evaluador y de adjudicación de contratos, y

servir como documento de referencia para preparar la exposición de las actividadesa realizar.

v Establecer las bases del plan de trabajo del evaluador.

7.2 Antes de comenzar

Antes de comenzar a preparar el mandato, el director de evaluación debe disponer de lasiguiente información básica:

v La razón por la que se realiza la evaluación. v Los aspectos que debe abordar. v Los recursos de que se dispone. v Un cálculo de los costos que se prevén.


43

v Los conocimientos especializados necesarios. v Los plazos que han de respetarse.

7.3 La preparación del mandato

Fuente de referencia principal

El marco de rendimiento para la inversión objeto de laevaluación identifica los resultados previstos, el alcance,

los grupos interesados, las actividades, etc.

En esta sección se describen los elementos esenciales que deben tenerse en cuenta a lahora de preparar el mandato, añadiéndose al final de cada elemento una lista de controlpara comprobar que no se ha olvidado ningún aspecto. Dado que esta lista ofrece tansólo una idea general de las preguntas que podrían hacerse, conviene adaptarla a cadasituación individual.

7.3.1 Título

Un buen título debe ser breve, descriptivo y fácil de recordar. Un título que puedaconvertirse en un acrónimo fácil de pronunciar puede facilitar las comunicaciones.

7.3.2 Perfil de la inversión

Es necesario establecer el perfil de la inversión objeto de la evaluación prestandoespecial atención a los resultados previstos y a la forma en que deben obtenerse. Seexplicará la razón de ser de la evaluación y su contexto particular en materia dedesarrollo. La razón de ser de la inversión debe relacionarse con : 1) la reducción de lapobreza y el desarrollo sostenible; 2) las prioridades de intervención de la ACDI, y 3) lasnecesidades de los beneficiarios locales. Deberá proporcionarse asimismo unaindicación general de los avances del proyecto o programa hasta la fecha.

44

Lista de control

√ ¿Qué resultados espera obtener la inversión? √ ¿Cómo deben conseguirse dichos resultados? √ ¿Qué relación existe entre los resultados previstos y la

reducción de la pobreza? √ ¿De qué manera se tiene en cuenta la situación, las

necesidades y los problemas locales? √ ¿De qué forma se abordan los temas multidisciplinarios? √ ¿Cuál es el grado de consecución de los resultados

previstos?

7.3.3 Razones para la evaluación

Las evaluaciones suelen solicitarse porque la dirección desea obtener información sobreel rendimiento de una determinada inversión u organización. La guía de introducción a losconceptos y principios de la GBR de la ACDI establece que: “los directores deben contarcon información sobre el rendimiento relativa a los recursos, el alcance y los resultados afin de poder planificar, administrar y evaluar sus programas y proyectos”.

El mandato debe explicar las razones por las que la dirección de la ACDI decidió realizarla evaluación en cuestión y cuáles son los resultados que espera obtener. Debenidentificarse asimismo los factores individuales que repercutieron en esa decisión.

Lista de control

√ ¿Cuáles son los factores que motivaron estaevaluación?

√ ¿Qué valor añadido espera obtener la ACDI de la

evaluación?


45

7.3.4 Alcance y objeto

El alcance ofrece una indicación de los aspectos principales que debe abordar laevaluación. El objeto de la evaluación se determina realizando una serie de preguntasque son esenciales respecto a los puntos a analizar.

Lista de control

√ ¿Adquiere el lector una buena idea de los aspectos quese propone abordar la evaluación?

√ ¿Se han descrito con suficiente claridad los puntos

generales que debe analizar la evaluación? √ ¿Cubren las preguntas sobre el objeto de la evaluación

los aspectos específicos que deberá tratar laevaluación con suficiente detalle?

7.3.5 Participación de los grupos interesados

En la ACDI las evaluaciones tienen un carácter participativo y se espera que los gruposinteresados participen de forma directa y constructiva en la planificación y el diseño, larecopilación y el análisis de información, la preparación de los informes y la comunicaciónde los resultados. Entre los grupos interesados pueden incluirse los beneficiarios, losgobiernos de los países beneficiarios, otros donantes, los socios y otras partesintervinientes.

El mandato debe incluir por lo tanto: 1) una lista de todos los grupos interesados queparticipan en la inversión; 2) una indicación del alcance de su participación; y 3) unadescripción general de la forma en que la ACDI prevé hacerles participar en laevaluación.

46

Lista de control

¿Se ha identificado a los grupos interesados?

¿De qué manera participan los grupos interesados y quépapel han desempeñado hasta la fecha en la ejecución delproyecto, programa, etc.?

¿Qué papel se espera que desempeñen los gruposinteresados en la evaluación y de qué manera se les debeconsultar respecto a cuestiones de rendimiento?

7.3.6 Papeles y responsabilidades

El mandato debe describir brevemente cómo se estructurará la evaluación, precisandoclaramente los papeles y responsabilidades de la Agencia y del evaluador.

Por ejemplo:

v Por lo general, la responsabilidad global de la evaluación corresponde al director deevaluación de la ACDI.

v El director de evaluación de la ACDI debe encargarse también de administrar el

proceso de evaluación, orientar todas las etapas de la ejecución y aprobar todos losdocumentos producidos.

v El evaluador es responsable de realizar la evaluación, dirigir las actividades diarias,

presentar los informes sobre la marcha de la evaluación al director de evaluación dela ACDI, establecer los resultados y preparar el informe de evaluación final.

Lista de control

√ ¿Se establecen y delimitan claramente los papeles yresponsabilidades de la Agencia y el evaluador?


47

7.3.7 Proceso de evaluación

En esta sección se describe en líneas generales cómo debe llevarse a cabo laevaluación. El mandato debe ofrecer la información adecuada para facilitar la preparacióndel plan de trabajo.

Por lo general, el evaluador deberá:

√ Preparar un plan de trabajo a partir del cual pueda comenzar la evaluación. En el plande trabajo se detallan con mayor precisión los parámetros generales establecidos enel mandato a fin de responder a las necesidades de planificación de las actividades.

√ Realizar una visita sobre el terreno para recopilar información y reunirse con el

personal de la ACDI y los grupos interesados. √ Preparar un informe de evaluación.

Deberá hacerse referencia a la importancia de respetar las reglas establecidas en la“Guía de evaluación de la ACDI”.

Lista de control

√ ¿Se explica con claridad cómo se llevará a cabo laevaluación?

√ ¿Permite la información suministrada establecer el plan

de trabajo? √ ¿Son realistas las expectativas teniendo en cuenta los

plazos establecidos y las previsiones presupuestarias?

7.3.8 Documentos a producir

Por lo general, los términos del contrato exigen que el evaluador produzca dosdocumentos esenciales: 1) un plan de trabajo; y 2) un informe final (acompañado de unasíntesis). Las normas para elaborar estos documentos deberán basarse en los requisitosestablecidos en el “Guía de evaluación de la ACDI”.

Las instrucciones relativas, por ejemplo, a la traducción, la impresión, la publicación enformato electrónico o copia impresa, o el número de ejemplares se limitarán a aquellosaspectos que deban determinarse por adelantado.

48

Deberán describirse asimismo las expectativas en cuanto a la presentación de informessobre la marcha de la evaluación al director de evaluación de la ACDI por parte delevaluador y a las comunicaciones con los grupos interesados.

Se puede establecer un calendario para la evaluación, fijando fechas límites para lapresentación de los documentos exigidos o la realización de otras tareas. Es convenienteasimismo especificar fechas de entrega para la primera versión de los documentos.

Es importante también que:

v las evaluaciones estén programadas estratégicamente a fin de acoplarse a los ciclosde toma de decisión de la ACDI;

v los plazos establecidos sean realistas, ofreciendo un margen suficiente para que la

evaluación pueda realizarse de acuerdo con las expectativas.

Lista de control

√ ¿Se identifica con claridad la obligación de producirdeterminados documentos?

√ ¿Se describe claramente la obligación de presentar al

director de evaluación de la ACDI informes sobre lamarcha de la evaluación?

√ ¿En caso necesario, se han fijado fechas límites para la

producción de los documentos exigidos? √ ¿Permiten los plazos establecidos transmitir a la

dirección de la ACDI la información en el momentooportuno para la toma de decisiones estratégicas?

√ ¿Se ha previsto tiempo suficiente para que todas las

tareas asignadas puedan realizarse?


49

7.3.9 Cualidades del evaluador

En esta sección se identifican las calificaciones, experiencia, conocimientosespecializados y competencias probadas que debe poseer el evaluador para llevar abuen término la tarea encomendada por la ACDI.

Entre los requisitos que debe reunir el evaluador figuran:

v Experiencia en la realización de evaluaciones, principalmente en países en desarrolloy en la región o país en cuestión.

v Competencia lingüística. v Conocimientos técnicos, analíticos y sectoriales. v Participación prevista de empresas o personas locales. v Experiencia en la realización de evaluaciones participativas. v Niveles de rendimiento demostrados.

Deberá prestarse especial atención a: 1) la capacidad para realizar evaluacionesparticipativas; 2) el conocimiento de los temas multidisciplinarios adquirido sobre elterreno; y 3) las expectativas en cuanto a la utilización de especialistas locales.

Lista de control

√ ¿Describen adecuadamente las cualidades exigidas laexperiencia, competencias y capacidades que debeposeer el evaluador?

√ ¿Se ha mencionado la capacidad de abordar temas

multidisciplinarios? √ ¿Se ha identificado adecuadamente el alcance de la

participación de especialistas locales? √ ¿Se ha hablado de la experiencia que debe poseer el

evaluador en la realización de evaluacionesparticipativas?

50

7.3.10 Previsiones presupuestarias

El director de evaluación de la ACDI establece las previsiones presupuestarias paraidentificar la naturaleza y magnitud de los gastos con fines administrativos y financieros.Dichas previsiones deben corresponder a las expectativas de la dirección respecto a loscostos previstos de la propia evaluación, así como de los desplazamientos,comunicaciones, producción de informes, etc. Deberá establecerse asimismo unaprevisión respecto a las horas de trabajo para determinar el costo de los honorariosprofesionales.

En las previsiones presupuestarias se indicarán por separado los importescorrespondientes a los honorarios profesionales (distinguiendo asimismo los gastos deprofesionales canadienses y los de profesionales locales) y otros gastos. Con respectoa los gastos, se desglosarán los distintos elementos cuando la situación lo permita. Lasprevisiones presupuestarias están reservadas para uso interno de la Agencia.

Como para cualquier ejercicio de determinación de costos, es importante establecer lasprevisiones de gastos con la mayor exactitud posible. Si los cálculos no son realistas,puede resultar necesario modificar el contrato en plena realización de la evaluación si secarece de fondos suficientes. Es importante prever un cierto importe para los imprevistosy para posibles errores de planificación.

Lista de control

√ ¿Se han previsto suficientes fondos para realizar eltrabajo de acuerdo con las expectativas?

√ ¿Son las previsiones presupuestarias lo

suficientemente detalladas? √ ¿Se ha previsto un importe suficiente para los

imprevistos y posibles errores de planificación?

7.4 La etapa siguiente

La información contenida en el mandato permite proceder a la etapa siguiente del procesode evaluación, esto es, la selección de evaluador. El proceso de selección puedecomenzar tan pronto como el director de evaluación de la ACDI apruebe el mandato. Porlo general, el mandato se adjunta a la solicitud de preparación de contrato y deasignación de fondos que se presenta al director del centro de responsabilidad encuestión.


51

CAPÍTULO 8: LA SELECCIÓN DEL EVALUADOR

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• El proceso de selección• La contratación competitiva• Las pautas para la selección• El análisis del resultado de la selección

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Garantizar la transparencia, el tratamientoequitativo y la igualdad de oportunidades.

or lo general la ACDI subcontrata las evaluaciones a profesionales externos. Seselecciona al candidato que se considera más competente con respecto a las

expectativas de la Agencia. Resulta conveniente, por lo tanto, establecer con claridadcuáles son las cualidades exigidas en cuanto a calificaciones, experiencia ycompetencias necesarias para cumplir las obligaciones contractuales. El candidatoseleccionado será el que reúna los requisitos establecidos y ofrezca a la ACDI la mejorrelación calidad-precio.

La ACDI ha adoptado un procedimiento de contratación competitiva a fin de garantizar latransparencia, el tratamiento equitativo y la igualdad de oportunidades. Por otra parte, esbeneficioso para la Agencia disponer de un amplio abanico de proveedores que puedanprestarle sus servicios.

¿En qué consiste este procedimiento? Independientemente de la opción de contrataciónque se utilice, el desafío consiste en dar con la mejor relación calidad-precio respetandoal mismo tiempo el principio de la competencia leal.

La selección de un evaluador competente es un elemento indispensable para garantizarel éxito de la evaluación. De nada servirán los consejos ofrecidos o el control ejercido

P

52

por la ACDI para garantizar el éxito de la evaluación si el evaluador seleccionado nopuede, por la razón que sea, desempeñar su cometido con el nivel de profesionalismoprevisto. Así pues, es esencial invertir el tiempo y energía necesarios en la selección deun evaluador capaz y plenamente cualificado para el trabajo en cuestión.

A menudo se confían las evaluaciones a un equipo de evaluadores. En este caso, a lahora de seleccionar a los candidatos ideales deberán evaluarse no solamente lascalificaciones individuales de los miembros del equipo sino también su capacidad realpara trabajar en equipo.

Es importante asimismo tener en cuenta las condiciones de trabajo a menudo difíciles delos países en desarrollo. El evaluador seleccionado deberá poseer también la capacidadpara desempeñar eficazmente su cometido durante las visitas sobre el terreno.

8.1 Cómo se realiza la selección

La selección de los evaluadores se realiza mediante un proceso establecido deadjudicación de contratos. Por lo general, la ACDI solicita a las consultoras una propuestapara realizar la evaluación y éstas le proponen un equipo de evaluación (o bien la ACDIutiliza algún otro mecanismo para iniciar la selección). Los candidatos son evaluados deacuerdo con la información suministrada en cada propuesta, en la que se describe laexperiencia y conocimientos especializados de la consultora, así como los títulos ycualidades de los candidatos propuestos para el equipo de evaluación, en función de lasexigencias específicas de la evaluación.

La contratación de un evaluador implica por lo general cuatro etapas: 1) decidir cuál seráel modo de selección; 2) seleccionar al candidato que ofrezca la mejor relación calidad-precio; 3) notificar al candidato que ha sido elegido; 4) negociar y firmar el contrato.

El modo de selección escogido por la ACDI depende de las características de laevaluación en cuestión y de los factores específicos de la misma. El director deevaluación de la ACDI debe garantizar que el costo de un determinado modo de selecciónpueda justificarse y que los requisitos que se exijan de los candidatos participantes nosean excesivos.


53

8.2 La contratación competitiva

Se espera que los directores de evaluación de la ACDIutilicen un sistema de contratación competitivo para

seleccionar a los evaluadores.

En materia de adjudicación de contratos, la ACDI está a favor del ejercicio de lacompetitividad. El empleo de un modo de selección que no sea competitivo (por ej.:recurrir a un proveedor único) deberá justificarse plenamente y habrá de respetarse unaserie de condiciones muy precisas.

Los siguientes modos de adjudicación de contratos son competitivos:

v Las invitaciones a presentar propuestas anunciadas en el Servicio Electrónico deLicitación (MERX).

v Los acuerdos de suministro regular durante un período determinado. v Las notificaciones previas de adjudicación de contrato (ACANS). v Las selecciones realizadas en virtud de acuerdos marco con organismos de servicio

especiales.

El MERX permite tener acceso a una amplia gama de posibles consultores. Los acuerdosde suministro regular dan acceso a consultores preseleccionados y que reúnen losrequisitos para realizar determinados tipos de trabajo. Asimismo, los organismos deservicio especiales que han suscrito acuerdos marco con la Agencia puedenproporcionar listas de consultores.

En los países en desarrollo a menudo se pueden obtener fácilmente listas deespecialistas locales dirigiéndose a la sección de ayuda de la ACDI o a la unidad deapoyo al programa/proyecto sobre el terreno, la Embajada o el Alto Comisario, losdonantes sobre el terreno o el gobierno local.

54

8.3 La contratación de especialistas locales

Ampliar la participación contratando a especialistas locales puede fomentar el interés dela población local por la evaluación y hacer que se sienta más afectada por susresultados. La participación local ayuda a ampliar la reserva de especialistas en lospaíses en desarrollo y puede aumentar las posibilidades de que se apliquen lasrecomendaciones.

Una de las garantías que la ACDI puede exigir es que evaluadores u otros especialistaslocales participen de una forma u otra en la evaluación. El mandato debe establecer claray detalladamente los requisitos en materia de contratación de especialistas locales.

8.4 El establecimiento de la mejor relación calidad-precio

Para que la evaluación tenga éxito, es esencialseleccionar a un evaluador competente.

¿Cómo escoger al mejor candidato? ¿Qué cualidades debe buscar la ACDI?

La selección del evaluador consiste ante todo en encontrar un evaluador competente quepueda completar la tarea y satisfacer las expectativas de la Agencia, y que ofrezca almismo tiempo la mejor relación calidad-precio.

La selección del evaluador tiene en cuenta, por lo general, cuatro factores:

v Las expectativas de los responsables de la selección y su opinión. v Las credenciales del evaluador. v La capacidad del evaluador para competir en el proceso de contratación. v El precio solicitado por el evaluador para completar la evaluación.

En algunos casos, si varios candidatos obtienen la misma clasificación, la selección finalpuede basarse en criterios económicos y se escogerá al evaluador que presente elprecio más bajo, garantizando de esta forma la mejor relación calidad-precio para laACDI.


55

8.4.1 Valoración estratégica

¿Es el evaluador “adecuado” para el trabajo? Si se trata de un equipo ¿sabrán trabajarjuntos sus miembros con eficacia? ¿Cómo será la actuación del equipo durante las visitassobre el terreno? ¿Cuenta el equipo con una experiencia probada para obtener losresultados previstos y satisfacer las expectativas?

Responder a estas preguntas puede resultar difícil. La información de referencia apenasproporciona una indicación de las capacidades para efectuar determinadas tareas. Enocasiones, realizar una valoración adecuada puede desempeñar un papel másimportante que la propia información a la hora de seleccionar al evaluador.

8.4.2 Imparcialidad e independencia

Es esencial que el candidato seleccionado no se vea en una posición de conflicto deintereses como resultado de la adjudicación del contrato. El candidato no deberá haberparticipado ni previsto participar en el proyecto objeto de la evaluación o en cualquier otroproyecto que pudiera crear un conflicto de intereses con respecto a la evaluación encuestión.

8.4.3 Liderazgo y dinámica de equipo

El liderazgo eficaz y la capacidad de gestión son esenciales. No puede restárseleimportancia a la necesidad absoluta de que exista una química de equipo y que susmiembros se lleven bien, especialmente cuando deben realizar actividades encondiciones de trabajo difíciles. Se espera que el equipo de evaluación funcione sinproblemas y con autoridad y convicción, mostrándose sus miembros solidarios en todomomento.

8.4.4 Dominio de conocimientos básicos

La dirección espera que cada evaluación incorpore y refleje las políticas, principios yprácticas establecidas de la ACDI. El candidato seleccionado deberá tener por lo tanto unconocimiento práctico del mandato y las prioridades de la Agencia, de su política relativaa la GBR, del “Marco de resultados y factores claves de éxito” y otras herramientasesenciales de trabajo.

La experiencia de trabajo en países en desarrollo puede ser primordial. Idealmente, elcandidato seleccionado deberá haber demostrado su capacidad para realizarevaluaciones exitosas en países en desarrollo con condiciones de trabajo ocaracterísticas similares.

56

8.4.5 Calificaciones

Los requisitos previos que debe reunir el evaluador en materia de conocimientos,competencias y experiencia dependen del trabajo que deba realizarse y de losresultados que se espere obtener con la evaluación. ¿Cómo decidir cuáles son losrequisitos para una evaluación concreta?

Deberán tenerse en cuenta los siguientes aspectos:

v Los conocimientos técnicos, analíticos y sectoriales. v La capacidad de abordar temas multidisciplinarios. v La participación prevista de empresas o especialistas locales. v La experiencia en la realización de evaluaciones participativas. v Los niveles de rendimiento demostrados. v La competencia lingüística. v La capacidad para realizar consultas.

8.5 ¿Ha escogido al buen candidato?

Para saber si los candidatos serán capaces de satisfacer las expectativas de la ACDIpara realizar la evaluación, puede hacerse las siguientes preguntas.

Lista de control √ ¿Cuenta el candidato con los conocimientos y

experiencia necesarios para organizar y llevar a cabotodos los aspectos de la evaluación de acuerdo con lasexpectativas de la dirección?

√ ¿Comprende el candidato cómo debe aplicar la política

de la ACDI en materia de GBR, el “Marco de resultadosy factores claves de éxito” y otras herramientasrelacionadas con el rendimiento?

√ ¿Ha demostrado el candidato que es capaz de

completar evaluaciones con éxito ajustándose al


57

calendario establecido y a las restriccionespresupuestarias?

√ ¿Posee el candidato las cualidades de líder necesarias

para dirigir adecuadamente el equipo y establecerrelaciones positivas con los socios y los gruposinteresados?

√ ¿Reúne el equipo de evaluación propuesto los

requisitos en materia de conocimientos técnicos ysectoriales?

√ ¿Cuenta el equipo con experiencia de trabajo en países

en desarrollo, en la región o país en cuestión queconfirme su capacidad para realizar con éxito laevaluación?

√ ¿Está el equipo suficientemente familiarizado con las

costumbres y cultura locales, y posee la competencialingüística para desenvolverse eficazmente sobre elterreno?

√ ¿Cuenta el equipo con especialistas técnicos capaces

de analizar las cuestiones esenciales relativas a temasmultidisciplinarios (por ej.: la igualdad entre los sexos, elmedio ambiente)?

√ ¿Ha demostrado el candidato que es capaz de realizar

evaluaciones participativas de manera eficaz yefectiva?

√ ¿Comprende el candidato por qué debe contratarse a

especialistas locales? ¿Se ha tratado esta cuestiónadecuadamente?


El director de evaluación de la ACDI procede a seleccionar al candidato y presenta sudecisión al director del centro de responsabilidad para su aprobación. Acto seguido, senegocian las condiciones del contrato, en especial las cuestiones relativas al precio ymétodo de pago. Tras firmar el contrato, el evaluador empieza a preparar su plan detrabajo.

58


59

Capítulo 9: La Preparación Del Plan De Trabajo

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• La utilidad del plan de trabajo• Las expectativas de la Agencia• Pautas para la preparación del plan de trabajo

••••••••••••••••••••••••••••••••••••••••••••••••••••••

El plan de trabajo sirve para orientar la realizaciónde la evaluación en función de las expectativas.

l plan de trabajo suele ser el primer documento que produce el evaluador. Una vezaprobado por la ACDI, se convierte en el documento clave de gestión que permite

orientar la evaluación en función de las expectativas de la Agencia en todas las etapasdel proceso.

La evaluación permite saber cuáles son los resultados producidos o atribuibles a unainversión y establece el nivel de satisfacción de las expectativas. El plan de trabajo de laevaluación resalta los logros alcanzados en función de los resultados en materia dedesarrollo y los factores claves de éxito enunciados en el “Marco de resultados yfactores claves de éxito”. Este marco desempeña un valioso papel para la ACDI,estableciendo un vínculo entre el diseño de la evaluación y los objetivos de la ACDI.

El plan de trabajo sirve para:

v Ofrecer una visión general de la inversión objeto de la evaluación. v Describir las expectativas de la dirección con respecto a la evaluación. v Presentar a los miembros del equipo de evaluación.

E

60

v Precisar los papeles y responsabilidades de cada una de las partes. v Describir la metodología empleada en la evaluación. v Establecer los requisitos en materia de informes. v Determinar un calendario de trabajo con fechas límites para las etapas claves.

El director de evaluación de la ACDI y el evaluador harán cuanto puedan para estableceruna buena relación de trabajo durante la etapa de planificación, manteniendo un diálogoque facilite una buena comunicación interpersonal durante todas las etapas de laevaluación. Es importante que al finalizar el proceso de planificación, ambas partescomprendan claramente y de la misma forma cómo se realizará el trabajo, sus papelesrespectivos, las tareas a realizar y los plazos de presentación de los documentosexigidos.

A continuación describimos:

v Las etapas de la preparación del plan de trabajo. v Algunos elementos de importancia estratégica que deben tenerse en cuenta a la hora

de preparar el plan de trabajo. v Los aspectos que deben abordarse en el plan de trabajo.

9.1 En qué consiste la preparación del plan de trabajo

El mandato documenta las expectativas y parámetros iniciales de la ACDI para realizar laevaluación. El evaluador utilizará la perspectiva proporcionada en el mandato como puntode partida para establecer lo que es factible, añadiendo precisiones. El objetivo esponerse de acuerdo con la ACDI respecto al plan de trabajo más adecuado para obtenerlos resultados previstos.

El evaluador debe examinar detenidamente todas las fuentes de información pertinentesa fin de disponer de los elementos que le permitan preparar su plan de trabajo. Deberádirigirse al director de evaluación de la ACDI correspondiente para saber dónde puedeencontrar la información en cuestión.

Entre las fuentes de información útiles figuran:

v La documentación y los expedientes. v La memoria central de la Agencia.


61

v Las consultas al personal de la ACDI, los grupos interesados y otras personas conconocimientos útiles para la inversión (consultas directas, por teléfono, por correoelectrónico).

Las evaluaciones suelen requerir una visita al país en desarrollo a fin de recopilarinformación sobre el terreno. Los preparativos relativos a los desplazamientos deberánformar parte del proceso de planificación. Normalmente es el director de evaluación de laACDI, tras consultar con la oficina geográfica y el personal de la ACDI sobre el terreno,quien se encarga de establecer las reglas que deberá seguir el evaluador en el país endesarrollo.

Durante la etapa de preparación del plan de trabajo, el director de evaluación de la ACDIdebe mantenerse informado de la marcha de la evaluación y se le podrá solicitar queclarifique los requisitos o expectativas, o que ofrezca asesoramiento. Una vezelaborado, se somete el plan de trabajo a la ACDI para su aprobación, tras lo cual, secomunica a la misión lo que se espera de ella de forma que puedan iniciarse lospreparativos necesarios.

9.2 Aspectos estratégicos a considerar

Deberán tenerse en cuenta los siguientes aspectos estratégicos a la hora de preparar elplan de trabajo:

v El plan de trabajo debe dejar un cierto margen de libertad y ser capaz de adaptarse ala situación, favoreciendo al mismo tiempo la innovación y la creatividad. Sefomentarán las intervenciones iterativas cuando mejoren las medidas aprobadaspreviamente. Cualquier alejamiento importante del plan de trabajo, sin embargo,deberá ser aprobado por el director de evaluación de la ACDI.

v Se animará al evaluador a incorporar sus ideas y puntos de vista en el diseño de la

evaluación, a fin de que la ACDI pueda beneficiarse de sus conocimientos,competencias y experiencia, y se pueda mejorar el mandato para que se traduzca enun valor añadido superior.

v Deberán establecerse con precisión cuáles son los resultados que se espera

obtener con la evaluación. Dichos resultados deben ser útiles para la ACDI y viablesteniendo en cuenta los límites impuestos por las realidades operacionales y los plazosprevistos. Es importante que las expectativas relativas al rendimiento sean realistasdado el contexto material y las dificultades que puede conllevar el trabajo en paísesen desarrollo.

v Según la política de la ACDI en materia de GBR, los socios en la obtención de

resultados deben evaluar ellos mismos los proyectos o programas de forma continuadurante todas las etapas. El evaluador podría utilizar este recurso durante la etapa deplanificación.

62

v El marco de rendimiento es la principal fuente de información utilizada para preparar elplan de trabajo. En él se explican los resultados que se esperaba obtener con lainversión en la etapa de diseño. Estas expectativas están relacionadas con elcontexto operacional en esa etapa, y probablemente con una serie de condiciones ehipótesis subyacentes. Durante el proceso de planificación, el evaluador debe teneren cuenta hasta qué punto esos parámetros siguen siendo válidos.

v Se debe ser consciente del hecho de que los resultados y efectos de algunas

inversiones únicamente se manifiestan a largo plazo. v El plan de trabajo debe abordar la necesidad de identificar cualquier resultado

imprevisto producido por la inversión. v Es posible que para las evaluaciones que persiguen efectos más complejos sea

necesario enviar una misión de reconocimiento sobre el terreno para adquirir unamejor idea de la organización del trabajo en el lugar, la existencia de información, losaspectos culturales locales a tener en cuenta, la participación de los gruposinteresados locales y los requisitos lingüísticos. Por el contrario, las visitas sobre elterreno con fines de planificación suelen ser escasas debido a su costogeneralmente prohibitivo.

¿Qué longitud debe tener el plan de trabajo? El evaluador debe esforzarse para que suplan de trabajo sea claro, conciso y preciso. El plan de trabajo deberá ser losuficientemente detallado para informar y controlar la evaluación con eficacia.

9.3 La preparación del plan de trabajo

¿Cómo debe ser un plan de trabajo? En esta sección se describen los elementos clavesque deben incluirse en un plan de trabajo, así como su contenido y su carácter más omenos detallado.

9.3.1 Descripción general de la inversión

En esta parte se presenta en términos generales la inversión objeto de la evaluación. Eltexto suele limitarse a una o dos páginas. Se ofrecerá una descripción de la estructurade la inversión y el contexto particular del país beneficiario, y se resumirán los resultadosque se espera obtener (de acuerdo con lo establecido en el marco de rendimiento).

Se analizarán los siguientes aspectos prioritarios:

v Los vínculos con el mandato y las prioridades de la ACDI. v Los resultados previstos (por ej.: efectos, repercusiones, logros). v El alcance, identificando a los beneficiarios.


63

v La importancia de la inversión. v La participación de los grupos interesados hasta la fecha.

Lista de control √ ¿Adquiere el lector una idea clara de la naturaleza del

proyecto objeto de la evaluación y de su relación con elmandato y las prioridades de la ACDI?

√ ¿Se suministra información sobre los resultados

previstos, el alcance y la importancia de la inversión? √ ¿Se ha tratado el papel que desempeñarán los grupos

interesados?

9.3.2 Expectativas con respecto a la evaluación

¿Por qué se realiza la evaluación? Es preciso explicar las razones por las que la ACDIlleva a cabo la evaluación.

¿Qué espera obtener la ACDI con esta evaluación?

Se analizarán los siguientes aspectos prioritarios:

v El análisis de la marcha de la evaluación con respecto a la consecución de losresultados previstos y los otros resultados en materia de desarrollo y factores deéxito enunciados en el “Marco de resultados y factores claves de éxito” de laAgencia.

v Las cuestiones a las que la Agencia desee prestar una atención especial (por ej.: la

igualdad entre los sexos, el medio ambiente). v La importancia de determinar las lecciones aprendidas con la experiencia. v Cualquier otra información sobre el rendimiento de la inversión que se espera obtener

como resultado de la evaluación.

64

Por lo general, la preparación de esta sección supone precisar y ampliar la informaciónelaborada para el mandato. Deberán mencionarse todos los documentos oficiales a losque se hace referencia.

Lista de control

√ ¿Se explican claramente las razones por las que ladirección decidió realizar la evaluación?

√ ¿Se describen con suficiente claridad las expectativas

de la dirección con respecto a los exámenes relativosal “Marco de resultados y factores claves de éxito”?

√ ¿Se precisan cuáles son los puntos a los que deberá

prestarse especial atención y qué información adicionaldebe reunirse?

√ ¿Se menciona la necesidad de extraer y aplicar las

lecciones aprendidas con la experiencia?

9.3.3 Papeles y responsabilidades

El plan de trabajo deberá:

v Precisar la composición del equipo de evaluación, identificando el papel yresponsabilidades principales de cada miembro (podrán adjuntarse loscorrespondientes currículos).

v Identificar a los representantes de la ACDI, describiendo sus papeles y

responsabilidades (por ej., los del director de evaluación de la ACDI, los miembros delcomité asesor, los representantes de la DGAR, los consultores regionalescontratados por la ACDI).

Asimismo se describirán en términos generales las expectativas en cuanto a lasresponsabilidades de cada uno.


65

Lista de control

√ ¿Se han identificado debidamente los papeles yresponsabilidades principales de todas las personasque realizan una contribución importante a laevaluación?

√ ¿Se han establecido con claridad las expectativas en

cuanto a las responsabilidades?

9.3.4 Metodología

El evaluador elaborará una metodología que responda a los requisitos y expectativas dela evaluación establecidas en el mandato. El objetivo es adoptar la estrategia másadecuada para conseguir los resultados previstos teniendo en cuenta la información, eltiempo y los recursos disponibles.

El plan de trabajo deberá:

v Explicar las razones que dieron forma a la metodología de evaluación. v Describir el modelo de evaluación, sus fuentes de información, métodos de

recopilación de información y técnicas analíticas.

¿En qué se basa la credibilidad de una metodología de evaluación?

Para responder a esta pregunta, es importante recordar que el objetivo de la evaluaciónes determinar los resultados que pueden atribuirse a la inversión. El desafío reside enestablecer las deducciones de causalidad. ¿Cuáles son los resultados que puedenatribuirse realmente a la inversión de la ACDI, y no a otros factores externos (por ej.: unarecuperación económica, otras inversiones)? Una buena metodología de evaluación es laque permite establecer una relación directa entre los resultados y la inversión evaluada,eliminando de esa manera otras explicaciones posibles. Para ello se utilizan las hipótesis,la argumentación lógica y/o el análisis empírico.

El documento “Métodos de evaluación de programas: medida y atribución de losresultados de los programas” (Oficina del Contralor General, enero de 1991) analiza losfactores y criterios que desempeñan un papel decisivo en la elaboración de unametodología de evaluación sustentable:

66

Recuadro 5

Aspectos a tener en cuenta para elaborar evaluaciones sustentables

Tipo de cuestión ElementoA. Criterios de investigación

Cuestiones de medición 1. Fiabilidad2. Validez de la medición3. Amplitud y profundidad

Cuestiones de atribución 1. Validez de las deducciones de causalidad

B. Criterios relativos al contexto de toma de decisionesPosibilidad de formularconclusiones sustentables

1. Objetividad2. Pertinencia teniendo en cuenta el

contexto de toma de decisiones3. Adecuación del nivel y el tipo de pruebas4. Exhaustividad

Cuestiones de orden práctico 1. Viabilidad2. Asequibilidad3. Cuestión de ética

Una metodología de evaluación comprende un modelo de evaluación, un método derecopilación de información y una técnica de análisis. El modelo de evaluacióncorresponde al modelo lógico utilizado para extraer conclusiones sobre los resultados.Para escoger un modelo adecuado es preciso determinar la clase de información quedeberá obtenerse y el tipo de análisis necesario.

Una vez seleccionado el modelo de evaluación, la etapa siguiente consiste en escoger elenfoque, métodos y técnicas específicas para aplicarlo, teniendo en cuenta laslimitaciones temporales y presupuestarias.

El evaluador deberá, por lo tanto:

v Decidir cuáles son las fuentes de información más útiles y prácticas para lasnecesidades de la evaluación.

v Escoger un método de recopilación de información. v Seleccionar una técnica de análisis de la información en función de las necesidades

y del tipo de información de que se dispone.


67

Existen numerosas formas de recopilar y analizar la información a fin de determinar losresultados de una inversión. El recuadro 6 ilustra varias de las opciones que puedeutilizar el evaluador.

Recuadro 6

Metodologías de evaluación

Actividad OpcionesModelo Modelo experimental

Modelo comparativoModelo implícito

Método derecopilación deinformación

Análisis de obras especializadas y estudio de expedientesConsultasObservacionesEncuestasConsulta de especialistasEstudios de casos

Técnica analítica Análisis estadísticoAnálisis no estadísticoAnálisis de otros resultados de programas Utilización demodelosAnálisis costo-beneficio y análisis costo-eficacia

Modelo

El plan de trabajo deberá identificar qué es lo que se aprendió a partir del análisis deobras especializadas, el estudio de expedientes y las primeras sesiones de consulta, einfluyó a la hora de escoger la estrategia más adecuada. La estructura de la inversión yla existencia de fuentes de información pueden ser factores determinantes a la hora deescoger el modelo de evaluación.

Por ejemplo, uno de los elementos claves es la existencia de datos básicos. Si falta esainformación, es probable que los evaluadores deban basarse principalmente en lainformación de las actividades de control, los informes de progreso o los informes deotros donantes a fin de realizar análisis comparativos.

El modelo de evaluación puede concebirse como un conjunto de opciones que secaracterizan por su desviación respecto al modelo de evaluación ideal. Ese modelo idealcorresponde a una situación teórica que es imposible alcanzar puesto que describe la

68

comparación de dos grupos que son idénticos en todos los aspectos salvo que uno deellos ha sido expuesto al proyecto o programa financiado.

La comparación es la característica común de todos los modelos que se analizan acontinuación:

v Los modelos experimentales o probabilísticos tratan de garantizar la equivalenciainicial de los grupos que se comparan, creándolos administrativamente mediante unarepartición aleatoria. Esta aleatorización supone aplicar un método de muestreoprobabilístico utilizando tablas de números aleatorios, computadoras, etc.

v Los modelos comparativos utilizan grupos de comparación para realizar deducciones

de causalidad pero no recurren a la aleatorización para crear dichos grupos. El grupoexpuesto al programa suele ser considerado como dado, mientras que el grupo decomparación se selecciona para ofrecer la correspondencia más estrecha posible.

v En los modelos implícitos, la medición se realiza después de haberse producido la

exposición al programa y se formulan hipótesis respecto a las condiciones existentesantes de que se iniciara el programa. No existe un grupo de control como tal.

A menudo son las limitaciones temporales y presupuestarias las que determinan qué tipode modelo es viable. Cuanto más riguroso sea el modelo, más complejo será y, porconsiguiente, mayores serán también los recursos financieros necesarios.

Recopilación de la información

El plan de trabajo debería:

v Establecer los indicadores de rendimiento que se utilizarán para medir los avancesrealizados en la consecución de los resultados.

v Identificar las fuentes de información principales que se utilizarán para evaluar el

rendimiento. El evaluador puede decidir también proporcionar precisiones sobredichas fuentes (por ej.: el perfil de grupos de consulta importantes, los resultados deevaluaciones anteriores, el resumen de resultados de actividades de control).

v Describir los métodos que se utilizarán durante la recopilación de datos a fin de reunir

información sobre el rendimiento de la inversión.


69

Indicadores de rendimiento

La credibilidad de la evaluación depende a menudo de la selección y formulación de losindicadores de rendimiento. A la hora de escoger dichos indicadores de rendimientoconviene observar dos reglas. En primer lugar, los grupos que estén directamenteinteresados en la evaluación deben poder pronunciarse al respecto. En segundo lugar,se deberían tener en cuenta el contexto, la utilidad, el procedimiento y los límitespresupuestarios.

Según los autores de “La gestión basada en los resultados en la ACDI: Guía deintroducción a los conceptos y principios”, los seis criterios siguientes deben servir paraseleccionar los indicadores de rendimiento:

v ¿Mide el indicador el resultado? v ¿Se trata de una medida uniforme con el paso del tiempo? v Cuando el resultado cambie, ¿responderá el indicador a dicho cambio? v ¿Será fácil reunir y analizar la información? v ¿Será útil la información para el proceso de toma de decisiones y el aprendizaje? v ¿Puede permitirse el presupuesto de la evaluación reunir la información?

Fuentes de información

El análisis de obras especializadas, el estudio de expedientes y las consultas permiten enun principio establecer la existencia de fuentes de información. Sin embargo, es posibleque el evaluador descubra durante el transcurso de la evaluación nuevas fuentes deinformación, a menudo cuando se halla sobre el terreno. El plan de trabajo debe serflexible para adaptarse a dicha eventualidad.

Es probable que el tiempo y presupuestos disponibles limiten la cantidad de informaciónque puede reunirse. Es importante, por lo tanto, mantener una actitud estratégica en todomomento y seleccionar las fuentes que sean más útiles para la medición del rendimientoteniendo en cuenta el alcance de la evaluación y sus parámetros.

El recuadro 7 enumera distintas fuentes de información a las que el evaluador puedetener acceso:

70

Recuadro 7

Fuentes de información

Método Fuentes de informaciónAnálisis dedocumentos yestudio deexpedientes

Documentos de planificación

Estudios de viabilidad

Informes preliminares

Informes de situación

Correspondencia

Publicaciones

Memoria central

Evaluaciones anteriores

Obras

Estudios y análisis

Lecciones aprendidas

Planes de gestión

Marcos de rendimiento

InternetConsultas Personal de la ACDI en la

administración central ysobre el terreno

Beneficiarios

Autoridades locales

Personal del agente deejecución

Personal del gobierno del paísbeneficiario

Especialistas sectoriales

Otros donantes

Organizaciones participantes

Observacionessobre el terreno

Emplazamiento de losproyectos

Instalaciones sobre el terreno

Métodos de recopilación de la información

Esta sección del plan de trabajo debe describir los métodos de recopilación de lainformación. El recuadro 8 presenta los seis métodos que suelen utilizarse con mayorfrecuencia en las evaluaciones. El primer método sirve para reunir informaciónsecundaria, mientras que los otros cinco se utilizan para reunir información primaria. Porinformación primaria se entiende la información recopilada específicamente para laevaluación, mientras que la información secundaria se reúne y consigna en una etapamás temprana con fines diferentes a los de la evaluación en cuestión. En el contexto deuna evaluación, a menudo se combinan los métodos de recopilación de información.


71

Recuadro 8

Principales métodos de recopilación de información

Método CaracterísticasAnálisis de obrasespecializadas yestudio deexpedientes

Por análisis de obras especializadas se entiende la consulta deinformes, publicaciones y libros.El estudio de expedientes consiste en examinar losexpedientes relativos al programa, proyectos individuales, losclientes y los participantes.Estos métodos ayudan al evaluador a informarse sobre lainversión.Asimismo le permiten conocer a los grupos interesados.

Consultas Encuentros personales o entrevistas telefónicas.Consultas a grupos muestra elegidos sobre cuestiones o temaspreviamente establecidos.Protocolo a seguir para las entrevistas de acuerdo con unmodelo formal.Guías de entrevista para las entrevistas más extensas.Este método se utiliza para grupos de población objetivo máspequeños.

Observacionessobre el terreno

Las visitas sobre el terreno ofrecen una perspectiva global dela inversión.Este método informa sobre el contexto para la inversión y lasactividades locales.Permite observar la importancia que reviste la inversión paralos beneficiarios.

Encuestas Ofrecen información cuantitativa y cualitativa recabada de ungrupo seleccionado de encuestados.Útiles cuando el público destinatario es más numeroso.En ocasiones es difícil prever el índice de respuesta.

Consulta deespecialistas

Utiliza los puntos de vista y conocimientos de especialistaspara tener una indicación de los resultados de la inversión yanalizar las cuestiones relativas a la evaluación.Los juicios formulados por los especialistas constituyen la basede este método.

Estudios de casos Este método se utiliza cuando una inversión se compone devarios proyectos o casos.Se selecciona una muestra de estudios de casos para evaluarlos resultados.

72

La recopilación normalizada de información favorece su fiabilidad y validez, y facilita lareunión de los elementos de información. La normalización se ve mejorada al utilizarinstrumentos de recopilación de información, como por ejemplo cuestionarios y guíaspara entrevistas. El uso de instrumentos formales contribuye a la fiabilidad y validez de lainformación ya que se realizan preguntas tipo, normalizando de esta forma todo elproceso de recopilación de información y permitiendo la reunión de los elementos deinformación recabados.

Es importante seleccionar instrumentos bien diseñados, adaptarlos a las necesidades ocrear nuevos útiles a fin de garantizar que los resultados sean útiles y sustentables. Enalgunos casos, puede resultar útil consultar informes de evaluaciones similares paralocalizar instrumentos que han demostrado su validez y fiabilidad. Asimismo puede seruna buena idea, especialmente en el caso de las evaluaciones complejas, realizar unaprueba piloto a fin de comprobar la claridad y legibilidad de los resultados.

Análisis de la información

En esta sección el evaluador debe describir la forma en que la información sin procesarserá transformada en una base de información que sirva para preparar una respuestaútil y válida a las expectativas de la dirección con respecto a los resultados que deseaobtener. La información reunida únicamente es útil si pueden extraerse los hechosadecuados para abordar las cuestiones y preguntas planteadas en la evaluación. Elobjetivo del análisis es transformar la información en elementos de prueba convincentessobre la inversión y su rendimiento.

El recuadro 9 ilustra cinco técnicas de análisis. El análisis estadístico y el análisis noestadístico son técnicas de análisis directo que ofrecen pruebas sobre los resultadosdirectos de la inversión. Las otras tres técnicas son métodos analíticos indirectos quesirven para prever, a partir de mediciones de resultados directos, otros resultadosindirectos adicionales que pueden atribuirse a la inversión.


73

Recuadro 9

Técnicas de análisis

Técnica CaracterísticasAnálisisestadístico

Manejo de información cuantitativa y cualitativa para generalizarresultados.Presentación de la información en un formato conciso yrevelador.

Análisis noestadístico

Análisis de información cualitativa a menudo de forma inductiva,lo que permite adquirir una visión general de los resultados y lascuestiones difíciles de cuantificar.

Previsión de losefectos yrepercusiones alargo plazo

Transformación analítica de los resultados directos medidos a finde prever los resultados y repercusiones a largo plazo.

Utilización demodelos

Utilización de modelos cuantitativos explícitos específicos paratransformar un resultado cuantitativo en otro resultadocuantitativo. Ejemplos: simulación, insumos-resultados, modelosmicroeconómicos y macroeconómicos, y modelos estadísticos.

Análisis de costo-beneficio yanálisis de costo-eficacia

Ofrece una información resumida del valor de la inversión.En el análisis de costo-beneficio se comparan los resultados,transformados en ventajas monetarias, con los costos de lainversión.En el análisis de costo-eficacia se comparan los resultados conlos costos, pero sin transformar los resultados en ventajasmonetarias.

Lista de control

√ ¿Es el modelo de evaluación escogido un modelo lógicode recopilación o análisis de la información que permitadeterminar qué resultados son atribuibles al programa? √ ¿Permite la metodología de evaluación medir losavances realizados en la consecución de los resultadosprevistos a nivel de los logros, efectos y repercusiones? √ ¿Permitirá la metodología escogida medir el rendimientoen función de los resultados en materia de desarrollo y losfactores de éxito enunciados en el “Marco de resultados yfactores claves de éxito”?

74

9.3.5 Marco de evaluación

El marco de evaluación ofrece al lector una visión sucinta del alcance y la lógica de laevaluación. Sistematiza la estrategia adoptada por el evaluador para realizar laevaluación y resume qué es lo que se va a medir y cómo se realizará dicha mediciónutilizando un formato de matriz de uso sencillo.

El marco de evaluación identifica:

v Las preguntas (y las subpreguntas) a las que ha de responderse v Los indicadores de rendimiento v Las fuentes de información v Los métodos de recopilación de la información v La base en las que se fundamentarán los juicios formulados por el evaluador

El marco de evaluación establece el fundamento lógico que sirve de base para respondera las preguntas planteadas a fin de determinar la estrategia de la evaluación. Eldocumento “Marco de resultados y factores claves de éxito” desempeña un papelprimordial a la hora de determinar los puntos que debe abordar la evaluación. Laspreguntas a las que debe responder la evaluación deberían guardar una relación directacon los resultados en materia de desarrollo y factores de éxito enunciados en el “Marcode resultados y factores claves de éxito” de la Agencia. Se seleccionarán las fuentes deinformación que faciliten la medición de los resultados para cada uno de los indicadoresde rendimiento.

El recuadro 10 ilustra el formato del marco de evaluación.

Recuadro 10

Marco de evaluación

Puntos Preguntas Indicadoresde

rendimiento

Fuentes deinformación

Método derecopilación

deinformación

Base delanálisis


75

Lista de control

√ ¿Permite el marco responder de forma lógica a lasexpectativas de la ACDI respecto a la evaluación?

√ ¿ Guardan las preguntas planteadas en el marco de

evaluación una relación estratégica con los resultadosen materia de desarrollo y factores de éxito enunciadosen el “Marco de resultados y factores claves de éxito”de la Agencia?

√ ¿Satisfacen los indicadores de rendimiento

seleccionados los criterios de eficacia, uniformidad,sensibilidad, viabilidad y utilidad?

9.3.6 Informes

El plan de trabajo debe describir los requisitos en materia de presentación de informes,tanto provisionales como finales:

v El evaluador debe describir el sistema que utilizará para informar regularmente aldirector de evaluación de la ACDI sobre la marcha de la evaluación. Los informessobre los avances del proyecto ayudan a garantizar que las evaluaciones se realicende acuerdo con las expectativas y el presupuesto, y que aborden con eficacia lascuestiones previstas. Se puede tratar tanto de encuentros regulares informales comode informes escritos formales que deberán presentarse de acuerdo con uncalendario prescrito. Es conveniente prever que, en caso de que surja cualquierproblema o dificultad imprevista importante, se informe inmediatamente al director deevaluación de la ACDI.

v Se habrán de prever asimismo sesiones informativas con el personal de la ACDI

sobre el terreno tanto a la llegada al país como en el momento de abandonarlo. v El plan de trabajo debe presentar un esquema o índice de materias para el informe

final. El evaluador deberá presentar también una síntesis de la evaluación que seincluirá en el informe final o bien constituirá un documento independiente. Lasinstrucciones relativas, por ejemplo, a la traducción, la impresión, la publicación enformato electrónico o copia impresa, o el número de ejemplares se limitarán a aquellosaspectos que deban determinarse por adelantado. Se establecerán normas para laproducción de los informes basándose en los requisitos establecidos en la “Guía deevaluación de la ACDI”.

76

Lista de control

√ ¿Se cumplen las expectativas de la ACDI en materia deinformes sobre la marcha del proyecto, sesiones deinformación al llegar al país y al abandonarlo, y elinforme final?

√ ¿Se presenta en el plan de trabajo un esquema o índice

de materias para orientar el informe final?

9.3.7 Calendario de trabajo

El plan de trabajo debe contener un calendario para el conjunto de las tareas que debenrealizarse. Se fijará un plazo para cada una de las actividades individuales y seestablecerán fechas límites para las etapas claves y la producción de los documentosexigidos. Asimismo, el evaluador puede juzgar oportuno preparar una matriz del régimende trabajo indicando el número de personas-días que cada uno de los miembros delequipo debería dedicar a la ejecución de las tareas que le son encomendadas.

El recuadro siguiente ilustra un ejemplo posible de calendario de trabajo:

Recuadro 11

Calendario de trabajo

Etapa Actividad clave/documento a producir PlazoDuración

Plan de trabajo Plan de trabajo provisionalAprobación de la ACDIPreparación de la versión final

Recopilación deinformación(sobre el terreno)

Logística y familiarización sobre el terrenoRecopilación de informaciónActividades de información sobre el terreno

Análisis de lainformación

Análisis e interpretación de la informaciónPresentación de constataciones

Informe deevaluación

Examen estratégicoVersión provisionalAprobación de la ACDIVersión final


77

Lista de control

√ ¿Presenta el programa de trabajo una progresión lógicade las actividades que deben realizarse hasta la últimaetapa de la evaluación?

√ ¿Se han establecido plazos para las principales

actividades y la producción de los documentosexigidos?

9.4 La aprobación

Deberá presentarse al director de evaluación de la ACDI una primera versión del plan detrabajo para su aprobación. A fin de proceder a la aprobación normalmente se realizauna revisión para garantizar que el plan responda a las necesidades de la ACDI.

El director del centro de responsabilidad de la ACDI debe aprobar el plan de trabajo antesde que pueda iniciarse la evaluación propiamente dicha. Dado que todas las actividades aejecutar se inscriben en dicho plan de trabajo, cualquier desviación o modificaciónimportante de la estrategia utilizada para realizar la evaluación conllevará una revisión delplan que deberá ser aprobada posteriormente por la dirección de la ACDI.

78


79

CAPÍTULO 10: LA RECOPILACIÓN Y EL ANÁLISIS DE LA INFORMACIÓN

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• Los métodos y las técnicas• Pautas para el éxito• Los problemas a prever sobre el terreno

••••••••••••••••••••••••••••••••••••••••••••••••••••••

na vez que la ACDI haya aprobado el plan de trabajo de la evaluación, el evaluadorpasa a la próxima etapa del proceso de evaluación, esto es, recopilar y analizar la

información. Por lo general, esta etapa implica una visita al país o países en desarrollo enel que se realiza el programa a fin de reunir la información necesaria para medir elrendimiento.

Las actividades de recopilación de información sobre el terreno pueden comprender:

v Consultas con el personal de la ACDI, de Agencias Canadienses de Ejecución (ACE),ONG, beneficiarios locales, donantes, etc.

v Encuestas. v Análisis de obras, expedientes y documentos. v Observación de actividades del programa. v Reunión de datos pertinentes procedentes de otras fuentes de información.

La etapa siguiente consiste en analizar la información a fin de transformar los datosrecopilados en resultados de evaluación que aborden las cuestiones y preguntasplanteadas en la evaluación. Si bien resulta más fácil establecer pruebas sustentablesuna vez finalizada la recopilación de información, el análisis continuo que se realizadurante la etapa de recopilación facilita dicho proceso y contribuye a estructurar losresultados.

U

80

10.1 Los métodos y las técnicas

El plan de trabajo de la evaluación establece:

v Las principales fuentes de información seleccionadas para evaluar el rendimiento. v Los métodos de recopilación de información. v Las técnicas de análisis de información.

El capítulo 9 “La preparación del plan de trabajo” describe las fuentes de información,métodos y técnicas utilizadas en esta etapa de la evaluación. Más concretamente, lasección 9.3.4 sobre la metodología puede resultar de especial utilidad.

Consúltense:

v El recuadro 7 en el que se presentan las fuentes que puede consultar el evaluadorque desea proceder al análisis de obras especializadas, el estudio de expedientes,consultas y observaciones sobre el terreno.

v El recuadro 8 que ilustra los distintos métodos de recopilación de información. v El recuadro 9 que describe las técnicas de análisis.

10.2 Mantener una perspectiva estratégica

Cuando se recopila la información sobre el terreno es importante comprender el contextolocal a fin de que las actividades sigan siendo viables desde un punto de vistaestratégico. Las características económicas, sociales, políticas y culturales del paísbeneficiario pueden desempeñar un papel primordial a la hora de determinar quéresultados pueden obtenerse. Es importante que el evaluador se mantenga al corrientede esas influencias y las tenga presentes en todo momento.

Las evaluaciones son, por su propia naturaleza, molestas. Imponen una sobrecarga detrabajo al personal de la misión, las personas asignadas al programa evaluado y losgrupos interesados, pudiendo perturbar sus actividades habituales. El evaluador deberátratar en todo momento de ser lo menos molesto posible y no sobrecargar a personaalguna inútilmente.

Las evaluaciones crean un clima de total incertidumbre. Por lo general las personas sesienten incómodas al saber que se les está juzgando. Esto puede da lugar a una ciertareticencia por parte de algunos, e incluso hostilidad. Para combatir estas actitudesnegativas, el evaluador debe: 1) mantener una actitud optimista; 2) poner de relieve loselementos constructivos; 3) mantener a los interesados continuamente informados; y 4)mantener comunicaciones abiertas y francas con el personal de la misión, las ACE, losbeneficiarios locales y otros grupos interesados.


81

La sensibilidad con la realidad cultural es un elemento estratégico esencial. Las buenasprácticas de trabajo implican el respeto y adaptación a las creencias, costumbres yprácticas locales.

10.3 Privilegiar la flexibilidad

El plan de trabajo de la evaluación describe la metodología escogida por el evaluador yaprobada por la Agencia para obtener los resultados previstos y enuncia lasobligaciones contractuales del evaluador. Por consiguiente, el plan de trabajo constituyeel principal instrumento de control de las actividades de la evaluación tanto para elevaluador, que debe respetarlo, como para la Agencia.

Es posible, sin embargo, que durante la etapa de recopilación de información sepresenten otras opciones que permitan obtener mejores resultados. El evaluador deberácontar con la flexibilidad necesaria para aprovechar las oportunidades que surjan y se leanimará a dar muestras de creatividad e innovación.

Otro aspecto que puede resultar importante es el de ser selectivo. Los procedimientos derecopilación de información pueden recabar enormes cantidades de información que notiene utilidad para los resultados que desean obtenerse o que es repetitiva. En otraspalabras, no es necesario recopilar todos y cada uno de los datos existentes parainformarse de la situación.

Es importante aprender de la información que se reúne. El evaluador deber estarpreparado para revisar su estrategia durante el transcurso de la evaluación a fin degarantizar que los recursos se utilicen de forma estratégica para obtener los mejoresresultados.

10.4 Las consultas a los grupos interesados

En su “Marco de resultados y factores claves de éxito”, la ACDI explica claramente enqué consisten las intervenciones orientadas a la consecución de resultados precisos. Seespera que las inversiones privilegien “… la participación activa de los socios locales delpaís y los beneficiarios (incluidas las mujeres) en el diseño, la ejecución yseguimiento/evaluación del proyecto/programa”. Por consiguiente, es normal que entrelos métodos de recopilación de información figuren las consultas adecuadas a los gruposinteresados para evaluar sistemática y estratégicamente su nivel de participación.

Las siguientes preguntas pueden resultar útiles para evaluar el grado de participación delos grupos interesados.

82

Lista de control

√ ¿Se ha previsto en los métodos de recopilación deinformación la realización de consultas a los gruposinteresados y la utilización de recursos locales tal comose establece en el plan de trabajo?

√ ¿Trata la información recopilada de las necesidades de

los grupos interesados? √ ¿Se sienten los grupos en cuestión afectados por la

inversión? √ ¿Es la participación de los grupos interesados lo

suficientemente importante y diversificada? √ ¿Se han realizado esfuerzos suficientes para fomentar

la participación de los grupos interesados? √ ¿Han aprendido algo los grupos interesados con su

participación en el programa?

10.5 Mantener informado al público

Liderazgo eficaz

Los buenos líderes saben mantener a los sociosorientados hacia la consecución del resultado

deseado y miden a menudo el progreso realizadoa fin de motivarlos y mejorar la gestión.

Steps to Successful Performance PartnershipsOregon Model

Durante la recopilación y análisis de la información será necesario mantener informadosa los principales públicos sobre la evolución de la situación. Para ello es preciso adoptaruna estrategia que tenga en cuenta las necesidades en materia de comunicaciones entre


83

los miembros del equipo de evaluación y el director de evaluación de la ACDI, el gobiernodel país beneficiario y los grupos interesados locales.

Desde el principio del proceso, deberá decidirse qué opción se empleará paracomunicarse con estos público, así como el grado de comunicación. Puede resultar útil,desde un punto de vista estratégico, que el evaluador se reúna personalmente conrepresentantes de los grupos interesados locales a fin de evitar en la medida de loposible que se produzcan malas interpretaciones y poder aclarar en persona las dudasque surjan.

La ACDI necesita recibir información clara, objetiva y equilibrada sobre la situación en elterreno. Los informes sobre la marcha de la evaluación fomentan el respeto del plan detrabajo y permiten realizar los ajustes y modificaciones necesarias de manera oportuna.La frecuencia con que se informará de los progresos realizados y el nivel de informaciónproporcionada deberán adecuarse a las necesidades de la dirección de la ACDI, evitandosobrecargar al evaluador a fin de reducir al mínimo el tiempo de preparación y los costosasociados.

La experiencia ha demostrado que los evaluadores tienden a transmitir a la direcciónúnicamente las “buenas noticias”, evitando mencionar los problemas. Sin embargo, laevaluación no tendrá ninguna utilidad para la ACDI si ésta no dispone de un panoramacompleto de la situación.

10.6 Responder a los problemas

A menudo los evaluadores se enfrentan a dificultades imprevistas durante su labor sobreel terreno. En cada evaluación suelen surgir complicaciones, y puede que algunas deellas no hayan sido previstas durante la etapa de planificación. Es importante que elequipo de evaluación sea capaz de responder eficazmente a dichas dificultades sin quese produzcan repercusiones negativas en los resultados de la evaluación.

Poseer cualidades para ejercer el mando de manera estratégica puede resultar crucial.En algunos casos se pueden resolver los conflictos aplicando los valores y principioséticos fundamentales o prácticas de gestión demostradas. A menudo, sin embargo, losproblemas únicos requieren soluciones únicas. La facilidad para negociar puedeconvertirse en una importante cualidad cuando se trabaja en los países en desarrollo. Amenudo, la búsqueda del consenso y el compromiso constituyen el único recursopráctico para conciliar a los socios locales sin poner en peligro la evaluación.

10.6.1 Valores fundamentales

Los evaluadores pueden encontrarse en situaciones conflictivas con los socios en lospaíses en desarrollo debido a las diferencias entre los sistemas de valores básicos delas dos culturas. Para los canadienses, algunas prácticas tradicionales pueden parecerdiscriminatorias contra las minorías o grupos especiales, o constituir un atentado contralos derechos y libertades fundamentales de la persona.

84

¿Cómo se espera que reaccione el evaluador a ese tipo de situaciones? La respuestaconsiste en negociar un equilibrio cuidadoso que tenga en cuenta las prácticas locales yrespete al mismo tiempo las convenciones internacionales en materia de protección deesos derechos y libertades.

Las evaluaciones de la ACDI están financiadas por los contribuyentes canadienses, locual implica que deben realizarse con eficacia y eficiencia, y de manera prudente yhonesta. Los evaluadores deben rendir cuentas de sus decisiones y actividades.

10.6.2 Dinámica interpersonal

Superar los conflictos internos

Para calmar las rivalidades personales y las luchas por elpoder, es necesario volver a orientar a los socios hacia la

consecución del resultado deseado.

Steps to Successful Performance Partnerships Oregon Model

La dificultad que suele plantear la gestión de los recursos humanos puede verseincrementada cuando se trabaja en países en desarrollo. Si uno de sus miembros carecede espíritu de equipo, el evaluador deberá hacer frente inmediatamente al problema.Cuando se trabaja en un medio menos hospitalario, los rasgos de carácter negativostienden a acentuarse, lo cual puede perjudicar seriamente la evaluación.

Si bien el jefe del equipo debe mostrarse comprensivo con las personas que tienenproblemas reales, deberá actuar con rapidez y determinación cuando la consecución deobjetivos personales y las rivalidades amenacen con comprometer el avance de laevaluación. Es indispensable que los miembros del equipo sean solidarios.

10.6.3 Problemas que pueden surgir

La recopilación y el análisis de la información deberían ofrecer respuestas a lascuestiones y preguntas planteadas en el plan de trabajo del evaluador. Sin embargo, amenudo surgen dificultades sobre el terreno, debido a la inexistencia o mala calidad de lainformación, que obligarán al evaluador a estudiar otras opciones.


85

Entre los problemas que pueden surgir figuran:

v El rechazo a reconocer la existencia de información. v La ausencia de información que permita responder a las preguntas. v La falta de información o su mala calidad. v Los problemas de validez o fiabilidad de la información. v La información contradictoria. v El carácter delicado de determinada información difícil de divulgar. v Las pruebas de que se ha cometido algún tipo de fechoría.


La etapa siguiente consiste en transformar la información recopilada en resultados ylecciones aprendidas que serán incorporados en el informe de evaluación. Antes deabandonar el país, el evaluador debe informar de su visita a los públicos estratégicossobre el terreno.

86


87

CAP ÍTUL O 11 : LA PRE PARA CIÓ N DEL INF ORME FIN AL

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• Para qué sirve el informe final de evaluación• Pautas para preparar un buen informe• Los elementos principales de un informe

••••••••••••••••••••••••••••••••••••••••••••••••••••••

El informe de evaluación define el valorañadido obtenido.

l objetivo principal de los informes de evaluación es informar a la dirección de laACDI de los resultados de la evaluación. La información suministrada debe

responder de forma detallada a las expectativas de la Agencia expuestas en el mandatoy el plan de trabajo del evaluador.

Gracias al informe, el lector deberá comprender bien por qué se tomó la decisión derealizar la evaluación, en qué ha consistido, qué resultados se han obtenido y quélecciones se han aprendido para su aplicación futura. Los resultados se presentaránsiguiendo una progresión lógica adecuada y se basarán en hechos y conclusionesextraídas de la información recopilada.

El informe final define el valor añadido que aporta la evaluación. Se dará relieve a losresultados obtenidos en el contexto del sistema de análisis del rendimiento de la ACDIpara fomentar la adopción de medidas, el seguimiento o la creación de conocimientos. Porconsiguiente, los informes de evaluación deberán tratar de tener una orientación prácticay centrada en la consecución de resultados.

El evaluador prepara el informe de evaluación de conformidad con lo establecido en elcontrato. Por lo general, la ACDI no impone un modo de presentación normalizado sinoque más bien fomenta la flexibilidad de forma que el evaluador pueda elaborar su informesegún la estructura que le parezca más adecuada para presentar los resultados.

E

88

Deberá presentarse a la dirección de la ACDI un resumen conciso que exponga losresultados de la evaluación y que será archivado también en la memoria central de laAgencia. Tradicionalmente, se solía presentar una síntesis de la evaluación para cumplireste requisito. En esta Guía, la síntesis de evaluación se integra en el propio informe deevaluación en forma de resumen en lugar de constituir un documento independiente.

En este capítulo se describe en qué consiste la preparación del informe final. Laelaboración de los informes sobre la marcha de la evaluación, que constituyen tambiénun elemento importante, se analizó en la sección 9.3.6 sobre la presentación de informesdel capítulo 9 titulado “La preparación del plan de trabajo”.

11.1 Para qué sirve el informe final

Las evaluaciones informan a la dirección de la ACDI sobre el rendimiento de susinversiones con respecto a las expectativas que se establecieron durante suplanificación. Esta información se utiliza posteriormente para mejorar el proyecto oprograma en cuestión, así como otros proyectos paralelos cuando la situación lo permite.

El rendimiento se mide con relación a los resultados en materia de desarrollo y factoresde éxito enunciados en el “Marco de resultados y factores claves del éxito” a fin degarantizar un cierto grado de coherencia de una evaluación a otra, lo cual contribuye aaumentar la transparencia del proceso y la rendición de cuentas.

Los informes de evaluación desempeñan un papel crucial en el sistema de análisis delrendimiento de la Agencia. Las evaluaciones contribuyen a enriquecer el saber de laACDI e influyen en el proceso de toma de decisiones sobre políticas, estrategias yasignación de recursos.

Los resultados de las evaluaciones se integran en la memoria central de la Agencia. Lasrecomendaciones y lecciones que permiten extraer facilitan la orientación estratégica delas nuevas intervenciones en favor del desarrollo.

En el exterior, los informes sirven para:

v Informar a las ACE y al resto de participantes en el programa evaluado de los nivelesde rendimiento alcanzados.

v Dar a conocer los resultados a los grupos interesados y otros públicos destinatarios.


89

11.2 Los públicos destinatarios

El informe de evaluación se dirige principalmente y ante todo a la dirección de la ACDI.

Entre los otros públicos destinatarios figuran:

v Las organizaciones y beneficiarios locales v Los ministerios del gobierno beneficiario v Las ACE v Las ONG v Los otros organismos donantes

La presentación de los resultados en un informe final reduce el riesgo de que éstos seanmalinterpretados. Los informes se comprenden mejor y son más eficaces cuando seescriben con claridad y concisión, y se explican con precisión los puntos principales.Otro aspecto importante que el evaluador debe tener en cuenta a la hora de preparar suinforme final es el hecho de que los distintos tipos de público no poseen los mismosconocimientos ni necesitan el mismo tipo de información.

Los lectores deberán poder comprender con facilidad el informe final incluso si tienenpocos o ningún conocimiento técnico. Es posible que sea necesario traducir el informe sialgún sector del público no comprende la lengua en la que está escrito.

11.3 Los elementos principales del informe

Si bien el evaluador tiene libertad para decidir cómo organizar y presentar los resultadosen su informe, es conveniente que se informe con el director de evaluación de la ACDIsobre lo que se espera del informe a fin de que la estructura escogida sea la másadecuada para las necesidades.

A continuación se ofrecen algunos consejos sobre los elementos que debe incluir elinforme:

v Es conveniente que el análisis global del rendimiento presentado en el informedestaque los aspectos principales del rendimiento y responda a las cuestionesplanteadas en el marco de evaluación o en los resultados en materia de desarrollo yfactores de éxito.

v Las recomendaciones y lecciones serán más fáciles de aplicar si son concluyentes,

concretas y están redactadas con sencillez. Una lista anexa de las recomendacionesy lecciones aprendidas facilitará la consulta.

90

v Dada la relación intrínseca que puede existir entre las constataciones, las

recomendaciones y las lecciones aprendidas, puede resultar útil presentarlasconjuntamente a fin de que la exposición del razonamiento siga siempre la mismadisposición.

El recuadro 12 presenta una visión general de los principales elementos que debenincluirse en el informe final:

Recuadro 12

Elementos principales del informe

Sección ContenidoResumen Sinopsis del informe resaltando los aspectos más destacados del

rendimiento, las recomendaciones y las principales leccionesaprendidas.

Introducción a) Objetivo del informeb) Alcance de la inversión/evaluación

Perfil de lainversión

Contexto de desarrolloDescripción generalRazón de ser y objetoExpectativasEstructuraLogros/etapas clavesInformación sobre la medición del rendimientoSeguimientoAnálisisRecursos

Perfil de laevaluación

Descripción generalRazones de la evaluaciónAlcance y objetoExpectativasMetodologíaComposición del equipo de evaluación

Constataciones Respuesta del evaluador a las preguntas planteadas al principio,explicando lo que ha aprendido con la evaluación.

Conclusión Análisis general del rendimiento, centrándose en los resultados.Recomendaciones

Enumeración razonada

Lecciones Enumeración razonada de:las lecciones en materia de operacioneslas lecciones en materia de desarrollo

Anexos Lista de acrónimosMandato (evaluación)BibliografíaPersonas consultadas


91

11.4 La redacción del informe

La calidad del informe no depende enabsoluto de su longitud.

La prioridad principal de las evaluaciones es ofrecer resultados sustentables y útiles quereflejen el análisis del rendimiento realizado por el evaluador. El informe final presenta losresultados claves a los que se ha llegado extrayendo las lecciones aprendidas durantelas etapas de recopilación y análisis de la información.

El valor añadido de la evaluación se determina en función de:

v La valoración del rendimiento que realiza el evaluador (esto es, las respuestas a laspreguntas de la evaluación y las conclusiones extraídas).

v Las recomendaciones para efectuar mejoras. v Las lecciones aprendidas con la experiencia.

La formulación de los resultados de una evaluación puede convertirse en un grandesafío. El evaluador debe analizar todas las constataciones realizadas a fin de evaluarel rendimiento de manera justa, objetiva y exacta, y determinar cómo se pueden efectuarmejoras. Los resultados deben extraerse de la información recabada durante laevaluación. Es esencial que el análisis sea exhaustivo y que las conclusiones sejustifiquen plenamente, debiendo explicar con claridad el razonamiento que se haseguido. La utilización de un lenguaje preciso reducirá el riesgo de que se produzcanmalas interpretaciones.

El proceso de transformar los datos sin procesar hasta llegar a las conclusiones debeseguir una progresión lógica. El lector deberá poder establecer una relación entre lasprincipales conclusiones extraídas en la valoración global del rendimiento, lasrecomendaciones y las lecciones aprendidas, y las pruebas establecidas gracias a larecopilación y el análisis de la información. El evaluador deberá hacer referenciasespecíficas a fuentes de información identificables.

Utilizar un marco conceptual o modelo lógico puede resultar útil para garantizar que no sehaya olvidado ningún aspecto y que los elementos que constituyen la base de lasconclusiones extraídas se expliquen con claridad. El marco de evaluación proporciona unexcelente punto de partida para organizar los resultados y permite formular conclusionesque están relacionadas con las cuestiones y preguntas planteadas en la evaluación.

92

Los resultados proceden a menudo de distintas fuentes de información. En tales casos,es preciso que el evaluador utilice sus conocimientos y experiencia para realizarinterpretaciones válidas y precisas de la información. El modo de presentación de lasestadísticas justificativas y su grado de complejidad deberán adaptarse a lasnecesidades del tipo de públicos al que se dirigen.

Tradicionalmente han sido la importancia y la complejidad de la evaluación las quedeterminaban su longitud, variando los informes desde las 35 a las 85 páginas (sin incluirlos anexos). La tendencia actual prefiere los informes más concisos dada la probabilidadde que los públicos claves no dispongan de demasiado tiempo para dedicar a la lecturade largos informes. No tiene demasiado sentido preparar informes voluminosos si nollegan a conocimiento de los públicos a los que se dirigen, no alcanzando por lo tanto susobjetivos. Es conveniente que los evaluadores privilegien las explicaciones sucintas y lainformación concluyente a fin de conservar a sus lectores.

A continuación se analizan con mayor detalle los elementos claves del informe ilustradosen el recuadro 12:

11.4.1 Resumen

El resumen sirve para informar a la alta direccióny enriquecer la memoria central.

El resumen presenta una visión general del informe, analizando todos los aspectosesenciales de la evaluación y haciendo énfasis en los resultados. Este resumencontendrá la información suficiente para ofrecer al lector no iniciado una idea clara dequé es lo que se ha aprendido con la evaluación.

El evaluador utilizará el mismo tono que en el resto del informe. El resumen suele ocuparde seis a diez páginas, debiendo ser las descripciones breves.

Es muy probable que el resumen cuente con más lectores que el informe propiamentedicho. A menudo contribuye a dar un valor permanente a la evaluación, sirviendo comoprincipal punto de referencia en la memoria central de la Agencia. Por consiguiente,deberá prestarse especial atención a su preparación.


93

El resumen debería contener los siguientes elementos:

Introducción

v Propósito del informe. v Alcance de la inversión/evaluación.

Descripción general

v Contexto de desarrollo. v Perfil de la inversión. v Expectativas y metodología.

Aspectos destacados

v “Declaración general” que capte la esencia de la evaluación. v Breve presentación de los resultados.

Recomendaciones

Lecciones aprendidas

Lista de control

√ ¿Adquiere el lector una idea clara del rendimiento de lainversión con respecto a las expectativas?

√ ¿Responde la valoración del rendimiento a las

preguntas planteadas al iniciar la evaluación? √ ¿Son las recomendaciones y lecciones aprendidas

concluyentes y fáciles de comprender?

94

11.4.2 Introducción

En esta sección el evaluador expone el propósito del informe y describe someramente elalcance de la inversión y la evaluación. Si lo desea, también puede expresar suagradecimiento a las personas que hayan contribuido a la realización de la evaluación.Esta sección no debería exceder una página.

11.4.3 Perfil de la inversión

Los marcos para medir el rendimiento constituyen una valiosa fuente de información enmateria de medición del rendimiento.

Contexto de desarrollo

El evaluador resumirá las influencias predominantes que caracterizan el medio en el quese realiza el programa/proyecto.

Puede abordar los siguientes elementos:

v La situación económica local. v Las dimensiones, factores e influencias sociales, culturales, geográficos y políticos

que considere importantes. v La situación de la infraestructura y la organización en el país beneficiario y a nivel

local.

Si así lo desea, el evaluador puede utilizar indicadores de desarrollo claves para describirel contexto de desarrollo (por ej.: la situación económica, la educación, la salud).

Descripción general de la inversión

El evaluador describirá la inversión en función de su contribución al mandato de la ACDIde reducir la pobreza en los países en desarrollo y la consecución de sus objetivosprioritarios temáticos (por ej.: la satisfacción de las necesidades humanas básicas, laigualdad entre los sexos, el medio ambiente). Explicará también las razones por las quese inició la inversión y cuáles son los aspectos prioritarios que se deben abordar.

El evaluador describirá las expectativas con respecto a los logros, efectos yrepercusiones, y presentará la estructura organizativa identificando a las ACE, lossocios y los otros donantes (si los hubiera). Se nombrará también a los principalesgrupos interesados.


95

Logros/Etapas claves

En esta sección el evaluador ofrecerá una visión general de los logros que ya se hanalcanzado. Para ello, puede hacer una presentación cronológica de las etapasclaves/logros.

Información relativa a la medición del rendimiento

Esta sección analizará las constataciones procedentes de:

v Evaluaciones, exámenes operacionales, investigaciones especiales, etc. realizadasanteriormente.

v Actividades de seguimiento en curso.

Se identificarán las lagunas u obstáculos que hayan afectado negativamente alrendimiento.

Financiamiento de la inversión

El evaluador indicará el importe total del financiamiento y cómo se han empleado losfondos hasta la fecha. Cuando proceda, se mencionarán las contribuciones económicasde los socios.

Lista de control

√ ¿Se ha descrito la situación en el país beneficiario, asícomo las principales influencias que se manifiestan?

√ ¿Se ha explicado con claridad la razón de ser de la

inversión, su objeto, los resultados previstos y laestructura del programa?

√ ¿Se ha explicado la relación con el mandato de

reducción de la pobreza y las prioridades temáticas dela Agencia?

√ ¿Se explican las relaciones existentes entre el

programa/proyecto, las prioridades del país beneficiarioy las necesidades locales?

√ ¿Se menciona a los principales grupos interesados?

96

√ ¿Se ofrece al lector una idea clara de lo que se ha

logrado hasta la fecha? √ ¿Se han descrito las actividades permanentes de

medición del rendimiento y las evaluaciones delrendimiento realizadas anteriormente?

√ ¿Se menciona la asignación de recursos?

11.4.4 Perfil de la evaluación

El evaluador debe explicar cómo se ha respondido a las expectativas establecidas en elplan de trabajo de la evaluación y el mandato, el cual se incluirá en la evaluación comoanexo, al igual que el marco de evaluación si el evaluador lo estima oportuno. Deberánidentificarse las modificaciones realizadas.

Descripción general

Esta sección explicará:

v Los factores que influyeron en la decisión de realizar la evaluación. v Los parámetros que determinaron el diseño de la evaluación. v Su alcance y su objeto. v Los resultados previstos.

Las expectativas en cuanto al rendimiento deberán extraerse del marco de la evaluación,prestando especial atención a las cuestiones específicas que son esenciales para laevaluación. El evaluador describirá la participación de los grupos interesados en laevaluación.

Metodología

En esta sección el evaluador describirá cómo se ha realizado la evaluación. Se informaráal lector sobre las preguntas (y subpreguntas) a las que debía responder la evaluación ysobre cómo se ha aplicado la metodología para formular las respuestas. Se presentaránlas actividades (desde la recopilación de la información hasta la elaboración de los


97

resultados) siguiendo un orden lógico claramente definido. Se incluirá un itinerario de loslugares visitados.

Asimismo el evaluador analizará los siguientes aspectos:

v La selección de los indicadores de rendimiento. v Las fuentes de información, que deben guardar relación con cada indicador de

rendimiento. v Los métodos de recopilación de información, precisando: 1) cualquier método de

muestreo que se haya podido utilizar; y 2) los instrumentos de recopilación de lainformación (en forma de anexo al informe).

v El análisis de la información, esto es, el método de análisis utilizado, indicando las

pruebas y convenciones estadísticas que se hayan utilizado.

El evaluador debe ofrecer una descripción exacta y detallada de las limitaciones másproblemáticas derivadas de la metodología empleada. Se identificarán asimismo lasmodificaciones realizadas en la metodología durante la realización de la evaluación.

Equipo de evaluación

En esta sección el evaluador deberá responder a la pregunta: “¿Quiénes formaban elequipo de evaluación y qué es lo que ha hecho cada uno?” Se describirá la composicióndel equipo identificando el papel y responsabilidades principales de cada miembro, al igualque el papel y responsabilidades de los representantes de la ACDI.

Lista de control

√ ¿Se explican claramente las razones por las que se harealizado la evaluación?

√ ¿Se describe el alcance y objeto de la evaluación? √ ¿Se identifican los objetivos estratégicos establecidos

durante la etapa de planificación? √ ¿Se ha descrito la participación de los grupos

interesados en la evaluación?

98

√ ¿Se explica con claridad al lector cómo se aplicó lametodología para elaborar los resultados de laevaluación?

√ ¿Ofrece la metodología la base lógica necesaria para

responder a las preguntas de la evaluación? √ ¿Responde el perfil del equipo de evaluación a las

necesidades?

11.4.5 Constataciones

Afirmaciones basadas en lainformación recopilada.

En esta sección el evaluador resume el rendimiento de la inversión respondiendo a laspreguntas claves de la evaluación o describiendo los resultados obtenidos en función delos resultados en materia de desarrollo y factores de éxito. El lector deberá ser capaz deestablecer una relación entre los resultados y las observaciones realizadas a partir de lainformación recopilada y analizada. El evaluador hará referencias específicas a fuentesde información identificables.

La sección sobre las constataciones de la evaluación suele ser la más larga del informe.


99

Lista de control

√ ¿Se han resumido exhaustivamente las constataciones,destacando los puntos que merecen ser resaltados?

√ ¿Se ofrece una explicación lógica de las

constataciones, estableciendo una relación con lasobservaciones a fin de confirmar la validez de losresultados?

√ ¿Se presta atención especial a los resultados en

materia de desarrollo y los factores de éxito queguardan relación con la inversión?

11.4.6 Conclusión

En esta sección, el evaluador resumirá el rendimiento de la inversión con relación a lasexpectativas establecidas durante su planificación. Uno de los criterios claves a la horade seleccionar qué resultados deben destacarse será la importancia de los mismos.

Lista de control

√ ¿Se ofrece al lector una idea general del rendimiento dela inversión, destacando los elementos mássignificativos?

11.4.7 Recomendaciones

Las recomendaciones son “afirmaciones individuales derivadas de las observacionesrealizadas, que indican qué debería hacerse en el futuro y quién debería hacerlo”. Enesta sección el evaluador propone mejoras o identifica puntos que deberían someterse aseguimiento.

El evaluador debe explicar en qué se ha basado para formular las recomendaciones encuestión, estableciendo una relación con la información recopilada durante la evaluación.Las recomendaciones deberán ser prescriptivas (esto es, “la ACDI debería…”).

100

La aplicación de las recomendaciones puede verse facilitada si éstas se agrupan porpolíticas, programas y proyectos.

Lista de control

√ ¿Están las recomendaciones sólidamentedocumentadas, y son detalladas y pertinentes teniendoen cuenta las observaciones realizadas?

√ ¿Facilitará la aplicación de las recomendaciones la

forma en que han sido presentadas?

11.4.8 Lecciones

Aprender a formular un principio de aplicación generala partir de lo que se ha aprendido con una

evaluación específica.

Una lección se define como “una hipótesis general basada en las conclusiones de unaevaluación específica que establece o apoya un principio general y que en teoría podríaser útil y beneficiosa en otras situaciones”.

Las observaciones realizadas por el evaluador pueden facilitar la elaboración de nuevasorientaciones, estrategias y prácticas. Al formular las lecciones aprendidas, el evaluadordeberá adoptar una perspectiva que vaya más allá de la evaluación en cuestión, y utilizarsus conocimientos y experiencia a fin de que la información adquirida pueda servir parafines generales, aportando de esta manera un valor añadido a la Agencia.

Es preferible que el evaluador elabore un conjunto limitado de lecciones aprendidas,centrándose en aquellas con más posibilidades de ser aplicadas eficazmente en otroscampos de actividad de la ACDI, en lugar de formular múltiples lecciones que sólo seránútiles en determinadas circunstancias y que retoman las constataciones de la evaluación.El número de lecciones aprendidas que formulan los evaluadores suele limitarse a unmáximo de seis.


101

Existen dos tipos de lecciones:

v Las lecciones en materia de desarrollo, que se proponen obtener resultados en elárea del desarrollo, mejorar las prácticas de ayuda y facilitar la consecución de losobjetivos prioritarios de intervención de la ACDI.

v Las lecciones en materia de operaciones, relativas a la gestión y la administración,

cuyo objetivo es establecer un clima de trabajo favorable y buenas prácticaslaborales. Estas lecciones pueden relacionarse con la medida del rendimiento, lacoordinación de las actividades de los donantes, las necesidades en materia derecursos, la formación y coordinación de equipos, las prácticas de adquisición, lossistemas de ejecución y presentación de informes, la logística, etc.

Lista de control

√ ¿Están las recomendaciones sólidamentedocumentadas, y son detalladas y pertinentes teniendoen cuenta las observaciones realizadas?

√ ¿Facilitará la aplicación de las recomendaciones la

forma en que han sido presentadas?

11.4.9 Anexos

Por regla general, los anexos, si bien no son indispensables, contribuyen a ampliar,ilustrar o enriquecer el informe. Se presenta como anexo la información que puedainterrumpir la circulación y equilibrio del informe, o distraer o desconcentrar al lector.

Por lo general los anexos incluyen:

v La lista de acrónimos v El mandato (de la evaluación) v La bibliografía de fuentes (informes, publicaciones) v La lista de personas consultadas

Cuando los anexos son especialmente largos o muy técnicos, a menudo se publicancomo documento independiente.

102

11.5 La aprobación

El evaluador debe presentar al director de evaluación de la ACDI una primera versión desu informe final para su aprobación. Por lo general se revisa esta versión a fin degarantizar que responda a las necesidades de la Agencia. El director de evaluación de laACDI debe aprobar el informe antes de que se haga pública la información que contiene.


103

CAPÍTULO 12: LA COMUNICACIÓN DE LOS RESULTADOS

••••••••••••••••••••••••••••••••••••••••••••••••••••••

En este capítulo:

• Invertir en el saber• Buenas comunicaciones• Saber aprovechar los resultados

••••••••••••••••••••••••••••••••••••••••••••••••••••••

Cuanto más se dan a conocer los resultados, mayor es su credibilidad y mayor es tambiénla presión ejercida para que se apliquen las

recomendaciones.

l invertir en las evaluaciones, la ACDI crea la posibilidad de mejorar su rendimientoen materia de desarrollo y operaciones. Las evaluaciones no son iniciativas

puntuales y aisladas, sino que pueden tener utilidad en un contexto general, aportandoventajas a largo plazo a la Agencia en el área de las operaciones.

Los conocimientos adquiridos ayudan a la dirección a tomar decisiones informadas y aencontrar soluciones a los problemas que se presentan. Las enseñanzas que nosaportan las evaluaciones pueden tener un valor estratégico a la hora de establecer laspolíticas, estrategias y prioridades de la ACDI. Los resultados de las evaluacionestambién pueden beneficiar a los principales grupos interesados (por ej.: los beneficiarioslocales, los organismos de ejecución, los ministerios del gobierno beneficiario, etc.).

Para determinar el valor de una evaluación, es importante comprobar para qué sirven losresultados y lecciones. En este capítulo se describe el papel que pueden desempeñar lasenseñanzas ofrecidas por la experiencia y las formas para aprovechar al máximo losbeneficios que reportan las evaluaciones.

A

104

12.1 Invertir en el saber

Una oportunidad de aprender para la ACDI.

La decisión de realizar la evaluación representa, efectivamente, una inversión en elsaber. La ACDI es una organización en continuo aprendizaje. Las evaluacionesenriquecen el caudal de conocimientos de la Agencia, ofreciéndole una oportunidad deaprender que puede ayudarle a mejorar su capacidad de éxito en su ámbito de actividad.

Las evaluaciones constituyen una eficaz herramienta de análisis e información:

v Identifican qué resultados pueden atribuirse a la inversión y cómo contribuyó la ACDIa dichos resultados.

v Suministran información sobre cuestiones específicas de rendimiento, por ejemplo, si

se obtuvieron o no los resultados previstos, y las razones por las que el programa oproyecto evaluado ha sido un éxito o un fracaso.

Las evaluaciones ayudan a la Agencia a: 1) formular políticas y estrategias de desarrolloeficaces; 2) extraer lecciones útiles de la experiencia que benefician a todos lossectores de la Agencia; 3) confirmar hipótesis; y 4) encontrar nuevas soluciones a losproblemas en materia de desarrollo.

Las lecciones constituyen el principal instrumento de aplicación sistemática de losresultados de la evaluación a otras actividades e iniciativas de desarrollo. Puedenreportar beneficios ofreciendo respuestas a toda una serie de cuestiones relativas, porejemplo, a: 1) los factores que influyen en la sostenibilidad, la relación costo-eficacia y lautilidad; 2) lo que dio lugar a resultados o repercusiones imprevistas; y 3) la mejor manerade satisfacer las necesidades locales. Los responsables de la planificación ypreparación de una nueva inversión deberían familiarizarse con las lecciones aprendidasde la experiencia.


105

12.2 Buenas comunicaciones

¿Cómo se puede sacar el máximo provecho de la evaluación? Para aprovechar todas lasventajas posibles de los resultados y lecciones aprendidas con la evaluación, esindispensable comunicar estratégicamente los conocimientos adquiridos a fin de facilitarel proceso de toma de decisiones.

El aprendizaje se produce cuando la información sobre el rendimiento permite a ladirección tomar decisiones bien informadas en materia de desarrollo y de operaciones.En el nivel apropiado, esta asimilación de conocimientos puede contribuir al aprendizajede la Agencia y a la mejora de las prácticas.

¿Cómo elaborar una buena estrategia de presentación y comunicación de los resultados?No existe una respuesta única a esta pregunta. Si bien ciertas pautas generales puedenresultar útiles, la estrategia debe adaptarse a cada situación concreta.

El primer paso para establecer una estrategia suele consistir en responder a algunaspreguntas fundamentales: ¿Quiénes son los distintos tipos de público destinatario? ¿Quéinformación debería conocer cada público? ¿Cuál es la mejor manera de llegar a cadapúblico? ¿Qué información debe comunicarse? ¿A qué debe prestársele atenciónespecial?

A continuación se ofrecen algunas pautas para mejorar la eficacia de lascomunicaciones:

v Es preciso dar a conocer los resultados de la evaluación a los grupos interesados(beneficiarios locales, organismos de ejecución, ministerios del gobierno beneficiario,etc.) que puedan beneficiarse de las lecciones aprendidas.

v Antes de hacer pública determinada información, hay que preguntarse si será

beneficioso para los programas/países de la ACDI teniendo en cuenta laspreocupaciones sociales y políticas de sus responsables. En general, la difusión denotas informativas y resúmenes no oficiales no suele plantear problemas, mientrasque la decisión de divulgar el informe de la evaluación propiamente dicho deberásometerse a la aprobación de la ACDI, analizándose cada caso particular porseparado.

v La información deberá presentarse de tal forma que se facilite su comprensión y

aplicación. Para ello, es posible que deban tenerse en cuenta las costumbres ypreferencias del público destinatario.

v Si bien es indispensable dar a conocer los resultados de la evaluación a los grupos

interesados y otros públicos, en ocasiones puede ser recomendable adaptar losinstrumentos de comunicación a los distintos públicos.

106

v Deberá mantenerse informados a los públicos afectados de las nuevasconstataciones y de la estrategia seguida a lo largo de la evaluación ya que puedeanimar a los grupos interesados a aumentar su participación.

12.3 Aprovechar los resultados

Mantener una actitud estratégica y selectiva

No todas las recomendaciones de la evaluacióndeben aplicarse. La dirección de la ACDI puedeadoptar un punto de vista global y estratégico

a fin de determinar qué recomendacionespueden ser aplicadas pragmáticamente.

En el caso de las evaluaciones intermedias y de final de etapa, es posible introducir en elproyecto o programa las medidas correctivas que se estimen necesarias. Si se trata deuna evaluación de fin de proyecto, serán otros proyectos en curso o futuros los quepuedan beneficiarse de sus resultados.

La oficina geográfica tiene la responsabilidad final de garantizar que lasrecomendaciones formuladas en una evaluación intermedia y de final de etapa que hayansido aprobadas sean integradas en las actividades mediatas de planificación y ejecucióndel proyecto en cuestión. Esta medida sirve para garantizar la aplicación de lasrecomendaciones en caso de que el director de evaluación sea sustituido antes de quefinalice el proyecto o programa.

No es necesario, sin embargo, aplicar todas las recomendaciones de la evaluación. Elevaluador formula sus recomendaciones a partir de lo que ha aprendido durante laevaluación. Por su parte, el director de evaluación puede adoptar un punto de vista globaly estratégico en el que puede influir información procedente de otras fuentes ylimitaciones relativas a la administración o viabilidad. Es importante, sin embargo, noperder de vista la necesidad de tomar medidas que resulten necesarias, por muy difícilesque sean.

Por otra parte, puede ocurrir también que la dirección de la ACDI, por distintas razones,decida abandonar una evaluación. Es posible, por ejemplo, que la evaluación o susresultados no inspiren confianza, que las recomendaciones no se adapten a lasprácticas de trabajo o que entren en juego consideraciones de carácter estratégico. Enalgunos casos, estas situaciones escapan por completo al control de los evaluadores.


107

Los siguientes factores pueden perjudicar la aplicación de las recomendacionesformuladas en una evaluación:

v Una mala comunicación entre el evaluador y la ACDI puede hacer que lasrecomendaciones sean inaceptables.

v La metodología de la evaluación estaba mal concebida y no se adoptaron las medidas

correctivas necesarias durante el transcurso de la evaluación. Como consecuencia,los resultados de la evaluación pueden no tener ningún valor práctico.

v Las recomendaciones no son ni pragmáticas ni realistas teniendo en cuenta las

cantidades que sería necesario invertir para su aplicación eficaz. v Se han producido cambios drásticos en la situación que despojan a las

recomendaciones de su pertinencia. v Debido a un desacuerdo con los participantes, los grupos interesados no han

demostrado un nivel suficiente de compromiso.

12.4 Las opciones para difundir los resultados

Independientemente del tipo de evaluación, es importante divulgar adecuadamente losresultados, ya que de esa manera todos los sectores de la Agencia pueden beneficiarseinmediatamente o más adelante en el marco de sus propios proyectos de desarrollo.

Por lo general, es el director de evaluación de la ACDI quien determina qué tipo deinformación será comunicada a los grupos interesados (ACE, gobiernos beneficiarios,grupos interesados locales, otros donantes, etc.). Para algunos tipos de público, puedeestimarse suficiente la presentación de un resumen.

En lo que a la Agencia respecta, la memoria central es el instrumento principal utilizadopara recopilar y distribuir los resultados de la evaluación. En el caso de las evaluacionestemáticas y otros análisis de rendimiento de carácter general, se puede consultar el textoíntegro del informe de evaluación a través de la memoria. Todas las evaluacionesdeberán incluir un resumen o síntesis que será archivado posteriormente en la memoriacentral de la Agencia.

Otros mecanismos para divulgar la información son los siguientes:

v Publicar un artículo en el Boletín informativo sobre el rendimiento de la DGAR. v Distribuir el informe de evaluación (o un resumen) a las oficinas geográficas, centros

de responsabilidad de la Agencia interesados, las ACE y/u otros grupos interesados.

108

v Catalogar el informe de evaluación en los recursos documentales del Centro deInformación sobre Desarrollo Internacional de la Agencia.

v Publicar un resumen bilingüe en el sitio web de la ACDI. v El inventario de evaluaciones del Comité de Ayuda al Desarrollo. v Los seminarios, talleres, sesiones de estudio entre colegas y reuniones personales,

que ofrecen a menudo la oportunidad de debatir las lecciones aprendidas.


109

CAPÍTULO 13: LAS RESPUESTAS A LAS PREGUNTAS

MÁS FRECUENTES

13.1 Generalidades

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué espera obtener la ACDI al realizar una evaluación?

R: Información pertinente, útil y veraz que contribuya a mejorar la labor de laACDI facilitando la toma de decisiones bien informadas y la resolución de losproblemas.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué espera la ACDI de los evaluadores?

R: Un resultado profesional que ofrezca un valor añadido a la Agencia y pongade manifiesto su competencia y conocimientos, así como su integridad,imparcialidad e independencia.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cómo se llevan a cabo las evaluaciones?

R: La “Guía de evaluación de la ACDI” describe la estrategia de la Agencia pararealizar evaluaciones y propone pautas para responder a las expectativasde la dirección.

El evaluador debe garantizar que su evaluación se mantenga en todomomento orientada hacia la consecución de sus objetivos estratégicos,privilegiando la sencillez a fin de reducir al mínimo el consumo del tiempo ylos escasos recursos disponibles.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Quién realiza las evaluaciones de la ACDI?

R: Por lo general, la ACDI subcontrata las evaluaciones a un profesional,compañía u organización externa. En algunos casos se considera preferibleformar un equipo de evaluación reuniendo a representantes de distintascompañías u organizaciones.

110

Con relación a la organización de la evaluación, suelen aplicarse lassiguientes reglas:

v Para las evaluaciones complejas o de gran envergadura, a menudo secrea un comité asesor encargado de establecer la orientación generalde la evaluación. En esta categoría se incluirían, por ejemplo, lasevaluaciones en las que participan varios donantes y las grandesevaluaciones temáticas. En estos casos, uno de los miembros del comitéasesor será nombrado director de evaluación para la ACDI, actuando almismo tiempo como persona de contacto con el evaluador.

v Para el resto de las evaluaciones se suele asignar a un director de

evaluación de la ACDI la responsabilidad de representar a la Agencia. Eneste caso también, la persona actuará de enlace con el evaluador.

v El evaluador es responsable de dirigir las actividades cotidianas y

producir los documentos exigidos de conformidad con los términos delcontrato.

Se espera que todas las evaluaciones incluyan la participación directa y útilde los grupos interesados.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cuáles son las etapas de la estrategia adoptada por la ACDI para realizar

las evaluaciones?

R: Por lo general, las evaluaciones conllevan las siguientes etapas (la personaresponsable aparece entre paréntesis):

v Decisión de realizar la evaluación (dirección de la ACDI) v Preparación del mandato (director de evaluación de la ACDI) v Selección del evaluador (director de evaluación de la ACDI) v Preparación del plan de trabajo (evaluador) v Recopilación y análisis de la información (evaluador) v Preparación del informe de evaluación (evaluador) v Comunicación de los resultados (director de evaluación de la ACDI)

––––––––––––––––––––––––––––––––––––––––––––––––


111

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿De qué manera influye la política de gestión basada en los resultados

(GBR) en las evaluaciones?

R: La GBR actúa como marco general de gestión de la Agencia para producirresultados estratégicos y mejorar la transparencia y la rendición de cuentasen el marco de las actividades de la ACDI en materia de desarrollo yoperaciones. Las políticas, principios y prácticas de la GBR sirven paraorientar la realización de las evaluaciones y están integradas en losprocesos, métodos y técnicas propios de la Agencia.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué papel desempeña el “Marco de resultados y factores claves de éxito”

en la realización de las evaluaciones?

R: El Marco proporciona a la Agencia una orientación general para definir quéconstituye un logro y cuáles son los elementos que deben tenerse encuenta a la hora de medir el rendimiento. Al establecer una correspondenciaestratégica entre los puntos que deben evaluarse y las expectativas de laACDI con respecto a los resultados, se promueve la GBR y se crea al mismotiempo una buena base informativa destinada a facilitar la toma dedecisiones y la resolución de problemas.

El marco es una herramienta de trabajo que conviene utilizar de formaconstante, sistemática y estratégica en las etapas de diseño, planificación,ejecución y preparación de los informes de las actividades de valoración delrendimiento. Se espera que los evaluadores se concentren en la producciónde resultados inspirándose para ello en los resultados de desarrollo yfactores de éxito del marco.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué debe hacerse para garantizar que una inversión sea evaluable en su

etapa de planificación y diseño?

P: Los autores de la “Guía de evaluación de la ACDI” proponen varias formaspara desarrollar la capacidad de evaluación en una inversión.

De acuerdo con sus sugerencias, es importante:

v Mantener una actitud realista sobre lo que se puede lograr y describirlas expectativas relativas a los resultados de manera sencilla y concisa.

v Establecer las relaciones existentes con el mandato y las prioridades de

la ACDI, y los temas multidisciplinarios.

112

v Reducir al mínimo el número de indicadores del rendimiento a fin de evitarque la medición sea demasiado compleja.

v Establecer desde el principio la obligación de informar sobre las

lecciones aprendidas durante la realización de la evaluación. v Garantizar que se establezcan fuentes de información básicas para las

necesidades de la medición del rendimiento.

––––––––––––––––––––––––––––––––––––––––––––––––13.2 La planificación, el diseño y la ejecución

––––––––––––––––––––––––––––––––––––––––––––––––

P: ¿Por qué son importantes las etapas de planificación y diseño?

R: En la ACDI, el rendimiento se mide comparándolo con las expectativasestablecidas en la etapa de planificación. Por consiguiente, es importanteexplicar con claridad en las etapas de planificación y diseño qué resultadosse espera obtener y qué camino se utilizará para conseguir dichosresultados.

La planificación y el diseño desempeñan un papel fundamental en lasevaluaciones:

v La realización de las evaluaciones resulta más fácil cuando se crea lacapacidad de evaluación en la propia inversión. Los marcos derendimiento preparados para las inversiones de la ACDI constituyen laprincipal fuente de referencia para los evaluadores. En ellos sedescriben los vínculos con el mandato y las prioridades de la ACDI, losresultados previstos, el alcance, etc.

v El plan de trabajo que prepara el evaluador, tras ponerse de acuerdo

con el director de evaluación de la ACDI, establece claramente cómo serealizará la evaluación, quién es responsable de qué y cuáles son losdocumentos exigidos y las etapas a superar, así como los plazos paracompletar las distintas actividades de la evaluación.

––––––––––––––––––––––––––––––––––––––––––––––––


113

P: ¿En qué consiste el proceso de planificación de la evaluación en la ACDI?

R: La planificación de la evaluación es un proceso que se componeesencialmente de dos etapas, siendo el mandato y el plan de trabajo de laevaluación los dos documentos de planificación principales:

v Por lo general, es el director de evaluación de la ACDI quien prepara elmandato, identificando la visión inicial de la dirección, sus necesidades yexpectativas, así como los parámetros generales de la evaluación y laestrategia.

v El evaluador prepara un plan de trabajo en el que explica detenidamente

qué es lo que se puede hacer y establece la base para poder iniciar laevaluación propiamente dicha.

Cualquier desviación significativa del plan de trabajo durante el transcursode la evaluación deberá comunicarse al director de evaluación de la ACDI.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cómo se prepara el mandato?

R: La “Guía de evaluación de la ACDI” propone varias pautas para preparar elmandato de la evaluación.

El director de evaluación de la ACDI deberá abordar los siguienteselementos:

v Perfil de la inversión (descripción del contexto y la razón de ser) v Razones por la que se realiza la evaluación v Alcance y objeto v Participación de los grupos interesados v Proceso de evaluación v Documentos a producir v Cualidades del evaluador v Previsiones presupuestarias

––––––––––––––––––––––––––––––––––––––––––––––––

114

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cómo se prepara el plan de trabajo?

R: La “Guía de evaluación de la ACDI” propone varias pautas para preparar elplan de trabajo de la evaluación.

El evaluador deberá abordar los siguientes elementos:

v Descripción general de la inversión v Expectativas con respecto a la evaluación v Papeles y responsabilidades v Metodología v Marco de evaluación v Informes v Calendario de trabajo

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué función desempeña el marco de evaluación?

R: El marco de evaluación sistematiza en un formato de matriz fácil de utilizar laestrategia adoptada por el evaluador para realizar la evaluación. Determinacómo se llevará a cabo la evaluación presentando en orden jerárquico lospuntos que deberá tratar y las preguntas que deberá responder elevaluador, estableciendo el fundamento lógico que servirá de base a lasrespuestas. Para cada una de las preguntas se identifican los indicadoresde rendimiento, las fuentes de información, los métodos de recopilación deinformación y la base de análisis que se utilizará. Las preguntas a las quedebe responder la evaluación deberán guardar una relación directa con losresultados en materia de desarrollo y factores de éxito enunciados en el“Marco de resultados y factores claves de éxito” de la Agencia.

––––––––––––––––––––––––––––––––––––––––––––––––


115

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué fuentes de información puede consultar el evaluador?

R: El evaluador puede consultar, entre otras, las siguientes fuentes deinformación:

Análisis de obras y estudios de expedientes

v Documentos de planificaciónv Estudios de viabilidadv Informes preliminaresv Informes de progresov Correspondenciav Publicacionesv Memoria centralv Evaluaciones anterioresv Obrasv Estudios y análisisv Lecciones aprendidasv Planes de gestiónv Marcos de rendimientov Internet

Consultas

v Personal de la ACDI en la administración central y sobre el terrenov Beneficiariosv Autoridades localesv Personal de los organismos de ejecuciónv Personal del gobierno del país beneficiariov Especialistas sectorialesv Otros donantesv Organizaciones participantes

Observaciones sobre el terreno

v Emplazamientos del proyectov Instalaciones sobre el terreno

––––––––––––––––––––––––––––––––––––––––––––––––

116

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué métodos de recopilación de información se pueden utilizar?

R: Los métodos siguientes:

v Análisis de obras especializadas y estudio de expedientes v Consultas (por ej.: reuniones personales o entrevistas telefónicas,

entrevistas en grupo, grupos de trabajo, talleres) v Observaciones sobre el terreno v Encuestas v Consulta a especialistas v Estudios de casos

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Qué técnicas de análisis suelen utilizarse?

R: El documento “Métodos de evaluación de programas: medida y atribución delos resultados de los programas” (Oficina del Contralor General, enero de1991) describe las técnicas que suelen utilizarse con mayor frecuencia enlas evaluaciones:

v El análisis estadístico v El análisis no estadístico v El uso de modelos v El análisis de costo-beneficio y el análisis de costo-eficacia

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Por qué es importante contar con la participación de los grupos

interesados?

R: En su “Marco de resultados y factores claves de éxito”, la ACDI consideraprimordial la participación directa de los socios y beneficiarios locales en eldiseño, ejecución, control y evaluación de los programas o proyectos. Laexperiencia ha demostrado que los programas y proyectos que cuenta conla participación plena y entera de los grupos interesados dan mejoresresultados.


117

Entre las ventajas que reporta la participación de los grupos interesadosdestacan: v Una orientación más pragmática. v El perfeccionamiento profesional, dotando a los participantes con los

medios para su propia habilitación. v Un mayor compromiso de los interesados, lo que favorece la

sostenibilidad del programa o del proyecto a largo plazo. El evaluador deberá abordar la participación de los grupos interesadosdesde dos perspectivas: v Debe informar sobre la importancia de la participación de los grupos

interesados en el propio programa y evaluar su utilidad. v Debe asegurarse que los interesados participen directamente en la

evaluación.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cuál es la mejor forma de hacer participar a los grupos interesados?

R: Hacer participar a los grupos interesados es un proceso que suele consistiren cuatro etapas:

v En primer lugar, el director de evaluación de la ACDI determina quiénpodría formar parte de los grupos interesados y lo evalúa. Puedetratarse de beneficiarios, ministerios del gobierno beneficiario,organizaciones comunitarias locales, ONG, otros donantes y la prensa.Se evaluará estratégicamente a cada parte interesada a fin deestablecer las relaciones entre los grupos, sus intereses y lacontribución que puede hacer a la evaluación.

v A continuación, el director de evaluación de la ACDI informa a los grupos

interesados en cuestión que va a realizarse una evaluación, lesdescribe sus parámetros generales, les da el nombre del evaluador einicia el diálogo con ellos. Deberán respetarse las reglas habituales querigen las relaciones con los grupos interesados en los paísesbeneficiarios.

v Seguidamente, el evaluador habla de la evaluación a los grupos

interesados, les pregunta si desean participar y debate con ellos suposible participación.

118

v Por último, el evaluador integra la estrategia de participación de losgrupos interesados en su plan de trabajo. Se informa a los gruposinteresados que deban desempeñar un verdadero papel en laevaluación de las expectativas y la marcha de la evaluación.

––––––––––––––––––––––––––––––––––––––––––––––––13.3 Los informes y la comunicación de los resultados

––––––––––––––––––––––––––––––––––––––––––––––––

P: ¿Qué tipo de informes debe presentar el evaluador a la dirección de laACDI?

R: El evaluador debe presentar, por lo general, dos tipos de informe:

v Informes periódicos sobre la marcha de la evaluación a la dirección de laACDI y a los grupos interesados.

v Un informe de evaluación final.

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Por qué es importante presentar informes periódicos?

R: Informar regularmente a la Agencia permite comprobar si la evaluación serealiza de acuerdo con las expectativas y presupuesto establecido. Losinformes a los grupos interesados les mantiene al corriente de la situación,ofreciéndoles la oportunidad de dar a conocer su punto de vista ycontribuye a fomentar su interés, haciéndoles sentirse más afectados por elprograma o proyecto en cuestión.

Las directrices de la DGAR en materia de GBR establecen que se realice uncontrol interno constante de las actividades. Al presentar informesperiódicos, el evaluador proporciona al director de evaluación y a los gruposinteresados información en “tiempo real” sobre la utilización de los recursos,el alcance de las intervenciones y el grado de consecución de losresultados.

––––––––––––––––––––––––––––––––––––––––––––––––


119

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cómo se prepara un resumen o síntesis del informe de evaluación?

R: La “Guía de evaluación de la ACDI” presenta varias pautas sobre cómopreparar el resumen del informe de evaluación final.

El resumen debería incluir los siguientes elementos:

v Introducción v Descripción general de la inversión/evaluación v Aspectos más destacados en cuanto al rendimiento v Recomendaciones v Lecciones

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cómo se prepara un informe final de evaluación?

R: La “Guía de evaluación de la ACDI” sugiere que se incluyan los siguienteselementos en el informe final de evaluación:

Resumen Sinopsis del informeIntroducción Objetivo del informe

Alcance de la inversión/evaluaciónPerfil de la inversión Contexto de desarrollo

Descripción general• Razón de ser y objeto• Expectativas• Organización/estructuraLogros/etapas clavesInformación sobre la medición del rendimiento• Seguimiento• AnálisisRecursos

Perfil de la evaluación Descripción general• Razones de la evaluación• Alcance y objeto• ExpectativasMetodología

120

Composición del equipo de evaluaciónConstataciones Respuesta a las preguntas planteadasConclusión Análisis general del rendimiento Recomendaciones EnumeraciónLecciones • Lecciones en materia de operaciones

• Lecciones en materia de desarrolloAnexos Lista de acrónimos

Mandato (evaluación)BibliografíaPersonas consultadas

––––––––––––––––––––––––––––––––––––––––––––––––P: ¿Cómo se comunican los resultados de la evaluación?

R: Por lo general es el director de evaluación de la ACDI quien determina laestrategia de comunicación de los resultados y difusión de la información.En el caso de las evaluaciones intermedias y de final de etapa, es posibleintroducir en el proyecto o programa las medidas correctivas que se estimennecesarias. Si se trata de una evaluación de fin de proyecto, serán otrosproyectos en curso o futuros los que puedan beneficiarse de susresultados.

En lo que a la Agencia respecta, la memoria central es el instrumentoprincipal de difusión de los resultados de evaluación y de integración de laslecciones aprendidas en las etapas de planificación, diseño y ejecución delos programas y proyectos. Todas las evaluaciones deberán incluir unresumen que será archivado posteriormente en la memoria central de laAgencia.

Existen otras herramientas para comunicar los resultados:

v Publicar un artículo en el Boletín informativo sobre el rendimiento de laDGAR.

v Distribuir el informe de evaluación (o un resumen) a las oficinas

geográficas, centros de responsabilidad de la Agencia interesados, lasACE y/u otros grupos interesados.

v Catalogar el informe de evaluación en los recursos documentales del

Centro de Información sobre Desarrollo Internacional de la Agencia. v Publicar un resumen bilingüe en el sitio web de la ACDI.


121

v El inventario de evaluaciones del Comité de Ayuda al Desarrollo. Los seminarios, talleres, sesiones de estudio entre colegas y reunionespersonales, que ofrecen a menudo la oportunidad de debatir las leccionesaprendidas.

Cómo obtener más información

Si tiene cualquier pregunta sobre cómo realizaruna evaluación o elaborar un informe de rendimiento,

no dude en ponerse en contacto con la DGAR.Será un placer responderle.

Dirección de la EvaluaciónDirección General de Análisis del Rendimiento

Agencia Canadiense de Desarrollo Internacional

Documents

Guía de Evaluación de la ACDI