Monitoreo, evaluación y medición de impacto en la agenda de inversión social ZIGLA 2011

8/8/2019 Monitoreo, evaluacin y medicin de impacto en la agenda de inversin social ZIGLA 2011

1/19

Pgina 1


2/19

Pgina 2

INDICE

01. M&E EN LA AGENDA DE INVERSIN SOCIAL 3

02. TENDENCIAS REGIONALES EN M&E 4

03. TENDENCIAS LOCALES EN M&E: ARGENTINA, BRASIL, PER y EEUU. 7

3.1. ARGENTINA: EL ROL EMPRESARIO EN LA AGENDA DE INVERSIN SOCIAL 7

3.2. INVERSIN SOCIAL EN BRASIL: SER ESTRATGICO ES UNA ELECCIN 8

3.3. SISTEMATIZACIN Y EVALUABILIDAD EN PER 10

3.4. EEUU: NUEVOS PARADIGMAS EN LA FILOSOFA DEL DONANTE 11

04. A LA LUZ DE LOS ARGUMENTOS 13

05. CONCLUSIONES: DE CARA A LAS OPORTUNIDADES 14

APNDICE: RECOMENDACIONES PARA LOGRAR UNA ESTRATEGIA DE M&E 16

CITAS Y REFERENCIAS 18

Publicacin elaborada y coordinada por:

Agustina BudaniMaximiliano Luft

Con la colaboracin de:

Elenice Tamashiro, Jorge Cabrejos y Martin ManvilleEdicin general:Carmen Aranguren

ZIGLA CONSULTORES SE ESPECIALIZA ENGESTIN ESTRATGICA DEL CONOCIMIENTO EN AMRICA LATINA.

A travs de su staff y red de consultores, ZIGLA cuenta con ms de 10 aosde experiencia en el desarrollo de productos y servicios para Organismos de

Cooperacin Internacional, Empresas, Gobiernos, Fundaciones y

Organizaciones sociales.


3/19

Pgina 3

01. M&E EN LA AGENDA DE INVERSIN SOCIAL

En los ltimos aos Amrica Latina dio pasos claros hacia la construccin deuna agenda de Inversin Social. Impulsada por fundaciones y organizacionessociales, y luego dinamizada por los organismos de cooperacin

internacional y las empresas, la participacin institucional organizada paraenfrentar problemas sociales fue redefiniendo el alcance de la filantropatradicional hasta moldear un enfoque ms acorde a los tiempos que corren.

Estrategia, innovacin, impacto y sustentabilidad son algunas de las clavesconceptuales de esta agenda. Se trata, en pocas palabras, de un papel msactivo y sostenido para aquellos que tienen buenas intenciones y asumen elcompromiso de movilizar recursos para dar respuesta a problemas sociales.

La agenda est en construccin. Sobresalen los innovadores, mientras

acompaan los moderados, como siempre. Hay patrones comunes ydesniveles; vanguardias y retaguardias, y un variopinto escenario condiferentes niveles de riesgo para quienes toman decisiones. Tambin hayuna distancia an muy grande entre la contundencia de los acuerdosdiscursivos (que fluye enpapers, seminarios y congresos) y los resultados desu implementacin, que avanzan pacientemente por goteo.

Es cierto que en la ltima dcada los temas tradicionales como la pobreza, laeducacin y la salud cedieron protagonismo en la agenda filantrpica

regional, para dar lugar a nuevas preocupaciones como la gobernabilidaddemocrtica, el medioambiente y el desarrollo econmico (ZIGLA y AVINA 2010).Pero lo ms interesante de esta incipiente agenda regional de InversinSocial no tiene tanto que ver con los qu sino con los cmo. Es decir, conun enfoque ms profundo, sistmico y programtico que contempla nuevasherramientas e instancias de planificacin para atacar las causas de losproblemas sociales ms que sus consecuencias.

En este contexto todos coinciden en que ya no alcanza con tener buenasintenciones, sino que es necesario desarrollar proyectos capaces de generar

cambios sociales significativos, medibles y replicables. Y es justamente apartir de ese consenso que se instala definitivamente en la agenda deinversin social la necesidad de incorporar estrategias de monitoreo,evaluacin y medicin de impacto en programas sociales.

Qu lugar ocupa el Monitoreo y Evaluacin (M&E) en la agenda deinversin social latinoamericana? Cules son las principales tendencias?Cundo y por qu vale la pena medir impacto? Cules son los argumentoscomunes de quienes no lo hacen y por qu estos argumentos brindan unaexcelente oportunidad? De todo esto se trata este artculo.

Todos coinciden en

que ya no alcanza contener buenas

intenciones, sino quees necesario desarrollar

proyectos capaces degenerar cambios

sociales significativos,medibles y replicables.

Por eso se instala en laagenda de inversin

social la necesidad deincorporar estrategias

de monitoreo,evaluacin y medicin

de impacto enprogramas sociales.


4/19

Pgina 4

02. TENDENCIAS REGIONALES EN M&E

Entre los meses de septiembre y octubre de 2010, ZIGLA Consultoresrealiz un estudio en Amrica Latina sobre Monitoreo, Evaluacin y Medicinde Impacto en Programas Sociales. El estudio se elabor en base a unaconsulta de opinin a 161 referentes y lderes del sector social de 21 pasesla regin, y tiene por objeto identificar y mapear necesidades y tendencias enla regin en materia de evaluacin y medicin de impacto social.

Con el fin de identificar cmo y en qu momento del ciclo del proyecto sedefinen e implementan las estrategias de evaluacin, se consult acerca dediferentes aspectos vinculados a la aplicacin de herramientas de monitoreo,evaluacin y medicin de impacto en programas sociales.

A partir de los resultados obtenidos se identificaron las siguientes tendenciasgenerales:

A pesar de que el 97% de los consultados coincide en que esbastante/muy importante contar con informacin de resultadosprevios para la toma de decisiones en el diseo y planificacinde programas, ms de un tercio de ellos no define suestrategia de evaluacin desde la etapa de diseo.

En este contexto, se observa tambin que ms de la mitad delos consultados no cuenta con metodologas de medicin deimpacto, apenas el 18% ha podido monetizar su impacto y el14% no cuenta con instancias de evaluacin.

Si bien el 81% cuenta con una etapa de evaluacin final deresultados, cerca del 40% de los consultados se muestra pocoo nada satisfecho con las metodologas de evaluacinimplementadas.

La mayora de las organizaciones que lleva adelanteevaluaciones para medir y monetizar el impacto de sus

programas reconoce que la experiencia fue muy til para tomardecisiones.

Ms del 90% reconoce que le interesa incorporar herramientasde medicin de impacto a sus estrategias de programa.

De los resultados y tendencias identificadas vale la pena detenerse en dosaspectos significativos. El primero de ellos, est vinculado al cundo; esdecir, al momento oportuno para definir cul ser la metodologa de M&E del

programa. Es bien sabido que las condiciones de evaluabilidad de unproyecto estn determinadas por el momento en el que se define laestrategia que se utilizar para capturar y evaluar sus alcances y resultados.

Es bien sabido quelas condiciones deevaluabilidad de unproyecto estndeterminadas por elmomento en el quese define laestrategia que seutilizar paracapturar y evaluarsus alcances yresultados.


5/19

Pgina 5

Al fijar los elementos determinantes de un proyecto de forma clara y precisadesde su diseo, las tareas de Gestin, Monitoreo y Evaluacin se vernfacilitadas por el marco dado y permitirn desarrollar proyectos que seanmedibles y analizables en el corto, mediano y largo plazo.

Sin embargo, a pesar de que una buena formulacin de proyecto facilita las

tareas de monitoreo y anlisis constante de resultados, es muy importantedefinir desde el comienzo qu tipo de seguimiento y evaluacin incluir elproyecto.

En un contexto con resultados generales alentadores, el Estudio 2010muestra un signo de atencin aqu. Como puede verse en el Grfico 1, llamala atencin que una tercera parte de los consultados decida qu y cmomonitorear y evaluar una vez que sus programas estn en marcha.

Fuente: Elaboracin propia en base a resultados del Estudio Monitoreo, Evaluacin y Medicin deImpacto en Programas Sociales, Amrica Latina de ZIGLA Consultores , 2010.

Para diseadores e implementadores de proyectos sociales ha sidotradicionalmente un verdadero desafo formular programas que cuenten conestrategias integrales de monitoreo y evaluacin. Son muchas lasmetodologas, tcnicas y herramientas, y su pertinencia depende a su vez demuchas variables inherentes al proyecto y tambin al contexto.Generalmente, las razones presupuestarias o de tiempo terminan demorandoestas decisiones y relegando su lugar y su alcance. Pero establecer desde elcomienzo qu, cmo, cundo y con qu se evaluar es una de las claves

para poder medir bien.

Total

Grfico 1.En qu instancia del ciclo del proyecto dira Ud. que se definen

las herramientas o metodologas de evaluacin de resultados?

Llama la atencin que

una tercera parte delos consultados decidaqu y cmo monitoreary evaluar una vez quesus programas estn

en marcha: establecerdesde el comienzo

qu, cmo, cundo ycon qu se evaluar esuna de las claves para

poder medir bien.


6/19

Pgina 6

El segundo aspecto que merece especial atencin, tiene que ver con buenasprcticas en M&E. Para ello, y con el fin de poder interpretar los principalesresultados se presenta ms abajo una secuencia (Grfico 2) que resume unposible ciclo virtuoso en M&E, con la correspondiente frecuencia de casosafirmativos provenientes del Estudio 2010.

Fuente: Elaboracin propia en base a resultados del Estudio Monitoreo, Evaluacin y Medicin de Impacto en ProgramasSociales, Amrica Latina de ZIGLA Consultores, 2010.

Como se puede ver, la mayora de los consultados realiza evaluacin final de

sus programas. Desde ya que esto es auspicioso, pero no deja de serinteresante analizar este resultado en perspectiva junto con el resto de lasinstancias del ciclo. Si tomamos en cuenta que una tercera parte de losconsultados no define desde el diseo su estrategia de evaluacin ni realizamonitoreo de sus programas, cabe especular que una parte de lasevaluaciones finales no cuenta con informacin de base para comparar losresultados relevados con la situacin inicial de la que parti el programa.

Otra llamada de atencin aparece en el bajo porcentaje de organizacionesque miden impacto. Si bien las instancias de captura de impacto fueron y son

menos recurrentes que las evaluaciones finales (y como se dice en elApndice de este artculo, no son siempre convenientes ni son para todos losproyectos), hay una distancia significativa entre estos resultados.

Finalmente, no debera alarmar a nadie el porcentaje de quienes realizanEvaluacin de Medio Trmino ya que, como se sabe, esta instancia sueleaplicarse slo en proyectos sostenidos con una duracin mayor a un ao.Tampoco debera sorprender el bajsimo porcentaje de quienes hanmonetizado el impacto de sus programas, ya que este tipo de metodologas

(SROI por ejemplo) suelen aplicarse principalmente a proyectos de desarrolloeconmico, y an no han sido debidamente exploradas en nuestra regin.

Si tomamos en cuentaque una tercera parte delos consultados no definedesde el diseo suestrategia de evaluacinni realiza monitoreo desus programas, cabeespecular que una partede las evaluacionesfinales no cuenta coninformacin de base paracomparar los resultadosrelevados con la situacininicial de la que parti elprograma.

Grfico 2.Resultados sobre el ciclo de M&E


7/19

Pgina 7

03.TENDENCIAS LOCALES EN M&E:ARGENTINA, BRASIL, PER y EEUU.

3.1. ARGENTINA: EL ROL EMPRESARIO EN LA AGENDA DE INVERSIN SOCIAL

por Maximiliano Luft

Especialista en Inversin Social y Gestin de ConocimientoFundador de ZIGLA Consultores

Las empresas fueron, desde siempre, un motor fundamental de desarrolloeconmico y social y supieron adaptarse y reinventarse antes las diferentesturbulencias del sistema. Esta capacidad de adaptacin est potenciada,entre otras cosas, por la permanente innovacin en tecnologas de gestin,evaluacin y anlisis de inversin en sus respectivos contextos.

Por su parte, las organizaciones sociales ya empezaron a incorporarmetodologas y tecnologas en M&E ms a la medida de sus necesidades, a

partir de las cuales pueden gradualmente capturar, interpretar y comunicar elimpacto real de sus programas. Este avance en la generacin estratgica deinformacin resulta determinante para la mejora del ciclo de vida de losproyectos y principalmente para la toma de decisiones sobre oportunidadesde inversin social.

En Amrica Latina, la asimetra entre el sector privado y el sector social esan significativa y la brecha tcnica y tecnolgica sigue siendo igual o msprofunda que hace veinte aos. Sin embargo, la creciente incursin de las

empresas en programas de inversin social abre una puerta para acortar estabrecha y mejorar la proyeccin de cambio social a nivel regional.

Algo parecido ocurre en Argentina. El sector social, de gran expansin ydiversificacin en este tiempo, muestra hoy sntomas de madurez y aplomoen sus enfoques, y una alentadora agenda de trabajo compartida con lasempresas y el Estado en sus diferentes niveles.

Pero el desafo es an mayor. Desde la perspectiva empresaria, el interspor las cuestiones sociales (promovido en gran parte por la agenda de

Responsabilidad Social Corporativa), es un catalizador para las empresas ala hora de involucrarse con organizaciones de la comunidad en laimplementacin de programas sociales.

En este contexto, las empresas tienen en las organizaciones sociales no sloun gran aliado, sino tambin una gran oportunidad. No se trata solamente deavanzar en la concrecin de alianzas, sino de apalancar conjuntamenteestrategias de cambio. Por ello, las empresas debern aprender de losenfoques innovadores que las organizaciones sociales lograron con muchoesfuerzo y oficio, para luego potenciarlos con herramientas y tecnologas que

ayuden a superar las barreras tradicionales del sector social y a mejorar suscondiciones de escalabilidad y replicabilidad.

Desde la perspectivaempresaria, el inters

por las cuestionessociales (promovido en

gran parte por la agendade ResponsabilidadSocial Corporativa), esun catalizador para lasempresas a la hora de

involucrarse conorganizaciones de la

comunidad en laimplementacin de

programas sociales.


8/19

Pgina 8

Considerando los resultados del Estudio 2010, el escenario es favorable. Hayuna cantidad significativa de organizaciones que parecen gozar de buenasalud en materia de M&E. Si bien la captura de impacto de mediano y largoplazo sigue siendo una cuenta pendiente, Argentina aparece por encima delpromedio regional en dos aspectos fundamentales como son a) la definicinde la estrategia de M&E desde el diseo, y b) la implementacin de

instancias de monitoreo en programas.

Quedar por ver si la proliferacin de alianzas estratgicas entre empresas yorganizaciones sociales lograr profundizar la construccin de modeloseficientes y sostenibles en el diseo, gestin y evaluacin de programassociales, para as apalancar finalmente ms y mejores estrategias de cambiosocial. De eso se trata.

Fuente: Elaboracin propia en base a resultados del Estudio Monitoreo, Evaluacin y Medicin deImpacto en Programas Sociales,Amrica Latina de ZIGLA Consultores, 2010.

3.2. INVERSIN SOCIAL EN BRASIL: SER ESTRATGICO ES UNA ELECCIN

por Elenice TamashiroEspecialista en Inversin Social - Representante de ZIGLA Consultores en Brasil.

Es cada vez ms frecuente or acerca de la importancia de la inversin socialestratgica y de cul es la mejor manera de orientar a instituciones yorganizaciones en su enfoque, a fin de priorizar inversiones, lograr mejoresresultados y capturar su impacto. En los ltimos 10 aos, Brasil evolucionmucho en su forma de desarrollar programas de inversin social para finespblicos y an tiene un largo camino por recorrer antes que se consolide demanera estratgica y eficaz.

Charities Aid Foundation public recientemente que una cuarta parte de lapoblacin en Brasil hace donaciones en efectivo a organizaciones sociales, y

resalta que el acto de donar est ms relacionado con el sentimiento defelicidad que con el hecho de ser rico (Global Giving Report 2010).

Si bien la captura deimpacto de mediano y

largo plazo siguesiendo una cuentapendiente, Argentinaaparece por encima delpromedio regional endos aspectosfundamentales comoson a) la definicin dela estrategia de M&Edesde el diseo, y b) laimplementacin deinstancias demonitoreo en

programas.


9/19

Pgina 9

Lo cierto es que desde el gesto solidario de una donacin individual hasta unfondo de 36 millones que la UE invertira en Amrica Latina, existe un sinfnde motivaciones diferentes. La pregunta es si en nuestro rol de donantes, yasea a nivel individual o a travs de un marco institucional, tenemos o nointers por saber si nuestro aporte se invirti bien y marc la diferencia.

O acaso el generoso acto de donar es un fin en s mismo y estamossatisfechos con l? Qu ocurre cuando el interrogante se aplica al contextoy la prctica econmica y social de las empresas, los gobiernos y el sectorsocial? Es posible equilibrar la satisfaccin de donar con la responsabilidadde que nuestro aporte promueva cambio social? Creo que s, pero lainversin social debe hacerse de manera rigurosa, sistemtica y estratgica.

Al observar los resultados del Estudio 2010 sobre Monitoreo, Evaluacin yMedicin de Impacto en Amrica Latina elaborado por ZIGLA, es interesanteponer el foco en Brasil, donde lderes y referentes del sector coinciden en la

importancia de contar con estrategias de evaluacin y medicin del impacto,pero un alto porcentaje reconoce no aplicarlas o bien no estar satisfecho consu experiencia en la implementacin de sus metodologas.

Fuente: Elaboracin propia en base a resultados del Estudio Monitoreo, Evaluacin y Medicin deImpacto en Programas Sociales, Amrica Latina de ZIGLA Consultores, 2010.

El alto porcentaje de organizaciones en Brasil que realiza evaluacin final desus programas es una buena noticia. Pero es necesario establecerparmetros desde el comienzo para que la instancia final pueda dar cuentade los cambios y avances que el programa ha provocado con su intervencin.Slo as ser posible contar con informacin que retroalimente la mejora delos procesos para nuevas fases del programa, y de esa manera, ayude a quela inversin social sea ms eficaz y de mayor impacto. Este es el desafo quelas organizaciones y sus lderes reconocen como prioritario y para el cual

estn trabajando: desarrollar programas de inversin social, pero de unamanera estratgica.

Es necesarioestablecer parmetrosdesde el comienzo para

que la instancia finalpueda dar cuenta de

los cambios y avancesque el programa ha

provocado con suintervencin. Slo as

ser posible contar coninformacin que

retroalimente la mejorade los procesos para

nuevas fases delprograma, y de esamanera, ayude a que la

inversin social seams eficaz y de mayor

impacto.


10/19

Pgina 10

Este desafo requiere pensar desde el comienzo qu se pretende cambiar ycmo se har para conocer si las acciones lograron ese cambio. Para ello, esclave incorporar metodologas de monitoreo y evaluacin que permitananalizar el progreso, aprender las lecciones, ajustar el enfoque, ampliar la redde alianzas, mejorar el impacto positivo, crear legitimidad ante los diferentesstakeholders, y en suma, contar ms y mejores historias a partir de

resultados concretos.

3.3. SISTEMATIZACIN Y EVALUABILIDAD EN PER:HERRAMIENTAS PARA LA GENERACIN DEL CAMBIO

por Jorge CabrejosEspecialista en Monitoreo y Evaluacin - Representante de ZIGLA Consultores en Per.

En los ltimos aos el nivel de profesionalizacin de la gestin y evaluacinde programas sociales aument considerablemente. Esto exige una mayor

profundidad en el anlisis para disear e implementar mejoresintervenciones, cumpliendo sus objetivos de manera eficiente y lograndocambios positivos en la vida de la poblacin beneficiaria. A raz de esto sevienen desarrollando herramientas que promueven el aprendizaje para lamejora continua y el diseo de propuestas de cambio que puedan demostrarlogros y resultados.

Por ello, es interesante analizar los resultados del Estudio 2010 presentadopor ZIGLA, donde el 87% de los representantes de las institucionesconsultadas en el Per, manifest reconocer la utilidad e importancia de

contar con informacin de resultados de programas anteriores comoinstrumento para la toma de decisiones vinculada a la planificacin de suspropias intervenciones. Este porcentaje no representa un hecho menor, yaque indicara que la mirada de quienes tienen la responsabilidad de llevar acabo procesos de promocin del desarrollo social, estn tomando en cuentalos conocimientos y lecciones aprendidas, desarrolladas por otros actores, einclusive al interior de su organizacin, para disear sus acciones.

Fuente: Elaboracin propia en base a resultados de l Estudio Monitoreo, Evaluacin y Medicin deImpacto en Programas Sociales, Amrica Latina de ZIGLA Consultores , 2010.

En los ltimos aos elnivel de profesionalizacinde la gestin y evaluacinde programas socialesaumentconsiderablemente. Estoexige una mayorprofundidad en el anlisispara disear eimplementar mejoresintervenciones,cumpliendo sus objetivosde manera eficiente ylogrando cambiospositivos en la vida de lapoblacin beneficiaria.


11/19

Pgina 11

La sistematizacin, entendida como la recopilacin y anlisis deconocimientos organizados metodolgicamente, se constituye as en laprincipal ayuda para este tipo de organizaciones. Es uno de los principalesvehculos para garantizar procesos de intervencin eficientes y sostenibles,tan promovidos desde la cooperacin internacional y ONGs.

Otro dato importante a tener en cuenta, es que a nivel peruano el 29% de lasorganizaciones consultadas, respondieron que incorporaban estrategias,herramientas y metodologas de evaluacin de resultados, durante laejecucin del proyecto o una vez finalizado. Esto significa que casi un terciode las propuestas generadas, sin contar con el grupo de quienes podranincorporarlas de modo poco adecuado, no desarrollaran accionesencaminadas a generar las condiciones mnimamente adecuadas paraevaluar de manera eficiente su contribucin al desarrollo social en materia deresultados o impacto.

Frente a ello, es necesario promover la elaboracin de programas yproyectos que incluyan condiciones mnimas de evaluabilidad, es decir, queincluyan como parte de su diseo inicial, un anlisis dirigido a determinar lasposibilidades que tiene la intervencin de ser evaluada eficazmente, teniendosiempre en el horizonte los cambios que se esperan lograr en la vida de losbeneficiarios (Osuna y Cirera 2005).

Tanto la sistematizacin como el anlisis de evaluabilidad, facilitansobremanera el diseo y ejecucin de intervenciones que cumplan con los

objetivos para los cuales fueron creados. Es responsabilidad de todos losactores involucrados en la promocin de la mejora de nuestras sociedades,avanzar en este camino e innovar, incorporando nuevos enfoques de trabajoque sirvan para desarrollar contribuciones eficientes para todos.

3.4. EEUU: NUEVOS PARADIGMAS EN LA FILOSOFA DEL DONANTE

por Martin ManvilleEspecialista en Gestin de Conocimiento - Representante de ZIGLA Consultores en EEUU.

Si dono X cantidad de dlares, quiero saber a dnde va y qu tipo de impacto

est generando. Este es el argumento que utiliza un filntropo en laactualidad al referirse a las donaciones que realiza. Las entregas solidariasde dinero caracterizadas por la buena voluntad han quedado atrs, y hoy enda, los donantes exigen transparencia y evaluacin a cambio de su caridad.

La mejora en tecnologas de comunicacin y una economa menos establehan dado lugar a un cambio de paradigmas en la filosofa del patrocinio,

donde evaluacin y accountabilityson trminos cada vez ms importantes.

Tanto la sistematizacincomo el anlisis de

evaluabilidad, facilitan eldiseo y ejecucin de

intervenciones quecumplan con los objetivos

para los cuales fueroncreados. Es

responsabilidad de todos

los actores involucradosen la promocin de lamejora de nuestras

sociedades, avanzar eneste camino e innovar,

incorporando nuevosenfoques de trabajo que

sirvan para desarrollarcontribuciones eficientes

para todos.


12/19

Pgina 12

A pesar de considerar a la evaluacin de impacto como "compleja y costosa,

Paul Brest y Hal Harvey, en Money Well Spent:A Strategic Plan for SmartPhilanthropy, dicen que es fundamental para que los donantes sepan si sudinero est siendo bien gastado (Brest y Harvey 2008), y retratan la evaluacinde impacto como una herramienta "esencial para determinar si unaintervencin filantrpica logra realmente hacer una diferencia.

Sin embargo, no son todos consensos. A pesar de la fuerte caracterizacinatribuida por Brest y Harvey al proceso de evaluacin, no tardaron enaparecer algunas crticas, entre ellas las expuestas en The Limits of Nonprofitimpact: A Contingency Framework for Measuring Social Performance (Ebrahim

y Rangan 2010), donde se argumenta que las tcnicas de evaluacin debenadaptarse a las particularidades de cada organizacin.

En lugar de recomendar la evaluacin de impacto en todos los mbitos,Ebrahim y Rangan argumentan que "mientras que algunas organizaciones

deben medir los impactos a largo plazo, otras deben centrarse en losproductos y resultados en el corto plazo". El llamado "marco de contingencia"est diseado para mantener los costos bajos y una alta eficiencia,proporcionando a las organizaciones un buen equilibrio entre laretroalimentacin y la flexibilidad econmica.

Las tendencias en la literatura del sector demuestran la creciente importanciaque ha ido ganando la temtica del M&E en los ltimos aos. A pesar de quela mayora de los que se refieren a estos temas escriben sobre Amrica del

Norte en particular, es cada vez ms claro que los mismos conceptos tienenalcance global.

En este contexto, el Estudio 2010 sobre Monitoreo, Evaluacin y Medicin deImpacto en Programas Sociales de ZIGLA se presenta como una herramientainteresante para el mercado latinoamericano. A juzgar por sus resultados,parece que el sector social en la regin tiene un buen tramo hecho a nivel debuenas prcticas en temas de M&E y medicin de impacto, pero todavaqueda un largo camino por delante para mejorar.

Tal vez este estudio pueda servir como plataforma de lanzamiento parafuturos debates como el de Harvey & Brest o Ebrahim & Rangan adaptadosespecficamente para el contexto de Amrica Latina, sus necesidades y suspropios desafos.

En lugar derecomendar laevaluacin de impactoen todos los mbitos,

Ebrahim y Ranganargumentan que"mientras que algunasorganizaciones debenmedir los impactos alargo plazo, otras debencentrarse en losproductos y resultadosen el corto plazo".


13/19

Pgina 13

04.A LA LUZ DE LOS ARGUMENTOS

Es hora de hablar del por qu. Como parte de la ronda de consultas

realizadas a lderes y referentes, se pregunt acerca de los argumentos quedan cuenta de los resultados identificados. En primer lugar, tal como se dijo

ms arriba, cerca del 40% de los consultados se muestra poco o nadasatisfecho con las metodologas de evaluacin implementadas. A la hora deprofundizar en este tema se identificaron dos argumentos recurrentes.

El primero de ellos, sostiene que la insatisfaccin es causada por los criteriosutilizados para evaluar, los cuales muchas veces, resultan anacrnicos oimprovisados, y no responden a las necesidades del propio proyecto. La faltade rigurosidad en la seleccin de tcnicas y mtodos de evaluacin y eldestiempo al momento de realizar la evaluacin, suele traducirse enevaluaciones poco efectivas, limitadas slo a resultados de proceso que nologran dar cuenta de los cambios generados por la intervencin delprograma.

Desde el otro argumento, la insatisfaccin est dada por la falta depertinencia de las metodologas propuestas en relacin a los proyectos. Aquse menciona que muchas veces, son los donantes quienes determinan lasmetodologas propuestas para evaluar, y es all donde surge la sensacin demetodologas enlatadas, con escasa viabilidad y adaptabilidad al contextolocal y a la realidad de las organizaciones ejecutoras.

Otras razones que el Estudio permiti profundizar son las que aportan lasorganizaciones que reconocen no incluir estrategias de M&E y Medicin deImpacto en sus programas.

El primer argumento tiene que ver con lo costoso. Se menciona

frecuentemente que implementar estas herramientas resulta muy costoso entrminos econmicos, y tambin exige una gran movilizacin de recursoshumanos, logsticos y operativos, que es preferible dirigir hacia otras

actividades ms alineadas a los objetivos del programa.

El segundo argumento tiene que ver con lo complejo, tanto a nivel

metodolgico como tecnolgicamente. Muchas veces por desconocimiento opor malas experiencias previas algunas organizaciones tienden a rechazar laincorporacin de estrategias de M&E ante la sensacin de que traer msproblemas que soluciones durante la gestin. Sobre todo cuando laimplementacin supone diferentes niveles de actores y/o dispersingeogrfica, lo que comnmente hace ms difcil (pero desde ya msnecesaria) la coordinacin y el seguimiento de las actividades desde unaplataforma de M&E. En este contexto aparece con frecuencia la utilizacin dela evaluacin final como nica instancia de captura y anlisis de resultados.

La falta de rigurosidaden la seleccin de

tcnicas y mtodos deevaluacin y el

destiempo al momentode realizar la

evaluacin, sueletraducirse en

evaluaciones poco

efectivas, limitadas sloa resultados de procesoque no logran dar

cuenta de los cambiosgenerados por laintervencin del

programa.


14/19

Pgina 14

El ltimo argumento tiene que ver con los tiempos que exige la medicin deimpacto. En mbitos donde los plazos son tan apretados y es tan frecuente laurgencia de resultados, la captura de impacto de mediano y largo plazoaparece como unprivilegio al que no muchos pueden acceder.

05.CONCLUSIONES: DE CARA A LAS OPORTUNIDADES

Con la intencin de que los hallazgos del Estudio permitan traducirse encontribuciones para la agenda regional de inversin social, se considerarn amodo de cierre, las principales conclusiones y oportunidades a tener encuenta.

En primer lugar, hay que decir que todava existe una gran distancia entre la

relevancia que el M&E ocupa en la agenda respecto del grado deimplementacin que tiene en la prctica. Si bien la mayora de losconsultados reconoce la importancia de contar con informacin y resultadosprevios para la toma de decisiones, una buena parte de las organizacionesan no incluy en su plataforma de programas instancias de monitoreo que lepermitan, desde el diseo, realizar seguimiento y captura continua deinformacin. Una distancia todava ms significativa existe con relacin a lamedicin de impacto en el mediano y largo plazo.

Esta brecha relevancia-implementacin tiene explicaciones parciales en cadauno de los argumentos del captulo anterior. Hay razones de costos, detiempos y de complejidad en quienes no quieren o no pueden incorporarestrategias de M&E a sus programas. Es cierto. Pero hay detrs de estasrazones una barrera an ms profunda, de tipo cultural, y que tiene que vercon las an muy incipientes condiciones de accountability entre quienesparticipan, directa o indirectamente (pasiva o activamente), de la agendaregional de inversin social.

Regado de buenas intenciones, el escenario en el que las organizaciones

enfrentan diariamente los problemas sociales ms urgentes est enmovimiento. Avanza. Y en el trnsito constante surge la necesidad cada vezms prioritaria de profesionalizar su desempeo; de hallar parmetros yestndares que aumenten la rigurosidad con la que se movilizan los recursoseconmicos, humanos y tecnolgicos.

Hay una responsabilidad y un deber de que las buenas intenciones redundenen soluciones innovadoras y efectivas. Y para ello es fundamental insistir enla consolidacin de canales y prcticas de rendicin de cuentas, que en suanlisis e interlocucin participativa permitan aprender y mejorar a cada una

de las partes.

Hay unaresponsabilidad y undeber de que las buenasintenciones redunden ensoluciones innovadoras

y efectivas. Y para elloes fundamental insistiren la consolidacin decanales y prcticas derendicin de cuentas,que en su anlisis einterlocucinparticipativa permitanaprender y mejorar acada una de las partes.


15/19

Pgina 15

Todos los involucrados tienen delante la oportunidad de contribuir en estesentido: donantes, organizaciones ejecutoras, empresas, entidades pblicas,agencias de cooperacin, consultores, facilitadores, evaluadores,beneficiarios, etc. Todos, sin excepcin tienen a su alcance oportunidadespara que los procesos de toma de decisiones en materia de inversin socialen la regin puedan apalancar finalmente soluciones innovadoras y efectivas

de alto impacto.

A la luz de los resultados y argumentos, los aspectos ms crticos son, a suvez, las oportunidades ms interesantes. Entre ellas, y para tener en cuentaa la hora de avanzar en la consolidacin de una agenda regional de inversinsocial, surgen las siguientes oportunidades:

Favorecer instancias de participacin y rendicin de cuentas entre los

diferentes actores involucrados.

Promover desde el diseo de los programas la definicin deestrategias de M&E capaces de formalizarqu, cmo, cundo y conqu se capturarn los cambios y avances.

Incorporar a la gestin de programas, sistemas de monitoreo simplesy a medida de la realidad de cada organizacin.

Mejorar las condiciones para que el ciclo de vida de los programas

sociales incluya instancias de medicin de impacto.

Estimular procesos de toma de decisiones que contempleninformacin estratgica proveniente de aprendizajes y resultadosprevios.

Estas oportunidades no son todas, ni son suficientes, pero desde laperspectiva que el M&E ofrece, seguramente conformen un valioso menpara quienes quieran profundizar una agenda regional de inversin socialms estratgica. Al menos el desafo est planteado.

Todos, sin excepcintienen a su alcance

oportunidades para quelos procesos de toma dedecisiones en materia de

inversin social en laregin puedan apalancar

finalmente solucionesinnovadoras y efectivasde alto impacto.


16/19

Pgina 16

APNDICE

RECOMENDACIONES PARA LOGRAR UNA ESTRATEGIA DE M&E

01/ Por qu medir el impacto?

La medicin del impacto busca conocer qucambi luego de la implementacin delprograma. Esta pregunta puede respondersedesde dos perspectivas teniendo en cuenta alos actores involucrados:

Desde la perspectiva de la organizacin quelleva adelante el programa, ya que conocer qucambi le permite determinar si se esthaciendo realmente alguna diferencia, luegoayudar a informar mejor a sus stakeholders ypor ltimo contribuir a mejorar el desarrollo defondos.

Desde la perspectiva del inversor/donante,quien puede medir el impacto para determinar silos cambios generados por el programa se

encuentran alineados con los objetivospropuestos originalmente, puede monitorear sisus inversiones son acordes con los objetivosestratgicos del donante y, por ltimo,determinar qu cambio en la sociedad genersu inversin.

02/ Cundo medir el impacto?

La evaluacin de impacto tiene lugar una vez

que hayan pasado unos aos de laimplementacin del programa y se puededeterminar el verdadero eco que ha tenido elmismo sobre la poblacin beneficiada.

Sin embargo, resulta fundamental que lasmetodologas y herramientas para llevar a caboesta evaluacin sean establecidas al inicio delciclo de vida de un programa y los criterios parala evaluacin sean definidos durante la

implementacin del mismo.

03/ Qu organizaciones o programas deben

medir el impacto?

Dependiendo de sus estructuras, modelos yobjetivos, algunas organizaciones deberanmedir el impacto de largo plazo de susproyectos, mientras que otras organizacionesdeberan concentrarte en medir los resultados

de corto y mediano plazo.

Para conocer si la organizacin o programadebe medir el impacto, se puede utilizar unmarco de anlisis elaborado por la Escuela deNegocios de Harvard, en donde se utilizan eltipo de teora del cambio y la estrategiaoperacional de la organizacin para determinarsi es pertinente o no avanzar en un proceso deevaluacin en busca de impacto.

Teora del Cambio:metodologa utilizada paradescribir las intervenciones que condujeron alcambio alcanzado.

Focalizada: la relacin entre causa y efecto eslineal y fcilmente entendible,

Compleja: la relacin causa-efecto no es lineal,y existen mltiples factores que explican el

resultado.

Estrategia Operacional: lo que unaorganizacin realmente hace en cumplimientode su misin.

Focalizada: estrategia puntual y objetivadesarrollada por la organizacin,

Compleja: estrategias en donde la organizacinexpande sus fronteras para absorber otras

funciones fundamentales o nichos que considereimportantes para el logro de su misin.

por Mara Agustina BudaniEspecialista en M&EDirectora de ZIGLA Consultores

Pgina 16


17/19

Pgina 17

Fuente: Elaboracin propia en base a la Escuela de Negocios de Harvard.

04/ Iniciativas para la estandarizacin de la

medicin del impacto social

A continuacin se presentan las principalesiniciativas que buscan estandarizar la forma en

que se mide el impacto social.

Rockefeller Foundation, Acumen Fund y B Labcomenzaron la presentacin de Normas sobre lainversin de impacto - Impact Reporting &Investment Standards. La iniciativa IRIS (por susigla en ingls) se apoya en los esfuerzossectoriales para crear un lenguaje comn quepermita la comparacin y la comunicacin atravs de la multitud de organizaciones quebuscan generar un impacto social omedioambiental.

Otra iniciativa similar, esta vez de la mano de B

LAB es GIIRS (Global Impact Investing RatingSystem), un sistema de evaluacin de impactosocial para los inversores institucionales decapital, los intermediarios de serviciosfinancieros, y las compaas que buscan alinearsu misin con el crecimiento y la liquidez.

A su vez, hay dos iniciativas que buscanresponder al inversor la siguiente pregunta: porcada dlar invertido, cunto valor social se

generar durante el tiempo de la inversin? Laprimera de estas iniciativas es Best AvailableCharitable Option (BACO), una metodologa

desarrollada por Acumen Fund que tiene porobjeto informar a los inversores dnde ser mseficaz su inversin filantrpica. Por su parte,SROI Network, una red que cuenta con elaporte del Gobierno de Gran Bretaa y NEF(New Economics Foundation) entre otros,desarroll una metodologa que permitemonetizar los impactos sociales. Al monetizar,

estas dos iniciativas metodolgicas encuentranuna forma de estandarizar y comparar losimpactos de distintos programas.

Por su parte, Poverty Lab es una iniciativa deMIT (Massachusetts Institute of Technology)que impulsa la utilizacin de metodologas deevaluacin de impacto experimentales. Comotodas las metodologas de evaluacin deimpacto, la randomizacin que promuevePoverty Lab busca determinar si un programa

social ha tenido impacto y cun grande ha sidoel mismo.

Por ltimo, vale la pena resaltar otras dosiniciativas que buscan orientar a lasorganizaciones en materia de qu metodologasy herramientas utilizar: a) el Mapa de M&E deZIGLA Consultores y b) TRASI (Tools andResources for Assessing Social Impact),plataforma desarrollada por Foundation Center,

que contiene recursos y herramientas paradeterminar el impacto social.

Pgina 17


18/19

Pgina 18

CITAS

Estudio sobre Monitoreo, Evaluacin y Medicin de Impacto en Amrica Latina, ZIGLAConsultores, 2010. (http://ziglablog.com.ar/2010/12/22/principales-tendencias-de-me-en-america-latina-reporte-descriptivo-2010/)

Principales tendencias de la filantropa en AMRICA LATINA. Maximiliano Luft, Agustina Budani

y Carmen Lpez para Fundacin Avina, Buenos Aires, 2010(http://inversionsocial.files.wordpress.com/2010/09/avina_articulo_2010_09_esp.pdf)

Global Giving Report 2010(http://www.idis.org.br/biblioteca/pesquisas/globalgivingreport_2010.pdf/view)

Paul Brest y Hal Harvey: Money Well Spent: A Strategic Plan for Smart Philanthropy, BloombergPress, New York, November 2008 (http://www.smartphilanthropy.org/).

The Limits of Nonprofit impact: A Contingency Framework for Measuring Social Performance.Alnoor Ebrahim, V. Kasturi Rangan, HBS Working Knowledge, July 2010(http://hbswk.hbs.edu/item/6439.html).

Jose Luis Osuna y Ana Cirera: Gua para la evaluacin de Polticas Pblicas, Instituto deDesarrollo Regional Fundacin Universitaria, Sevilla, 2005(http://www.sociedadevaluacion.org/website/files/guiaIDR.pdf).

REFERENCIAS

RockefellerFoundationwww.rockefellerfoundation.org

Acumen Fund

www.acumenfund.org

B Labwww.bcorporation.net

GIIRS (Global Impact Investing Rating System)www.giirs.org

Best Available Charitable Option (BACO)www.acumenfund.org/knowledge-center.html?document=56

SROI Network

www.thesroinetwork.org NEF (New Economics Foundation)

www.neweconomics.org

Poverty Lab - MITwww.povertyactionlab.org/es/about-j-pal

Mapa de M&E de ZIGLAwww.mapa.ziglaconsultores.com

Foundation Centerfoundationcenter.org/

TRASIhttp://trasi.foundationcenter.org/
http://ziglablog.com.ar/2010/12/22/principales-tendencias-de-me-en-america-latina-reporte-descriptivo-2010/http://ziglablog.com.ar/2010/12/22/principales-tendencias-de-me-en-america-latina-reporte-descriptivo-2010/http://ziglablog.com.ar/2010/12/22/principales-tendencias-de-me-en-america-latina-reporte-descriptivo-2010/http://ziglablog.com.ar/2010/12/22/principales-tendencias-de-me-en-america-latina-reporte-descriptivo-2010/http://inversionsocial.files.wordpress.com/2010/09/avina_articulo_2010_09_esp.pdfhttp://inversionsocial.files.wordpress.com/2010/09/avina_articulo_2010_09_esp.pdfhttp://inversionsocial.files.wordpress.com/2010/09/avina_articulo_2010_09_esp.pdfhttp://www.idis.org.br/biblioteca/pesquisas/globalgivingreport_2010.pdf/viewhttp://www.idis.org.br/biblioteca/pesquisas/globalgivingreport_2010.pdf/viewhttp://www.idis.org.br/biblioteca/pesquisas/globalgivingreport_2010.pdf/viewhttp://www.smartphilanthropy.org/http://www.smartphilanthropy.org/http://www.smartphilanthropy.org/http://hbswk.hbs.edu/item/6439.htmlhttp://hbswk.hbs.edu/item/6439.htmlhttp://hbswk.hbs.edu/item/6439.htmlhttp://www.sociedadevaluacion.org/website/files/guiaIDR.pdfhttp://www.sociedadevaluacion.org/website/files/guiaIDR.pdfhttp://www.sociedadevaluacion.org/website/files/guiaIDR.pdfhttp://www.rockefellerfoundation.org/http://www.rockefellerfoundation.org/http://www.acumenfund.org/http://www.acumenfund.org/http://www.bcorporation.net/http://www.bcorporation.net/http://www.giirs.org/http://www.giirs.org/http://www.acumenfund.org/knowledge-center.html?document=56http://www.acumenfund.org/knowledge-center.html?document=56http://www.thesroinetwork.org/http://www.thesroinetwork.org/http://www.neweconomics.org/http://www.neweconomics.org/http://www.povertyactionlab.org/es/about-j-palhttp://www.povertyactionlab.org/es/about-j-palhttp://www.mapa.ziglaconsultores.com/http://www.mapa.ziglaconsultores.com/http://foundationcenter.org/http://foundationcenter.org/http://trasi.foundationcenter.org/http://trasi.foundationcenter.org/http://trasi.foundationcenter.org/http://foundationcenter.org/http://www.mapa.ziglaconsultores.com/http://www.povertyactionlab.org/es/about-j-palhttp://www.neweconomics.org/http://www.thesroinetwork.org/http://www.acumenfund.org/knowledge-center.html?document=56http://www.giirs.org/http://www.bcorporation.net/http://www.acumenfund.org/http://www.rockefellerfoundation.org/http://www.sociedadevaluacion.org/website/files/guiaIDR.pdfhttp://hbswk.hbs.edu/item/6439.htmlhttp://www.smartphilanthropy.org/http://www.idis.org.br/biblioteca/pesquisas/globalgivingreport_2010.pdf/viewhttp://inversionsocial.files.wordpress.com/2010/09/avina_articulo_2010_09_esp.pdfhttp://ziglablog.com.ar/2010/12/22/principales-tendencias-de-me-en-america-latina-reporte-descriptivo-2010/http://ziglablog.com.ar/2010/12/22/principales-tendencias-de-me-en-america-latina-reporte-descriptivo-2010/


19/19

[email protected] Salvador 4851(C1414DBM)Buenos Aires

Argentina

www.ziglaconsultores.com
http://c/Users/Usuario/Documents/My%20Dropbox/ZIGLA/Proyectos/Observatorio%202010/Publicaci%C3%B3n/[email protected]://www.ziglaconsultores.com/http://www.ziglaconsultores.com/http://www.ziglaconsultores.com/http://c/Users/Usuario/Documents/My%20Dropbox/ZIGLA/Proyectos/Observatorio%202010/Publicaci%C3%B3n/[email protected]