Embed Size (px)
Citation preview
PREMA g o s t o
2 0 1 0 N ú m e r o 1
Serie eSpecial Sobre
notesEl Banco Mundial
Un número cada vez mayor de gobiernos de países en desarrollo de todo el mundo se esfuerza por mejorar su desempeño creando sistemas que puedan medir los resultados de sus servicios y programas y ayudarles a comprender dichos re-sultados. Esta tendencia recibe la influencia de los países de la Organización para la Cooperación y el Desarrollo Económico (OCDE), la mayoría de los cuales otorga una alta prioridad a los cuatro usos principales de los hallazgos en M&E:1. Desarrollo de políticas 2. Formulación de políticas y presupuestación
basada en evidencia 3. Desempeño de la gestión 4. Rendición de cuentas
La prioridad de medir y administrar mejor los resultados del gobierno en países de ingresos medianos y bajos se intensifica debido a las continuas presiones fiscales y macroeconómicas que afectan a todos los países, así como a las ex-pectativas siempre crecientes de los ciudadanos del común. Dicha prioridad es influenciada por
Keith Mackay
la necesidad de los ciudadanos, los gobiernos y la comunidad internacional de hacer que el Es-tado tome medidas más eficaces para aumentar el bienestar, disminuir la pobreza y mejorar las oportunidades de todos. Un impulso adicional que obliga a centrarse en los resultados son las intensas expectativas de los donantes interna-cionales.
Hay una creciente cantidad de estudios especializados sobre la experiencia de varios países en la construcción y robustecimiento de sus sistemas de monitoreo y evaluación y en las herramientas y técnicas de M&E que emplean. Esta literatura comprende actas de conferencias, trabajos de investigación sobre estudios de caso de países, reseñas académicas y numerosos sitios Web de donantes, gobiernos y asociaciones espe-cializadas en evaluaciones. El acceso y asimilación de la información en sus diversos formatos puede resultar difícil, especialmente para los funciona-rios que son nuevos en el campo del monitoreo y la evaluación.
Marco Conceptual del Sistema de Monitoreo y Evaluación
Presentación de esta serie de notas Esta es la primera de una serie de notas mensuales sobre sistemas de Monitoreo y Evaluación (M&E) de la gestión gubernamental, llevadas a cabo por el Grupo para la Reducción de la Pobreza y la Promoción de la Igualdad (PREM) del Banco Mundial, bajo la orientación de Jaime Saavedra, Gladys López Acevedo y Keith Mackay y con la participación de diversos colegas del Banco. El objetivo principal de esta serie es presentar una síntesis de los conocimientos existentes acerca de los sistemas de M&E y documentar nuevos conocimientos sobre estos sistemas que aún no se hayan comprendido plenamente. La serie está dirigida a los funcionarios del Banco Mundial y de otros organismos donantes que trabajen apoyando a los gobiernos clientes a robustecer sus sistemas de monitoreo y evaluación, así como a los funcionarios gubernamentales interesados en aprender sobre los usos y beneficios del sistema de M&E y en adoptar un método más sistemático para la utilización de estos sistemas en sus gobiernos.
por el Sector de reducción de la pobreza y GeStión económicaPub
lic D
iscl
osur
e A
utho
rized
Pub
lic D
iscl
osur
e A
utho
rized
Pub
lic D
iscl
osur
e A
utho
rized
Pub
lic D
iscl
osur
e A
utho
rized
Pub
lic D
iscl
osur
e A
utho
rized
Pub
lic D
iscl
osur
e A
utho
rized
Pub
lic D
iscl
osur
e A
utho
rized
Pub
lic D
iscl
osur
e A
utho
rized
aGoSto 20102 premnote
Por qué el desempeño del Gobierno se mejora con los sistemas de M&E Esta nota1 destaca las cuatro formas principales en las que se pueden utilizar los hallazgos en moni-toreo y evaluación en el ciclo de las políticas, para mejorar los resultados de la toma de decisiones del gobierno y de los programas que éste ofrece, entre ellas el empleo del monitoreo y la evaluación para la formulación de políticas basadas en evi-dencia, presupuestación, gestión y rendición de cuentas. Se cuenta con muchos tipos diferentes de herramientas y métodos de M&E, cada uno de ellos con sus ventajas y limitaciones. En esta nota se presentan cuatro ejemplos de sistemas de gobierno exitosos en materia de monitoreo y evaluación—correspondientes a países tanto desar-rollados como en desarrollo—y se tratan algunas de las lecciones que se han aprendido, enfrentando dificultades, en la construcción de sistemas de M&E. Estas lecciones evidencian lo que funciona, y lo que no, en el desarrollo y mantenimiento de sistemas de monitoreo y evaluación exitosos.
Los sistemas de M&E gubernamentales se centran en medir el desempeño del gobierno—sus productos, resultados e impactos. El sistema de M&E puede darse a un alto nivel de un organismo particular, de un sector completo o del gobierno en su conjunto. El monitoreo y la evaluación pueden ofrecer información única referente a resultados de las políticas, programas y proyectos del gobierno—en el orden nacional, sectorial y nacional. Puede identificar lo que funciona y lo que no funciona, y explicar las razones de ello. El sistema M&E brinda, asimismo, información acerca del desempeño del gobierno, de cada uno de los ministerios y organismos, y de los gerentes y sus respectivos funcionarios. Al resaltar ciertos ejemplos de prácticas buenas y deficientes se pu-eden mejorar los resultados.
Tres de las características que definen un sistema de M&E exitoso son: 1. La utilización intensiva de la información
de M&E en una o más etapas del ciclo de políticas;
2. La información cumple con las normas de calidad de los datos y la confiabilidad de la evaluación;
3. Sostenibilidad: el sistema debe sobrevivir a cualquier cambio de administración, de min-istros del gobierno o de altos funcionarios.
Quizá la mejor manera de entender lo que pu-ede aportar un sistema de monitoreo y evaluación a un gobierno sólido es analizarlo en el transcurso de las diferentes etapas del ciclo de las políticas (véase la figura 1). Las etapas iniciales de este proceso—el análisis y desarrollo de la política del gobierno y la planificación de prioridades y estrate-gias, que incluye la forma en que corresponden al objetivo de la reducción de la pobreza—aprovechan la evidencia de lo que ha funcionado y no ha fun-cionado en el pasado; en otras palabras, elabora las políticas con base en la evidencia. Es importante que los gobiernos consideren cuidadosamente lo que están intentando lograr con sus políticas, y planearlas en consecuencia. Así se contribuye a aclarar, para cada uno de los programas posibles, cómo se evidenciarían los resultados exitosos y en qué forma sabrá el gobierno si los ha logrado (o no). Por otra parte, ayuda a aclarar cuáles son los efectos de las políticas y programas en la distribución de la riqueza y en la pobreza. La fijación de objetivos de desempeño y la medición de cómo se avanza en relación con su logro constituyen, pues, una parte importante de la planeación y la revisión de políticas del gobierno.
La información acerca de los resultados de los programas vigentes del gobierno y del desempeño esperado de los nuevos programas, es importante para la siguiente etapa del ciclo de las políticas: las decisiones sobre presupuestación—la asignación de los recursos del presupuesto. La información de M&E, y en especial los hallazgos de la evaluación que explican el desempeño pasado, ayudan a orien-tar las decisiones del gobierno para poder adoptar el conjunto de políticas y programas más eficaz en función de los costos en el presupuesto anual.
En la siguiente etapa del ciclo de las políticas—la implementación y gestión de las actividades financiadas por el presupuesto—el sistema de M&E ayuda a los gerentes a monitorear sus propias actividades, que abarcan la entrega de los servicios del gobierno y la administración del personal, para poder enterarse rápidamente de lo que está funcionando y lo que no, por ejemplo en cuanto a los productos y resultados esperados o incluso a objetivos de nivel superior tales como el de mejorar el bienestar de la población. Se pueden utilizar indicadores de desempeño para establecer com-paraciones entre costos y resultados—benchmark-ing del desempeño—entre diferentes unidades administrativas, regiones y distritos. El monitoreo permanente de estas actividades—por ejemplo, los
aGoSto 2010 premnote 3
gastos, procesos, productos, resultados e impac-tos—es de especial importancia. Las comparaciones que abarcan determinados períodos de tiempo pueden ayudar a identificar prácticas buenas, deficientes y prometedoras. Las evaluaciones o revisiones pueden encontrar las razones de un desempeño bueno o de uno deficiente. Esta es la función de aprendizaje del sistema M&E, al que se le suele conocer como gestión basada en resultados.
Las etapas finales del ciclo de las políticas com-prenden las relaciones de rendición de cuentas. El sistema de M&E revela hasta qué punto el gobierno ha alcanzado sus objetivos y, de esta forma, ofrece la evidencia necesaria para asegurar una sólida rendición de cuentas, por ejemplo la que presenta el gobierno al Congreso o Parlamento, a la sociedad incivil o a los donantes. El sistema de M&E tam-bién apoya las relaciones de rendición de cuentas dentro del mismo gobierno, por ejemplo entre los
ministerios sectoriales y los ministerios centrales, entre los organismos sectoriales y su ministerio, y entre los ministros, directores y funcionarios. Una rendición de cuentas sólida puede brindar los incentivos necesarios para mejorar el desempeño.
El sistema de monitoreo y evaluación puede también cumplir una función especial en la lucha contra la corrupción, dado que puede contribuir a identificar las “fugas” en el financiamiento guber-namental, así como algunas de las posibles mani-festaciones de corrupción— por ejemplo, cuando el gasto público no se refleja en la calidad física de la infraestructura o en el volumen y calidad de los servicios que presta el gobierno.
¿Qué es M&E? A algunos de los altos funcionarios y personal de los donantes, el sistema de M&E les puede parecer un tema muy especializado cuyas técnicas pueden
Figura 1. El ciclo de las políticas: Conjugación de Políticas, Planificación, Presupuestación, Gestión y M&E
Revisar las políticasRevisar el periodo de planificación
y presupuestación pasado
Evaluar y auditarLa eficiencia y efectividad
de las actividades
Monitorear actividades y
explicar gastos
Ejecutar y gestionar actividades planeadas
Fuente: Adaptado de banco Mundial (1998).
Desarrollar las políticas e iniciar la planificación
Fijar objetivos, políticas, estrategias y prioridades
Preparar el presupuesto
Asignar recursos
aGoSto 20104 premnote
resultar, a primera vista, difíciles de entender para personas no versadas en la materia. Para empeorar las cosas, el sistema de M&E contiene muchas palabras y términos especializados que pueden confundir a quienes no están familiarizados con este campo. En ocasiones, la expresión “M&E” se identifica con ciertas herramientas específicas y significa algo distinto para personas diferentes. Los debates de tipo técnico o semántico no son del interés de los lectores de estas series de notas; lo que sí cuenta para ellos es el uso adecuado de las principales herramientas y técnicas del sistema de M&E que permitan medir los resultados de los programas gubernamentales de diversas maneras. Entre algunas de las herramientas utilizadas con mayor frecuencia se encuentran los indicadores de desempeño, las evaluaciones rápidas, las evalu-aciones de impacto y las revisiones exhaustivas de gastos. Una próxima nota de esta serie se ocupará del tema de las herramientas de monitoreo y evaluación.
¿Cómo se manifiesta un buen sistema de M&E de un gobierno? La mayoría de los gobiernos cuenta con sistemas de información para medir sus gastos, procesos y productos. Sin embargo, esto no equivale a contar con un sistema dedicado al monitoreo y la evalu-ación del desempeño de todos sus programas. Hay un número mucho más reducido de gobiernos que sí posee este sistema de M&E, que comprende la recopilación y el uso regulares y sistemáticos de información sobre monitoreo y evaluación; este sistema puede darse bien sea a nivel de un organismo específico, de un sector completo o del gobierno en su conjunto. El enfoque de este tipo de sistema está en medir los resultados del gobierno, es decir, sus productos, resultados e impactos.
Afortunadamente, hay una serie de casos convincentes y bien documentados de gobiernos que han dedicado los esfuerzos necesarios para conformar sistemas de monitoreo y evaluación de alto desempeño. Ejemplos de cuatro países que cuentan con sistemas de M&E bien documentados y analizados son Australia, Chile, Colombia y Estados Unidos (véase el recuadro 1). Cada uno de estos cuatro gobiernos utiliza su información de M&E de manera intensiva. Otras características comunes a ellos son el papel primordial cump-lido por un ministerio central influyente en el sistema de M&E (por ejemplo, el de hacienda o
planeación) y— por consiguiente—el énfasis en la utilización de la información de M&E como apoyo al proceso de presupuestación. No obstante, lo que es menos conocido y documentado es con qué eficacia estos sistemas han apoyado el empleo de la información de M&E en la gestión permanente de los programas.
Vale la pena mencionar las diferencias que presentan estos cuatro ejemplos de monitoreo y evaluación. Cada país hace hincapié en diferentes herramientas y técnicas de M&E. Algunos se basan primordialmente en la información de monitoreo, mientras que otros lo hacen en evaluaciones y revisiones de diversas clases. Otros cuentan con sistemas meticulosos (y costosos) de M&E y otros más aplican sistemas más racionalizados y económicos.
En realidad, no hay una respuesta sencilla al interrogante de cómo se manifiesta un buen sistema de monitoreo y evaluación de un gobierno. La respuesta depende, más bien, de factores espe-cíficos de cada país, tales como: la demanda que tenga de información de M&E; el uso que le des-tine a la información; la disponibilidad y calidad de la información con que cuente en la actualidad; las capacidades de funcionarios y consultores de realizar evaluaciones y analizar la información de monitoreo y evaluación y la cantidad de fondos que el gobierno esté dispuesto a dedicar al sistema de M&E.
Tres características que definen un sistema de M&E exitosoUn sistema de monitoreo y evaluación “exitoso” tiene tres características que lo definen. La primera es la utilización intensiva de la información de M&E ofrecida por el sistema en una o más etapas del ciclo de políticas explicado anteriormente. Aunque parece algo trillado sostener que la infor-mación de M&E sólo se debería recopilar si en efec-to se le va a utilizar, la mayoría de los evaluadores de los gobiernos (y de los organismos donantes) tienen un entendimiento sorpresivamente defi-ciente respecto a la medida en que la información de M&E que ellos mismos producen es en realidad utilizada por otras personas. Si no se está haciendo uso de la información de M&E es importante descubrir por qué esto está ocurriendo. ¿Se debe a que la información de M&E se considera de calidad deficiente, o a que no es oportuna, o a que las evaluaciones no han afrontado los temas más
pertinentes al desempeño de los programas? ¿O se trata de que los usuarios a quienes la información está destinada dentro del gobierno—por ejemplo, los ministerios de hacienda o planeación—no cuen-tan con las destrezas o el interés para emplear esta información en sus labores?
La segunda característica de un sistema de M&E exitoso es una información confiable y de alta calidad. Hay varias normas que señalan lo que constituye la información y las evaluaciones de monitoreo de alta calidad, y estas normas se pueden utilizar para evaluar la confiabilidad de la información que produce un sistema de moni-toreo y evaluación. La mayor parte de las depen-dencias de evaluación del gobierno disponen de algún tipo de mecanismo de control de calidad. Sin embargo, la mayoría no lleva a cabo ni contrata revisiones formales de la calidad de su trabajo. Tres de los cuatro países señalados en el recuadro 1 han realizado estas revisiones: Australia, Chile y Colombia.
La tercera característica de un sistema de M&E exitoso es la sostenibilidad. Esta propiedad tiene que ver con la probabilidad de que el sistema de monitoreo y evaluación sobreviva a un cambio de administración del país, de los ministros del gobierno o de los altos directivos. Cuando la utilización de la información de M&E está firme-mente arraigada—es decir, cuando se encuentra integrada al sistema—en los procesos de fondo del gobierno, tales como el ciclo presupuestario, se puede afirmar que está institucionalizada y, por tanto, que se puede sostener a lo largo del tiempo. Por el contrario, cuando el sistema de M&E es apoyado solamente por un puñado de personas clave, si su utilización es muy reducida o si es principalmente financiada por donantes más que por el gobierno mismo, su sostenibilidad es menos probable.
La formación de un sistema de M&E del gobierno—Qué hacer y qué no hacer Muchos países desarrollados y en desarrollo han acumulado una experiencia sustancial en la conformación de sistemas de monitoreo y evalu-ación. Como en cualquier caso concerniente a la formación de capacidad, se han aprendido varias lecciones, atravesando dificultades, acerca de lo que funciona mejor y lo que no funciona en este empeño (tema que se trata más a fondo en Mackay
[2007]). A continuación se presentan las ocho lecciones principales.
Lección 1: Lo primero y más importante es la necesidad de que haya una demanda sustancial de información de monitoreo y evaluación por parte del gobierno. Esta demanda es necesaria si existe una intención seria de iniciar un sistema de M&E que resulte sostenible. Se requiere un esfuerzo importante para conformar un sistema de M&E, que comprenda la creación o mejoramiento de los sistemas de información relacionados, por ejem-plo, con las decisiones sobre los tipos de datos que se vayan a recopilar y los métodos de recolección de la información, así como su almacenamiento, control de calidad y transmisión. Entre los com-ponentes igualmente importantes del sistema de M&E se encuentran la capacitación de los analistas de estadísticas; la selección de herramientas y técnicas de evaluación y su adaptación a las circun-stancias y prioridades locales; el entrenamiento de evaluadores y el desarrollo de consultores para las evaluaciones nacionales; la creación de depen-dencias de monitoreo y evaluación dentro de un ministerio central y, probablemente, en algunos de los ministerios sectoriales o en todos ellos; la capacitación de los usuarios de la información de M&E— analistas de nivel medio, funcionarios de alto nivel de los ministerios centrales y secto-riales, y posiblemente sus propios ministros; y la formación de una infraestructura burocrática que decida qué programas del gobierno se deben evaluar y qué asuntos se deben tratar en cada evaluación. Es preciso admitir que no vale la pena realizar este esfuerzo a menos que la información de M&E resultante se vaya a utilizar en forma intensiva.
Lección 2: Los incentivos son una parte clave del lado de la demanda. Se requieren incentivos sólidos para llevar a cabo las actividades de moni-toreo y evaluación y hacer que se emplee la infor-mación. Los expertos en M&E suelen cometer un error craso al afirmar que la información de M&E es intrínsecamente “algo bueno” y que si dicha información se hace disponible, ésta será utilizada automáticamente. Esta perspectiva tecnocrática de que el monitoreo y la evaluación tienen un mérito inherente resulta ingenua, dado que la información de M&E adquiere valor únicamente si es confiable y si se le utiliza en forma intensiva.
La utilización de la información no sucede—y éste es el caso frecuente—por casualidad. Debe haber incentivos para que la información de M&E
aGoSto 20106 premnote
sea utilizada por los gerentes de los programas en sus labores cotidianas, por los funcionarios encargados de presupuestación y planeación responsables de la asesoría en materia de opcio-nes de políticas y por un Congreso o Parlamento encargado de supervisar la rendición de cuentas.
Hay tres tipos de incentivos: la zanahoria, el garrote y la exhortación.2 Un ejemplo de zanaho-ria es conceder mayor autonomía a los gerentes que puedan mostrar (mediante información de monitoreo y evaluaciones confiables) el buen de-sempeño de sus programas. Un ejemplo de garrote es fijar objetivos de desempeño que supongan un desafío (pero que sea realista) que deba cumplir cada ministerio y gerente de programa. Un ejemplo de exhortación, por su parte, es una declaración de apoyo de alto nivel al sistema de M&E, como la proferida por un presidente o ministro influyente. Muchos de estos incentivos se han aplicado con éxito para conformar un sistema de M&E en países tanto desarrollados como en desarrollo.
Lección 3: Conviene empezar por establecer un diagnóstico de cuáles son las funciones de M&E ya existentes en el país—en el gobierno, la academia y la comunidad de consultores. Di-cho diagnóstico debe identificar cuáles son los puntos fuertes y débiles que existen tanto en el lado de la demanda como en el de la oferta. En realidad, un diagnóstico es un tipo de evaluación, y el mismo proceso de llevarlo a cabo ofrece a las partes interesadas más importantes del gobierno la oportunidad de familiarizarse con el sistema de M&E y sus posibles beneficios para el gobierno. De por sí un diagnóstico da lugar a un plan de acción encaminado a robustecer el sistema de M&E. Esto puede propiciar una coalición de apoyo de los ministerios sectoriales interesados y la comunidad de donantes.
Lección 4: Otra dimensión del lado de la de-manda es la necesidad de contar con un paladín de peso, un ministro o un funcionario de alto nivel influyente, con capacidad para asumir el liderazgo en la institucionalización del sistema de M&E, que convenza a sus colegas de la importancia de esta acción y asigne recursos importantes a la creación de un sistema de monitoreo y evaluación para todo el gobierno en su conjunto. Los paladines del gobierno han jugado un rol definitivo en algunos de los sistemas de M&E más exitosos.
Lo que ha resultado mucho menos exitoso es el contar con una ley, decreto o decisión del gabinete ministerial que sirva de fundamento para institu-
cionalizar un sistema de M&E. Un método como éste puede contribuir a legitimar un sistema de monitoreo y evaluación, especialmente en aquellos países en los que un instrumento legal se considera indispensable para que cualquier reforma de go-bierno sea percibida como algo que vale la pena y que se debe tomar seriamente. Sin embargo, una ley o decreto en sí mismos no aseguran que se em-prendan y sostengan los esfuerzos considerables requeridos para construir un sistema de M&E.
Lección 5: Otra característica común de los sistemas de monitoreo y evaluación exitosos es la custodia ofrecida por un ministerio capaz que pueda diseñar, desarrollar y administrar el sistema. De esta manera se contribuye a que el liderazgo institucional del sistema de M&E se mantenga cercano al gobierno central, por ejemplo a la Presidencia o a los Ministerios de Finanzas o Planeación.
Una de las funciones de este líder institucional es la de revisar constantemente en qué medida va avanzando el desarrollo del sistema de M&E y realizar los ajustes necesarios a su plan de acción. Es inevitable que se presenten dificultades y obs-táculos en su recorrido, por lo cual es importante determinar lo que está funcionando y lo que no, y por qué motivos esto está ocurriendo. Las revisio-nes periódicas del avance del proceso brindan la oportunidad de analizar el sistema de M&E desde los lados tanto de la demanda como de la oferta. De hecho, la mayoría de los países que cuentan con sistemas de M&E de buen desempeño no los han desarrollado de manera lineal—es decir, entendi-endo desde el principio cómo se manifestaría el sistema cuando alcance su madurez e ir logrando progresivamente esta visión. Por el contrario, los sistemas de M&E de los países se suelen desarrollar cada vez más en forma incremental, e incluso de manera no sistemática y oportunista, con algunas salidas en falso y encontrando por el camino algu-nos callejones sin salida.3
Lección 6: Un error que se suele cometer una vez se ha adoptado con entusiasmo un sistema de monitoreo y evaluación es el de sobrediseñar dicho sistema. Esto suele manifestarse en la gran cantidad de indicadores de desempeño que se recopilan. El sobrediseño puede también dar lugar a la proliferación de sistemas de información ministeriales. Estos sistemas suelen sufrir de falta de coordinación, incluso en el interior de cada ministerio. El problema se multiplica si hay varios sistemas de información del gobierno nacional
aGoSto 2010 premnote 7
que sean manejados por diferentes ministerios centrales y que puedan requerir información re-lacionada (aunque diferente), proporcionada por ministerios y organismos sectoriales. En México, por ejemplo, la entidad encargada del desarrollo social (SEDESOL) tenía ocho sistemas diferentes de información de gestión, no coordinados entre sí. En Uganda, en años recientes, el gobierno tenía que tratar de coordinar hasta 16 sistemas sectoria-les y subsectoriales separados.
Así pues, hay un valor real en la conformación de sistemas de información confiables a nivel de los ministerios: estos sistemas ofrecen los datos básicos de los que depende el sistema de M&E del gobierno en su conjunto. Una auditoría de los sistemas de información y un diagnóstico de las capacidades de datos resultan útiles en esta situación dado que pueden constituir una base para racionalizar la recolección de datos existente y mejorar su calidad.
Recuadro 1. Cuatro ejemplos de sistemas exitosos de M&E de diferentes gobiernos
Australia: El sistema de evaluación del gobierno fue administrado por el Ministerio de Hacienda y se les exigió a los ministerios que evaluaran todos los programas con una frecuencia de cada tres a cinco años. Las evaluaciones fueron llevadas a cabo por los ministerios sectoriales, pero también supervisadas por el Ministerio de Hacienda y otros organismos centrales. Para 1994, casi el 80 por ciento de las nuevas propuestas de gastos del proceso de presupuestación se basaba, en una buena medida, en los hallazgos de la evaluación. Cerca de dos tercios de las opciones de ahorros también se basaron en dichos hallazgos. Los funcionarios del Ministerio de Hacienda, que asistieron a las sesiones del Gabinete en las que se estudiaron las propuestas de presupuesto, opinaron que esta información influyó en gran proporción en las decisiones tomadas por el Gabinete respecto al pre-supuesto. La Oficina Nacional de Auditoría de Australia encontró que los departamentos sectoriales utilizaron también esta información en forme intensiva, especialmente para contribuir a mejorar su eficiencia operativa.Chile: El Ministerio de Hacienda contrata las evaluaciones con instituciones académicas y firmas de consultoría, utilizando términos de referencia y metodologías estandarizados para cada tipo de evaluación. Los funcionarios del Ministerio de Hacienda utilizan los hallazgos de M&E en forma intensiva en su análisis presupuestal de los resultados de cada uno de los ministerios y organismos. El Ministerio también emplea la información para fijar los objetivos de desempeño de cada organismo e imponer mejoras en la gestión tanto para los ministerios como para los organismos. El Ministerio de Hacienda supervisa hasta qué punto cada uno de los ministerios pone en práctica estas mejoras en la gestión.Colombia: El sistema de M&E del gobierno, denominado SINERGIA, es administrado por el De-partamento Nacional de Planeación. El sistema incluye información referente a 500 indicadores de desempeño, así como numerosas evaluaciones rápidas y de impacto. El Presidente ha hecho uso de la información ofrecida por SINERGIA en forma intensiva en sus sesiones mensuales de control de la gestión con cada uno de los ministros y en sus asambleas municipales semanales a lo largo y ancho del país. Estados Unidos: En 2002, el gobierno creó la Herramienta de Calificación de las Evaluaciones de Programas (PART por sus siglas en inglés), basada en un trabajo anterior tendiente a medir los re-sultados de la gestión del gobierno. El desempeño de todos los 1.000 programas de gobierno ha sido calificado utilizando la metodología de PART y se les ha exigido a los departamentos que utilicen estas calificaciones en las solicitudes de financiamiento del presupuesto anual a la Oficina de Gestión y Presupuesto (OMB por sus siglas en inglés). Dichas solicitudes deben destacar las calificaciones de PART, las recomendaciones de mejoramiento en el desempeño de los programas y los objetivos de desempeño. La OMB, a su turno, emplea también la calificación de PART en el momento de preparar las solicitudes de financiamiento de la administración al Congreso y de imponer los requisitos de mejoramiento en el desempeño a los departamentos.Fuente: Mackay 2007.
aGoSto 20108 premnote
Lección 7: Como es de esperarse, la construc-ción de un sistema de M&E suele comprender una capacitación en una serie de herramientas, métodos, enfoques y conceptos de monitoreo y evaluación. Es preciso contar con funcionarios y consultores bien capacitados, que sean ple-namente competentes en el tema de M&E. Sin embargo, la capacitación debe ofrecer más que simplemente las competencias en M&E. Los altos funcionarios necesitan saber cuáles son las fortalezas y limitaciones—es decir, la rentabili-dad relativa—de diversos tipos de herramientas y técnicas de M&E. Una capacitación intro-ductoria también puede concientizarlos sobre la información de M&E y la correspondiente demanda de dicha información. Por otra parte, dicha capacitación se debe extender al uso de los hallazgos del M&E. Es preciso que los analistas de los temas de presupuestación y pobreza, al igual que los gerentes de programas, puedan interpretar los datos de monitoreo para poder comprender las tendencias, las definiciones de los datos y las rupturas en las series temporales de datos, entre otras cosas. Asimismo, necesitan ser consumidores que puedan distinguir cuándo una evaluación es fiable y cuándo su metodología o sus hallazgos son cuestionables.
Lección 8: Una lección final es que la confor-mación de un sistema de M&E eficaz requiere de un esfuerzo a largo plazo, acompañado de paciencia y determinación. Toma tiempo crear o robustecer los sistemas de información; contratar y capacitar personal calificado; planificar, llevar a cabo y administrar las evaluaciones; y entrenar al personal en el uso del sistema de M&E en sus labores diarias, bien sea en lo referente a las op-eraciones del programa o al análisis y asesoría en materia de políticas. Australia y Chile pudieron crear sistemas de M&E que funcionan correcta-mente—en términos de la calidad, cantidad y uti-lización de las evaluaciones—en el curso de cuatro a cinco años, mientras que en el caso de Colombia, este proceso ha tardado más de diez años.
ConclusionesUn número creciente de países en desarrollo está conformando sistemas de monitoreo y evaluación exitosos de sus gobiernos. Para ello están anali-zando ejemplos de países desarrollados—especial-mente los miembros de la OCDE— pero cada vez
más estudian también a países pares como Chile, Colombia y México. Estos países han creado sistemas de evaluación de buen desempeño, en los que los hallazgos de M&E que se producen son utilizados intensivamente. Estos países han dem-ostrado no sólo que es factible construir un sistema de M&E del gobierno, sino que los gobiernos les otorgan una valoración muy alta.
Es de esperarse que esta breve nota y las próxi-mas de esta serie logren conquistar el interés de los altos funcionarios de los países en desarrollo y los motiven a investigar a profundidad si su gobierno debería dedicarles el tiempo y esfuerzo a construir un sistema de estas características. La comunidad de donantes—incluido el banco Mundial—está dispuesta a brindarles su apoyo en este empeño.
El autorKeith Mackay se retiró del Banco Mundial en 2008 y en la actualidad trabaja como consultor. Se desempeñó como Funcionario Evaluador Prin-cipal del Grupo de Evaluación Independiente del Banco, y prestó asesoría técnica y apoyo adicional a países dedicados a fortalecer sus sistemas de M&E como parte integral de una gobernabilidad sólida. Antes de ingresar al Banco en 1997, fue director del sistema de evaluación global del gobierno de Australia. Ha escrito más de 60 publicaciones sobre sistemas de M&E.
Notas al final1. El presente trabajo ha sido enriquecido con
comentarios Gladys López Acevedo, Nidhi Khat-tri, Jaime Saavedra y Helena Hwang. Las opiniones expresadas aquí corresponden al autor.
2. Una larga lista de incentivos referentes a M&E aparecen en: Mackay (2007, capítulo 11).
3. Las razones pertinentes a este tema se tratan un mayor detalle en: Mackay (2007).
Bibliografía IEG (Independent Evaluation Group). 2004a.
Influential Evaluations: Evaluations That Im-proved Performance and Impacts of Development Programs. World Bank, Washington, DC.
———. 2004b. Monitoring and Evaluation: Some Tools, Methods and Approaches, 2nd edition. World Bank, Washington, DC.
aGoSto 2010 premnote 9
Lopez Acevedo, Gladys, Katia Rivera, Lycia Lima, and Helena Hwang, eds. 2010. Challenges in Monitoring and Evaluation: An Opportunity to Institutionalize M&E Systems. World Bank and Inter-American Development Bank, Washington, DC.
Mackay, Keith. 2007. How to Build M&E Systems to Support Better Government. Washington, DC: World Bank.
World Bank. 1998. Public Expenditure Manage-ment Handbook. Washington, DC: World Bank.
Sitios Web del Banco Mundial:www.worldbank.org/povertywww.worldbank.org/lacmonitoringandevalu-ationwww.worldbank.org/ieg/ecd
Esta serie de notas busca resumir las buenas prácticas y los hallazgos políticos clave sobre temas relacionados con PREM. Las opiniones expresadas en las notas pertenecen a los autores y no reflejan necesariamente las del Banco Mundial. Notas PREM se distribuyen ampliamente al personal del Banco y también están disponibles en el sitio Web de la Red (http://www.worldbank.org/prem). Si usted está interesado(a) en escribir una “PREMnote”, por favor envíe su idea por correo electrónico a la Sra. Madjiguene Seck ([email protected]). Para obtener copias adicionales de este “PREMnote”, póngase en contacto con el servicio de asesoría PREM en la extensión x87736.
Esta serie es para difusión externa e interna
