Experiencia del D.F. en la

Evaluación del Desempeño

Gubernamental

Sandra Luz Ramírez MarroquínJunio 2012

1. Modelo de Evaluación

2. Qué es y Cómo se diseña un Indicador

3. Avances en la Evaluación del Desempeño Gubernamental

4. Replicabilidad de la Estrategia

Contenido

1. Modelo de Evaluación

Modelo Conceptual

1. Estructura Dinámica de Evaluación

2. Marco Metodológico

3. Coordinación Interinstitucional

4. Administración del Conocimiento

En términos del programa, los tipos de indicadores son:

•Indicadores de Gestión: Expresiones cuantitativas que permiten determinar el grado de ejecución de las actividades, la asignación y el uso de recursos en las diferentes etapas de los procesos, proyectos y programas

Ejemplo: Porcentaje de Alumnos con Becas Entregadas en el periodo

•Indicadores de Resultados: Expresiones cuantitativas que permiten medir el grado de logro de los objetivos del ente público, sus servicios, programas y proyectos

Ejemplo: Eficiencia Terminal de los Alumnos que Recibieron la Beca en el Periodo

•Indicadores de Impacto: Expresiones cuantitativas que permiten medir los efectos a mediano y largo plazo de un conjunto de acciones en el nivel de desarrollo social, económico o político de una sociedad

Ejemplos: Porcentaje de ex alumnos becados que tienen un mejor salario que el grupo de control, Índice de Desarrollo Humano.

• Perspectiva Finanzas Públicas

1.1) Egresos

1.2) Ingresos (Datos específicos)

1.3) Planeación Presupuestal y Financiera

• Perspectiva Procesos Internos

2.1) Reingeniería de Procesos

2.2) Programas y Proyectos del Ente Público (Datos específicos)

2.3) Planeación Estratégica

2.4) Adquisiciones

2.5) Obra Pública (Datos Específicos)

• Perspectiva Capacidad Institucional

3.1) Arquitectura Organizacional

3.2) Capital Humano

3.3) Infraestructura de Tecnologías de la Información y Comunicaciones (TIC)

3.4) Política Informática

3.5) Muebles, inmuebles y recursos materiales

• Perspectiva Fiscalización y Rendición de Cuentas

4.1) Auditoría

4.2) Transparencia

4.3) Corrupción

• Perspectiva Ciudadana 5.1) Atención Ciudadana (Datos Específicos)

5.2) Participación e Involucramiento Ciudadano

Indicadores de Gestión Específicos

y de Resultados

Interacción con los entes públicos

SIPROMOEVA

• www.sipromoeva.df.gob.mx

• A este sistema se tiene acceso vía Web, los usuarios tienen accesos diferenciados dependiendo del perfil de usuario que se les asigne

• Tres módulos: Captura de información, Consulta y Mensajería

• Se podrán generar reportes y gráficos en una segunda fase

1. Portafolio de Indicadores de Gestión para toda la APDF

2. Construcción de Indicadores de Resultados para no solo medir gestión, sino logros respecto a objetivos:

9 entes públicos con mayor impacto en el

bienestar de la población del D.F. y se desarrolló

un análisis de alineación estratégica

Análisis

De este análisis se derivaron y propusieron

indicadores de resultados para consolidar un solo

portafolio por ente

Propuesta de indicadores

Se presentó a los 9 entes públicos y se instalaron mesas de trabajo para

mejorar, validar y analizar la factibilidad de

los indicadores de resultados

Mesas de trabajo

Se acordaron portafolios consolidados por ente público y se firmaron

acuerdos de las mesas

Acuerdos

Se presentaron los Portafolios para revisión y mejora con OSC y con académicos reconocidos

en cada tema

OSC/Académicos

Verificaron la pertinencia y la factibilidad de incluir los cambios propuestos

por las OSC y los académicos en una 1a o

2a etapa

Ajustes

Portafolios de Indicadores de Resultados Concluidos a la Fecha

Secretaría de Desarrollo Económico

Secretaría del Medio Ambiente

Instituto de Vivienda

Secretaría de Desarrollo Social

Secretaría de Educación

Fideicomiso de Educación

Garantizada

Procuraduría General de Justicia

Secretaría de Seguridad Pública

Secretaría de Salud

Instituto de Ciencia y Tecnología

Portafolios de Indicadores de Resultados en Proceso

Secretaría de Cultura

Secretaría de Desarrollo Urbano y

Vivienda

Secretaría de Obras y Servicios

Secretaría del Trabajo y Fomento al Empleo

Inmujeres – D.F.Instituto de

Educación Media Superior del D.F.

DIF-DF

Secretaría de Protección CivilSEDEREC

Secretaría de Transporte y Vialidad

Instituto de la Juventud del D.F.

Acordados, pendiente revisión de

académicos y OSC

En proceso de acordar con el ente

público

Secretaría de Turismo

Servicios de Salud Pública del D.F.

Instituto de Verificación

AdministrativaEn

proceso de análisis y propuesta

Total de entes con portafolio de indicadores de resultados: 24

Ejemplo Indicadores de Resultados FIDEGARPerspectiva Procesos Internos Vertiente Evaluación de programas y proyectos del ente público

Clave Nombre Fórmula Unidad de Medida Objetivo Tipo de

Indicador Periodicidad Fuente

Línea Base

FIDEGAR.R.001

Porcentaje de beneficiarios del Programa Niñ@s

Talento que se gradúan de

educación básica

(Total de beneficiarios del Programa que se

gradúan de educación básica) / (Total de beneficiarios del Programa)*100

Porcentaje

Conocer el porcentaje de

beneficiarios del Programa Niñ@s

Talento que se gradúan de

educación básica

Resultados Anual

FIDEGAR.R.002

Porcentaje de beneficiarios del

Programa Educación Garantizada que terminan el año

escolar

(Estudiantes de 6 a 18 años inscritos en

escuelas públicas del Distrito Federal que

terminan el año escolar en el que se encuentran inscritos/Estudiantes de 6 a 18 años inscritos en escuelas públicas del Distrito Federal que reciben apoyo del

Programa Educación Garantizada) * 100

Porcentaje

Conocer el porcentaje de alumnos de

educación pública de DF de 6 a 18 años que reciben

apoyo del Programa Educación

Garantizada y se gradúan del año

escolar en el que se encuentran inscritos

Resultados Anual

FIDEGAR.R.003

Porcentaje de alumnos

beneficiarios del Programa Estímulos para el Bachillerato

Universal que terminaron el año

escolar

(Número de alumnos beneficiarios del

Programa Prepa Sí que terminaron el año escolar en el que

estaban inscritos /Total de alumnos

beneficiarios en el Programa Prepa Sí en el

ciclo escolar t))*100

Porcentaje

Conocer el porcentaje de

alumnos inscritos en escuelas públicas de

educación media superior que

reciben apoyos del Programa Estímulos para el Bachillerato

Resultados Anual

I. Reportes Mensuales

II. Reportes Trimestrales

III. Reportes Anuales

Reporte por Delegación Reporte Mensual Comparativo de Delegaciones

Reporte Trimestral por Ente Público Reporte Trimestral Comparativo de Delegaciones Reporte Trimestral Comparativo por Gabinete

Reporte Anual por Ente Público Reporte Anual Comparativo por Gabinete Reporte Anual Comparativo de Delegaciones Evaluación Anual de Resultados por Ente Público

(21)

2. ¿Qué es y Cómo se Diseña un Indicador?

¿Qué es un Indicador?

Un indicador es una expresión cuantitativa del comportamiento y desempeño de una acción o proceso

¿Para Qué Sirve un Indicador?

• Mide el grado de logro de los objetivos de programas, servicios y proyectos

• Permite evaluar y monitorear el desempeño gubernamental

• Permite construir aprendizaje institucional para la toma de decisiones

• Facilita el ejercicio eficiente del gasto, la transparencia, la rendición de cuentas y la participación ciudadana

Dimensión (De acuerdo a lo que

miden)

•Eficacia•Eficiencia•Economía•Calidad

Dos Clasificaciones de Indicadores

Ámbitos de medición(De acuerdo a la etapa)

•Insumos (Recursos)•Procesos•Productos (Bienes y servicios entregados)•Resultados (Logros de programas o servicios)

• De Insumos: - Evolución Anual del Concepto 4400- Porcentaje de Servidores Públicos Capacitados

• De Procesos:-Porcentaje de Programas Sociales aprobados por el COPLADE que cuentan con reglas de operación publicadas en Gaceta Oficial

• De Productos:-Tasa de crecimiento de becas entregadas

• De Resultados: -Eficiencia terminal de los niños de educación primaria becados

Ejemplos de Indicadores por Ámbito

Mide:

• Grado de cumplimiento de los objetivos de un programa

• Logros entre lo planificado y lo obtenido

• En que medida la institución esta cumpliendo con sus objetivos

• Porcentaje de becas entregadas en relación a las programadas en elPrograma Justicia Social Becas Escolares

• Porcentaje de niños que cuentan con su esquema de vacunación completo

Indicadores por Dimensión> Eficacia

Indicadores por Dimensión> Eficiencia

Mide:

La relación entre el logro obtenido con respecto a los insumos o recursos utilizados

• Productividad, costos medios, costos unitarios, gastos administrativos en relación al gasto total, entre otros

•Porcentaje de gasto de operación del Programa Adulto Mayor respecto de gasto total

Indicadores por Dimensión> Economía

Mide:

La capacidad del programa o de la Delegación para administrar, generar o movilizar adecuadamente los recursos financieros. Si los recursos se han adquirido al menor costo y en el tiempo oportuno, así como en cantidad y calidad deseada

• Ingresos propios generados (autofinanciamiento)

• Presupuesto ejercido

• Tiempo promedio en que estuvieron averiadas las PC

Indicadores por Dimensión> Calidad

Mide:

Los atributos, capacidades o características que deben tener los bienes y servicios para satisfacer los objetivos

• Grado de satisfacción de los beneficiarios del Programa Jefas de Familia

• Tiempo de respuesta a requerimientos de los beneficiarios del Programa de Personas con Discapacidad

Tabla de Equivalencias entre Clasificaciones de Indicadores

Ámbito Dimensión* MML PROMOEVA

• Insumo • Eficiencia• Economía• Calidad

• Actividades • Gestión

• Proceso• Producto

• Eficiencia• Economía• Calidad

• Componentes • Gestión

• Resultado (intermedio)

• Eficacia• (Efectividad)

• Propósito • Resultados

• Resultado (final) • (Efectividad) • (Impacto)

• Fin • Impacto

(*) El Gobierno Federal visualiza la eficacia también en las actividades, procesos y productos (bienes y servicios) . Lo anterior se basa en usar como sinónimo la eficacia con la efectividad.

o Eficacia: Una medida de cómo los recursos destinados al proyecto se convierten en productos y resultados esperados, con la calidad esperada.

o Efectividad: Es la medida en que la intervención promueve o genera cambios deseables de actitud, conducta o desempeño en la población objetivo.

• Si distinguimos las anteriores como diferentes, relacionamos la efectividad únicamente a los resultados y al impacto .

Pasos para Construir Indicadores

Establecer su línea base (si existe) y metas

Seleccionar el Programa, Servicio, Trámite, Acción o Proyecto cuyo avance se desea medir

Identificar los factores relevantes que se pueden medir (variables)

Proponer indicadores para cada factor relevante

Validar la factibilidad los Indicadores propuestos (costos, fuentes, estado de la información)

Establecer la periodicidad del indicador

Proponer fórmulas para cada Indicador

1.

2.

3.

4.

5.6.7.

Perspectiva Procesos Internos

Vertiente Reingeniería de Procesos

Tipo de información Cuantitativa: Indicadores de Gestión Generales

Clave Nombre Fórmula

Valor

Unidad de

MedidaObjetivo Tipo de

Indicador Periodicidad Fuente

Parámetros, Estadísticas o Indicadores

Relacionados

Línea Base

Metas

2010 2011 2012

ICYTDF.R.07

Variación porcentual anual en el número de empresas de alta tecnología constituidas con el apoyo del ICyTDF

(Número de empresas constituidas con el apoyo del ICyTDF en el año t / Número de empresas constituidas con el apoyo del ICYTDF en el año t-1)-1)* 100

  Tasa

Conocer el avance anual en el número de empresas

de alta tecnología constituidas con el apoyo del ICyTDF

Mejorar el nivel

de competitividad del Distrito Federal

Anual

Dirección de Vinculación Empresarial y Patrimonio Intelectual

Elementos del Portafolio de Indicadores

Metodología del PROMOEVA para Generar Indicadores de Resultados> Alineación Estratégica

3. Avances en la Evaluación del Desempeño Gubernamental

• La Administración Pública del Distrito Federal cuenta con 90 entes públicos

• De éstos, el PROMOEVA tenía una cobertura del 92% con 83 enlaces designados por los titulares

• El enlace es la persona responsable ante la Contraloría General de reportar la información solicitada en el sistema y de cumplir con las acciones derivadas del PROMOEVA

• El enlace debe ser al menos un subdirector en la estructura orgánica y pertenecer a las áreas de planeación, evaluación, administración o de la que principalmente opera los programas y servicios sustantivos del ente público

Cobertura del PROMOEVA

• El enlace tiene un perfil requerido y se le capacita

• El Contralor Interno de cada ente público participa como revisor de la información antes de que se envíe a la Coordinación General de Modernización Administrativa (CGMA) por el SIPROMOEVA

• Se capacita a los contralores internos

• Se capacita a operadores de programas

• Se tiene mapeado los procesos para generar los indicadores

• La CGMA hace una revisión numérica y lógica de la información antes de validarla

• La información reportada en SIPROMOEVA es sujeta de Auditorías del Desempeño y es vinculatoria

• Las mesas de trabajo para indicadores de resultados permiten construir indicadores factibles, apegados a la realidad del objeto que miden

Información Confiable

Reportes Mensuales , Trimestrales y Anuales 2010 Publicados

• Portal Ciudadanohttp://www. df.gob.mx/

• Portal de la Contraloría Generalhttp://www.contraloria.df.gob.mx/wb/cg/

evaluacion_del_desempeno_gubernamental

• Portal de la Coordinación General de Modernización Administrativahttp://www.cgma.df.gob.mx/wb/cgma/

catalogo_de_productos_de_monitoreo_y_evaluacion

• Portal del SIPROMOEVAhttp://www.sipromoeva.df.gob.mx/

• Ventanilla Única de Transparencia del DFhttp://www.transparencia.df.gob.mx

Reportes Trimestrales por Ente

Reportes Trimestrales Comparativo Delegaciones

Reportes Trimestrales Comparativo de Gabinete

Reportes Anuales > Resumen Gráfico Ejecutivo

Reporte Anual Ejemplo de Recomendaciones

Reporte Anual Recomendaciones

Evaluación Anual Ejemplo Recomendaciones

• Se da asesoría a los enlaces vía correo electrónico, mensajería del sistema y telefónica

• Se han realizado capacitaciones en MML, indicadores y evaluación

Capacitación y Asesoría

Fecha CapacitaciónServidores públicos

capacitados

16-18 Jun 2010

1ra Capacitación en Metodología de Marco Lógico por CEPAL-Chile con apoyo de CONEVAL

40 Enlaces y Responsables de

Programas21,22,25,

26,27 y 28 octubre

2010

Presentación del PROMOEVA, Capacitación en Evaluación y Uso del SIPROMOEVA

70 Enlaces y 65 Contralores Internos.

25 Jul 2011

1ª Capacitación para la Mejor Implementación del PROMOEVA

91 Enlaces y Capturistas

22 y 23 Ago 2011

2da Capacitación en Metodología de Marco Lógico por CEPAL-Chile con apoyo de CONEVAL

36 Enlaces y Responsables de

Programas

24 feb 2012

2ª Capacitación para la Mejor Implementación del PROMOEVA.

106 Enlaces y capturistas

Coordinación y Colaboración

1.Colaboración en el diseño de indicadores de gestión y resultados

2. La emisión de recomendaciones de política pública

3. Aportaciones a la redacción ciudadana y revisión de la BoletaDF

4. La redacción de la versión para el ciudadano de la Evaluación Anual

5. La generación de estudios relacionados con la temática de los indicadores

6. Difusión de la información de PROMOEVA y uso en investigación o análisis

7. El envío de otras propuestas que promuevan la cultura de evaluación

Convocatoria a las OSC y Academia

•Para la emisión de la Convocatoria con OSC, se generó una propuesta de

Convenio de Colaboración con el InfoDF, a fin de apoyar la transparencia y

garantizar la publicación de indicadores de gestión y resultados.

•Se plantea firmar un instrumento de colaboración entre la Contraloría

General y la Contaduría Mayor de Hacienda para compartir información

relativa a los indicadores de gestión a fin de darles uso dentro del Programa

Anual de Auditorías de la Dirección General de Auditoría Programática-

Presupuestal. Los productos de las auditorías realizadas por dicha Dirección

serían compartidos con la Contraloría General, para utilizarlas como insumos

para futuras evaluaciones y auditorías internas.

Coordinación Interinstitucional

•Con base en las lecciones aprendidas durante 2011, se desarrollará el Manual de Procedimientos para el Monitoreo y Evaluación del Desempeño Gubernamental

•Se incluyó la estrategia del PROMOEVA como mecanismo de monitoreo y evaluación en la propuesta de Reglamento de la Ley de Planeación del Distrito Federal

•Se asesoraron, revisaron y enviaron 13 matrices de Marco Lógico a CONEVAL a las que se les dará seguimiento

•Se recibieron, revisaron y formalizaron los procedimientos para generar indicadores de gestión mensuales, trimestrales y anuales de la APDF

•Se tiene coordinación con la Secretaría de Finanzas para evitar duplicidades y generar sinergias entre Evaluación y Presupuesto basado en Resultados

Institucionalización

Portal BoletaDF

Portal BoletaDF

Portal BoletaDF

Estrategia Integral de Difusión

4. Replicabilidad de la Estrategia

• El tema de evaluación es un elemento del ciclo de políticas públicas

• La Gestión para Resultados adquiere vital importancia dadas las altas expectativas y demandas de los ciudadanos y el entorno de restricciones presupuestarias

• El acceso a recursos federales, locales, internacionales y no gubernamentales requiere la fundamentación de que las acciones de gobierno son efectivas y tienen resultados que se traducen en beneficios para la población

• Un gobierno que se evalúa tiene mayores oportunidades de tomar mejores decisiones, garantizar y acelerar el cumplimiento de sus objetivos, ser transparente, aprender de sí mismo, esto es, ser un mejor gobierno

Por qué es replicable el PROMOEVA

• La necesidad de conocer cómo se va respecto de lo planeado es común a todos los gobiernos, los intentos aislados para evaluar son comunes, es posible que cuando se debe diseñar una política o programa, tomar una decisión o rendir cuentas, se buscan los indicadores y la información de los avances

• El PROMOEVA es una política pública para aportar elementos de evaluación en un modelo de Gestión para Resultados:

o Simplifica los diferentes marcos teóricoso Homologa y hace compatibles diferentes metodologíaso Propone un modelo de gobernabilidad con los actores estratégicos

implicados para contar con información confiable y generar sinergiaso Considera no sólo los aspectos técnicos de la evaluación, sino también

los culturales, humanos y organizacionaleso Define productos de evaluación y los relaciona a la transparenciao Acota el alcance de los objetos y tipos de evaluacióno Considera diferentes públicos con diferentes necesidades de informacióno Organiza y sistematiza información homologada para medir en el tiempo

un mismo objeto y comparar entre dimensiones

Por qué es replicable el PROMOEVA

Pasos para la Implementación de un Sistema de Evaluación Interna

1.Diagnosticar los elementos requeridos para una cultura de evaluación:

• Si se tiene definida la Planeación Estratégica con objetivos y metas

• Si se tienen identificados los asuntos sustantivos de los

administrativos y si se alinean a la planeación

• Si se tiene conocimiento y capacidades humanas para realizar

indicadores y evaluar

• Si se ubica y conoce el estado y calidad de la información (dueño-

productor, papel o electrónica explotable, con un proceso fiable)

• Estadísticas e indicadores existentes en informes, sistemas, bases

de datos

• Si se tienen capacidades tecnológicas para recopilar e integrar

bases de datos

• Si las acciones detectadas de evaluación son coyunturales o

institucionalizadas y periódicas-permanente

Pasos para la Implementación de un Sistema de Evaluación Interna

2.Con base en el diagnóstico, diseñar el plan o programa de evaluación,

definiendo claramente:

• Qué se entiende por evaluación y el objetivo de hacerla, ¿Para qué?

• Modelo Conceptual: estrategias, elementos necesarios y actores

• Alcance: qué se quiere medir, cuándo, en qué aspectos

• Tipos de evaluaciones, tipos de indicadores, metodologías en gral

• Temas con tipos de indicadores y preguntas para información

cualitativa

• Procedimiento básico para realizar la evaluación: quién, con qué, a

través de qué participa

3.Diseñar indicadores por tipo y a quién aplica (grales y específicos) en

colaboración con las áreas dueñas del tema

Pasos para la Implementación de un Sistema de Evaluación Interna

4.Si se toman indicadores existentes, revisar variables y comparabilidad con

otros sujetos de evaluación

5.Valorar la utilidad de la información de los indicadores generada al interior

de las áreas y con sus titulares

6. Identificar a los dueños de la información y el estado de ésta para

integrarla o sumarla (Ej: Jefatura de entrega de becas + Subdirector de

administración de tarjetas -excel-desde 2003)

7.Si es necesario, definir las acciones para obtener la información que por

ese momento no existe (digitalizar, integrar, generar mediante un proceso,

etc)

Pasos para la Implementación de un Sistema de Evaluación Interna

8.Confirmar la periodicidad establecida para el reporte de indicadores.

9.Para cada indicador, si es el caso, programar meta

10.Revisar y validar al interior de cada área los indicadores generados,

asegurando el mismo entendimiento (vale hacer notas por indicador)

11.Recopilar los datos del total de indicadores en la periodicidad

establecida (si es nuevo, el primer dato reportado será la línea base)

12.Generar la primera carga de información de indicadores a través de un

formato sencillo de utilizar para las áreas

Pasos para la Implementación de un Sistema de Evaluación Interna

13.Integrar la información, analizarla y generar un reporte en un formato

amigable

14.Entregar los reportes a los interesados y tomadores de decisiones

15.Retroalimentar y realizar modificaciones correspondientes a los

indicadores

16.Iniciar el reporte periódico de los indicadores acordados

17.Establecer un mecanismo de comunicación de la información al interior

y exterior

• http://www.infodf.org.mx/capacitacion/publicacionesDCCT/manual6indicadores/manualindicadores.pdf

• http://www.eclac.cl/ilpes/noticias/noticias/3/40213/Presentacion_MIR_res_SecturB_07_2010.pdf

• http://www.shcp.gob.mx/EGRESOS/PEF/sed/anexo_oficio_criterios.pdf

• http://www.eclac.org/cgi-bin/getProd.asp?xml=/publicaciones/xml/

8/44008/P44008.xml&xsl=/ilpes/tpl/p9f.xsl&base=/ilpes/tpl/top-

bottom.xslt

• http://www.eclac.org/cgi-bin/getProd.asp?xml=/publicaciones/xml/0/43220/P43220.xml&xsl=/ilpes/tpl/p9f.xsl&base=/ilpes/tpl/top-bottom.xslt

Ayudas en Internet

¡Gracias!

sramirez@df.gob.mx

Experiencia del D.F. en la

Evaluación del Desempeño

Gubernamental

Sandra Luz Ramírez MarroquínJunio 2012