Indicadores metodologia aecid_marmijo

1

Lineamientos metodológicos para la construcción de indicadores de desempeño

Área de Políticas Presupuestarias y Gestión Pública ILPES/[email protected]

CURSO INTERNACIONAL “PLANIFICACION ESTRATEGICA Y POLITICAS

PUBLICAS”

AECID/ILPES/CEPAL3 al 14 de Mayo de 2010Montevideo. Uruguay.

mailto:[email protected]

Contenido• Definiciones

• Contexto de los indicadores en la gestión orientada a resultados

• 10 pasos básicos para construir indicadores de desempeño

• Seleccionando los indicadores de desempeño

• Recomendaciones

Es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución, cubriendo aspectos cuantitativos o cualitativos

¿Para qué sirve esta información?

TOMAR DECISIONES

Indicadores de Desempeño

“Que indica o sirve para indicar”

Latín = “Indicare” = Mostrar o significar algo, conindicios y señales

Desempeño: capacidad de una institución paragestionar adecuadamente sus recursos y darcumplimiento a los objetivos y metas establecidos

Indicadores de Desempeño

UN INDICADOR ES UNA SEÑAL, UN AVISO, QUE NOS ENTREGA INFORMACIÓN

SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO

Aumentar nivelde escolaridad

del país

Años promedio deescolaridad por

habitante del país

Por que es necesario construir indicadores

Es necesario definir indicadores para:

• Eficacia• Calidad• Eficiencia

PROYECTOS

PROGRAMAS

REC

UR

SOS

INSUMOS PROCESO PRODUCTOS RESULTADOS• Eficacia• Calidad• Eficiencia• Economía

• Eficacia• Calidad• Eficiencia

• Eficacia

• (Eficiencia)

Bienes

SERVICIOS

PRESUPUESTO NACIONAL

Recursos Bienes y Servicios Beneficiarios

(resultados:Intermedio - final)

Presupuesto ($)

Producción (Q)Resultados

(desde punto de vista de los beneficiarios)

Indicadores

Productos-Cobertura y focalización

-Oportunidad

-Carácterísticas de Bs. y Ss.

-Costos

Indicadores

Misión y Objetivos

Estratègicos-Intermedio

-Final

Insumos / Procesos

INSTITUCIÓN

Indicadores

Actividades-Programas de trabajo

-Programación

-Ejecución de recursos

Proceso 2 Proceso 3

Proceso 1 Proceso 4

InsumosY

Recursos

Productos Estratégicos(Bienes y Servicios)

Proceso productivo Productos Resultados

Para esto es necesario comprender la cadena de producción y resultado esperado

Objetivos de Gobierno

Ministerios Ministerios Ministerios MInisterios

EntidadesEntidades

ProgramaPrograma

Y comprender que los objetivos de la institución deben estar alineados con los Objetivos (prioridades) gubernamentales……….

OBJETIVOS

INDICADORES

Operacionalizaciónde objetivos

Agregaciónde mediciones

Ministerios Ministerios Ministerios Ministerios

Programas

EntidadesProgramas

División Divisió

nDivisión

Dpto. Dpto.

Y para que se generen los resultados esperados las Institucionesdeben tener sus objetivos, definir resultados esperados y la forma de medirlos a través de indicadores

Por eso es importante comprender el concepto y sentido de los indicadores

• Son herramientas de gestión que proveen un valor de referencia a partir del cual se puede establecer una comparación entre las metas planeadas y el desempeño logrado

• Un indicador de desempeño es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución

• Los indicadores de desempeño son medidas que describen cuán bien se están desarrollando los objetivos de una institución, a qué costo y con quénivel de calidad.

• En un sistema de cuenta pública orientada a resultados, se requiere datos sobre un conjunto de indicadores diferentes, que reflejan la información requerida para distintos niveles de toma de decisiones.

• Los legisladores y los Directores requieren información estratégica sobre la gestión de la institución (resultados finales e impacto), mientras que los Gerentes de Divisiones, Departamentos o Programas y sus staff requieren detalles sobre la provisión de insumos, las actividades, los productos finales y resultados intermedios

• La idea de incorporar indicadores y metas de desempeño al proceso presupuestario es disponer de información sobre los niveles de cumplimientode los objetivos planteados y resultados esperados de cada institución y enriquecer el análisis en la formulación del presupuesto y su discusión en el Congreso.

• Los indicadores y sus metas se presentan como información complementariaal Proyecto de Ley de Presupuestos, y una vez aprobado éste, las metas se vinculan con el seguimiento (monitoreo) de la ejecución.

¿QUE TIPO DE INDICADORES HAY?

Clasificación de los indicadores

• Según qué miden

(dimensiones del desempeño):

– Eficacia

– Calidad

– Eficiencia

– Economía

• Según etapa del proceso productivo:

– Insumos

– Procesos

– Productos

(bienes y servicios)

– Resultados (intermedios y finales)

EFICACIA

EFICIENCIA

ECONOMÍA

CALIDAD

PROCESOS PRODUCTO RESULTADOS

DIMENSIONES

DESEMPENO

AMBITOS DE MEDICIÓN y DIMENSIONESAMBITOS: DESDE LA CADENA DE PRODUCCION

Proceso (Actividades - productos intermedios):

Actividades vinculadas a la producción de bienes y servicios. Corresponden a las necesarias para generar los productos finalesde la institución:

procedimientos de compralicitacionesprocesos tecnológicosadministración financieraetc.

- Porcentaje del presupuesto ejercido- Porcentaje de compras de insumos efectuadas dentro del tiempo programado

Segun la Etapa del Proceso Productivo o Ambito de Medicion

Algunos ejemplos de Indicadores en el ámbito de los Procesos:

Porcentaje de ejecución del presupuesto

Porcentaje de gasto en Recursos Humanos respecto de gasto total

Porcentaje de gasto corriente respecto de gasto total

Porcentaje de productos entregados respecto de lo programado

Porcentaje de compras de insumos efectuadas dentro del tiempo programado

Porcentaje de licitaciones adjudicadas respecto de licitaciones totales

Porcentaje de ingresos propios percibidos respecto de los programados

Porcentaje de subsidios asignados

Porcentaje de familias pobres catastradas

Porcentaje de normas de aviación actualizadas

Ámbito de los Procesos productivos(Ejemplos para Actividades Centrales)

Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios):

procedimientos de compra

Adquisición de insumos – contratación de empresas proveedoras

Licitaciones

Externalización de servicios - subcontratación de empresas que proveen los productos

procesos tecnológicos

Implementación de servicios por internet - procesos para generar productos

Producto (productos finales):

Bienes y/o servicios públicos producidos o entregados por la institución para cumplir con su misión. Está dirigido al beneficiario final, o en algunos casos, intermedio.

- Porcentaje de alumnos que reciben la beca oportunamente- Tiempo promedio de entrega de subsidios para la vivienda- Metros cuadrados construidos promedio por vivienda entregada

ÁMBITOS DE MEDICIÓN

Ámbito de los Productos:

Bienes y/o servicios proporcionados directamente a los usuarios:

Definir los requerimientos de los usuarios

Establecer las características de los productos

- Características técnicas del producto- Tiempo de entrega a los usuarios

- Cobertura (todos los niños y niñas del país)

- Focalización (niños y niñas en situación riesgo social)

- Grado de satisfacción de los usuarios

Algunos ejemplos de indicadores en el ámbito de los Productos:

Porcentaje de familias sin vivienda que reciben aportes del Estado

Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total de familias sin vivienda que reciben aporte del Estado

Tiempo promedio de entrega de subsidios para la vivienda

Metros de cuadrados construidos promedio por vivienda entregada

Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para reuniones, parques, plazas, juegos para niños)

Porcentaje de familias que manifiestan satisfacción con la vivienda entregada

Indicador de EFICACIA

• Mide el grado de cumplimiento de un objetivo.

• No considera los recursos asignados para ello

• Ejemplo: – Porcentaje de becas entregadas en relación a las programadas

– Reducción de la tasa de analfabetismo

“Porcentaje de cobertura en la atención de adultos mayores”

(Total de adultos mayores atendidos / Total de adultos mayores del país)*100

Adultos Mayoresdel país Adultos Mayores

atendidos

COBERTURA

Eficacia/Cobertura:

“Porcentaje de adultos mayores atendidos que se encuentran en situación de extrema pobreza”

(Total de adultos mayores atendidos que se encuentran en situación de extrema pobreza / Total de adultos mayores atendidos)*100

Adultos Mayoresdel país

Adultos Mayoresatendidos

Adultos Mayorespobres

FOCALIZACIÓN

Eficacia/Focalización:

EFICACIA (Cobertura)/Producto

Area de cultivo incluida en el Programa

Area Total del Programa de Cultivo

Dirección General de Servicios Agrícolas . Uruguay

Controles de emisiones de Buses Interurbanos

Total de Buses Inter urbanos

Subsecretaria de Transportes Chile

Reclusos con actividad industrial Total de reclusos

Dirección Nacional de Cárceles Uruguay

PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL

PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA

PORCENTAJE DE COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS

*100

*100

*100

Algunos ejemplos de indicadores de Eficacia (focalización)

Porcentaje de la población en situación de pobreza que recibe subsidio para agua potable

Porcentaje de niños en situación de pobreza que reciben beca estudiantil

Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutrición

Porcentaje de deportistas que acceden a programas de alto rendimiento

Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia

Indicador de EFICIENCIA

• Mide la relación entre los productos y servicios generados con respecto a los insumos o recursos utilizados.

• Aproximaciones a este concepto:– Costos de producción (costos medios, costos unitarios gastos

administrativos en relación al gasto total)

– Productividad media de los distintos factores de producción

• Ejemplos:

– Costo promedio anual por alumno atendido

– Solicitudes tramitadas por funcionario

EFICIENCIA

• Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input,

• son útiles en evaluar los costos relativos y productividad que diferente métodos de servicio entregan o la producción de bienes.

• Los indicadores de eficiencia pueden expresarse como “costo por producto”, o “unidades por insumo”, o “costo por resultado”.

Ejemplos de Indicadores de Eficiencia

Indicador de CALIDAD• Mide atributos, capacidades o características que deben tener los bienes o servicios para satisfacer adecuadamente los objetivos del programa.

• Calidad es una dimensión de la eficacia, pero por su importancia se la distingue con nombre propio

• Ejemplos:– Grado de satisfacción de los usuarios– Tiempo de respuesta a requerimientos de los beneficiarios

CALIDAD

Calidad- Satisfacción de usuariosPorcentaje de aprobación Encuesta de opinión a los usuariosDirección Nacional de Registos

Porcentaje de reclamos/casos atendidosDirección Nacional de Topografía

Asuntos resueltos/ Número de servicios reclamadosSubsecretaria de Ministerio de Educación y Cultura

Número de servicios reclamados/número total de servicios Hospital de Montevideo

Oportunidad Accesibilidad Percepción de usuarios

Precisión

Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados.

Número de localidades cubiertas por atenciones móviles

Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes

Porcentaje de contratos terminados por errores

Porcentaje de reportes económicos entregados en tiempo acordado

Nº de horas que la Biblioteca estáabierta fuera de las horas de trabajo

Número de fallas reales/ Fallas programadas

Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca

INDICADORES DE CALIDAD

Número de intervenciones con retraso/ Número de intervenciones totales

Porcentaje de contratos con uno o más errores encontrados por revisiones externas

Porcentaje de usuarios satisfechos

Nº de usuarios satisfechos/ Total usuarios encuestados

Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios

Indicador de ECONOMÍA

• Mide la capacidad del programa para generar o movilizar adecuadamente los recursos financieros.

• Economía es una dimensión de la eficiencia.

• Ejemplos:

– Ingresos propios generados sobre Presupuesto Total

– Presupuesto ejercido respecto del presupuesto total

Resultado intermedio:

Es el resultado directo a lograr en la población objetivo dado el uso de los productos finales.

Es la aportación específica a la solución de un problema o necesidad.

- Porcentaje de profesoras indígenas asesoradas que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe


Ámbito de los Resultados:Resultados intermedios

• Cambio en el comportamiento de los beneficiarios una vez que han recibido losbienes y/o servicios.

• La entrega de los bienes y/o servicios a los usuarios supone que conduce a la

• Obtención de los resultados finales.

• Constituye una aproximación a los resultados finales

Resultados finales o impacto:

Contribución a la solución de un problema o necesidad

Complejidad de medir Impacto o Resultado Final: un programa o institución por lo general contribuye a alcanzar un resultado final y se complementa con la acción de otros programas e instituciones.


Resultados finales (impacto):

¿Cómo identificar el Impacto de nuestra institución?

El impacto no se produce inmediatamente y medirlo requiere de un análisis más profundo, de la definición de un conjunto de indicadores y otros instrumentos complementarios como las evaluaciones de impacto.

- Tasa de crecimiento del Sector de Tecnologías de la Información (TI)


RESULTADO INTERMEDIO RESULTADO FINAL

Porcentaje de trabajadores sin calificación que egresan de un programa de capacitación técnica

Porcentaje de trabajadores sin calificación egresados de un programa de capacitación que consiguen un empleo permanente

Porcentaje de participantes egresados de programa antidrogas con actitud crítica hacia la droga

Porcentaje de personas que no reinciden después de participar en programa antidrogas

Porcentaje de familias pobres que inician una actividad empresarial con apoyo del Programa de emprendimiento

Porcentaje de familias cuyos ingresos provenientes de emprendimientos alcanzan $XX

Porcentaje de disminución de delitos xxx en regiones intervenidas criticas

Tasa de variación de delitos xxx a nivel país

Porcentaje de población objetivo vacunada contra la poliomelitis

Tasa de incidencia de la poliomielitis

¿COMO CONSTRUIMOS UN INDICADOR?

10 pasos básicos para construir indicadores

1. Establecer las definiciones estratégicas como referente para la medición

2. Establecer las áreas de desempeño relevantes a medir

3. Formular el indicador y describir la fórmula de cálculo

4. Validar los indicadores aplicando criterios técnicos

5 Recopilar los datos

6. Establecer las metas o el valor deseadodel indicador y la periodicidad de lamedición

7. Señalar la fuente de los datos o medios de verificación

8. Establecer supuestos (observaciones)

8. Evaluar: establecer referentes comparativos y establecer juicios

10. Comunicar e Informar el desempeño logrado

1. Establecer las definiciones estratégicas como referente para la medición del desempeño

• MISION

• VISION

• OBJETIVOS ESTRATEGICOS

• PRODUCTOS FINALES o ESTRATEGICOS

De las Definiciones estratégicas extraer los Factores Relevantes que deben ser medidos.

•¿Cuáles son los principales aspectos o variables claves que deben ser medidos en cada uno de los Objetivos (Misión, Objetivos Estratégicos, productos..) ?

•¿Qué ámbitos deben ser medidos?

•¿Qué dimensiones deben ser medidos?

•¿Quién utilizará la información?

•¿Qué decisiones tomará?

2. Establecer los factores relevantes, ámbitos y dimensiones de desempeño a medir…….

Factores relevantes a medir

• Se refiere las características que deseamos medir respecto al logro del objetivo.

• Ejemplo:– Objetivo:Contribuir al desarrollo de la vida familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales

Factores relevantes a medir

• Ejemplo:– Objetivo: Contribuir al desarrollo de la vida familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales

– Aspectos relevantes a medir:• Familias de escasos recursos• Vivienda social que permita desarrollar vida

familiar• Conjuntos habitacionales que permitan

desarrollar vida comunitaria y ciudadana.

EFICACIA

EFICIENCIA

ECONOMÍA

CALIDAD

PROCESOS PRODUCTO Resultados (Intermedios y Finales)

DIMENSIONES

2. Los ámbitos de medición y dimensiones atraviesan toda la cadena de producción y valor..hay que establecer qué es lo relevante

AMBITOS DE MEDICION

MisiónPrograma 731 Asuntos del TrabajoDirección General de Inspección

Mision• Tutelar el cumplimiento de la

normativa laboral, por medio de la inspección y mediación en los conflictos derivados de la relación de trabajo y a través de acciones de asesoramiento o facilitación en materia de los derechos de asociación, de salarios y de salud ocupacional, con el fin de contribuir a la equidad y armonía de las relaciones entre empleados y empleadores.

• Reduccion de conflictividad

• Éxito de las mediaciones

• Percepcion de equidad…..

Factores Relevantes

ProductosProductos1. Acciones de Inspección

Laboral en Sede

Administrativa y Judicial.

2 Servicios de asesoría,conciliación y mediación en

conflictos laborales

individuales y colectivos.

3 Servicios de registro yacreditación de las

organizaciones sociales

laborales.

4 Servicios de asesoría einformación en materia de

salarios mínimos para el

sector privado.

Factores Relevantes

Cobertura de inspeccionCosto de inspeccion

Conciliaciones por area

Tiempos de respuesta de

Asesoria

Cobertura de la acreditacion

Tiempo de respuesta

Oportunidad de la asesoria

Solicitudes respondidas

Ministerio de Vivienda y Asentamientos Humanos

Objetivos Estratégicos1. Identificar las comunidades y poblaciones meta,

prioritarias a nivel nacional, mediante la realización de estudios de campo y el manejo de bases de datos interinstitucionales; a fin de impulsar el otorgamiento del Bono Familiar de Vivienda y la canalización del crédito, a tales poblaciones, disminuyendo el déficit habitacional.

2. Diseñar y poner en marcha un Plan Nacional de Vivienda, de mediano y largo plazo, que contemple políticas y directrices (de carácter vinculante con otras instituciones del Sector) orientadas a ordenar el territorio nacional, a incrementar el desarrollo urbano y a posibilitar el acceso de los hogares, principalmente de

clase baja y media, a una vivienda adecuada y a sentamientos humanos con servicios básicos.

3. Velar por el cumplimiento de los criterios técnicos de calidad de vivienda, sobre todo de interés social, determinados por las instituciones competentes; mediante la realización de auditorías periódicas y de la supervisión al acatamiento de las recomendaciones brindadas.

Factores Relevantes• Déficit habitacional

• Focalización exitosa del otorgamiento del Bono Familiar

• Metros cuadrados por vivienda

• Servicios básicos viviendas otorgadas

• Situación social beneficiarios

• Sanciones cumplidas

• Estándares cumplidos

• Éxito de fiscalización

NOMBRE DEL PROGRAMA: Programa Reinserción Social de Reos con Penas Alternativas a la Reclusión (Programa Laboral del Medio Libre)AÑO DE INICIO DEL PROGRAMA: 1994MINISTERIO RESPONSABLE: MINISTERIO DE JUSTICIASERVICIO RESPONSABLE: GENDARMERIA DE CHILE

OBJETIVO ESTRATÉGICO AL QUE SE VINCULA EL PROGRAMA:• Asistir a la población penal, fomentando conductas, habilidades y capacidades que incrementen sus probabilidades de reinserción social e involucrará en este procesoa sus familias y a las instituciones, empresas y comunidad.• Contar con una Administración eficiente y eficaz, apoyada en sistemas de información confiables y oportunos, que permitan optimizar la gestión y el proceso de tomade decisiones.PRODUCTO ESTRATÉGICO AL QUE SE VINCULA EL PROGRAMA:Producto = AsistenciaSub Producto = Estímulo a los cambios conductuales y el desarrollo de destrezas y habilidades.Producto Especifico= Capacitación

OBJETIVO ESTRATEGICO

FACTOR RELEVANTE

INDICADOR(TIPO)

FORMULA

Contribuir a mejorar la convivenciasocial y seguridad cuidadana.

Seguridad ciudadana(reincidencia)

Porcentaje de beneficiariosreincidentes legales una vezegresados del Programa

(N° beneficiarios intervenidoscada año que reincidenlegalmente despues delegreso del programa/N° debeneficiarios intervenidoscada año)*100

OBJETIVO ESTRATEGICO FACTOR RELEVANTE

INDICADOR(TIPO)

FORMULA

Insertar laboralmente a condenados amedidas alternativas a la reclusión y salidacontrolada al medio libre.

Beneficiarios intervenidosefectivamente

Colocaciion efectiva

Desercion

Porcentaje de beneficiariosintervenidos respecto de losProgramados

Porcentaje de beneficiarioscolocados respecto de losCapacitados

Porcentaje de beneficiariosque desertan del Programa

(Número de beneficiariosintervenidos cadaaño/Número de beneficiariosprogramados cada año)*100

(N° de ficiarios colocadoscada año/N° de beneficiarioscapacitados cada año)*100

(Número de beneficiariosdesertados cada año/Númerode beneficiarios ingresados alPrograma cada


INDICADOR(TIPO)

FORMULA


Exito en contratacion

Porcentaje de beneficiarioscolocados con contrato laboral oiniciación de actividadesrespecto de los colocados

(N° de beneficiarioscolocados con contrato oiniciación de actividades cadaaño/N° de beneficiarioscolocados cada año)*100


INDICADOR(TIPO)

FORMULA


Remuneracion Porcentaje de beneficiarioscolocados en un trabajo queperciben una remuneraciónpromedio mensual bruta sobre elingreso mínimo

(Número de beneficiarioscolocados con un salario brutopromedio mensual sobre elingreso mínimo cadaaño/Número de beneficiarioscolocados cada año)*100

Identificar los Factores Relevantes a medir

Promover en la población en general estilos de vida activapor medio de la prácticaperiódica del ejercicio físico, el deporte y la recreación

- Estilos de vida activa de la población

-Prácticas periódica del ejercicio físico, deporte y la recreación

Porcentaje de la población objetivo que práctica alguna actividad deportiva 1 vez a laSemana

Porcentaje de la población objetivo que mejora susíndices de salud sobre línea base

OBJETIVO Factores Relevantes INDICADORES

Microempresas del sector rural con capacidades técnicas y emprendedorasconsolidadas

- Capacidades técnicas y emprededoras

-Costo del subsidio

% de incremento de Microemp participantes del programa que mejoran sus capacidades técnicas y emprendedoras, según índice de capacidades

Costo promedio de asesoría a Microempresas

EJEMPLO

EjemploEjemplo

LISTA DE FACTORES RELEVANTES A MEDIR

Definiciones estratégicas

Factores Relevantes

Misión

Objetivos estratégicos

Productos finales

Cuáles son los aspectos relevantes que deben ser medidos

Qué ámbitos se van a medirCuáles dimensiones

UNA VEZ QUE SE TIENE CLARIDAD SOBRE:

Corresponde construir cada uno de los indicadores

3. Formular el nombre del indicador y la fórmula de cálculo.

El nombre del indicador debe ser lo más ilustrativo posible de lo que se quiere medir, y la fórmula debe permitir informar sobre los parámetros o variables que se están midiendo

Nombre del indicador

• Debe ser claro, preciso y autoexplicativo• Que cualquier persona entienda qué se mide con ese

indicador• Si se usan siglas o aspectos técnicos, deben definirse en una

nota explicativa

• “Porcentaje de aeropuertos que cuentan con sistema ILS”• Nota: ILS (Instrument Landing System) es un sistema de

aterrizaje instrumental con que cuentan los aviones para aterrizar en condiciones de baja visibilidad.

Sentido de la medición

• Indicador ascendente o descendente

• Mientras más aeropuertos tenga ILS es mejor, por lo tanto, el indicador es ascendente

• En general:

• Los indicadores de cobertura, focalización, accesibilidad, cumplimiento de programas de trabajo, etc. son ascendente.

• Los indicadores de tiempos promedio de respuesta a los usuarios son descendentes.

• Los indicadores que miden capacidad de utilización de recursos son ascendentes• Los indicadores que miden errores son descendentes• Los indicadores que miden satisfacción de usuarios son ascendentes

Fórmula de cálculo

• La relación matemática de las variables deben entregar como resultado lo que se definió en el nombre

• “Porcentaje de aeropuertos que cuentan con sistema ILS”

• (Total de aeropuertos con sistema ILS / Total de aeropuertos del país) * 100


Variables que intervienen

Fórmula del indicador

Construcción de Fórmulas

El nombre del indicador debe ser:

Autoexplicativo

Contextualizado

Por ejemplo:

“Porcentaje de solicitudes respondidas”

¿Es autoexplicativo y contextualizado?

Nombre del Indicador

“Porcentaje de solicitudes respondidas”

En la Oficina Principal de la institución

En el país

En un mes

En un año

Respecto de las solicitudes presentadas

Etc.



Qué o cuál es la medición…………….universo a considerar

(contexto)

% de solicitudes respecto de las

respondidas solicitudes ingresadas


Porcentaje de solicitudes respondidas respecto de las solicitudes ingresadas

Variables

Variable 1: solicitudes respondidas Numerador

Variable 2: solicitudes ingresadas Denominador

RespondidasIngresadas

Indica la relación


Fórmula:

Numerador

Denominador

Total de solicitudes respondidas en el año t

Total de solicitudes ingresadas en el año t

* 100

* 100


Tipos de fórmulas más usadas

Porcentaje (proporciones)

Tasa de variación

Razón o promedio

Índices


Razón entre dos variables con una misma unidad de medida

numerador

denominador* 100 = X por ciento

Igual unidad de medida (personas, Km., solicitudes, etc.

1. Porcentajes (cobertura, focalización, etc.)

“Porcentaje de cobertura en la atención de adultos mayores”

(Total de adultos mayores atendidos / Total de adultos mayores del país)*100

Adultos Mayoresdel país Adultos Mayores

atendidos

COBERTURA

Eficacia/Cobertura:

“Porcentaje de adultos mayores atendidos que se encuentran en situación de extrema pobreza”

(Total de adultos mayores atendidos que se encuentran en situación de extrema pobreza / Total de adultos mayores atendidos)*100

Adultos Mayoresdel país

Adultos Mayoresatendidos

Adultos Mayorespobres

FOCALIZACIÓN

Eficacia/Focalización:

Razón entre una misma variable pero en periodos diferentes

variable año t variable año t – variable año t-1

Variable año t-1 variable año t-1- 1

= X por ciento

* 100 = * 100

2. Tasa de variación

Ejemplo:

Tasa de variación de las exportaciones del país

{(Total exportaciones año t / Total exportaciones año t-1) – 1*100}*100

2. Tasa de variación

{(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100

400 TONELADAS de MIEL EXPORTADA 2009 - 375 TONELADAS de MIEL EXPORTADA 2008

x 100

1,0625 0,0625 + 6,25

400 TONELADAS de MIEL EXPORTADA 2009

375 TONELADAS de MIEL EXPORTADA 2008- 1 x 100

(total de exportaciones de miel año t – total de exportaciones en elaño t-1) / total de exportaciones en t-1 * 100


400 – 375 = 25 25/400 = 0,0625 0,0625 X 100 = 6,25

2. Tasa de variación o de cambio

{(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100

325 TONELADAS de MIEL EXPORTADA 2009 - 450 TONELADAS de MIEL EXPORTADA 2008

x 100

0,72777 - 0,27 - 27,7%


450 TONELADAS de MIEL EXPORTADA 2008- 1 x 100

(total de exportaciones de miel año t – total de exportaciones en elaño t-1) / total de exportaciones en t-1 * 100


325 – 450 = -1,25 -1,25/325 = -0,27 -0,27 X 100 = -27,7%

2. Tasa de variación o de cambio

Relación entre dos variables con distinta unidad de medida

numerador

denominador= unidades promedio del numerador por cada unidad del denominador

3. Razón o Promedio (tiempos promedio, costos promedio, etc)

Ejemplo:

Tiempo promedio de tramitación de solicitudes

Tpo. Solicitud 1 + Tpo. Solicitud 2 + ..... + Tpo. Solicitud n

Total de solicitudes tramitadas

Sumatoria de tiempos de tramitación de cada solicitud / Total de solicitudes tramitadas = tiempo promedio por solicitud


Ejemplo:

Promedio de alumnos por profesor de educación media

Total de alumnos de educación media en el año

Total de profesores de educación media en el año t

= Alumnos promedio por profesor


Permiten medir la evolución de una variable en el tiempo, a partir de un valor base.

Ejemplo, Índice de Remuneraciones

Promedio anual de remuneraciones año base: 5.000

Promedio anual de remuneraciones año t: 5.350

Índice año base: (Valor año base / valor año base)*100

= (5.000 / 5.000)*100 = 100

Índice año t: (Valor año t/ valor año base)*100

= (5.350 / 5.000)*100 = 107

4. Índices

Promedio anual de remuneraciones año t+1: 5.885

Índice año t+1: (Valor año t+1/ valor año base)*100

= (5.885 / 5.000)*100 = 117,7

Valor índice:

Año t+1 = 117,7

Año t = 107,0

Año base = 100,0

4. Índices

Promedio anual de remuneraciones año n:

Índice año n = (Valor año n / valor año base)*100

4. Índices

Desagregación por Sexo

Porcentaje de personas pobres del país

Distribución de pobreza por sexo:

•(Total hombres pobres / Total personas pobres)*100

•(Total mujeres pobres / Total personas pobres)*100

Porcentaje de pobreza según sexo:

•(Hombres pobres / Total hombres)*100

•(Mujeres pobres / Total mujeres)*100

(Sumatoria de horas de primer ataque al incendio – Sumatorias hora de detección al incendio)/N°de incendios en el ámbitode CONAF))

Tiempo promedio deprimer ataque contra losincendios forestales

Programa:Bonificación Forestal. Sistema de Incentivo a la forestación y manejo sustentable de bosques. CORPORACION NACIONAL FORESTAL. Chile

Porcentaje de Superficiefavorecida conbonificación forestal en elaño t respecto a lasuperficie favorecida en elaño t-1

((Superficie favorecida con bonificación forestal en el año t/Superficiefavorecida con bonificación forestal enel año t-1)*100)

Porcentaje de la superficie de Área Natural Protegida conservada mediante el uso y aprovechamiento sustentable con respecto del total de la superficie de las Áreas Naturales susceptible de manejo sustentable

(Superficie susceptible con proyectos o prácticas sustentables en las Áreas Naturales Protegidas / total de la superficie de Área Natural Protegida suceptible de manejo sustentable) X 100

Programa de Conservación para el Desarrollo Sostenible. Comisión Nacional de Áreas Naturales ProtegidasSEMARNAT

Acciones de Combate de Incendios Forestales. CORPORACION NACIONAL FORESTAL. CHILE

Indicadores que permitan medir continuamente (año a año) variables relevantes en el cumplimiento de la misión y de interés para la ciudadanía

Tasa de escolaridadPorcentaje de recaudación de impuestosPorcentaje de vías en buen estadoPorcentaje de delitos contra la propiedadPorcentaje de plagas bajo controlPorcentaje de fallos favorablesTiempo de respuesta

4. Validar los indicadores

Relevancia: debe reflejar una dimensión importante del logro del objetivo

¿Permite verificar el logro del objetivo en un aspecto sustantivo?

Pertinente: debe ser preciso e inequívoco

¿No hay dudas respecto de qué se está midiendo?

Debe aportar una base suficiente para evaluar el desempeño

¿Es suficiente para emitir un juicio respecto del desempeño?

Costo Razonable: la información necesaria para generar el indicador debe estar disponible a un costo razonable

¿El beneficio de la información es mayor que el costo de obtenerla?

Cada indicador propuesto debe ser validado técnicamente, según los siguientes criterios:

Confiable :¿Cualquier persona puede comprobar los resultados del indicador?

Independiente: La institución o programa controla el resultado que entrega el indicador

Integración: El total de los indicadores contempla las dimensiones de desempeno necesarias

Aporte marginal: si hay más de un indicador para medir el desempeño de un objetivo, debe proveer información adicional en comparación con los otros indicadores propuestos

¿Mide aspectos no considerados en los demás indicadores?

Paso 4: Validar los Indicadores

Indicadores Relevancia Pertinencia Costo Razonable

Confiable Independiente Integracion Aporte Marginal

¿Valida?

1. Sí Sí Sí Sí Sí Sí Sí

2. Sí Sí No Sí Sí Sí No

Objetivos/Productos

Indicador Califica(si/no)

Sugerencia

Contribuir a la disminución de las enfermedades respiratorias de los habitantes de Santiago

Normas medio ambientales disminuyen riesgo de sustancias que afectan capa de ozono

Razón entre toneladasanuales de importaciones,en el año t-1, desubstancias agotadoras dela capa de ozono (clorofluor carbono) y toneladasmáximas permitidas parael año t-1

Claridad, Relevancia, Economía, Monitoreable, Adecuado (Pertinente)……

Porcentaje de días concalidadDel aire sobre la norma deMaterial particulado en el añoT respecto al número de díassobre la norma de materialparticulado de año base(1997).

Tasa de variación de las consultas de las enfermedades respiratorias en los períodos de alta contaminación.

Objetivos/Productos

Indicador Califica(si/no)

Sugerencia

Derechos de aprovechamientos de

agua tramitadosoportunamente

Porcentaje desolicitudesde Derechos deAprovechamientostramitadas

Infraestructura hidroagrícola conservada por las organizaciones de usuarios de los Distritos de Riego.

Porcentaje de la superficie conservada

Prevenir, mitigar ycontrolar la contaminaciónambiental del país entodos los componentesambientales.

Porcentaje deresiduos sólidosDomiciliariosdispuestos enRelleno Sanitario

Claridad, Relevancia, Economía, Monitoreable, Adecuado (Pertinente)……

Porcentaje de solicitudesque son tramitadas en menos de 60 días

Porcentaje de superficie conservada con participación de organizaciones de Usuarios relación al total de superficie conservada

Incluir indicadores Relacionados con Todos los componentesambientales

5. Recopilar los datos para construir los indicadores

• Información contable‐presupuestaria

• Estadísticas de producción física, cargas de trabajo del personal

• Encuestas, estudios especiales

• Benchmarking,etc

TIPOS DE INFORMACION

Para cada indicador, ¿está disponible la información en mi programa?

SÍ No

¿está en otra Entidad?

Sí No

¿el beneficio > costo de obtenerla?

Sí No

Fuentes de Información

Se mide

Se busca una proxy

6. Establecer las metas o el valor deseado del indicador y la frecuencia de la medición

• DESEMPEÑO HISTORICO

• LINEA BASE

• OBJETIVOS DEFINIDOS

• DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.

Metas

•• Las Metas constituyen la expresiLas Metas constituyen la expresióón n concreta y cuantificablede los de los logros que se planea alcanzar en el aque se planea alcanzar en el añño (u otro o (u otro periodo de tiempo) con relaciperiodo de tiempo) con relacióón a los objetivos n a los objetivos previamente definidos.previamente definidos.

• Sentido de la Medición:

• Ascendente (cobertura, focalización, etc.)

• Descendente (tiempos de respuesta, tasas de enfermedades, etc.)

• ¿Qué es mejor como desempeño de la institución?

Importancia de las metas para el seguimiento (monitoreo) y evaluación

Medición y evaluación

Retroalimentación

Medidas correctivas

Evaluación

• La evaluación es la comparación de los resultados obtenidos con las metas establecidas. La evaluación puede ocurrir durante el periodo de ejecución (evaluación contingente) o al finalizar dicho periodo (evaluación ex post).

Retroalimentación

• Los resultados de las evaluaciones se comunican a los encargados de cada área y a la Dirección, a fin de que estén informados respecto al grado de avance de las metas planteadas y, en caso de producirse desviaciones importantes respecto a lo programado, se acuerden las medidas correctivas que se adoptarán.

Medidas correctivas

• Las medidas correctivas pueden consistir en cambios en las áreas, cambio en las metas, nuevas asignaciones o recortes de los recursos presupuestarios, revisión de las tareas, etc.

Indicador y meta

• El resultado de la medición del indicador entrega un “valor”.

• Este valor se compara con la meta establecida para el indicador.

• La comparación permite establecer un juicio respecto del desempeño de la institución.

Ejemplo

• Indicador: Porcentaje de gastos administrativos

• Valor del indicador: 15%

• Meta del indicador: 20%

• Valor del indicador de institución similar: 10%

Juicios:

• Cumplí la meta.

• Estoy por sobre el valor de una institución similar

Requisitos de las metas

Su establecimiento debe considerar diferentes parametros(desempeño histórico, programas similares, estándares)

Deben ser posibles de cumplir por la institución con los recursos financieros, humanos, físicos y tecnológicos disponibles

Su logro debe depender de la institución (establecer supuestos)

Requisitos de las metas

Deben establecerse para ser cumplidas en un plazo determinado

Deben expresar claramente el ámbito geográfico que cubre

Deben ser conocidas y acordadas con los ejecutores de las distintas áreas (establecer los responsables por el cumplimiento)

Para establecer la meta se deben considerar diferentes parámetros

Línea base y desempeño histórico

Desempeño de instituciones similares (benchmarking)

Estándares aplicados a normas técnicas

Pasos para determinar una meta

• Identificar la línea base

• Se toma como referencia el actual desempeño

Existe?

Meta

Indicador Año t

% de alumnos 60%

egresados

¿No existe?Se construye¡¡¡

•Programas similares

•Estándar técnico

¿Qué es la línea base?

• Dato que se tomará como inicio para establecer losvalores futuros a alcanzar por el indicador, los que servirán para evaluar el grado de cumplimiento de las metas.

• Para indicadores nuevos, podría suceder que no exista un valor base, por lo cual debe ser estimado.

• Una vez realizada la primera medición, se tomará como línea de base el último dato obtenido.

¿Dónde estamos ahora?

¿Cómo hemos estado antes?

0102030405060708090

2004 2005 2006 2007

becassubsidioscréditos

¿Cuan lejos queremos y podemos llegar?

Considerar el nivel de desempeño de las metas a nivelnacional / local

• El tiempo de respuesta de la entrega de los pasaportes será el mismo en el país, en el Estado o en una determinada Región.

• Los kilómetros de vías reparadas serán un promedio nacional o en un tramo específico.

Las metas deben tener asignados responsables por su cumplimiento a nivel de la organización

• Debe quedar claramente establecido cual es la Unidad, Área, Dirección, que es responsable por el cumplimiento de la meta, aún cuando otras áreas intervengan con producción intermedia o final.

Problemas frecuentes cuando se establecen las metas

• No existen o no se construyen los medios de verificación

• Los supuestos no son pertinentes (se imputan aspectos que la institución sícontrola)

• La evaluación (el juicio sobre el desempeño no es confiable)

• Las metas estimulan un desempeño poco innovador y desafiante


• No existen datos disponibles para estimar la línea base

• La institución desconoce estándares de entidades similares

• Se desconoce la población objetivo y potencial

• Riesgo se sobre o subvalorar la meta

• No es posible evaluar respecto de las mejores prácticas (autocomplacencia)

• La meta no permite monitorear el avance hacia el cumplimientodel objetivo (y por lo tanto no se pueden tomar decisiones adecuadas)


• Subvaloracion de las metas frente a un ambiente punitivo de la evaluacion

• Trampa de la medición: se muestra como resultados (y se hace) solo lo que se puede medir

• Escasa utilidad para la toma de decisiones y mejora de la gestión

• No es posible avanzar hacia la mejora de los resultados relevantes para la organización y por ende para la ciudadanía

Frecuencia

Misión

Objetivos

estratégicos

Productos

Actividades

Frecuencia

Disminuye

Aumenta

Depende de la disponibilidad de la información (Fuente de Información) y del nivel de los objetivos que se está midiendo

• Las necesidades de uso de la información generada por los indicadores (proceso de toma de decisiones)

• Tiempo estimado en que se producirán los resultados del programa en los beneficiarios

• Disponibilidad de información cuando ésta es obtenida o proporcionada por fuentes externas

• Compromisos de cuenta pública o de informar resultados de la gestión (Secretaría de Hacienda)

Factores que inciden en la frecuencia de medición de los indicadores

7. Señalar las fuentes de datos o medios de verificación

• Registros de la institución (posibles de auditar)

• Estadísticas oficiales

• Encuestas (realizadas por entes externos)

8. Establecer Supuestos (observaciones)

Aspectos no controlables por la institución:

Deben ser muy concretos y no generales

• Variaciones del tipo de cambio, o de determinados precios pueden afectar niveles de ingresos esperados, tarifas, etc

• Aprobaciones de procesos por entes externos en la que hay probada posibilidad (norma o procedimiento externa) que puede alterar la programación)

• Flujo de recursos internacionales, etc.

Comprometo X meta siempre y cuando se cumplan los siguientes supuestos:

•Tipo de cambio no aumente más de 10%

•La solicitudes de tramitación no aumenten más de 15%

Supuestos

Ejemplos de algunos aspectos sobre los cuales establecer Supuestos

• Situación macroeconómica

• Beneficiarios usan los componentes adecuadamente

• Se cumplen las corresponsabilidades de otros actores

• Otros estados o entidades destinan los recursos para lo que está establecido

• Los recursos de prestamos internacionales son entregados al programa en el tiempo establecido

Comparar valor del indicador al final del periodo y meta establecida

Establecer No cumplimientos y Sobrecumplimientos (desviaciones)

Análizar las Causas de los resultados

Proponer Recomendaciones para corregir las desviaciones

Establecer Compromisos para implementar las recomendaciones

Definir Plazos de cumplimiento de los compromisos

Definir Responsables por el cumplimiento de compromisos

Definir Programa de Seguimiento de compromisos

9. Evaluación de los Resultados

Evaluación de los Resultados

(*): Indicadores Cumplidos, No Cumplidos o Sobrecumplidos

Indica-dores

ValorIndicador

Meta %Cumpli-miento

Resul-tado(*)

Causasdel

Resul-tado

Reco-menda-ciones

Compro-misos

Plazos Respon-sables

Breve reseña de la institución

Contexto de la medición: qué se midió y qué no

Recursos utilizados por la institución

Resultados de la gestión (logros y no logros)

Principales causas de desviaciones de resultados

Efectos de resultados negativos (en los ciudadanos, etc)

Compromisos para el periodo siguiente

10. Informar los Resultados

Recomendaciones para construir indicadores estratégicos y evitar

incentivos perversos

INDICADORES QUE INFORMAN SOBRE CUMPLIMIENTO DE DEMANDA…..POR SI SOLO NO ENTREGAN INFORMACION UTIL PARA TOMA DE DECISIONES

N°de certificados de antecedentes emitidos/ N° de certificados solicitados

Esta prestación constituye una obligación legal de ser satisfecha, dado que es un requisito insoslayable para el usuario. Cobertura garantizada

Resultado serásiempre de 100%

Aspectos relevantes de los resultados son la calidad del servicio, la oportunidad, la precisión, la disponibilidad a nivel nacional (cobertura geográfica).

Ejemplo

“Atención de emergencias”Indicador: Número de emergenciasprogramadas

Meta: 1000

Número de emergencias que se atendieron 1500En el Informe de evaluación anual

aparece como “Meta superada”

Evitar indicadores que generen incentivos perversos”

• Aumento en los porcentajes de recaudación por multas a contribuyentes evasores

Puede incentivarse a destinar mayores recursos de los necesarios a las acciones de fiscalización en áreas donde las multas sean más onerosas; desestimando otros que tienen mayor importancia desde el punto de vista de la economía, la competencia, la seguridad para los usuarios, calidad de los productos, etc.


• Porcentaje de detenciones por delitos

Puede incentivarse una acción represiva no acorde con la situación delictiva, o destinar recursos extras para la represión del delito, dejando otras acciones preventivas, etc)


• Disminución de tiempos de respuestas, sin llevar asociado una meta de calidad del producto entregado.

Número de fallos judiciales en un tiempo X., puede implicar que el juicio no se ajuste a derecho, que los fallos sean inapropiados, generando problemas de seguridad, reincidencia, etc)

TENER EN CUENTA LA INTEGRALIDAD DE LA MEDICION

INDICADOR DE EFICACIA

Población escolar en programa / población escolar total

Aumentar la cobertura del programa de raciones a un 55%de la población escolar.

Llegar a un costos promedio de $5

Alcanzar1000 calorías por ración

INDICADOR DE CALIDAD

* Calorías por ración.

* Porcentaje de aceptaciónde los escolares (encuesta)

INDICADOR DE EFICIENCIA

Costo promedio de las raciones: gasto total programa / número deraciones

CUAN BIEN LO HACEMOS QUE HACEMOS

HAY ALGUNA MEJORIA

COMO CAMBIAN LASCONDICIONES INICIALES

CUANTOS RECURSOS OCUPAMOS

INDICADORES

Costos planillaCostos unidades de productos

Número de funcionarios

Licitaciones realizadas

Actividades

Número de viviendas

Kilómetros construidos

Inspecciones realizadas

Costo por vivienda

Costo por kilómetro construido

Tiempo de respuesta inspecciones

Gasto administrativo/Gasto TotalGasto Ejecutado/Gasto programado

COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS

Porcentaje de viviendas con estándares de calidad en la normal

Porcentaje de viviendas con entorno urbano mejorado

Disminución del déficit habitacionalProvincia X

Porcentaje de usuarios que reciben vivienda declaran satisfacción por calidad y entorno

TIPO

Insumos

Inptus

EficienciaCalidadEconomía

USO

INF.

Sistema de InformaciónInterna

Entidades

Contraloría

Eficacia(Cobertura, Focalización)Calidad

Eficacia (Cobertura, Focalización)EficienciaCalidad

EficaciaEficienciaCalidad

Presupuesto(ProductosFinales)

Sistema deInformación Interna(Productos Intermedios)

Presupuesto

Sistema de Información interna(Productos intermedios, Productos finales, no relacionados con O.Estratégicos)

Presupuesto

Sistema de Información Directivo

Presupuesto

Sistema de Información Directivo

ORGANISMO DE PLANIFICACION

INSUMO PROCESO PRODUCTO RESULTADOINTERMEDIO

RESULTADO

FINAL

131

Lineamientos metodológicos para la construcción de indicadores de desempeño

Área de Políticas Presupuestarias y Gestión Pública ILPES/[email protected]

Esta presentación ha sido elaborada por la autora, con los aportes de los cursosde Roberto Jimenez ([email protected]), Jorge de La Fuente

([email protected])




Engineering

Indicadores metodologia aecid_marmijo