Taller “Gestión por Resultados y su impacto en las Nuevas Técnicas de Auditoría”

AUDITORÍA DE DESEMPEÑO: CASO PERUANO

Agosto 2014

2007Implementación de PxR (programas

presupuestarios, indicadores y evaluaciones de desempeño)

Enero 2013Política de Modernización de la Gestión Pública: GXR Octubre 2013

Directiva de AD

Mayo 2014Ejecución de AD

CONTEXTO: GXR Y AUDITORÍA DE DESEMPEÑO

La gestión pública moderna reconoce al ciudadano como su fin y su razón de ser. No se sirve a sí misma, sino que está enfocada en conocer y atender de manera óptima las necesidades de los ciudadanos.

Políticas públicas

Planeamiento estratégico y

operativo

Presupuesto por resultados

Gestión por Procesos

Servicio civil meritocrático

Seguimiento, evaluación y gestión del

conocimiento

Gestión por

resultados

La Gestión Pública Moderna: Pilares

4

Ejemplos:

Kit de materiales educativos

Entrega oportuna de materiales educativos

Estudiantes de Educación Básica Regular (EBR) con

material educativo

Logros de aprendizaje en estudiantes de EBR de

Instituciones Educativas Públicas

Mejora de los logros de aprendizaje en educación

básica

INSUMOBienes o servicios

necesarios y suficientes para

realizar la actividad

ACTIVIDADEs una acción sobre una lista

específica y completa de insumos, que en conjunto

con otras actividades garantizan la provisión del

producto

PRODUCTOBienes o servicios

articulados que recibe una población con el objeto de generar un cambio en la

misma

RESULTADO ESPECÍFICOEs el cambio que se busca

alcanzar para solucionar un problema identificado en una población, y que a su

vez, contribuye al logro de un resultado final

RESULTADO FINALEs el cambio en las

condiciones, cualidades y características inherentes a

una población. Corresponde a un objetivo

de política nacional

Procesos de producción de bienes y servicios

Procesos de soporte

POLÍTICA DE ESTADO Y DE GOBIERNO

SISTEMAS ADMINISTRATIVOS

La Gestión Pública ModernaLa Gestión Pública ModernaLa Gestión Pública Moderna: Cadena de valor

¿QUÉ ES UNA AUDITORÍA DE DESEMPEÑO?

Examen de la eficacia, eficiencia, economía y calidad de la producción y entrega de los bienes o servicios que realizan las Entidades Públicas con la finalidad de alcanzar resultados en beneficio del ciudadano.

¿CUÁL ES SU PARTICULARIDAD?

CGR

GESTOR

Auditoría de Desempeño

No sancionadora

sino propositiva

Orientada al ciudadano

No cuestiona diseño

Insumo para la mejora de la

gestión (Informe final con

recomendaciones + Plan de acción) Participativa

Apropiación del proceso y

compromiso de los gestores y actores claves

Uso de otras herramientas para

el análisis (entrevistas,

talleres, observaciones in

situ)

¿CUÁL ES EL PROCESO INTEGRAL DE LA AUDITORÍA DE DESEMPEÑO?

Etapa de Planeamiento

(4 meses)

Matriz de Planeamiento

Plan de Examen

Etapa de Ejecución

(3 meses)

Matriz de Resultados Informe Preliminar

Etapa de Elaboración de Informe Final

(3 meses)

Informe Final Plan de acción

Seguimiento de Recomendaciones

Plan de Comunicación Informe de Cierre del

Seguimiento

Fuente: Resolución de Contraloría N° 382-2013-CG de 18 de octubre de 2013 que aprueba la Directiva N° 011-2013-CG/AD denominada “Auditoría de Desempeño”

8

¿ CUÁLES SON LOS CRITERIOS DE SELECCIÓN?

• Los criterios de selección de los Objetos de Auditoría de Desempeño son:Materialidad (presupuesto)Evidencia que sustente el diseño (programas por

resultados) Información de desempeño (indicadores y

evaluaciones de desempeño)

¿CUÁLES SON LOS CRITERIOS DE SELECCIÓN?

9

Objeto de la auditoría: Estudio Inicial

Resultados del Programa de Evaluación Internacional de Estudiantes – PISA (2000, 2009 y 2012)

Fuente: Unidad de Medición de la Calidad Educativa - MineduElaboración: Departamento Auditoría de Desempeño

¿CUÁL ES EL TEMA DE INTERÉS?

AÑO n.° DE PAISES PARTICIPANTES

MATEMÁTICA

RESULTADO RANKING

2012 65 368 65

2009 65 365 65

2000 43 292 43

Fuente: Unidad de Medición de la Calidad Educativa - MineduElaboración: Departamento de Auditoría de Desempeño

AÑO n.° DE PAISES PARTICIPANTES

LECTURA

RESULTADO RANKING

2012 65 384 65

2009 65 370 65

2000 43 327 43

AÑO n.° DE PAISES PARTICIPANTES

CIENCIAS

RESULTADO RANKING

2012 65 373 65

2009 65 369 65

2000 43 333 41

2010 2011 2012 2013

28,7% 29,8% 30,9% 33,0%

13,8% 13,2% 12,8%16,8%

Comp. Lectora Matemática

Resultados de la Evaluación Censal de Estudiantes – ECE a nivel nacional (2010 al 2013)

2010 2011 2012 2013

22,8% 23,0%24,0%

27,6%

11,7% 11,3% 11,5%

15,8%

Comp. Lectora Matemática

Resultados de la Evaluación Censal de Estudiantes – ECE a nivel nacional en IIEEPP (2010 al 2013)

N° Producto Evidencia Materialidad Logro de desempeño

1IIEE con condiciones para el cumplimiento de horas lectivas normadas

Si 89,86% % de IIEEPP que cumplen con las horas

reglamentadas es 36,61%

2

Docentes preparados implementan un currículo basado en estándares de calidad Si 2,34%

% de observaciones de aula en que el docente está involucrado en tareas de enseñanza-aprendizaje es 62,0%

3

Estudiantes de EBR cuenta con materiales educativos necesarios para el logro de los estándares de aprendizaje Si 7,00%

% de IIEEPP cuyas aulas reciben suficiente ME completo, en buen estado y de manera oportuna es 8.3%

% de docentes capacitados y utilizan el módulo de implementación del currículo es 1,1%.

4Evaluación de los aprendizajes y de la calidad educativa Si 0,79%

% de IIEEPP que participan en la ECE y reciben reportes para el 2do grado es 94,0%

Nota: Presupuesto institucional modificado de materiales educativos es 218 millones de US$.Fuente: Anexo 2 Matriz Lógica de Indicadores de PELA 2013-2016, ENEDU 2012, SIAF 2013.

PROCESO DE SELECCIÓN DEL OBJETO DE EXAMEN1. PROGRAMA PRESUPUESTARIO

Programa Presupuestal: Logros de aprendizaje de los estudiantes de educación básica regular –PELA (3117 millones US$))

Procesos de soporte

11

CADENA DE VALOR

Objeto de examenProblema: Objetivo general

Preguntas de examenSub procesos críticos: Objetivos específicos

Material educativo para estudiante, aula y colegio.

Almacén Diseño Curricular

Nacional de EBR y Rutas de Aprendizaje.

Dotación de materiales educativos en condiciones oportunas, suficientes y en buen estado para el desarrollo del aprendizaje previsto. Estudiantes de educación

básica regular cuentan con materiales educativos necesarios para el logro de los estándares de aprendizaje.

INSUMOS ACTIVIDADES PRODUCTORESULTADO ESPECÍFICO

RESULTADO FINAL

Logros de aprendizaje de los estudiantes de educación básica regular.

Mejorar los logros de aprendizaje de los estudiantes de instituciones educativas públicas.

Gestión de materiales y recursos educativos, que principalmente, involucra.

Proceso de producción de bienes y servicios

Tema de interésProblema de política

Fuente: Ley Marco de Modernización de la Gestión del Estado Ley n.º 27658. Anexo 2 del Programa Logros de Aprendizaje de los estudiantes de EBR - Pela

PROCESO DE SELECCIÓN DEL OBJETO DE EXAMEN2. CADENA DE VALOR

Indicador Textos escolares 1 y 2° grado

Cuadernos de trabajo1 y 2° grado

Uso frecuente 75.2 0.6

Suficiente, en buen estado

51.7 79.0

Suficientes, en buen estado, llegada oportuna

8.3 46.9

Suficientes, en buen estado, llegada oportuna y se usan

7.6 0.4

PROCESO DE SELECCIÓN DEL OBJETO DE EXAMEN3. INFORMACIÓN INICIAL

Objetivo de la auditoría

Contribuir a incrementar el uso de materiales educativos de matemática y comunicación integral en estudiantes de EBR del segundo grado de nivel primaria considerando las siguientes condiciones:

13

CONDICIONES ESTÁNDAR

Oportunidad Entregados a cada alumno al inicio del año escolar (hasta el 04.mar.2013)*

Suficiencia y buen estado

Entrega de material conservado o nuevo al 100% de alumnos de las Instituciones educativas públicas

Promoción del uso

Se realizan actividades de promoción del uso

¿CUÁL ES EL OBJETIVO DE LA AUDITORÍA?

(*) R.M. N° 431-2012-ED de 05.11.2012 que aprueba la Directiva N° 014-2012-MINEDU/VMGP denominada “Normas y orientaciones para el Desarrollo del Año Escolar 2013 en la Educación Básica”Elaboración: Departamento de Auditoría de Desempeño – CGR

PROCESO DE SELECCIÓN DEL OBJETO DE EXAMEN4. OBJETIVO DEL EXAMEN

Producción

Adquisición de ME por parte del

MINEDU

Contratación de almacén para ME en

MINEDU

Recepción de ME en el almacén del

MINEDU

Almacenamiento y modulado

Contratación de almacenes UGEL

Recepción de ME en el almacén UGEL

Modulado de UGEL de acuerdo al

cronograma de distribución MINEDU

Transporte y estibaje

Salida de ME del almacén del

MINEDU a la UGEL

Salida de ME de almacén UGEL

Transporte de ME a las IIEEPP de acuerdo al

cronograma UGEL

Promoción del uso

Recepción de ME en IIEEPP

Entrega de ME a docentes y alumnos

Actividades de promoción del uso de ME a docentes

•Determinar la necesidad de ME para las IIEEPP (Proyección de la demanda de ME)•Determinar si se planificaron actividades de promoción en uso de ME

Planeamiento

•Cómo se va a implementar lo planificado para la entrega de ME (procesos, cantidad, responsables, plazos, recursos)•Determinar las actividades programadas para la promoción del uso Programación

•Determinar si cuentan con presupuesto suficiente para la producción, distribución y promoción del uso del MEPresupuesto

•Incorporación de información en la toma de decisiones para lograr que el ME llegue de manera oportuna, suficiente y en buen estado a las IIEEPP y se promocione el uso

Seguimiento y monitoreo

Distribución

Proceso de producción,

distribución y promoción del uso de ME para el año 2013

PROCESO DE SELECCIÓN DEL OBJETO DE EXAMEN5. PROCESO CRÍTICO

15

HERRAMIENTAS¿CUÁLES SON LAS HERRAMIENTAS A USAR?

Herramientas de recojo y análisis de información

Análisis de Información

• Información documental del Objeto de Examen

• Encuesta Nacional a Instituciones Educativas (ENEDU) - 2012

• Evaluación Censal de Estudiantes (ECE) – 2012

Recolección de información

• Entrevistas semi estructuradas

• Reuniones técnicas de trabajo

• Talleres participativos

• Verificación ocular

Visita de campo

(aplicación de herramienta)

• Uso de software

• Consolidación de matrices

Procesamiento y

sistematización

• Triangulación de fuentes de información.

• Resultados a diferentes niveles.

• Resultados por niveles: por caso, por todos los casos, a nivel MINEDU.

Elaboración: Departamento Auditoría de Desempeño

Alcance de la Auditoría

16

AUDITORÍAS DE DESEMPEÑO EN ETAPA DE EJECUCIÓN

17

Componente: Servicio de Cuidado Diurno

Presupuesto S/. 45 millones US$ (a diciembre de 2013).

Evidencia

Se cuenta con evidencia que demuestra:- El desarrollo infantil en los primeros años de vida es determinante su desarrollo posterior.- Las causas del déficit del desarrollo lo constituyen : (i) la desnutrición infantil; (ii) el factor psicosocial asociado a la afectividad con su cuidador y asociados al entorno.

Indicadores de

desempeño

Actualmente sólo cubre al 20.27% de la población potencial.

34.26% de niños se mantienen con Riesgo de Desnutrición Crónica o han desmejorado su diagnóstico (a setiembre 2013).

28.66% de los comités de gestión tienen menos del 80% de familias con buenas prácticas de crianza.

39.66% de los comités de gestión tienen cuidadoras que no cumplen con el 100% de buen desempeño.

AUDITORÍA 1: PROGRAMA CUNA MÁS

18

Mantenimiento de carreteras vecinales

Presupuesto S/. 96.5 millones US$ (a diciembre de 2013).

Evidencia

Se cuenta con evidencia que demuestra:- El mantenimiento periódico y rutinario de las carreteras evita el deterioro prematuro y consiguiente pérdida de la infraestructura antes de su periodo de vida útil.- Carreteras en buen estado facilitan el desplazamiento de las personas y mercancías contribuyendo a reducir tiempos, costos e inseguridad vial.

Logros de desempeño

Sólo 7% de la red vial vecinal se encuentra en buen estado, al 2012.

68.3 % de Gobiernos Locales no programaron presupuesto para realizar el mantenimiento de carreteras vecinales en el 2013, con lo cual se infiere que se generaría un gasto posterior de aproximadamente S/. 260 millones anuales en rehabilitación.

AUDITORÍA 2: MANTENIMIENTO DE CARRETERAS

VECINALES

19

Producción, entrega y uso de materiales educativos

Presupuesto S/. 217 millones US (a diciembre de 2013).

EvidenciaSe cuenta con evidencia de la relación causa-efecto con el logro de estándares de aprendizaje (comprensión lectora y razonamiento lógico-matemático).

Logros de desempeño

25% de las instituciones educativas públicas no usaron los materiales impresos en la programación diaria del 1er. y 2do. grado de primaria (ENEDU, 2012), con lo cual se infiriere que aproximadamente S/. 133 millones no fueron gastados eficientemente en los materiales impresos entregados en primaria.En el 7,6 % instituciones educativas públicas, los textos escolares no fueron entregados con suficiencia, buen estado, oportunidad y no fueron usados. (ENEDU, 2012).

AUDITORÍA 3: PRODUCCIÓN, ENTREGA Y USO DE

MATERIALES EDUCATIVOS

Nota: el 2do. grado de primaria es un punto crítico en el cual se espera que se consoliden la lecto-escritura y algunas nociones matemáticas fundamentales.

20

Áreas Naturales Protegidas

Presupuesto S/. 18 millones US$ (a diciembre de 2013).

Evidencia Se cuenta con evidencia de la relación causa-efecto

Logros de desempeño

No se cuenta con indicadores que midan la gestión participativa en la conservación de ANP y aprovechamiento sostenible.

Sólo se cuenta con información de producción física del servicio de control y vigilancia de las ANP.

AUDITORÍA 4: ÁREAS NATURALES PROTEGIDAS

“Cualquier camino es bueno para quien no sabe adonde va”

Parafraseado de Lewis Carroll: Alicia en el País de las Maravillas

“Es mejor tener una respuesta aproximada a la pregunta correcta, que una respuesta exacta a la

pregunta equivocada”. Parafraseado del estadístico John W. Tukey