El Impacto de las Presiones de Accountability Escolar en Chile en la Corupción

Chile Transparente Noviembre, 2013

Gregory Elacqua Instituto de Políticas Públicas

Universidad Diego Portales

En Chile existen y persisten un conjunto de escuelas de baja calidad crónica

• En 20% de las escuelas, la mayoría de sus estudiantes están atrasados en dos años o más según lo definido por el currículum nacional de matemáticas (SIMCE, 2011).

• 9% escuelas urbanas con bajo rendimiento crónico durante al menos una década (Corvalán, Joiko 2010).

• Resolver la situación de estas escuelas deficientes es para muchos una cuestión de equidad.

Ante la existencia de escuelas sostenidamente deficientes Chile ha seguido dos caminos

1. Mecanismos de accountability por parte del mercado:

• Padres eligen y escuelas compiten por alumnos

• Amenaza de la pérdida de matricula significa una presión para mejorar la calidad (para retener alumnos y atraer nuevos).

2. Mecanismos de accountability fijados por el Estado

• Fijar metas de rendimiento y clasificar a las escuelas según su nivel de cumplimiento.

• Aumentar la supervisión y aplicar sanciones para aquellos colegios de bajo desempeño que no mejoran o premios para los que avanzan

Debate sobre Accountability de Mercado

Los proponentes señalan que la posibilidad de elegir escuelas

por parte de los padres traerá los siguientes beneficios:

• Eficiencia: Crea sobre los colegios la presión de la competencia, lo que los impulsa a desarrollar una educación de mejor calidad a un menor precio (Friedman, 1962, Chubb and Moe, 1990; Hoxby, 1998)

• Equidad: Mejoran las oportunidades educacionales disponibles para las familias de NSE bajo (Jencks, 1966)

• Satisfacción: Permiten a los padres elegir las escuelas que enfatizan el tipo de proyecto educativo y valores que quieren para sus hijos (Howell y Peterson, 2002) – Maximizar la libertad de la familia (Friedman, 1962)

Los criticos han formulado cuestionamientos sobre la competencia en educación tanto desde la perspectiva

de la demanda como de la oferta:

• Desde la demanda: – Las familias de bajo NSE no tienen el

tiempo, la capacidad, los recursos ni la información para elegir los mejores colegios para sus hijos (Schneider et al., 2000)

• Desde la oferta: –Al enfrentarse a las presiones competitivas

en un mercado, los colegios son incentivados a enfocar sus esfuerzos en seleccionar los mejores estudiantes

Niveles de Accountability de Mercado

Voucher universal Sin lucro

Asignación de escuelas

Asignación residencial

Charter Schools

School Choice Público

Voucher NSE Bajo

Milwaukee

Río de Janeiro

Voucher universal Con Lucro

Debate sobre Accountability del Estado

Escuelas de bajos resultados responden a presiones del accountability y mejoran su

desempeño • Escuelas en Florida con presión de accountability

(bajas clasficiaciones) cambiaron sus políticas y prácticas pedagógicas y mejoran su rendimiento (Rouse et al., 2008)

• Escuelas britanicas clasificadas en la categoría más baja de rendimiento mejoraron cerca de un 10% de desviación estándar (Allen & Burguess, 2012).

• Profesores y escuelas que reciben premios mejoran rendimiento y cambian su prácticas y políticas (Levy, 2000)

Las escuelas responden a presiones de accountability con un comportamiento estratégico (gaming) que puede mejorar los

resultados en las pruebas, pero no el aprendizaje integral:

• Alteran composición de estudiantes que rinden las pruebas estandarizadas (ej. Culluk & Reback, 2007).

• Estrechamiento curricular (ej. Hannaway y Hamilton, 2007, Scorzafave y Oliani, 2013).

• Enseñan a responder pruebas (Borko y Elliot, 1999).

• Engañan al sistema – Cheating, alteran los programas de nutrición, etc.

(Figlio y Getzler, 2006; Cullen y Reback, 2006; Jacob, 2005).

James Heckman, Premio Nobel de Economía

• “Literalmente la enseñanza en los colegios y el proceso entero de educación han sido corrompidos para enseñar para las pruebas.”

Niveles de Accountability de Estado (sanciones)

Información

Planes de mejoramiento

Apoyo técnico

Reorganización

Transferencia

Reestructuración

Administración delegada

Toma de control

Cierre

Sanciones leves Sanciones fuertes

• En general, los premios se entregan a docentes o escuelas si éstas logran un progreso significativo de acuerdo a estándares predefinidos:

– California y Colorado: Programa Gobernadores de premios al desempeño

– Rio de Janeiro: Premio Anual de Desempeño

– Chile: SNED

Accountability de Estado (premios)

Chile partió con Accountability de Mercado: Reforma de vouchers de 1981

Reformas y cambios 1981-1990

1. Descentralización de la administración de las escuelas, del MINEDUC a los municipios.

2. Establecimiento de sistema de vouchers parejos.

3. Permitía selección de estudiantes

4. No había exigencias de calidad por parte del Estado

5. Poca información sobre la calidad de las escuelas

Cambios en Democracia (1990-2006)

1. Aumento de recursos privados en sistema público (Financiamiento compartido, 1993).

2. Más información sobre calidad a padres, profesores, investigadores, directores (1998).

Resultado: Declina matrícula en escuelas públicas

78

47

15

47

7 7

0

10

20

30

40

50

60

70

80

90

1981 1990 2000 2006

Público

Particular Subvencionado

Particular Pagado

Fuente: SIMCE

Productividad: Resultados SIMCE estancados entre 1999 y 2007

250 254

250 246

100 125 150 175 200 225 250 275 300 325 350 375 400

1999 2002 2005 2006 2007

SIMCE Lenguaje SIMCE Matemáticas

Productividad: Calidad sistema deficiente en

terminos comparativos

• El desempeño de los alumnos en Chile era uno de los mejores de América Latina, pero todavía estába muy por debajo de los países de la OCDE y países emergentes de Asia y Europa del Este.

• El 5% de los alumnos de 15 años en Chile obtuvieron resultados sobre la mediana de la OCDE en lenguaje.

• Se observaban tendencias similares en matemática, ciencia y educación cívica.

Presión ciudadana por reformas: Revolución de los Pingüinos 2006

Introduce Reforma Accountability de Mercado

1. Voucher diferenciado:

compensa mayores costos de

educar a estudiantes de bajo

NSE.

2. Prohibir selección (con

LGE) y cobros a

estudiantes de NSE bajo:

amplía oferta educativa a

familias de bajos recursos.

$ 123 $ 123

$ 80

$ 10

0

50

100

150

200

250

Antes de SEP Después de SEP

Subvención base Subvención preferencial Subvención por concentración

Fuente: MINEDUC, 2009

Introduce Reforma Accountability del Estado: Clasificación de escuelas con consecuencias

Autónomas

• Han demostrado sistemáticamente buenos resultados en prueba SIMCE. Mantienen autonomía.

Emergentes

• No han demostrado sistemáticamente buenos resultados en prueba SIMCE.

• Deben elaborar un plan de mejoramiento en torno a determinadas metas.

• Supervisores visitan escuela.

En Recuperación

• Han demostrado sistemáticamente malos resultados en prueba SIMCE.

• Deben elaborar un plan de mejoramiento en torno a determinadas metas y supervisores visitan escuela.

• Si la escuela no demuestra mejoras adecuadas, arriesga ser cerrada.

Introduce Accountability del Estado: Cambio Institucional

• Creación de dos nuevas instituciones:

1. Superintendencia de Educación: Fiscalizar

2. Agencia de Calidad: Evalúa

• Ministerio de Educación centra sus funciones en definir políticas y entregar apoyo

Escuelas tienen cuatro años para cumplir con las exigencias del Accountability del Estado

Septiembre, 2011: Escuelas son informadas de su clasificación SEP y escogen estrategias para

elaborar planes de mejoramiento

2012: Escuelas preparan y comienzan a ejecutar

planes de mejoramiento (asistidos por ATE):

identifican debilidades y preparan plan de acción

2013: Segundo año del plan de

mejoramiento

2014: Tercer año del plan de

mejoramiento

2015: Cuarto año del plan de

mejoramiento

Clasificación basada en resultados SIMCE 2008,

2009 y 2010

Primera sanción (Informan a los

padres) basada en

SIMCE del 2010, 2011 y 2012

Sanción final (Cierra) basada en

resultados SIMCE del 2011, 2012 y 2013

¿Cuáles son los mecanismos de accountability para generar cambios en las escuelas?

• Presión de padres (exit y voice)

• Creciente escrutinio, supervisión y burocracia con PME y supervisión

• Estigma social (e.g. Ravitch, 2011)

• Amenaza de perdida de empleo (e.g. Reback, Rockoff y Schwartz (2011).

¿Las presiones de accountability en Chile han generado mejores

resultados o comportamiento estratégico?

Evidencia

Debido a su reciente implementación sólo existe escasa evidencia de su efectividad en Chile.

Analizamos los efectos de la presión de accountability sobre políticas y prácticas en escuelas de bajo desempeño (peor categoria comparado con segundo peor categoria)

Nuestro supuesto es que colegios mal rankeados van a reaccionar a las presiones modificando sus políticas y prácticas para mejorar el rendmiento de sus alumnos y salir de la categoría

Evidencia

No encuentramos evidencia que los profesores modifican sus prácticas en aula.

Sin embargo, encontramos efectos fuertes en algunas políticas de escuela de corto plazo que enfocan en profesores.

Evidencia

• Escuelas clasificadas en recuperación (peor categoría):

– Menos probable de invertir en capacitación docente (largo plazo)

– Menos probable de usar accountability interno (evaluaciones, visitas de pares, etc.) para profesores (largo plazo)

– Más probable de ofrecer programas de tutoria sobre el rendimiento escolar (corto plazo)

– Asignación de profesores con más experiencia y mejor calidad (mejor universidad, post-titulo) a los cursos evaluados (corto plazo)

Evidencia

• Resultados indican que cambios vinculados a politicas definidas por las autoridades de la escuela, sin involucrar a los profesores en el proceso.

• Solo 1 de 3 profesores sabían la clasificación de su escuela

Encontramos comportamiento estratégico en mayoría de colegios

• Estrechamiento curricular Casi el 60% de las horas pedagógicas totales semanales se destinan a aquellas materias cubiertas por la prueba SIMCE (i.e. Lenguaje, Matemática y Comprensión del Medio).

• Enseñan a responder pruebas 60% dice haber utilizado ejercicios similares al SIMCE en sus clases y haber enseñado cómo responder preguntas de selección múltiple todos o casi todos los días.

• Engañan al sistema: No se observado malas practicas como copiar porque SIMCE controla el proceso.

• Alteran composición de estudiantes que rinden SIMCE: Evidencia anecdótica (buen alumno enfermo, exclusión de malos alumnos, Mineduc monitorea, comparando notas con alumnos que no rinden SIMCE, en 2012, 17 colegios violaron)

Persiste la Selección: Entrevistas, examen, pedir certificados de bautismo o matrimonio religioso, cheques de garantía, entre otros

La selecición afecta la segregación social

Y los resultados académicos (SFL mejor rendimiento que CFL que público)

-0,3

-0,2

-0,1

0

0,1

0,2

0,3

Sin ajustar Ajustado por NSE Ajustado por NSE y efecto par

Ajustado por NSE, efecto par y selección

Des

viac

ion

es e

stán

dar

Diferencias en puntajes SIMCE Lenguaje con respecto a escuelas con fines de lucro para el estudiante promedio de una escuela con fines de lucro

PS SFL Público

Source: SIMCE

Efectos globales de accountability? Entre 2007 and 2011 mejores significativos (1/2 DS) en SIMCE lenguaje y matemáticas 4 grado

250

267

250

259

230

235

240

245

250

255

260

265

270

275

1999 2002 2005 2006 2007 2008 2009 2010 2011

SIMCE lectura SIMCE Matemáticas

En síntesis

• Chile ha implementado diversos mecanismos de accountability para intentar mejorar la calidad de las escuelas.

• El accountability del Estado ha sido implementado de forma reciente.

• Las primeras investigaciones indican que sí genera cambios en las políticas estratégicas de las escuelas, pero sin involucrar a los docentes.

• También las políticas de accountability generan comportamiento estratégico y selección

• Aún no se sabe si es efectivo para mejorar los resultados de aprendizaje de los estudiantes, pero los resultados sugieren que hay un efecto global de las reformas en el sistema

El Impacto de las Presiones de Accountability Escolar en Chile en la Corupción

Chile Transparente Noviembre, 2013

Gregory Elacqua Instituto de Políticas Públicas

Universidad Diego Portales