Upload
others
View
15
Download
0
Embed Size (px)
Citation preview
1
Elaboración de una metodología de evaluación de los procesos de mejoramiento educativo en escuelas chilenas
Luis Felipe de la Vega Rodríguez
I. Presentación.
El presente informe compila el desarrollo de todas las etapas del proyecto de investigación “Evaluando el mejoramiento educativo en escuelas chilenas. Una alternativa metodológica a la evaluación para el aseguramiento de la calidad”. Para ello, se incorporará información de las primeras etapas del proyecto, que ya fueron presentadas en entregas anteriores. Luego, se incluirá el avance desarrollado en la última etapa de la investigación. Finalmente, se presentará una descripción de los logros de la investigación.
I.I. Antecedentes.
Este proyecto se propuso presentar una definición operacional y metodología de evaluación de los procesos de mejoramiento educativo desarrollados en escuelas de Chile. Con esto se esperaba profundizar en la discusión respecto del análisis del trabajo y resultados de los establecimientos educacionales, considerando las disposiciones de la Ley de Aseguramiento de la calidad de la educación y las funciones de la Agencia de Calidad sobre la evaluación de las escuelas, visitas y su ordenación.
Para esto, se diseñó una aproximación metodológica que se sostuvo sobre las definiciones de distintos expertos en mejoramiento educativo: docentes, directivos, asesores técnicos educativos, investigadores y representantes de la institucionalidad educativa. Sus discursos buscaron sintetizarse con la metodología de análisis multicriterio Método analítico Jerárquico AHP, con que se construyó una matriz jerárquica de los componentes e indicadores que definirían el fenómeno mencionado. Luego, se elaboraron indicadores e instrumentos de recolección de información que permitirán la evaluación del mejoramiento educativo en escuelas.
Con este proceso alternativo se buscó poner a disposición del sistema educativo herramientas concretas para analizar el logro de estos procesos. Además, esta metodología alternativa es un insumo relevante para evaluar virtudes y limitaciones de las estrategias de evaluación próximas a implementar por la Agencia de Calidad.
I.II Objetivos de la investigación.
En este marco, se han definido los siguientes objetivos para el estudio:
I.II Objetivos de la investigación.
Objetivo general
2
Identificar y jerarquizar los principales criterios que debiera incorporar la evaluación del mejoramiento educativo en establecimientos educacionales chilenos, indagando en las características, posibilidades y requisitos que debiera cumplir un diseño metodológico que favorezca este objetivo y analizando su viabilidad en el contexto nacional.
Objetivos específicos
Identificar y definir cuáles son las dimensiones que comprenden o caracterizan el mejoramiento educativo en establecimientos educacionales chilenos y cuál es la importancia relativa de cada una de ellas en la explicación de este proceso.
Identificar y definir cuál es el conjunto de variables que componen cada una de las dimensiones mencionadas, qué relevancia relativa tiene cada una de estas variables para explicar cada dimensión y cómo ellas se organizan en la explicación de un relato de la explicación de un proceso de mejoramiento educativo.
Identificar las fortalezas, debilidades y desafíos que implicaría el diseño metodológico de una evaluación del mejoramiento educativo en este marco, reconociendo su factibilidad y si ella existe, identificando requisitos, características e instrumental necesario para hacerlo.
Evaluar las posibilidades que ofrece esta reflexión teórico – metodológica como insumo para complementar las labores evaluativas de la Agencia de la Calidad de la Educación, en el marco de su trabajo de evaluación de escuelas relacionado con las visitas a las escuelas.
I.III. Metodología de la investigación.
Este proyecto de investigación apunta al reconocimiento y definición de las dimensiones y variables que caracterizan los procesos de mejoramiento educativo de las escuelas chilenas, buscando identificar si una escuela está mejorando y en qué medida va logrando esta expectativa. Para alcanzar este objetivo, se buscó construir un modelo de evaluación que sea construido a partir del consenso entre actores clave, expertos en este proceso.
Se esperaba reconocer y aprovechar diferentes tipos de conocimiento experto en relación al fenómeno de estudio. Se identificaron cinco tipos de expertos en mejoramiento educativo: a) protagonizar el mejoramiento educativo, es decir, trabajar directamente en los procesos de enseñanza y aprendizaje (docentes); b) gestionar el mejoramiento educativo, a partir de la organización del trabajo educativo en la escuela (equipo directivo); c) apoyar el mejoramiento educativo, recogiendo la experiencia de los asesores educativos de las escuelas; d) estudiar el mejoramiento educativo, lo que implica considerar la reflexión proveniente de investigadores que estudien este fenómeno; y e) incidir políticamente en el mejoramiento educativo, considerando a quienes están cerca de la toma de decisiones en el ámbito de las políticas educativas.
3
Se buscó recoger, combinar y sintetizar estos cinco saberes, representándolos en un modelo de evaluación. Junto con ello, se diseñó una metodología de evaluación que cumpla con parámetros de confiabilidad y validez en relación a los objetivos descritos.
El trabajo aplicó la metodología Proceso Analítico Jerárquico AHP (Saaty, 1997). El AHP tiene por objeto sintetizar en un modelo tipo árbol un conjunto de factores y valores que de manera sistémica componen un determinado concepto u objeto de evaluación. Su estructura se basa en la descomposición de estructuras complejas en sus componentes de manera jerárquica. Para ello, se asignan valores numéricos a las definiciones y valoraciones realizadas por los actores expertos, ayudando a definir la importancia relativa de cada componente en la explicación del fenómeno.
La metodología considera el cumplimiento de tres principios: construcción de jerarquía, asignación de prioridades y consistencia lógica1. La construcción de la estructura jerárquica se completa cuando se definen los indicadores que permitirán medir el nivel alcanzando en cada uno de los criterios terminales. Cada indicador debe ser elaborado junto con su respectiva escala de medida. Éstas deben también reflejar el juicio de los expertos, por lo que deben contar con su aprobación.
Del análisis de los indicadores fue posible identificar y posteriormente diseñar aquellos instrumentos de recolección de información o datos secundarios que permitirán proporcionar los antecedentes que informen el logro de cada indicador.
1 El primero es la construcción de la jerarquía, e implica la elaboración del modelo general de evaluación del objeto y su descomposición en dimensiones y criterios. Este proceso se desarrolla con la participación de los actores expertos, que normalmente tienen discursos y valoraciones disímiles. Por esto, se requiere el logro de consensos fundamentales entre ellos, satisfaciendo un conjunto de requerimientos de validez, asociados a cuatro axiomas: reciprocidad, homogeneidad, dependencia y expectativas (Saaty, 1994). El segundo principio se denomina asignación de prioridades, e implica pedir a los expertos que asignen juicios al comparar pares de elementos (llamados criterios o subcriterios) semejantes en cada nivel de una jerarquía, en relación a un criterio del nivel inmediatamente superior. La pregunta clave que deberá responderse es ¿cuánto más importante o preferible es un criterio sobre otro del mismo nivel, respecto al criterio del nivel inmediatamente superior? A partir de dichas prioridades se define una escala, cuyos valores se registran en una matriz cuadrada. El vector propio principal de la matriz representa la síntesis de los juicios de los expertos, obteniendo las prioridades de los criterios o subcriterios que conforman la estructura jerárquica y considerando un nivel tolerable de inconsistencia entre las valoraciones. El tercer principio del AHP es la consistencia lógica, la que tiene relación con el grado de dispersión de los juicios de valor emitidos por los diferentes actores y el cumplimiento de parámetros lógicos de organización de las prioridades. Para ello, el AHP provee de una teoría para revisar la inconsistencia de estos juicios, al que no debe superar el 10%. (Saaty, 1997).
4
Figura 1: Estructura jerárquica de la metodología multicriterio, AHP.
I.IV. Método AHP aplicado al mejoramiento educativo.
Considerando la metodología descrita, a continuación se describe el diseño que se ha definido para esta investigación.
En primer lugar, se planificó construir un documento base2 de la discusión sobre el mejoramiento educativo a nivel de establecimientos educacionales, a partir de la revisión de la literatura nacional e internacional. Este documento fue discutido de manera separada por los siguientes grupos de expertos identificados al inicio de este capítulo: 1) docentes, 2) directivos, 3) asesores técnico‐ educativo, y 4) investigadores. Para ello, la organización del trabajo será la siguiente.
Una primera etapa del trabajo de campo consistió en la realización de focus group con los cuatro primeros grupos mencionados. A ellos se les entregó el documento base y se les pidió que ‐una vez habiendo leído el documento‐ fueran identificando y describiendo cuáles de los elementos descritos –u otros‐ caracterizan a una escuela chilena que está mejorando educativamente y de qué forma ello ocurre. Al final de la sesión, se presentó una gráfica que sintetizaba los principales elementos surgidos en la discusión, para la validación de los asistentes.
La información recopilada en los focus group fue sistematizada y analizada. Luego, se avanzó hacia su síntesis en una primera propuesta de matriz jerárquica AHP, que permitiera incorporar los cuatro resultados obtenidos. Para avanzar en este proceso fue importante consignar que entre los grupos de expertos se observaron importantes semejanzas en cuanto a la identificación de criterios que caracterizaban el mejoramiento educativo y su valoración. De hecho no se observaron grandes contradicciones en esta materia entre los participantes.
La segunda etapa del trabajo se inició con la validación de la estructura jerárquica. Para ello, se planificó realizar una reunión individual con un representante de cada grupo de expertos, quien
2 Se adjunta documento base utilizado, junto con sus referencias bibliográficas, en el anexo.
5
actuará como “vocero” de su grupo, validando la propuesta de matriz, considerando la discusión establecida en los focus group.
La tercera etapa de trabajo consistió en el desarrollo de un taller en el que participaron los mismos voceros, más un representante de la institucionalidad educativa, específicamente de la Agencia de Calidad de la Educación. Este representante se incluyó en esta etapa, porque la metodología indica que la estructura jerárquica debe también tener un criterio de factibilidad de aplicación, vinculada con que quienes están en la toma de decisiones opinen que es posible que la metodología se aplique (Arancibia, 2009).
En esta jornada se realizaron las siguientes acciones: a) validar la estructura jerárquica, cumpliendo con los cuatro axiomas definidos por el método y b) establecer las prioridades entre los criterios identificados. Esta tarea se realizó con el apoyo de un software especializado para la metodología AHP, denominado Experto Choice. De esta forma, se contó con la estructura jerárquica definitiva que da cuenta de presencia de procesos de mejoramiento en escuelas chilenas, de acuerdo a los expertos.
Finalmente, la cuarta parte del proceso consistió en que, en base a los acuerdos alcanzados , se definieron los indicadores que permitirán el levantamiento de información respecto de cada criterio terminal de la estructura jerárquica, es decir, de las unidades de información más concretas que dan cuenta de la presencia de procesos de mejoramiento en escuelas chilenas. Cada uno de estos indicadores fue validado por cada vocero experto, en una reunión personalizada, recogiendo e incorporando los cambios y sugerencias emitidos por estos.
Todo el proceso descrito fue apoyado y validado por una académica experta en la metodología AHP3.
Posteriormente, en base a los resultados recién descritos, se realizó el diseño de los instrumentos de recolección de información y/ o la identificación de datos secundarios que permitirán levantar los antecedentes para informar a cada indicador de la estructura jerárquica. Luego, esos instrumentos fueron sometidos a una evaluación de validez de contenido. Para ello, se solicitó a dos jueces expertos analizar el instrumental generado, desarrollando con ellos ciclos iterativos que permitan lograr el estándar de calidad idóneo en cuanto a validez.
3 Se adjunta carta de compromiso y currículum vitae resumido de esta experta.
6
II. Detalle del proceso de investigación. .
Este capítulo se describen las etapas que se desarrollaron en la investigación, hasta llegar a la identificación de los indicadores e instrumentos de recolección de información que fueron diseñados.
II.I. Identificación de los grupos de expertos.
La primera acción propia de la implementación del proyecto correspondió a la identificación e invitación de los expertos que participarían de los ciclos de discusión y definición de criterios de evaluación. A continuación se describen los criterios de selección de dichos expertos y los procedimientos de invitación al trabajo.
a) Directores de establecimientos educacionales: se identificaron directores, directoras, jefes y jefas de UTP de establecimientos de la Región Metropolitana. que han logrado ‐al menos en los últimos 2 años‐ alzas sostenidas en puntajes SIMCE. Se establecieron contactos con estos directores a través de invitaciones directas, a través de sus sostenedores y también a través de instituciones que les brindan asesoría o formación profesional docente. Participaron 7 personas en este grupo.
b) Docentes: se identificaron profesores que participan de establecimientos educacionales que han logrado –a menos en los últimos dos años‐ alzas sostenidas en puntajes de SIMCE, que sean además de establecimientos diferentes a los directores seleccionados del grupo anterior, de manera de resguardar una mayor variedad de establecimientos educacionales. Las invitaciones a estos docentes se cursaron con el apoyo de una institución que les brinda formación profesional continua. En este grupo participaron 8 docentes.
c) Asesores técnicos educativos. Se identificaron ATES cuya experiencia sea al menos igual a los años de implementación de la ley SEP, para resguardar una mayor variedad y amplitud de experiencias de asesoría. A ellos, se sumó un representante de asesoría técnica ministerial (ATP), para considerar distintas perspectivas de asesoría a establecimientos educacionales. En este grupo participaron 7 expertos, los que fueron invitados de manera directa.
d) Investigadores: Se identificaron instituciones, facultades y/o departamentos que estuvieran desarrollando o hayan desarrollado investigación en materia de mejoramiento escolar y se les hizo una invitación directa a participar en el trabajo. Siete investigadores participaron en este grupo.
II.II. Descripción del proceso de elaboración de la matriz jerárquica.
7
Habiendo identificado e invitado a los 29 participantes finales del proceso, se iniciaron acciones de preparación del trabajo con ellos. La más relevante correspondió a la elaboración de un documento base relacionado con hallazgos centrales de la investigación sobre mejoramiento educativo en escuelas, los que fueron organizados en función de variables y procesos analíticos clave. Este documento no tuvo como finalidad la descripción de hallazgos específicos, sino el desarrollo de una propuesta de elementos para el desarrollo de la discusión entre los expertos. Se adjunta el documento base como anexo a este informe.
Etapa 1. Grupos focales.
Habiendo finalizado el documento mencionado, se planificó el desarrollo de 4 grupos focales, uno para cada tipo de experto. Para estos grupos de conversación se definió un guión de conversación que, dependiendo de la experiencia de cada grupo, abordó las características, procesos y condiciones en que se desarrollan los procesos de mejoramiento educativo en escuelas chilenas.
Los grupos focales se desarrollaron en el siguiente orden: 1) investigadores; 2) directores y jefes de UTP; 3) ATES; 4) docentes.
Etapa 2. Sistematización de la información recopilada.
Con posterioridad a la realización de los grupos focales, se identificaron los atributos y características comunes de los procesos de mejoramiento educativo en escuelas chilenas, señalados por los grupos de expertos, así como también las diferencias entre ellos. Como primer hallazgo relevante se observó una alta congruencia entre los aspectos relevados por cada grupo y la ausencia de atributos valorados de manera contradictoria entre ellos.
Este hallazgo favoreció que se tomara la decisión de realizar un primer proceso de sistematización de información. En él, se organizaron las características de los procesos de mejoramiento educativo en tres grandes dimensiones: 1) impulsos externos al mejoramiento; 2) gestión del sostenedor orientada hacia el mejoramiento; 3) movilización interna del mejoramiento. Cada una de las variables descritas por los grupos fue organizada en alguna de estas grandes dimensiones.
Etapa 3. Validación de la matriz.
Una vez habiendo finalizada la primera propuesta de matriz, se realizó una ronda de reuniones de carácter individual con uno de los representantes de cada grupo de expertos. Esta reunión consistió en la presentación de la matriz que se desarrolló en base a los focus group, recibiendo comentarios y sugerencias de modificación de parte de los actores participantes. Cada avance en la definición de la matriz, así como también la etapa 2 fue presentado y analizado técnicamente por la profesora Dra. Sara Arancibia, de la Facultad de Ingeniería de la Universidad Diego Portales. Esta académica actúa como contraparte técnica del proceso, debido a su experticia en la metodología AHP, evaluando la calidad de su implementación en este estudio. Por lo tanto, las etapas de construcción y validación de la matriz fueron revisadas por la profesora Arancibia.
8
Etapa 4. Validación final de la matriz y priorización de los criterios. La última etapa desarrollada a la fecha correspondió a la validación de la matriz jerárquica definitiva, que fue construida en base a las reuniones individuales y a la priorización de los criterios que la componen. Esta tarea se realizó en un taller presencial, al que asistieron los expertos, junto con una representante de la Unidad encargada de las visitas de evaluación de escuelas de la Agencia de Calidad de la Educación, tal como estaba definido en el proyecto del estudio.
En este taller se revisó de manera completa la matriz jerárquica, donde se definían los criterios estratégicos, los subcriterios y los criterios terminales. Junto con la estructura, se elaboró un “diccionario”, donde se definió cada uno de los criterios que componen la matriz, de manera de no generar confusiones ni que existan distintas interpretaciones de cada término.
Posteriormente, se realizó la tarea de asignar prioridades a los criterios, avanzando, desde los criterios padre, hacia los subcriterios y criterios terminales. Para ello, los participantes debían consensuar la valoración de la importancia de pares de criterios, respecto del objetivo de evaluar la presencia de procesos de mejoramiento en escuelas chilenas. Para desarrollar esta tarea, el taller se valió del uso de un software especializado para esta metodología, llamado Expert Choice.
II.III. Matriz jerárquica.
El resultado del proceso descrito fue una matriz jerárquica que desglosa en criterios el objetivo de medir la presencia de proceso de mejoramiento educativo en escuelas chilenas. Esta matriz se describe a continuación, junto con el valor de prioridad que les asignaron los expertos. Además, cada criterio cuenta con una definición que señala cómo está siendo entendido por este proyecto, luego de la discusión realizada por los expertos.
Teniendo en cuenta lo anterior, el objetivo general de la matriz jerárquica quedó definido como: Evaluar el grado en que se encuentran presentes procesos de mejoramiento educativo en las escuelas chilenas.
El modelo plantea tres grandes dimensiones, que corresponden a sus criterios estratégicos. Por una parte, las características del apoyo que se recibe como impulso externo al mejoramiento educativo y el uso o provecho que se saca de dichos recursos. Ese criterio se ha denominado Impulsos externos al mejoramiento. En segundo lugar, las características y condiciones de la labor de administración y gestión de la escuela que están a cargo de su Sostenedor y se denomina Gestión del sostenedor orientada hacia el mejoramiento. Finalmente, el tercer criterio estratégico considera los procesos desarrollados internamente por la escuela, orientados hacia el mejoramiento, y se denomina Movilización interna del mejoramiento.
A continuación se describe cada uno de estos criterios estratégicos, y los subcriterios que los componen
Criterio Estratégico 1: Impulsos externos al mejoramiento (L:,145).
9
Este criterio está compuesto por:
Incorporación de políticas educativas (L: ,698)
Refiere a la medida en que la escuela utiliza en beneficio de su proceso de mejoramiento las estrategias, acciones, normas y recursos más representativos, implementadas desde el estado en materia educativa, que tienen como destinatario y/o beneficiario a todas las escuelas del sistema. Considerando la estructura del Sistema de Aseguramiento de Calidad chileno (SNAC), se han identificado 3 grandes impulsos: la información proveniente de la medición externa de aprendizajes, la entrega de recursos financieros para el mejoramiento y la fiscalización para el cumplimiento de la normativa. A continuación se ofrece el detalle de los criterios estratégicos, subcriterios y criterios terminales de la estructura jerárquica para evaluar la presencia de procesos de mejoramiento en las escuelas. Junto con ello, se señalan las definiciones de cada uno de los componentes de la matriz.
Uso estratégico del SIMCE (L: ,250)
Refiere al nivel de uso que la escuela da a los resultados de la prueba SIMCE como un medio o insumo para el mejoramiento de la escuela.
Uso de recursos SEP (L: ,500)
Refiere al nivel de coherencia entre el uso de los recursos SEP en relación con objetivos, metas o necesidades del establecimiento.
Aprovechamiento de la fiscalización (L: ,250)
Refiere al nivel de aprovechamiento de la información que se obtiene de los procesos de fiscalización de parte del estado, para apoyar a la escuela a ordenar el trabajo interno.
Incorporación del trabajo de ATE (L: ,302)
Refiere al grado de aprovechamiento que hace la escuela de la Asesoría Técnica Educativa (ATE), que se ofrece como recurso técnico para orientar y desarrollar sus procesos de mejoramiento (puede ser entregada por instituciones públicas o privadas). Este criterio intenta capturar las características y condiciones con que en este marco se realiza la Asesoría Técnica Educativa y se divide en 5 criterios terminales.
Integración de la asesoría (L: ,181)
Integración de la asesoría, que refiere a la medida en que los procesos de asesoría se han incorporado como insumos a la práctica cotidiana de las escuelas.
Sentido de la asesoría (L: ,244)
10
Apunta al grado en que los integrantes de la comunidad educativa que correspondan, consideren que el trabajo de la ATE apunta hacia un objetivo valorado por la institución.
Eficacia de la asesoría (L: ,244)
Eficacia de la asesoría; el que se refiere al cumplimiento de los objetivos declarados para la asesoría.
Dominio de la demanda (L: ,332)
Corresponde al grado en que la asesoría que recibe el establecimiento responde a necesidades o requerimientos que la propia escuela ha identificado y que valora como relevantes.
Criterio estratégico 2. Gestión del Sostenedor orientada al mejoramiento (L: ,331)
Está compuesto por los siguientes subcriterios: Gestión de recursos (L: ,400)
Alude a las condiciones de operación y facilitación de procesos de la escuela, que son dirigidos desde el Sostenedor, como institución que tiene un rol estratégico en favorecer los procesos de mejoramiento de la escuela, apuntando a atributos como agilidad, proximidad y eficiencia del rol del sostenedor. Este subcriterio se divide en dos criterios terminales: a) agilidad y eficiencia en el uso de los recursos, que apunta a identificar el grado de celeridad y condiciones técnicas de uso eficiente en el uso de los recursos que necesita la escuela; b) disposición en el servicio, que alude a la medida en que el sostenedor es un real apoyo para resolver atingentemente y a tiempo las inquietudes y requerimientos de la escuela.
Agilidad y eficiencia en el uso de los recursos (L: ,450)
Apunta a identificar el grado de celeridad y condiciones técnicas de uso eficiente en el uso de los recursos que necesita la escuela) agilidad y eficiencia en el uso de los recursos, que apunta a identificar el grado de celeridad y condiciones técnicas de uso eficiente en el uso de los recursos que necesita la escuela.
Disposición en el servicio (L: ,550)
Alude a la medida en que el sostenedor es un real apoyo para resolver atingentemente y a tiempo las inquietudes y requerimientos de la escuela.
Liderazgo pedagógico (L: ,600)
11
Refiere a la capacidad del sostenedor de dirigir procesos de mejoramiento en red de las escuelas, identificando necesidades y proyectando su desarrollo sustentable. Se subdivide en tres criterios terminales: a) Aporte de las políticas locales, es decir, el grado en que los planes y programas del Sostenedor favorecen o potencian los procesos de mejoramiento interno de la escuela; b) Monitoreo de escuelas, es decir, la medida en que se cuenta con y utiliza sistemas de información para monitorear los procesos de mejoramiento de la escuela; c) Gestión de redes, esto es la capacidad del sostenedor de movilizar a otras personas e instituciones para entregar apoyos adicionales al desarrollo de la escuela.
Aporte de las políticas locales (L: ,251)
1. Es decir, el grado en que los planes y programas del Sostenedor favorecen o potencian los procesos de mejoramiento interno de la escuela.
2. Monitoreo de la escuela (L: ,581)
Es decir, la medida en que se cuenta con y se utilizan sistemas de información para monitorear los procesos de mejoramiento de la escuela.
Gestión de redes (L: ,168)
Es la capacidad del sostenedor de movilizar a otras personas e instituciones para entregar apoyos adicionales al desarrollo de la escuela.
Criterio estratégico 3: Movilización interna del mejoramiento (L:,524).
Este criterio está compuesto de los siguientes subcriterios:
Apropiación de la estrategia (L: ,410)
Apunta a identificar la medida en que la escuela ha sido capaz de identificar los elementos necesarios para su mejoramiento y protagonizar (o manejar la agenda) este propio proceso, considerando sus propias definiciones. Este subcriterio se divide en 2 criterios terminales: a) Relevancia práctica del Proyecto Educativo Institucional (PEI) y apunta al grado en que las definiciones estratégicas del Proyecto Educativo Institucional se expresan de manera concreta en su planificación operativa anual (PME); b) Sostenibilidad, que recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto implica la existencia de 3 subcriterios terminales: 1) Normalización, es decir, el grado en que la escuela ha podido superar dificultades concretas que impiden su concentración en procesos básicos de enseñanza; 2) Capacidad de abordar contingencias, lo que refiere al grado en que la escuela puede avanzar en su proceso de mejoramiento, de manera relativamente autónoma a las dificultades que surgen día a día; 3) data de incorporación de cambios, lo que apunta al grado en que los procesos o estrategias de mejoramiento actuales sean producto de iniciativas o estrategias anteriores que se han ido mejorando.
12
Relevancia práctica del PEI (L: ,500)
Apunta al grado en que las definiciones estratégicas del Proyecto Educativo Institucional se expresan de manera concreta en su planificación operativa anual (PME).
Sostenibilidad (L: ,500)
Recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto implica la existencia de 3 subcriterios terminales que recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto implica la existencia de 3 subcriterios terminales que recoge el grado en que el proceso de mejoramiento mantiene o potencia su desarrollo a lo largo del tiempo. Esto implica la existencia de 3 subcriterios terminales.
Normalización (L: ,545)
Es decir, el grado en que la escuela ha podido superar dificultades concretas que impiden su concentración en procesos básicos de enseñanza.
Capacidad para abordar contingencias (L: ,273)
Refiere al grado en que la escuela puede avanzar en su proceso de mejoramiento, de manera relativamente autónoma a las dificultades que surgen día a día.
Data de incorporación de los cambios (L: ,182)
Apunta al grado en que los procesos o estrategias de mejoramiento actuales sean producto de iniciativas o estrategias anteriores que se han ido mejorando.
Procesos y prácticas (L: ,179)
Se refiere al grado en que las dinámicas y características generales de los procesos de trabajo que se realizan en la escuela favorecen o potencian la implementación de procesos de mejoramiento en la escuela. Ello implica considerar 3 criterios terminales: a) Procesos de autoevaluación, lo que implica conocer si la escuela cuenta con instancias o procesos de autoevaluación y en qué medida estos procesos son relevantes en la dinámica interna; b) Procesos de rendición de cuentas, lo que implica reconocer la existencia de mecanismos de rendición de cuentas interno y su grado de relevancia en la dinámica interna; c) Estructuración del trabajo, es decir, el grado en que los roles y funciones dentro del establecimiento están adecuadamente descritos y socializados.
Procesos de autoevaluación (L: ,474)
Implica conocer si la escuela cuenta con instancias o procesos de autoevaluación y en qué medida estos procesos son relevantes en la dinámica interna
Procesos de rendición de cuentas (L: ,211)
13
Lo que implica reconocer la existencia de mecanismos de rendición de cuentas interno y su grado de relevancia en la dinámica interna.
Estructuración del trabajo (L: ,316)
Es decir, el grado en que los roles y funciones dentro del establecimiento están adecuadamente descritos y socializados.es decir, el grado en que los roles y funciones dentro del establecimiento están adecuadamente descritos y socializados.
Funcionamiento y condiciones de los equipos y sus integrantes (L: ,410)
Apunta a identificar la medida en que se encuentran presentes características, soportes y competencias disponibles en las unidades de trabajo que se desempeñan en la escuela y en sus integrantes. Este subcriterio se divide en los siguientes criterios terminales: a) cohesión y colaboración de los equipos, es decir, el grado en que los diferentes estamentos del establecimiento trabajan coordinadamente y se prestan apoyo; b) compromiso; que apunta al grado de involucramiento de los integrantes de cada equipo con sus propios desafíos y los del establecimiento; c) desarrollo de competencias profesionales, que apunta a la medida en que los integrantes de los equipos cuentan con conocimientos y habilidades profesionales idóneas para enfrentar su trabajo en el establecimiento; d) liderazgo del equipo directivo, es decir, el grado en que el equipo directivo, encabezado por su director es capaz de organizar e implementar una visión de mejoramiento para el establecimiento educacional.
Desarrollo de competencias profesionales (L: ,474)
Corresponde al grado en que los actores que participan de la gestión o implementación del proceso educativo cuentan y desarrollan conocimientos, habilidades y actitudes que les permiten desarrollar eficazmente su tarea.
Liderazgo del equipo directivo (L: ,316)
Apunta a la capacidad de los profesionales que tienen a cargo la conducción de un establecimiento educacional, de dirigirlo hacia el mejor despliegue de sus potencialidades y el cumplimiento de sus objetivos y metas.
Director (L: ,600)
Alude a las competencias técnicas, organizacionales, administrativas y relacionales que dispone el director para el desarrollo de su rol en la escuela.
Equipo directivo (L: ,400)
14
Refiere a la capacidad, de parte del equipo de apoyo del director, de satisfacer sus requerimientos y solicitudes, así como de entregar aportes concretos al desarrollo del establecimiento y el logro de sus metas.
Capacidad profesional Técnico pedagógica (L: ,211)
Dice relación con la calidad del trabajo técnico pedagógico en la escuela, tanto respecto de su planificación y evaluación de sus resultados, como de su implementación dentro de la sala de clase.
Condiciones técnicas de UTP (L: ,598)
Apunta a las competencias con las que la jefatura técnica de UTP cuenta para supervigilar y promover el desarrollo de procesos de enseñanza – aprendizaje de calidad dentro de la escuela.
Capacidades profesionales de los docentes (L: ,402)
Corresponde a las condiciones, dinámicas de enseñanza, logros y potencialidades de desarrollo de parte de los docentes del establecimiento.
15
Figura 2: Panorámica general de la matriz jerárquica.
16
III. Implementación de la segunda parte de la investigación.
En este capítulo se presentará el resultado de la segunda parte de la investigación, donde los criterios estratégicos y terminales elaborados en la etapa anterior, fueron traducidos en indicadores e instrumentos de recolección de información para la evaluación de la presencia de procesos de mejoramiento en las escuelas.
A continuación se describirá la metodología a través de la cual se llevó a cabo este trabajo.
En primer lugar, luego del consenso generado en la matriz jerárquica, se desarrolló un proceso de revisión de literatura que tuvo como objetivo identificar aspectos fundamentales que debían ser considerados en la evaluación de cada uno de los criterios de la matriz. Junto con ello, se recopiló información sobre estrategias y mecanismos de evaluación de la labor de las escuelas, identificando los ejes del debate en este tema y las principales sugerencias y recomendaciones que proporciona la investigación en esta materia. Los aspectos bibliográficos enunciados se presentarán en la siguiente sección, antes de presentar cada instrumento de recolección de información. En el anexo se incluirán además las fuentes consultadas.
Con esa información, se realizó un primer ejercicio de definir cuáles serían los indicadores que se utilizarían para evaluar cada uno de los criterios terminales. Esta definición, elaborada por el investigador en base a la literatura, fue posteriormente validada por los representantes de cada grupo de expertos.
Luego de validar los indicadores, se desarrolló la tarea de identificar qué instrumento o recurso de información sería necesario aplicar para lograr contar con los datos que requiere cada uno de los indicadores.
El producto de ese trabajo fue una primera versión de los instrumentos de evaluación de la presencia de procesos de mejoramiento en las escuelas. Al igual que en el caso de los indicadores, y tal como fue definido en el proyecto, se sometió la propuesta de instrumentos a una evaluación de la validez de contenido de cada indicador respecto de la matriz. Esta tarea fue realizada por dos especialistas, uno en educación y otro en metodología de la investigación, quienes revisaron completamente la relación de la matriz con los instrumentos en base a una pauta de evaluación, entregando su opinión como árbitros. Luego, emitieron un informe con su análisis y recomendaciones. Finalmente, se incorporaron las sugerencias recibidas, dando por finalizado el proceso de validación.
Con esta última tarea se dio por finalizado el proyecto de investigación.
A continuación, se presentará el avance recién descrito, partiendo con la argumentación de la metodología general de evaluación que se desarrolló en el proyecto. Luego, se describirá el detalle de los indicadores definidos, su sustento basado en la literatura y se identificará el instrumento o recurso de información que se diseñó para su evaluación.
17
III.I. Descripción de la opción metodológica para la evaluación del mejoramiento.
En esta sección se describirán elementos y orientaciones relacionados con la evaluación de los procesos de mejoramiento educativo, que fueron identificados y considerados en la literatura académica sobre este tema.
La evaluación de las escuelas y de sus resultados es un área que cuenta con múltiples acercamientos y perspectivas. En relación a su uso para las políticas públicas y la toma de decisiones en particular, se ha observado un tránsito desde el uso de indicadores globales de resultados –tales como los test de aprendizaje estandarizados‐ hacia la consideración de otros insumos, mecanismos de aproximación al trabajo y desempeño escolar, e indicadores de funcionamiento y resultados de las escuelas. Este fenómeno se ha constatado por la necesidad de favorecer reflexiones evaluativas que, por un lado sean más justas, y por otro, que describan con mayor detalle las condiciones y características en que se desarrolle el proceso educativo (Thomas, 2010; RAND, 2012). Junto con ello, se han constatado también importantes perjuicios relacionados con la toma de decisiones basada en uno o pocos indicadores, lo que ha conducido a algunos países a cambiar de estrategia de evaluación (Ng, 2012).
De acuerdo a la OCDE (2013), la evaluación de una escuela debiera involucrar procesos relevantes tales como enseñanza ‐ aprendizaje, liderazgo, administración, clima y gestión de los recursos humanos. Para abordar estos elementos se han incorporado diferentes metodologías: la autoevaluación, la evaluación externa a partir de visitas a la escuela y la comparación de éstas en función de indicadores o criterios estándar. Al igual que en el caso de los recursos de información, estas tres metodologías aportan de manera complementaria al proceso evaluativo, y relevan algunos aspectos por sobre otros.
Considerando lo anteriormente mencionado, el diseño de los indicadores para la evaluación de la presencia de procesos de mejoramiento en los establecimientos educacionales ha buscado desarrollar una mirada amplia y diversa respecto de este fenómeno, de manera de ofrecer un panorama más claro y por ende justo, respecto del trabajo que se lleva a cabo en los establecimientos educacionales. De esta forma, para cada criterio terminal se irá justificando la decisión de la metodología e instrumento que se aplicará para la evaluación, considerando criterios metodológicos, educacionales y prácticos.
18
III.II. Identificación de marco conceptual para la evaluación de cada criterio de la matriz, definición de los indicadores de evaluación e identificación de instrumentos.
En este capítulo se proporcionara el detalle de los fundamentos bibliográficos y metodológicos que permitieron la identificación de los indicadores de evaluación de cada criterio de la matriz. Junto con ello, se describirá cada uno de los indicadores, así como el instrumento de recolección de información que será necesario para contar con los datos necesarios para la evaluación del mejoramiento.
A.‐ Criterio estratégico “impulsos externos al mejoramiento”.
A.1.‐ “Incorporación de políticas educativas”.
A.1.1.‐ Criterio terminal: Uso estratégico del SIMCE.
Indicador: Porcentaje de acciones de análisis de resultados de SIMCE y desarrollo de estrategias metodológicas realizados por la escuela.
Justificación (Fundamentos conceptuales y metodológicos): De acuerdo a Bruns, Filmer & Patrinos (2013), el análisis de la información provista externamente por mediciones de logro de objetivos o resultados educativos puede enriquecer de manera relevante los procesos de reflexión, revisión de las tareas de los equipos, definición de metas y autoevaluación. Esto ocurre si es que se considera un uso de la información como insumo para la gestión de los procesos y análisis de los resultados logrados por la escuela y si se incluyen y comprometen a sus participantes en estos procesos.
Pese a lo anterior, el SIMCE puede prestarse para procesos que entorpezcan los procesos de mejoramiento. Uno de los vicios que la investigación sobre accountability educacional ha revelado es la existencia de “trampas” que pueden realizarse para rendir con buenos resultados en las mediciones externas, sobre todo cuando estos se vinculan a incentivos. Uno de los más relevantes es “preparar la prueba”, es decir, adiestrar a los estudiantes para rendir buenos test, utilizando tiempo de implementación curricular (Vazquez & Darling‐ Hammond, 2008).
Teniendo ello en consideración, se ha definido incorporar una pregunta en una entrevista de visita al equipo directivo del establecimiento educacional, donde se pueda conocer: 1) qué acciones de análisis se realizan de los resultados del SIMCE, 2) si es que se vinculan con el análisis de la evaluación interna para brindar sentido a los resultados, 3) si se vincula este análisis con toma de decisiones y 4) si se involucra a los participantes de la comunidad educativa en ellos. De esta forma, se buscó indagar desde elementos más sencillos, relacionados con las tareas de análisis de los resultados obtenidos, hacia la constatación de procesos más complejos, referidos al uso que se haga de esta información en la toma de decisiones de la escuela.
Para calificar las respuestas, se utilizará una rúbrica que será aplicada por el evaluador, que busca detallar el grado en que es suficientemente claro las acciones declaradas se realizan formal y sistemáticamente.
19
Como apoyo a la implementación de esta pauta, al listado de acciones y procesos que se describen a continuación, se agregarán preguntas de verificación como la siguientes: ¿cuándo lo hicieron?, ¿lo hacen todos los años?, ¿quiénes participaron?, ¿cómo se formalizan los acuerdos?, ¿se incorporaron en el PME?, ¿se ha registrado lo que se ha hecho?, ¿Qué resultados ha tenido? Luego de hacer la verificación, el evaluador externo deberá marcar en la casilla correspondiente, para evaluar el grado de formalización y sistematicidad de la acción.
¿En este establecimiento se realizan acciones como las siguientes respecto de la información que provee el SIMCE, específicamente en 2014?
No se hizo
Se hizo, pero no es claro cómo se llevó a cabo y no existe registro de ella, ni de veces anteriores en que se haya hecho
Se hizo, y hay especificidad en la realización de la tarea, aunque no es evidente que sea una tarea que se realice periódicamente
Se hizo, hay especificidad en la realización de la tarea y es claro que se realiza periódicamente.
A Realizan un análisis estadístico interno de los promedios obtenidos en resultados del SIMCE
B Realizan un análisis estadístico interno de los resultados de los Niveles de Logro de SIMCE.
C Realizan un análisis de los resultados de SIMCE vinculándolo con resultados internos de aprendizaje y con resultados de otras mediciones.
D Se definen estrategias globales desde la UTP para todo el colegio.
E Se establecen acuerdos específicos entre UTP y profesores para definir acciones o estrategias didácticas o metodológicas para enfrentar el diagnóstico ofrecido por el SIMCE en la sala de clases.
20
F Informan a los apoderados sobre las debilidades y fortalezas de los alumnos en relación a la prueba SIMCE.
A.1.2.‐ Criterio terminal: Uso de recursos SEP.
Justificación (fundamentos conceptuales y metodológicos): En el sistema educativo nacional, una de las principales fuentes de financiamiento para el mejoramiento educativo es la ley SEP. A través de su Plan de Mejoramiento Educativo (PME) las escuelas debieran destinar sus esfuerzos en el diseño e implementación de un programa de trabajo que permita mejorar sus debilidades y alcanzar sus objetivos. Sin embargo, la investigación realizada en esta materia permitió observar que los PME no siempre se vinculan con las principales necesidades de mejora de las escuelas y que ponen así como también que ponen mayor énfasis a la ejecución de acciones, que a los objetivos estratégicos a los que las actividades pueden aportar a los desafíos de la escuela (CEPPE, Fundación Chile, 2010).
Por esta razón, este indicador y los 2 siguientes buscarán identificar en qué medida se utilizan e implementan los recursos SEP, considerando el objetivo del mejoramiento educativo, es decir, entendiendo que la inversión y las acciones implementadas se orienten hacia un desafío que sea relevante para la escuela.
Se definió que este objetivo podría lograrse de mejor forma mediante el uso de información secundaria, debido a que en ella aparecen con suficiente formalidad y claridad las prioridades que hizo la escuela en su PME, así como las características que tuvo el gasto de la subvención.
Indicador 1: Priorización del gasto SEP en el mejoramiento educativo.
Fórmula de cálculo: Porcentaje total del monto del gasto asociado al PME SEP que se destinó a acciones que aportan directa o indirectamente al mejoramiento educativo, expresado en los objetivos definidos para el PME en la escuela.
Se analizarán los gastos asociados al PME, evaluando si es evidente su aporte (directo o indirecto) al logro de alguno de sus objetivos definidos en esta planificación, asumiendo que el PME es la gran planificación operativa de la escuela. Luego, del total de gastos analizados, se calculará un porcentaje de aporte del gasto a los objetivos del PME SEP.
Categoría de gasto Ítem de gasto específico
Monto del gasto por ítem
¿Favorece de manera evidente este gasto el logro de algún objetivo del PME?
21
1.‐ Sí (1 puntos)
2.‐ Sí, pero de manera indirecta (0,5 punto).
3.‐ No (0 puntos).
Indicador 2: .‐ Ejecución presupuestaria del PME.
Fórmula de cálculo: Proporción de presupuesto total de PME SEP efectivamente gastado en el año, considerando información proporcionada en la Rendición de Cuentas anual del uso de recursos SEP. Se estima que este indicador es complementario al anterior, puesto que el real uso de los recursos es un indicador de la puesta en marcha de la estrategia de mejoramiento definida para el año. De esta forma, una baja ejecución presupuestaria debiese implicar una implementación incompleta de esta estrategia.
Indicador 3: Implementación efectiva de acciones de PME 2013.
Fórmula de cálculo: Proporción de acciones del PME 2013 que fueron realmente ejecutadas, considerando información de control interna de la escuela o el Sostenedor. Se incorporó este último indicador para proporcionar información que la ejecución presupuestaria no puede detallar, relacionada con cuáles fueron las actividades que finalmente se ejecutaron del PME, lo que permite identificar aquellas áreas que en la práctica tuvieron mayor relevancia para la institución durante el año. En contraste, se asume que las acciones no ejecutadas tuvieron una menor relevancia en la ejecución de la estrategia del PME.
A.1.3.‐ Criterio terminal: Uso de la fiscalización para el mejoramiento.
Justificación: en la misma línea relacionada con el uso de la información y evaluación que se efectúa externamente, desde el estado, respecto del funcionamiento de los establecimientos educacionales, desde una lógica de resultados, la operación regular de una escuela debe contar con un conjunto de elementos que son mínimos necesarios para su correcto funcionamiento, considerando las definiciones normativas de la educación. Estos son los insumos mínimos para el cumplimiento de los objetivos y metas esperados por el sistema educativo, especialmente en un sistema orientados hacia los resultados como el chileno (Falabella, 2014).
Por esta razón, de la misma forma que en el caso del SIMCE, se revisará en una entrevista con el equipo directivo del establecimiento la existencia de procesos y procedimientos relacionados con el cumplimiento de estos requisitos de operación, avanzando hacia la identificación de los aspectos que están mayormente formalizados y logrados. Lo que se espera con este instrumento e identificar si el cumplimiento de esta normativa ha sido una oportunidad, o se ha permitido la instalación de
22
procesos y dinámicas de gestión interno relacionadas con el cumplimiento de tareas, la sistematización de resultados y el monitoreo de los procesos asociados de parte del equipo de gestión.
Indicador: Existencia de procesos o procedimientos de análisis, prevención y corrección de observaciones realizadas por la Superintendencia, en ámbitos que sean competencia del establecimiento.
Fórmula de cálculo: Considerando Acta de Fiscalización con que la Superintendencia reporta los resultados de su visita a la escuela, se realizarán tres procedimientos:
1) Clasificación de resultados de la fiscalización: se calcula la proporción de observaciones (no conformidad) recibidas respecto del total de elementos a fiscalizar. En este caso, así como en los siguientes procedimientos, se considerarán únicamente los objetos de fiscalización que sean responsabilidad de cumplimiento de la escuela, así como los que se encuentran relacionados con su trabajo técnico pedagógico.
2) En el caso de las no conformidades, se identificará la proporción de no conformidades que han sido resueltas a la fecha de la visita, así como las que están en vías de corregirse y las que no han sido corregidas.
3) En relación con el cumplimiento de las observaciones en una futura fiscalización, se identificará la presencia de protocolos, encargados y seguimiento de responsabilidades respecto de su cumplimiento, considerando los procesos que recibieron observaciones de parte de la Superintendencia.
Cada uno de los procedimientos tiene un puntaje. La siguiente tabla describe su organización.
Logro Puntaje
Sin no conformidades 1
Con no conformidades, pero están todas corregidas 0,8
Con no conformidades y algunas están sin corregir, pero todas están siendo monitoreadas
0,6
Con no conformidades y hay algunas sin corregir y solo algunas están siendo monitoreadas
0,5
Si no conformidades, hay aún sin corregir y ninguna está siendo monitoreada
0,4
23
Si no conformidades, ninguna está siendo corregida y ninguna está siendo monitoreada
0
El instrumento para realizar este análisis es el siguiente.
1.‐ Respecto de los siguientes aspectos relacionados con las inspecciones de la Superintendencia de educación y teniendo en cuenta la última Acta de Fiscalización:
Proporción de no conformidades en acta, respecto del total fiscalizado
No conformidad (1): ¿Sería nuevamente sancionada por Superintendencia de la Educación si viniera hoy? (Sí= 1/ No= 0)
No conformidad (2) ¿Sería nuevamente sancionada por Supereduc si viniera hoy? (Sí= 1/ No= 0)
No conformidad (3) ¿Sería nuevamente sancionada por Supereduc si viniera hoy? (Sí= 1/ No= 0)
2.‐ Monitoreo del cumplimiento de las observaciones.
¿Cómo la escuela monitoreará el cumplimiento de las observaciones?
Se han diseñado protocolos formales: a) Sí (1), existen; b)
Se ha definido un encargados de cumplimiento de esta obligación: a)
Se ha diseñado un mecanismo de supervisión del cumplimiento de la normativa:
Se hace Supervisión periódicamente: a) Sí. (1); b) Sí, pero irregularmente (0,5); c) No se realiza (0)
24
Existen, pero informalmente (0,5); c) No existen (0)
Sí, existen para todas las obligaciones (1); b) Existen, pero solo para algunas (0,5); c) No existen (0).
a) Sí (1); b) Existe, pero solo para algunas obligaciones asociadas (0,5); c) No existen (1)
A.2. “Calidad y relevancia del trabajo de la ATE”.
Justificación: De acuerdo a la evidencia empírica disponible en relación al funcionamiento de la asesoría técnica educativa en general, y el de las ATE en particular en Chile, ha sido importante observar que este servicio aportará al desarrollo de procesos de mejoramiento, solo en la medida que cuente con determinados requisitos o atributos de calidad, teniendo como referente el cambio que apoyan o ayudan a producir en los establecimientos educacionales. De acuerdo con Bellei, Osses y Valenzuela (2010), algunos de estos atributos son: flexibilidad para considerar la realidad de la escuela, con objetivos y metas claras, que vincule la labor de gestión con la pedagógica, con un trabajo que se adecue a las necesidades y características de los participantes, con una metodología desafiante, que generen y cuenten con compromiso y participación de los involucrados, que disponga de insumos que permitan la evaluación de su trabajo, y con profesionales idóneos, que trabajen junto con los docentes y equipo directivo.
Teniendo en cuenta estos elementos, se ha definido una aproximación a la evaluación del trabajo y aporte de las ATE al mejoramiento educativo (en todos los criterios terminales asociados a este aspecto), considerando una encuesta donde puedan valorarse estos atributos, de parte de quienes han estado más próximos a la labor de asesoría: el equipo directivo del establecimientos, quien también tiene responsabilidad en la evaluación formal de su trabajo. Sin embargo, se estima necesario ampliar esta base mínima hacia los docentes y otros funcionarios involucrados con la asesoría, de manera de dar cuenta de forma integral de la implementación del servicio de asesoría técnica.
Es importante consignar que se utilizarán 4 indicadores para dar cuenta del aporte de las ATE al desarrollo de procesos de mejoramiento en las escuelas. Con ellos se busca integra información de distinto tipo, que vayan desde su vinculación a necesidades o requerimientos priorizados por las escuelas, hasta la valoración de los actores sobre su eficacia y relevancia.
A.2.1.‐ Criterio terminal: Integración de la asesoría.
Indicador: Capacidad de la asesoría de integrarse efectivamente a los procesos de trabajo de la escuela.
25
Se ha construido un instrumento para ser respondido por el equipo directivo de la escuela (como base mínima, ampliable hacia los docentes involucrados), que analiza el nivel de integración del trabajo de la ATE a los procesos del establecimiento educacional. Este cuestionario será respondido considerando la labor de la ATE que haya tenido un rol más relevante para la escuela durante el año y será respondido en su conjunto por el equipo directivo del establecimiento. Este instrumento cuenta con 7 enunciados descritos en una escala Likert, con 7 niveles de acuerdo. Considerando un máximo de puntaje de 49 puntos, se identificarán 4 niveles de logro: “muy bueno”, “bueno”, “regular” e “insuficiente” y los puntajes de corte serán definidos por los expertos.
Debido a que en una escuela pudieron haber intervenido varias ATE durante el año, se escogerá aquella que haya tenido mayor relevancia para el PME de la escuela, considerando como criterios de priorización: a) el monto del contrato de asesoría; b) la cantidad de acciones del PME a las que se vincula el trabajo de la ATE.
Respecto de las ATEs que trabajaron en el establecimiento en el año, indique qué tan de acuerdo se encuentra con las siguientes afirmaciones, donde “1” corresponde a que está totalmente en desacuerdo, y “7” totalmente de acuerdo.
1 2 3 4 5 6 7
Los actores de la comunidad educativa que están involucrados con la asesoría han participado activamente en el trabajo que llevó a cabo la ATE.
La ATE ha considerado la opinión de los actores directamente involucrados con la asesoría, al realizar su trabajo.
El equipo asesor ha considerado los tiempos del establecimiento para realizar su trabajo.
Ha existido un clima de confianza y respeto entre el equipo asesor y la comunidad educativa involucrada con su trabajo.
Han existido mecanismos adecuados de comunicación entre el equipo asesor y el establecimiento educativo.
El equipo asesor ha informado oportunamente sobre sus decisiones, acciones realizadas y requerimientos hacia el establecimiento.
La asesoría ha establecido vínculos de colaboración o cooperación con otras asesorías o ATE que trabajaron en paralelo con ella en la escuela.
26
A.2.2.‐ Criterio terminal: Sentido de la asesoría.
Indicador: Capacidad de la asesoría de abordar una expectativa relevante para la escuela.
Se ha construido un cuestionario para ser respondido por el equipo directivo del establecimiento (como base mínima ampliable hacia los docentes involucrados), que cuenta con 2 ítems con 7 niveles de acuerdo en una escala tipo Likert. Las características del cuestionario son las mismas del criterio anterior. Considerando un total de 14 puntos, se definirán cuatro niveles de logro: “muy bueno”, “bueno”, “regular” e “insuficiente” y su puntaje de corte será definido por los expertos.
Respecto de las ATE con quienes trabajó en el establecimiento en el año, indique qué tan de acuerdo se encuentra con las siguientes afirmaciones, donde “1” corresponde a que está totalmente en desacuerdo, y “7” totalmente de acuerdo.
1 2 3 4 5 6 7
La asesoría recibida es valorada como un aporte a la solución de problemas centrales para la escuela.
La asesoría recibida abordó un requerimiento relevante para el mejoramiento de la escuela.
Los resultados de la asesoría han sido valorados por la comunidad educativa, en cuanto a aporte para el mejoramiento de la escuela.
A.2.3.‐ Criterio terminal: Grado de eficacia de la asesoría.
Indicador: Grado de eficacia de la asesoría.
Fórmula de cálculo: Se utilizará como fuente de información la evaluación que oficialmente debe hacer la escuela del trabajo de las ATE que le entregan asesoría. De este cuestionario de evaluación oficial se seleccionaron 2 preguntas relacionadas con la eficacia de la asesoría (1: “desarrollo de nuevas competencias o habilidades” y 2: “Solución del problema o necesidad que motivó la contratación). Cada pregunta tiene un mínimo de 1 punto y un máximo de 7. Del máximo de 14 puntos posibles, se asignarán los niveles de logro “Muy bueno”, “Bueno”, “Regular” e “Insuficiente” y los puntajes de corte serán definidos por los expertos.
Escala de medida: Proporción indirecta entre 0 y 1.
A.2.4.‐ Criterio terminal: Dominio de la demanda.
27
Indicador: Necesidades priorizadas en el diagnóstico que fueron abordadas por asesoría.
Fórmula de cálculo: Proporción de necesidades identificadas en el diagnóstico que fueron abordadas por la asesoría (Fuente: PME). Se identificarán: 1) el total de necesidades que fueron priorizadas en el diagnóstico que contaron con asesoría para su apoyo durante el año 2013; 2) las necesidades priorizadas en el diagnóstico que no tuvieron apoyo de una asesoría; c) las asesorías que se recibieron que no corresponde con necesidades priorizadas en el diagnóstico.
Cuando la asesoría recibida corresponda a una necesidad priorizada se asignará el valor “1”. Cuando no exista una asesoría para una necesidad priorizada, se asignará “0”, al igual que cuando exista una asesoría para una necesidad no priorizada. Con ello se obtendrá la proporción directa de necesidades priorizadas que recibieron asesoría. Se utilizará la siguiente tabla:
N° de asesorías vinculadas a necesidad priorizada
N° de necesidades priorizadas sin asesoría
N° de asesorías sin necesidades priorizadas
B. Criterio estratégico “Gestión del Sostenedor orientada al mejoramiento”.
B.1.‐ Gestión de Recursos.
Justificación: Un factor fundamental para la gestión del mejoramiento de un establecimientos educativo chileno es las características de funcionamiento, apoyo y vinculación que su sostenedor tenga con ellos, debido a su condición de administrador y financiador del trabajo educativo, así como la responsabilidad legal que tiene. Junto con ello, los establecimientos municipales son parte de un gobierno local, por lo que forman parte de la política del gobierno de los territorios en los que participa, por esta razón son de alta relevancia para les escuelas las políticas educativas que este diseñe e implemente. Desde un punto de vista funcional, Espínola (2009) ha propuesto un conjunto de competencias de las que debiese disponer un sostenedor chileno, las que se encuentran organizadas en las siguientes dimensiones: gestionar políticas municipales, gestionar recursos humanos, financieros y de infraestructura; gestionar programas de acción educativa municipales, apoyo técnico e implementación curricular; gestionar Plan de Mejora y la asistencia técnica educativa; construir redes de cooperación y distribuir la expertise. Por su parte, la investigación sobre la implementación de la Ley SEP también ha relevado que, junto con los elementos descritos, el aporte del Sostenedor en materia de la agilidad, apoyo para la gestión de recursos y posesión de un liderazgo educativo, hacen diferencias en la
28
implementación del Plan de Mejoramiento y son altamente valorados por las escuelas (Fundación Chile, 2010; Carrasco, 2013).
Teniendo ello en consideración, se ha elaborado un instrumento de carácter evaluativo sobre el sostenedor, el que se ha definido que sea respondido por dos actores. Una primera parte será contestada por el equipo directivo del establecimiento, que puede brindar una imagen completa que tiene la escuela sobre el aporte del Sostenedor en materia del servicio prestado a las escuelas.
En segundo lugar, se ha optado por incorporar la autoevaluación (al igual que en el caso de las escuelas), utilizando una aproximación de “visita” externa, basada en una entrevista al sostenedor. En ella se consulta a él respecto de los procesos que genera y que son su responsabilidad: liderazgo educativo y políticas locales, gestión de redes y monitoreo del avance de las escuelas.
En este caso, como se verá a continuación, se utilizarán variadas estrategias de recolección de información para evaluar el aporte del Sostenedor a los procesos de mejoramiento de la escuela.
En el caso de los elementos que se vinculan con la autoevaluación del trabajo del Sostenedor, se utilizará la definición de los estadios o etapas de mejoramiento definidas por Hopkins (2008): 1) instalar el proceso, 2) diseñar el programa integral y 3) mantener el impulso. De la revisión en profundidad de esas etapas, es posible observar que es factible que exista un importante espectro de escuelas que no han alcanzado aún la etapa 1 de manera completa. Por esta razón, se ha incluido un estadio inicial, que busca incorporar todos aquellos elementos que están aún por alcanzarse, o que no se han logrado de manera clara. A este estadio se denominó “desarrollar las bases del proceso”. Considerando lo anterior, las fases que se considerarán son: 1) desarrollar las bases del proceso 2) instalar el proceso 3) diseñar el programa integral
4) mantener el impulso.
B.1.1.‐ Criterio terminal: Agilidad en la gestión de recursos PME para la escuela.
Indicador: Agilidad en la gestión de recursos PME para la escuela.
Fórmula de cálculo: Proporción de gastos asociados al PME 2013 que llegaron al establecimiento conforme a su planificación anual. Se aplicará un cuestionario al equipo directivo que filtrará en primer lugar si 1) todas las compras llegaron a tiempo, 2) si solo fueron algunas, o 3) si ninguna llegó a tiempo.
En caso de las alternativas 1) y 3), se asigna un puntaje “1” si fueron todas, y “0”, si fue ninguna. La alternativa 2) se vincula con una pregunta adicional, donde se pregunta al equipo directivo si el porcentaje de compras que llegaron a tiempo fueron a) entre 1% y 25%; b) entre 26% y 50%,
29
c) entre 51% y 75% o d) 76% entre 99%. Este cálculo se hace con el listado de las compras vinculadas al PME 2013 en mano. A cada alternativa se asignarán los siguientes proporciones de logro: Alternativa a= 0,2; Alternativa b= 0,4; Alternativa c= 0,6; Alternativa d= 0,8.
1. ¿Diría usted que los recursos financieros, o la compra de bienes y servicios planificados en el PME llegaron conforme a los tiempos definidos en él?
A Todos llegaron a tiempo
B Una parte llegó a tiempo
¿Qué porcentaje sí llegó a tiempo? a) Entre 1% y 24%; b) Entre 26% y 50%; c) Entre 51 y 75%; d) Entre 76% y 99%
C Ninguno llegó a tiempo.
B.1.2.‐ Criterio terminal: Disposición del Sostenedor en el servicio hacia las escuelas.
Indicador: Percepción de disposición del sostenedor para prestar asistencia y apoyo a las escuelas.
Se ha elaborado un cuestionario de 6 ítems destinado al equipo directivo del establecimiento, para evaluar la disposición en el servicio del Sostenedor, específicamente la Jefatura del Departamento de Educación, solicitando que se asigne una nota a un conjunto de atributos relacionados con la asistencia y apoyo que le proporciona el Sostenedor, en una escala tipo Likert. El equipo directivo contestará un cuestionario, brindando su opinión consensuada. De su puntaje total (42 puntos), se calculará el porcentaje de disposición en el servicio del Sostenedor.
Considerando una escala de 1 a 7, califique con una nota los siguientes aspectos de la relación de apoyo existente entre la Jefatura del Departamento de Educación del Sostenedor y la escuela.
1 2 3 4 5 6 7
Disposición para brindar apoyo técnico‐educativo cuando fue requerido por la escuela
30
Capacidad para brindar apoyo técnico – educativo cuando fue requerido por la escuela
Disposición para brindar apoyo administrativo‐financiero cuando fue requerido por la escuela
Capacidad para brindar apoyo administrativo‐financiero cuando fue requerido por la escuela.
Disposición para responder consultas referidas a procesos o requisitos solicitados por el Mineduc/ Agencia de Calidad/ Superintendencia.
Proactividad en la comunicación y entrega de información sobre políticas lideradas por el sostenedor.
B.2.‐ Liderazgo pedagógico.
B.2.1.‐ Criterio terminal: Aporte de las políticas locales.
Indicador: Nivel de aporte de las políticas locales al mejoramiento de la escuela.
Se realizará una entrevista al Sostenedor, donde se consultará sobre la orientación hacia la mejora continua y resultados de sus políticas. Debido a que hay una gran diversidad de posibles políticas que definan los sostenedores, se ha considerado utilizar el instrumento que debiera contener la estrategia educativa del Sostenedor, que en el caso de las escuelas públicas es el PADEM.
Para evaluar su aporte al mejoramiento, se consideró analizar el grado en que este instrumento se desarrolla e implementa considerando una lógica de mejoramiento continuo, que es una de las medidas más transversalmente aceptadas como relacionadas con el mejoramiento educativo.
Se abordarán los 4 momentos que caracterizan normalmente el proceso de mejoramiento continuo (diagnóstico definición de objetivos implementación y monitoreo evaluación y toma de decisiones). Se consultará al Sostenedor respecto de si efectúa estos procesos en el
31
diseño, implementación y evaluación de su PADEM, utilizando preguntas de verificación de las respuestas.
Las respuestas serán evaluadas en una rúbrica que considera 4 niveles, los que gradúan la sistematicidad con la que se implementan acciones vinculadas a la gestión del PADEM. La pauta considera 5 de estas acciones y el entrevistador, en base a la conversación con el Sostenedor califica el grado en que estas acciones se han desarrollado sistemáticamente.
No se hizo
Se hizo, pero no es claro cómo se llevó a cabo y no existe registro de ella, ni de veces anteriores en que se haya hecho
Se hizo, y hay especificidad en la realización de la tarea, aunque no es evidente que sea una tarea que se realice periódicamente
Se hizo, hay especificidad en la realización de la tarea y es claro que se realiza periódicamente.
Identificar requerimientos educativos de las escuelas.
Definir objetivos, metas y resultados para sus políticas.
Registrar y analizar información sobre la implementación de programas y acción educativa.
32
Evaluar a implementación de los programas de acción educativa.
Contar con procesos y/ o resultados objetivos de mejoramiento en las escuelas.
B.2.2.‐ Criterio terminal: Monitoreo de escuelas.
Indicador: Nivel de monitoreo de las escuelas de parte del sostenedor.
Se realizará una entrevista al equipo directivo del establecimiento, donde se consultará sobre el monitoreo que el Sostenedor realiza a las escuelas. Las respuestas se evalúan según la rúbrica de tres niveles que definió Hopkins, más el nivel adicional que se incorporó. Se definieron descriptores asociados al logro de cada uno de estos niveles, considerando los contenidos proporcionados por el propio Hopkins (2008) para esa rúbrica.
La entrevista al equipo del Sostenedor consiste en preguntar cómo desarrollan un conjunto de acciones relacionadas con el monitoreo de la escuela, que son definidas en la identificación de competencias para el sostenedor, descritas por Espínola (2009). Para cada una de las 6 competencias vinculadas con monitoreo de escuelas, el evaluador califica el estadio de desarrollo en que ésta se encuentra.
1.‐Desarrollar las bases del proceso.
2.‐ Instalar el proceso.
Indicadores
a) Focalización hacia los objetivos de mejora;
b) focalización hacia el desarrollo de capacidades; c) Compromiso
3.‐ Diseñar el programa integral.
Indicadores.
a) Se enfoca en el núcleo al que apunta la estrategia;
b) desarrolla capacidades;
c) Incorpora innovaciones que han sido
4.‐ Mantener el impulso.
Indicadores
a) Se afianzan las capacidades de mejoramiento.
b) mejoran las modalidades de trabajo ya establecidas.
33
con el mejoramiento.
d) Identificar los líderes del proceso.
e) Obtener información sobre fortalezas y debilidades
f) Organiza una estrategia para vincular acciones con propósitos de mejoramiento
g) Busca apoyos.
f) Informa a los demás sobre el proceso
documentadas como efectivas
d) Comparte y desarrolla buenas prácticas
c) se amplía el repertorio de estrategias.
d) Se impulsan ciclos de investigación más profundos;
e) Se incorporan otros actores al proceso.
f) Se profundiza la comunicación de buenas prácticas y establecimiento de redes.
Realizar diagnostico educativo municipal
Supervisa la implementación de planes y programas de estudio.
Asegurar la implementación del plan de mejora.
Asegurar una adecuada de la asistencia técnica educativa.
Evaluar resultados de la asistencia técnica externa
34
Asegurar la continuidad de las acciones de cambio
B.2.3.‐ Criterio terminal: Gestión de redes.
Indicador: Nivel de gestión de redes de parte del sostenedor
Se realiza una entrevista al sostenedor, utilizando la misma rúbrica de evaluación de la pregunta anterior y un conjunto de 3 competencias descritas por Espínola, manteniendo la metodología señalada para el criterio anterior.
1.‐Instalar el proceso
2.‐ Integrar a toda la escuela
3.‐ Mantener el impulso
4.‐ Construir un marco para el mejoramiento escolar.
Desarrollar alianzas entre establecimientos educacionales
Generar convenios de cooperación de instituciones públicas y privadas.
Asesorar a los establecimientos educacionales en la implementación de experiencias exitosas.
35
C.‐ Criterio estratégico “Movilización interna del mejoramiento”.
C.1.‐ Apropiación de la estrategia.
C.1.1.‐ Criterio terminal: Presencia del Proyecto Educativo Institucional (PEI) en la planificación operativa (PME).
Justificación: el PEI es el instrumento de planificación estratégica de los establecimientos educacionales, y su expectativa es que se convierta en el referente desde el cual la institución defina sus prioridades, objetivos y metas, considerando su contexto e identidad, para que los programas educativos que implementa se articulen desde estas definiciones estratégicas (Armijo, 2009).
Teniendo en consideración lo anterior, para abordar la relevancia del PEI se definió medirla en su relación con las definiciones del PME anual, que es finalmente la programación de lo que la escuela desarrolla efectivamente durante el año escolar. Tal como se describió se trata de un análisis de información secundaria.
Indicador: Presencia del Proyecto Educativo Institucional (PEI) en la planificación operativa (PME). Porcentaje de objetivos del PEI que son considerados en el PME.
Fórmula de cálculo: Se considerará el total de Objetivos Estratégicos del PEI de un establecimiento, y siguiendo la tabla que se describe a continuación, se clasificarán los Objetivos del PME 2013 que los consideran o abordan, utilizando las alternativas sí (1) y no (2). Se calculará el porcentaje de objetivos del PME que consideran Objetivos Estratégicos del PEI.
Objetivo PME ¿Es posible vincular este objetivo con algún Objetivo Estratégico de PEI?
C.1.2.‐ Sostenibilidad.
36
C.1.2.1‐ Criterio terminal: Normalización.
Justificación: Existe un conjunto de condiciones mínimas para que un establecimiento educacional pueda dedicarse concentradamente a los procesos de enseñanza y aprendizaje. Estas condiciones son conocidas comúnmente como “normalización” y apuntan a aspectos concretos y normalmente básicos que se convierten en condicionantes que favorecen el regular funcionamiento de un establecimiento educacional. El Programa Interdisciplinario de Investigación en Educación y Educación 2020 han descrito un conjunto de atributos de normalización, los que se consideran en la evaluación de este aspecto.
Indicador: Grado de normalización de la escuela.
Se ha elaborado un instrumento que considera indicadores de normalización de una escuela. Se realizará una visita especial de observación de estos indicadores en un día corriente de clases, evaluando su presencia en el tiempo de observación. Se han dividido estos indicadores, considerando si su presencia puede observarse de manera dicotómica (está presente o no está presente) o gradual (no se observa, se observa la menor parte del tiempo, se observa la mayor parte del tiempo, se observa todo el tiempo). En el primer caso se asigna “1” cuando el indicador está presente y “0” cuando no lo está. En el segundo caso se diseñó una rúbrica con 4 niveles de logro: “No se observa”, “Se observa en la menor parte del tiempo”, “Se observa en la mayor parte del tiempo”, “Se observa todo el tiempo”. El puntaje total del instrumento se vinculará con 4 niveles de logro “muy bueno”, bueno regular y malo.
En base a observación de 1 día de la escuela, el observador completa la siguiente ficha:
Indicador de normalización No se observa Sí se observa
No aplica
Los estudiantes llegan a la hora al inicio de clases
La escuela está en condiciones sanitarias aptas para atender personas (baños operativos, limpieza en las salas y en los patios).
Los servicios básicos de la escuela están funcionando (Agua potable, electricidad, recepción).
En base a observación de 1 día de la escuela, el observador completa la siguiente ficha:
37
Indicador de normalización No se observa en la visita
Se observa en la menor parte del tiempo de la visita
Se observa en la mayor parte del tiempo e la visita
Se observa durante todo el tiempo de la visita
Las clases tienen adultos a cargo
Las clases se inician a la hora correspondiente
Los estudiantes se mantienen dentro de la sala durante la clase
Los conflictos son abordados por alguien, cuando ocurren
Cuando hay conflictos, estos no alteran de manera relevante la rutina de la escuela (si es que no se observaron conflictos, marcar “Se observa durante todo el tiempo”)
Existen rutinas para el vínculo cotidiano entre el establecimiento, sus apoderados y alumnos (respecto de: irrupción de apoderados en sala de clases, estudiantes atrasados o expulsados, diálogo entre apoderados y estudiantes).
No se observan personas extrañas deambulando por la escuela
Los funcionarios del establecimiento llegan a la hora
38
correspondiente para iniciar su trabajo
C.1.2.2.‐ Criterio terminal: Capacidad para abordar contingencias.
Justificación: Vinculado a este criterio terminal está la capacidad de las escuelas de avanzar con su trabajo, pudiendo responder a las contingencias que surgen regularmente. La investigación sobre escuelas que operan en condiciones de vulnerabilidad o pobreza muestra que normalmente deben afrontar un conjunto de dificultades que complejizan aún más la labor de enseñanza (Wrigley, 2002).
Considerando lo anterior, los insumos necesarios para responder a este requerimiento de información serán difícilmente extraíbles de una conversación puntual o un cuestionario, así como tampoco con información secundaria, porque estos aspectos de carácter cotidiano son poco sistematizados. Por esta razón, se ha considerado utilizar la información del autodiagnóstico de prácticas del establecimiento, que anualmente realizan los establecimientos, en el marco del PME SEP. Este autodiagnóstico sitúa el nivel de desarrollo de una práctica en 4 niveles o estadios de mejoramiento. El concepto de práctica en este caso alude directamente a la definición y operacionalización realizada por Mineduc en sus orientaciones para el autodiagnóstico institucional previo al PME SEP de cada año y alude a un conjunto de procesos propios de la gestión escolar, donde las escuelas deben autoevaluarse en cuanto a su logro, considerando los 4 niveles recién mencionados.
De la experiencia (no sistematizada) de implementación de esta autoevaluación, se ha observado que aún no está completamente calibrado el autodiagnóstico de las prácticas en los establecimientos, que en su juicio deben lidiar con la presión o las dudas de qué ocurre si su autoevaluación es baja, lo que habría tendido a autoevaluarse más favorablemente de lo esperado. Por esta razón, se ha definido que para este caso, así como para los otros indicadores que requieran del autodiagnóstico SEP, se considere un promedio aritmético de los resultados en los autodiagnósticos de dos años (2013 – 2014). Junto con ello, y aprovechando la incorporación de la metodología de las visitas externas de evaluación, se ha definido además incorporar la discusión sobre el estadio de desarrollo autoevaluado en una conversación grupal con el equipo directivo, utilizando las mismas rúbricas definidas por el Mineduc para esta tarea. Se considera que es tarea es adecuada para aumentar la comparabilidad del autodiagnóstico entre diferentes establecimientos educacionales. Los resultados del autodiagnóstico son revisados en entrevista con el equipo directivo, validando externamente la calificación descrita desde la escuela.
39
Indicador: Promedio de resultados obtenidos en autodiagnóstico SEP respecto de prácticas del PME relacionadas con la capacidad de abordar las contingencias (N° 35, 37, 46, 52 del Autodiagnóstico anual de las escuelas para el PME).
Fórmula de cálculo: Se tomará como base el autodiagnóstico institucional del PME SEP en las prácticas que aluden a esta capacidad en dos años consecutivos, de manera de contar con un juicio más estable de autoevaluación y luego validándolo externamente en una conversación con el equipo directivo del establecimiento.
Se calculará el porcentaje de logro de la “capacidad para abordar contingencias”, considerando el nivel (1, 2 ,3 o 4) con el que se evaluaron las escuelas en cada una de las prácticas enunciadas anteriormente.
C.1.2.3.‐ Criterio terminal: Incorporación del aprendizaje organizacional y noción de trayectoria en la toma de decisiones.
Justificación: La investigación sobre mejoramiento escolar se orienta y destaca la noción de proceso, lo que implica la consideración temporal de las dinámicas llevadas a cabo por los establecimientos educacionales y reconociendo a su vez que solo es posible avanzar hacia estadios de desarrollo o de mejoramiento de manera gradual, apuntando hacia la sostenibilidad de los procesos (Hargreaves & Fink, 2006).
Considerando lo anterior, se ha planificado evaluar la presencia la condición de proceso en dinámicas de trabajo o decisiones tomadas por la escuela, teniendo en cuenta su programación operativa anual (PME) e indagando, bajo la metodología de la visita evaluativa si los objetivos allí definidos son producto de decisiones o acciones desarrolladas y/o reflexionadas en años anteriores al presente, o bien si se trata de estrategias o apuestas nuevas, que no han sido producto de una maduración de las acciones o de una reflexión sobre una necesidad específica. Nuevamente, aquí la forma de trabajo corresponde en el uso de una rúbrica que valora la presencia de indicadores de la presencia del tiempo en la estrategia operativa diseñada en la actualidad, que ha sido diseñada especialmente para esta investigación.
Indicador: Grado de incorporación del aprendizaje de años anteriores en prácticas actuales de mejoramiento.
Se aplicará un cuestionario en una entrevista con el equipo directivo del establecimiento, consultando por el grado en que los objetivos del PME se vinculan con procesos de reflexión o acciones desarrolladas previamente, usando la tabla que se describe a continuación. Esta tabla cuenta con una rúbrica con 4 niveles de logro. Se analiza uno a uno cada objetivo del PME y se busca indagar en la relación entre estos y el aprendizaje de procesos y estrategias implementados en años anteriores. Luego, el evaluador califica esta situación con el uso de la rúbrica, considerando cada objetivo por separado.
40
Para cada objetivo definido, se desarrollará una conversación que se sostenga sobre las siguientes preguntas:
Teniendo en consideración los resultados que actualmente logra esta escuela en SIMCE, a) ¿Qué les llevó a decidirse por este objetivo en el PME?, b) ¿habían trabajado antes en él?, c) ¿por qué no eligieron otro?
Para calificar cada objetivo considerando las preguntas descritas, se utilizará la siguiente pauta, que considera la presencia o ausencia de los siguientes criterios de evaluación:
Objetivo A.‐ los objetivos y sus acciones pueden estar vinculadas con estrategias avanzadas desde años anteriores
B.‐ los objetivos y acciones corrigen aspectos de otras de años anteriores que no resultaron bien, o que había que potenciar
C.‐ el equipo directivo reconoce la existencia de un proceso de aprendizaje que ha motivado a la incorporación de estas acciones
D.‐ se proyecta la expectativa de analizar lo que ocurra con estas acciones, para considerar su implementación en futuros años
C.2.‐ Procesos y prácticas.
41
Justificación: El movimiento de la mejora escolar ha puesto especial énfasis en la instalación de la cultura de la autoevaluación, como motor de procesos de mejoramiento escolar (Macbeath, 2011). La utilidad de la autoevaluación se vislumbra más allá de los resultados de información que genere y se posiciona en sus efectos en el desarrollo de sentidos compartidos, de organización del trabajo y de generación de prácticas de funcionamiento a nivel escolar.
En términos metodológicos se ha definido utilizar la metodología que se sostiene sobre el autodiagnóstico de prácticas del PME SEP y su rúbrica de calificación del nivel de desarrollo de prácticas.
C.2.1.‐ Criterio terminal: Procesos de autoevaluación.
Indicador: Promedio de resultados obtenidos en autodiagnóstico de prácticas respecto de dinámicas de autoevaluación.
Fórmula de cálculo: Se considerará el autodiagnóstico de prácticas del PME SEP de dos años consecutivos, que apunten a la existencia de prácticas de autoevaluación en la escuela (prácticas a considerar: 6, 8, 13, 14, 16, 18, 26, 28, 29, 30, 35, 43, 59, 60). Al igual que en la capacidad para abordar contingencias, se calculará el porcentaje de logro del conjunto de las prácticas en el autodiagnóstico.
C.2.2.‐ Criterio terminal: Procesos de responsabilización dentro de la escuela.
Justificación: Los procesos de responsabilización están presentes en todo tipo de organización, y responden a la necesidad de éstas de vincular las tareas individuales, las funciones colectivas y los requerimientos u objetivos de la organización. Elmore (2010) indica que en una institución educativa estos procesos serán útiles al mejoramiento escolar, en la medida que alineen las definiciones de responsabilidad individual, las de responsabilidad colectivas y los requerimientos del sistema educacional. Junto con lo anterior, estos sistemas pueden estar mayor o menormente formalizados, pero es necesario conocer si ellos existen, identificando si hay alguien a quien rendir cuentas, sobre qué contenido se hace este proceso y si éste tiene algún efecto o consecuencia sobre las personas involucradas y la organización.
Se ha definido aproximarse a la identificación y caracterización del sistema de responsabilización de la escuela, así como a la alineación entre sus artes, considerando un cuestionario estructurado, que sea respondido por los funcionarios del establecimiento educacional.
Indicador: Nivel de presencia de procesos de responsabilización dentro de la escuela.
El siguiente instrumento busca medir la presencia de procesos de rendición de cuenta que favorezcan los procesos de mejoramiento de la escuela, considerando el marco teórico que se
42
detalla para este criterio. Del puntaje máximo del cuestionario (con escala Likert), se definirán puntajes de corte con expertos para utilizar niveles de logro Muy Bueno, Bueno Regular y malo
En relación a las funciones que usted cumple dentro del establecimiento:
Indique qué tan de acuerdo se encuentra con las siguientes afirmaciones, donde “1” corresponde a que está totalmente en desacuerdo, y “7” totalmente de acuerdo.
1 2 3 4 5 6 7
En este establecimiento todos tenemos claro ante quién somos responsables por nuestro trabajo
Este establecimiento está preocupado de que el personal cumpla con los objetivos de su trabajo
Cuando aquí alguien no cumple con sus responsabilidades, puede recibir sanciones o afectar su carrera futuro en el establecimiento
Cuando aquí alguien sí cumple con sus responsabilidades, normalmente recibe alguna felicitación o mejoramiento de su condición laboral en el establecimiento.
Tengo suficientemente claro los objetivos que el establecimiento espera que yo logre con mi trabajo.
Por lo general, cada una de las personas que se desempeña en este establecimiento tiene claro qué es lo que debe hacer.
En este establecimiento existen normas y procesos claros y definidos para las obligaciones de los distintos funcionarios.
43
En este establecimiento todos compartimos una misión común respecto de los principales objetivos que debemos cumplir.
Por lo general, cumplo con las responsabilidades que se me asignan en este establecimiento.
En este establecimiento las personas tienen gran autonomía para definir y desarrollar su trabajo.
En este establecimiento las personas mayoritariamente se ponen desafíos importantes para lograr.
Nuestro establecimiento mantiene una relación de colaboración mutua con el Sostenedor.
Nuestro establecimiento se organiza para alcanzar las expectativas definidas por el Currículum Nacional.
Nuestro establecimiento le da la importancia que se merece a analizar los resultados del SIMCE.
C.2.3.‐ Criterio terminal: Estructuración del trabajo.
Indicador: Nivel de estructuración de prácticas de la escuela.
Fórmula de cálculo: Porcentaje de logro de la totalidad de prácticas consideradas en el autodiagnóstico para el PME SEP de dos años consecutivos. Para ello, se seguirá la misma metodología con los otros indicadores relacionados con este instrumento (capacidad para abordar contingencias y autodiagnóstico).
C.3. “Funcionamiento y condiciones de los equipos y sus integrantes”. (Subcriterio “desarrollo de competencias profesionales, no se considerará, porque es redundante con los otros subcriterios)
C.3.1.1 Criterio terminal: Liderazgo del director.
44
Justificación: El liderazgo educativo es una variable ampliamente considerada por el movimiento de mejora escolar, a la hora de analizar los procesos de cambio escolar. Considerada como el segundo gran factor explicativo de la eficacia escolar (Leithwood, 2006), el liderazgo pedagógico apunta a la medida en que el establecimiento, especialmente quienes detentan las funciones de líder son capaces de conducir a la escuela hacia los objetivos y metas esperadas, involucrando en ese proceso a la comunidad educativa y organizando eficaz y eficientemente el trabajo dentro de la organización y haca afuera de ésta. Anderson (2012) ha definido un conjunto de aspectos como componentes centrales del liderazgo pedagógico, los que serán considerados en el instrumento que será elaborado para su medición en esta evaluación.
Considerando lo anterior, así como las definiciones de este modelo de considerar tanto el liderazgo pedagógico del director, como el del equipo directivo, se ha elaborado un cuestionario que debe ser respondido por los funcionarios del establecimiento educacional, el que es de carácter estructurado y que considera las variables relevadas por Anderson.
Indicador: Nivel de liderazgo del director.
Se utilizará un cuestionario con enunciados relacionados con atributos del liderazgo educativo, donde se solicita al personal de la escuela que califique al director y al equipo directivo, indicando el grado en que se encuentran de acuerdo con un conjunto de afirmaciones referidas a los mencionados atributos. En el caso del equipo directivo se considerará un subconjunto de los atributos del liderazgo del director, de manera de diferenciar los roles de ambos actores y vincularlos de manera más directa con sus responsabilidades específicas. Considerando su puntaje máximo, se calculará el porcentaje de logro de liderazgo del director.
En relación al trabajo del director del establecimiento, indique el grado en que éste aporta señale su grado de acuerdo con las siguientes afirmaciones:
1 2 3 4 5 6 7
El director fomenta una visión compartida sobre los principales objetivos y metas del establecimiento.
El director logra que la comunidad educativa entregue su apoyo para el cumplimiento de los objetivos de la institución
45
El director nos estimula a tener altas expectativas de logro para la escuela y nuestros alumnos
El director exige que exista atención y apoyo individual a los docentes
El director genera o apoya oportunidades para el desarrollo profesional de los integrantes del establecimiento.
El director aporta al desarrollo de la autoconfianza de los integrantes del establecimiento.
El director promueve la existencia de procesos de colaboración entre los integrantes del establecimiento.
El director organiza el trabajo de la escuela en función del logro de los objetivos del establecimiento.
El director establece y fomenta relaciones de colaboración entre el establecimiento y las familias de los estudiantes.
El director desarrolla y/o fomenta la existencia de vínculos entre la escuela y las organizaciones de su entorno.
El director se asegura que existan condiciones
46
profesionales idóneas para los objetivos del establecimiento.
El director entrega o propicia la existencia de apoyo técnico a los docentes.
El director lidera los procesos de monitoreo de las prácticas docentes.
El director monitorea los resultados de aprendizaje.
El director entrega orientaciones a los funcionarios para que puedan cumplir con sus responsabilidades.
C.3.1.2.‐ Criterio terminal: Liderazgo del equipo directivo.
Indicador: Nivel de liderazgo del equipo directivo.
Índice de liderazgo del equipo directivo en base a cuestionario a funcionarios del establecimiento, considerando un subconjunto de los ítems utilizados para evaluar el trabajo del director.
En relación al trabajo del equipo directivo del establecimiento, indique el grado en que éste aporta señale su grado de acuerdo con las siguientes afirmaciones:
1 2 3 4 5 6 7
El equipo directivo fomenta una visión compartida sobre los principales objetivos y metas del establecimiento.
El equipo directivo entrega atención y apoyo individual a los docentes
47
El equipo directivo aporta al desarrollo de la autoconfianza de los integrantes del establecimiento.
El equipo directivo participa de procesos de trabajo colaborativo con otros integrantes del establecimiento.
El equipo directivo ayuda al director a propiciar condiciones profesionales idóneas para los objetivos del establecimiento.
El equipo directivo brinda apoyo técnico a los docentes.
El equipo directivo ejecuta labores de monitoreo de las prácticas docentes.
El equipo directivo participa del monitoreo los resultados de aprendizaje.
C.3.2.1.‐ Criterio terminal: Condiciones Técnico pedagógicas de la escuela.
Indicador: Nivel de desarrollo del trabajo técnico pedagógico de la escuela.
Cuestionario para el personal del establecimiento con una escala Likert entre 1 y 7, donde se evalúa en qué medida están presentes dinámicas relevantes para el trabajo técnico pedagógico de la escuela. De su puntaje final obtenido en el cuestionario, se obtiene un porcentaje de logro de este indicador.
48
Junto con el liderazgo pedagógico, los procesos de mejoramiento educativo requieren de la presencia de prácticas concretas que estén instaladas en el ámbito técnico pedagógico, cuya existencia ayuda a asegurar los procesos de reflexión pedagógica, monitoreo de aprendizajes y apoyo a docentes y estudiantes que deben existir para avanzar en el logro de aprendizajes (Leithwood, et. al, 2006).
En ese contexto, se ha diseñado un cuestionario estructurado que debiese ser respondido por los funcionarios del establecimiento, donde se consulta sobre el nivel de instalación de un conjunto de prácticas necesarias de existir en la labor técnico pedagógica.
Señale en qué grado está usted de acuerdo con las siguientes afirmaciones, donde “1” corresponde a completamente en desacuerdo y “7” completamente de acuerdo.
Pregunta 1 2 3 4 5 6 7
Este establecimiento –dentro de sus posibilidades‐ facilita el desarrollo de actividades formación de docentes, vinculadas a sus necesidades y objetivos
Este establecimiento trabaja para asegurar que el trabajo de los docentes se oriente hacia el logro de los objetivos de la institución.
Este establecimiento define sus objetivos teniendo en consideración las metas que espera lograr con sus estudiantes.
En este establecimiento se toman decisiones de gestión curricular, basadas en los resultados de las pruebas y exámenes de los estudiantes.
En este establecimiento se trabaja sobre la base del cumplimiento de objetivos y/ o metas que deben alcanzarse en el año.
Cuando un docente tiene problemas en la sala de clases, en el establecimiento se toma la iniciativa para ayudarle a resolverlo.
Este establecimiento presta especial atención a las salas de clases donde es más difícil la enseñanza.
49
Este establecimiento informa a los docentes sobre posibilidades de perfeccionarse.
En este establecimiento se hacen visitas regulares de observación en el aula.
En este establecimiento se entregan sugerencias permanentes a los profesores sobre cómo mejorar sus clases.
En este establecimiento se sigue de cerca el trabajo de los estudiantes.
Este establecimiento está preocupado de analizar si las actividades que se realizan en la sala ayudan al logro de los objetivos educativos propuestos.
3.2.2.2.‐ Criterio terminal: Capacidades profesionales de los docentes.
Indicador 1: Promedio simple de resultados de los docentes en la Evaluación Nacional Docente, Docentemás.
Fórmula de cálculo: Se considerará la clasificación de los docentes evaluados en el sistema nacional de Evaluación docente en los últimos 3 años, cuya clasificación se compone de 4 niveles. Se calculará la media de esos resultados y los expertos definirán puntajes de corte para los niveles de logro Muy Bueno, Bueno, Regular y Malo.
50
IV. Descripción del logro de los objetivos de la investigación.
A lo largo de este trabajo, se han ido abordando las etapas que ha involucrado la investigación desarrollada y los productos concretos que se han podido diseñar, en base a sus resultados. El siguiente listado resume los productos que pudieron desarrollarse a partir de la implementación del proyecto.
1. Elaboración de un marco conceptual sobre los procesos de mejoramiento educativo.
2. Diseño de una matriz consensuada, basada en la metodología AHP, que identifica criterios estratégicos, subcriterios y criterios terminales.
3. Consenso sobre la ponderación o el valor de cada uno de los criterios a la hora de evaluar el mejoramiento de una escuela.
4. Argumentación de la aproximación metodológica a la evaluación del mejoramiento de las escuelas.
5. Definición y validación de indicadores de mejoramiento asociados a cada criterio terminal.
6. Definición y validación de instrumentos de recolección de información o datos secundarios que permitirán contar con los antecedentes que requiere cada indicador.
A continuación se describirán algunas conclusiones del trabajo de investigación desarrollado. Se espera avanzar en su profundización en el lapso que resta hasta el término del proyecto
Un primer elemento que ha sido posible vislumbrar luego de la implementación de la investigación y el levantamiento de los criterios de evaluación es la identificación de aspectos comunes entre el escenario chileno y la investigación sobre mejoramiento educativo en la investigación educacional, especialmente la relevancia de la apropiación de estos procesos de parte de la escuela. Con ello se confirma la importancia de reconocer las especificidades de los procesos escolares a la hora de evaluar su desempeño.
Al mismo tiempo, ha sido posible reconocer elementos propios de la realidad chilena en la identificación de procesos de mejoramiento. Aquí resulta relevante la identificación de la labor del sostenedor como factor clave para la implementación de procesos de mejoramiento, reconociendo aspectos de gestión de recursos y sobre todo de liderazgo pedagógico.
En la misma línea, en el proceso realizado fue claramente relevado el concepto de liderazgo pedagógico, como componente central de conducción de los procesos de cambio en la escuela. Este factor es el único que se menciona en dos ocasiones (a nivel de sostenedor y dentro de la escuela). Junto con ello, se observó un consenso en que el liderazgo es más bien un atributo o función de las instituciones educativas y que éste descansa más allá de la figura de su director.
51
Junto con lo anterior, se identifica en las políticas educativas insumos muy importantes para dar impulso a los procesos de mejoramiento, y se reconoce que ellos gatillan cambios, pero que no los generan por sí mismos.
Si se revisa en detalle el conjunto de subcriterios que componen la estructura jerárquica, se observa que los componentes de los procesos de mejoramiento son fundamentalmente de dos tipos: El primero refiere a condiciones de funcionamiento de la escuela, y apunta a la estructura que soporta los procesos de mejoramiento (normalización en la escuela, gestión eficiente de los recursos, o estructuración del trabajo, entre otros).
Por su parte, el segundo tipo alude al desarrollo de competencias individuales, colectivas y organizacionales (enseñanza, procesos de autoevaluación o uso de información).
La investigación permitió constatar la importancia de contextualizar el uso de estos indicadores en la evaluación. En la discusión de los expertos se destacó que el conjunto de indicadores debiera considerar el contexto social en que se encuentra la escuela, como un factor ponderador de los resultados de la evaluación. Solo así se podrá incorporar un criterio fundamental para una evaluación que además de comprensiva, sea justa.
Si bien la Agencia de Calidad incluye visitas de evaluación relacionadas con estándares indicativos, la relevancia de los resultados de esta evaluación no puede compararse con la expectativa de la ordenación de escuelas y su metodología para realizar esta tarea. Además, solo algunos de los criterios de mejoramiento educativo descritos en esta investigación son considerados actualmente en los estándares indicativos. Esta situación implica un amplio margen de desarrollo para incorporar los procesos de mejoramiento en la evaluación de escuelas chilenas.
De la revisión ex post del diseño de los indicadores e instrumentos, junto con el aporte de la académica revisora de esta investigación, Dra. Beatrice Ávalos, ha sido posible identificar un conjunto de aspectos que en la metodología diseñada no favorecen el logro completo del análisis de la presencia de procesos de mejoramiento y que debieran ser analizados con detalle para avanzar en su resolución. Estos elementos se relacionan con el levantamiento de información cualitativa que favorezca la identificación más fina de procesos involucrados en algunos de los criterios terminales que han sido diseñados.
En concreto, algunos criterios terminales, junto con los instrumentos diseñados podrían ser complementados si es que se incluyen elementos adicionales de registro o sistematización de información. Ejemplos de ello corresponden al ámbito de uso de resultados del SIMCE o de la fiscalización de la Superintendencia, por un lado, y a elementos relacionados con la instalación de determinadas prácticas dentro de las escuelas. En este tipo de criterios terminales, se ha sugerido generar información complementaria que permita una mayor comprensión de los fenómenos, más allá de la identificación de la presencia o ausencia de atributos.
52
Considerando lo anterior, se vislumbra un área de mejoramiento para la propuesta desarrollada, orientada a la tarea de generar instrumentos de carácter cualitativo para complementar algunos de los indicadores. Sin embargo, es necesario señalar que antes de ello es necesario desarrollar una primera aplicación del instrumento, donde sea posible constatar esta limitación u otra. Finalmente, es útil recalcar a modo de reflexión que los instrumentos de evaluación, sobre todo de fenómenos complejos como el mejoramiento educativo, son objetos en desarrollo, que requieren de una revisión permanente y colectiva, de manera de ser periódicamente perfeccionados en base a la evidencia empírica de su aplicación. Además, por su misma naturaleza, son construcciones en las que difícilmente se logra consenso completo y que están expuestas a la identificación de debilidades o carencias. Todos estos aspectos son importantes desafíos para el desarrollo de este mecanismo de evaluación y para otros en general.
53
V. Anexo 1.
El concepto y las características del mejoramiento educativo en la discusión Educacional. Documento base utilizado para la discusión entre los expertos
La noción de mejoramiento educativo está vinculada a la generación de cambios que vayan en la dirección de conducir de mejor forma la labor educativa al logro de sus propósitos. Por esta razón, su estudio se concentra en el análisis del proceso en que ocurren los cambios. La vinculación de los términos “cambio” y “proceso” aluden a la importancia del estudio de la implementación de las transformaciones educativas, preguntándose por cuáles son los elementos en ese proceso que ayuden a explicar cómo ocurre el mejoramiento educativo (Hallinger & Heck, 2010).
¿Cuál es el foco del mejoramiento educativo?
La aproximación que cuenta con mayor consenso respecto de este término es que las transformaciones debieran orientarse hacia generar cambios en el proceso de enseñanza – aprendizaje. Este espacio es identificado por Elmore (2010) con el término núcleo pedagógico. Éste está compuesto por la interacción dentro del aula entre el docente, el estudiante y los contenidos. Las dinámicas y acciones que resulten de esa interacción se relacionarán directamente con el nivel de aprendizaje y la calidad educativa. Considerando esta perspectiva, si lo que caracteriza al mejoramiento educativo ocurre en la sala de clases, es especialmente relevante el rol de los profesionales de la escuela.
Hopkins (2008) entrega elementos que ayudan a complementar las aseveraciones hechas por Elmore: es una estrategia para el cambio educacional, focalizada en el aprendizaje y el rendimiento escolar, con especial énfasis en las prácticas en aula y en una gestión escolar que apoya los procesos de enseñanza‐aprendizaje (2008, p. 55).
¿Cuáles son las características del proceso de mejoramiento educativo?
Junto con su definición, hay un conjunto de elementos que han sido considerados como propios de los procesos de mejoramiento educativo. El primero de ellos es que es producto de una estrategia intencionada. Al respecto, Levin (2009) indica que el mejoramiento educativo se caracteriza por una direccionalidad orientada hacia el centro del sistema que se busca transformar, por lo que los procesos que se desarrollen debieran orientarse con especial énfasis en los docentes y los estudiantes, buscando que ambos logren mejorar su vinculación en el proceso de enseñanza y aprendizaje.
Considerando esto, los procesos de mejoramiento debieran ser vistos como estrategias, o según indica Elmore (2010)‐ como teorías de acción. Estas son estrategias que se organizan en una visión y un relato que ayuda a que las personas puedan ser guiadas y mantenerse en la ruta definida, más allá de las contingencias y surgimiento de problemas en el camino. Una teoría de acción debiera cumplir con los siguientes requisitos: 1) tiene que establecer una relación causal entre lo que cada
54
actor hace y lo que constituye un buen resultado en el aula; 2) tiene que ser empíricamente refutable, es decir, que solo puede descartarse, si es que hay datos concretos que indiquen que no se están alcanzando las expectativas; 3) tiene que ser abierta, es decir, tiene que estar sujeta a una revisión permanente y un análisis cada vez más específico de las relaciones causales.
Las estrategias de mejoramiento pueden provenir desde diferentes vías. Una de ellas es “desde abajo hacia arriba”, donde los elementos que generan el cambio son factores internos al espacio educativo y en que el cambio mismo se orienta hacia la institucionalización de las iniciativas que se han construido como solución a determinados problemas.
Asimismo, otro tipo de estrategia para el mejoramiento educativo puede provenir desde “arriba hacia abajo”, que apunta a la instalación de transformaciones “desde afuera”, o partir de actores o instituciones externas a la escuela. En este caso, se espera que estos cambios se instalen de una manera sostenible a nivel de sistema.
Por último, se contempla la posibilidad real de que el mejoramiento educativo se genere considerando una combinación de las estrategias anteriormente señaladas.
Siguiendo con la idea de estrategia, MacBeath (2011) indica que podrían identificarse tres posibles formas de enfrentar al mejoramiento educativo: como táctica, como estrategia y como desarrollo de capacidades. Para este autor, el mejoramiento solo ocurre cuando se vincula a procesos de largo plazo, invirtiendo en el desarrollo de capacidades de los actores educativos. Estas transformaciones involucran a la cultura de la escuela e incluyen transformaciones generadas “desde dentro” de la escuela, como también apoyo “desde fuera”, tarea que realizan las políticas educativas.
Relevancia del contexto. Adicionalmente, con el transcurrir del análisis de los procesos de mejoramiento educativo, se ha constatado que es indispensable incorporar en el análisis los escenarios de alta complejidad en términos de contexto en que se instala todo tipo de cambio educativo, lo que genera altos márgenes de incertidumbre en la implementación de la estrategia. Guhn (2009) señala que en contextos reales, todo tipo de estrategias operan en escenarios complejos y contextos culturalmente diferenciados. Por esta razón, el cambio educativo propuesto debiera analizarse desde una perspectiva multi‐nivel, puesto que implica a estudiantes, padres, docentes, personal no docente, la comunidad, la administración educacional e incluso la cultura.
¿Qué dimensiones del ámbito educativo están implicadas en los procesos de mejoramiento?
55
Hallinger & Heck (2010) entregan una primera demarcación gruesa a esta pregunta, señalando que el análisis del mejoramiento educativo pone énfasis en aspectos referidos al cambio organizacional y transformaciones en la cultura de las escuelas. Junto con ello, otros dos aspectos relevantes de estudio serían el liderazgo educativo y el cambio en las prácticas pedagógicas. A ellos se debe incluir la variable de tiempo, pues se comprende que estos procesos son de carácter longitudinal.
A estos componentes más típicos o tradicionales, los autores mencionados señalan que deben incorporarse el rol del contexto (por ejemplo, la composición estudiantil, el tamaño de la escuela y sus características socioeconómicas).
Junto con ello, se ha ido consolidando la idea que el mejoramiento educativo es un tránsito, caracterizado por etapas. De acuerdo a Hopkins (2008) y Barber (2010), las escuelas transitan por un camino de mejoramiento, que va desde momentos básicos e iniciales, a incorporación de dinámicas de mejoramiento, finalizando con la consolidación o institucionalización de la práctica de mejoramiento. Ello incide en que las prácticas de implementación del cambio deben ser diferenciadas, dependiendo de la etapa en que la escuela se encuentre.
Claramente, una de las dimensiones clave de los procesos de mejoramiento educativo, es lo que ocurre con los docentes de los espacios donde ese cambio se implemente. Considerando esto, Darling‐ Hammond (2010) señala que la pedagogía está altamente desafiada en la actualidad, pues los objetivos ahora buscan enseñar a niños de diferentes características, aprendizajes complejos y aplicados, como por ejemplo la resolución de problemas. Este tipo de demandas y su contextualización requiere necesariamente que el mejoramiento educativo vaya de la mano con un desarrollo profesional docente que se distribuya homogéneamente, es decir, que haya buenos profesores en todas las escuelas. Por ello, el cambio educativo debiera orientarse hacia apoyar la enseñanza de gran calidad y apuntar al aprendizaje de alto nivel. Junto con lo anterior, debiera existir un foco en que lo docentes generen comunidades de aprendizaje, donde aprendan de los otros y construyan y evalúen estrategias en conjunto (Datnow, 2011).
¿Qué caracteriza al mejoramiento educativo? Elmore (2010), Hopkins (2008) y Harris (2012) señalan que el factor movilizador de la mejora será el desarrollo de capacidades, por lo que el cambio involucra transformaciones en la cultura escolar orientadas hacia:
• Un compromiso con el desarrollo del personal docente y el establecimiento de una comunidad de aprendizaje profesional;
• Esfuerzos prácticos para involucrar a los profesores, a los estudiantes y a la comunidad en las políticas y decisiones de la escuela;
• Enfoques de liderazgo ‘transformacional’ que estén orientados en la instrucción así como diseminados entre el personal de la escuela;
• Estrategias de coordinación efectivas que aseguren la consistencia de las prácticas y fomenten altas expectativas a través de toda la escuela;
56
• Una atención seria a los beneficios potenciales de la investigación y reflexión que recoja información sobre el aprendizaje y los logros;
• Un compromiso con la planificación conjunta para adaptar el cambio exterior a los fines internos (2012, p. 58).
Siguiendo la reflexión de Hopkins, existirían 10 factores fundamentales del mejoramiento educativo:
1. Enseñanza y aprendizaje son consistentemente buenos, combinándose una cultura de altas expectativas, con buenas clases y evaluación.
2. Currículo es equilibrado e interesante.
3. El clima del aula promueve el orden y el disfrute.
4. Buenas actitudes de los estudiantes hacia el aprendizaje (asistencia es alta, reconocimiento, voz)
5. Liderazgo en la escuela, que incluya una visión clara, objetivos manejables, establecimiento de compromisos y uso de la información.
6. Comunidades de aprendizaje profesional, que cuente con tiempo destinado a ello, así como oportunidades de desarrollo profesional permanente.
7. Rendición interna de cuentas.
8. Una gestión de recursos y del entorno que esté enfocada en el estudiante.
9. Generar asociaciones y redes más allá de la escuela, involucrando a los padres y las instituciones de apoyo.
10. El líder es el encargado de organizar estos elementos, orientándolos en una estrategia de desarrollo. (2008, p.103)
Finalmente, desde una perspectiva general, Chrispeels & Harris (2006) indican que las tensiones que preocupan en la actualidad al análisis del cambio educativo son las siguientes: a) cómo buscar cerrar brechas de mejoramiento educativo, poniendo objetivos y marcos y al mismo tiempo inspirar a alumnos y profesores; b) qué medidas de mejoramiento muestran tanto los resultados estandarizados para comparar y responden además a las expectativas de logro locales; c) cuál es el apropiado balance entre prácticas estandarizadas y diversidad local; d) cómo equilibrar la necesidad de autonomía y creatividad de los docentes, con la existencia, desarrollo y protagonismo de las comunidades profesionales; e) cuál es el rol del liderazgo interno y externo que otorgan mayor soporte a los procesos de mejoramiento; f) cómo hacer escalar reformas, combinando capacidades sistémicas y locales; g) cuál es el rol del contexto en el desarrollo exitoso de este proceso; f) cuál es el rol del accountability en este proceso; g) cuál es la relación y equilibrio entre la responsabilidad
57
de las escuelas por el aprendizaje de los estudiantes y el apoyo que debe entregar la sociedad en su conjunto para cerrar la brecha.
Pauta de preguntas para la discusión.
1.‐ Los procesos de mejoramiento educativo que usted ha vivido o estudiado, ¿En qué medida se han desarrollado, producto de una estrategia?, ¿Qué características tiene esa estrategia (¿Quién la planificó?, ¿Cómo?, ¿Por cuánto tiempo se implementó?), ¿Se trata realmente de un proceso? ¿Qué etapas pueden identificarse en él?
2.‐ ¿Qué elementos comunes y qué diferencias han tenido estos procesos de mejoramiento, si se considera el contexto en que se desarrollaron? (vulnerabilidad social, diferencias culturales, regiones, ruralidad, historia del establecimiento educacional).
3.‐ ¿Está de acuerdo con la idea de que el mejoramiento educativo es un tránsito, y que sus características dependerán del estado de ese tránsito, por parte de la escuela? ¿Cuáles serían las necesidades de mejoramiento en escuelas donde ese tránsito sea inicial?, ¿Cuáles serían donde el tránsito esté más avanzado?
4.‐ En el texto se menciona un conjunto de elementos que han caracterizado a los procesos de mejoramiento educativo. ¿Cuáles de ellos (u otros) han sido más relevantes en los procesos que usted ha vivido o estudiado?
5.‐ En el texto se puso énfasis en que la investigación se releva el desarrollo de capacidades de las instituciones del sistema, como factor central de los procesos de mejoramiento. ¿De qué capacidades estamos hablando (docentes, directivos, técnicos, asesores, política)?
58
VI. Referencias bibliográficas.
Anderson, S. (2012). Liderazgo Directivo: Claves para una Mejor Escuela. Extraído el 10‐06‐14 de www.fch.cl
Barber, M. (2010). How Government, Professions and Citizens Combine to Drive Successful Educational Change. In A. Hargreaves, Lieberman, A., Fullan, M., Hopkins, D. (Ed.), Second International Handbook of Educational Change (Vol. 1, pp. 261 ‐ 278). Dordrecht Heidelberg London New York: Springer Science+Business Media.
Bellei, Osses, Valenzuela (2010) Asistencia Técnica educativa. De la intuición a la evidencia. Editorial Ocho Libros. Santiago.
Bruns, B., Filmer, D., Patrinos, H. (2011). Making School work. New Evidence on Accountability Reforms. The World Bank Washington D.C.
Carrasco, A. (2013). Seguimiento de las herramientas y modelo de asesoría que apoyan la implementación del plan de mejoramiento educativo en establecimientos que firman convenio de igualdad de oportunidades el año 2012. Ministerio de Educación. Santiago.
Darling‐ Hammond, L. (2010). Teaching and Educational Transformation. In A. Hargreaves, Lieberman, A., Fullan, M., Hopkins, D. (Ed.), Second International Handbook of Educational Change (Vol. 1, pp. 505 ‐ 520). Dordrecht Heidelberg London New York: Springer Science+Business Media.
Datnow, A. (2011). Collaboration and contrived collegiality: Revisiting Hargreaves in the age of accountability. Journal of Educational Change, 12, 147‐ 158.
Elmore, R. (2010). Mejorando la escuela desde la sala de clases. (C. Santa Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP.
59
Espínola, V. & Silva, M.E. (2009) Competencias del sostenedor para una efectiva gestión del mejoramiento educativo en el nivel local: Una propuesta. En foco educación, 3. Recuperado de http://www.expansiva.cl/media/en_foco_edu/documentos/11122009123954.pdf
Falabella, A. (2014) The Performing School: Effects of Market & Accountability Policies. Education Policy Analysis Archives, 22(51). http://epaa.asu.edu/ojs/article/view/1315
Guhn, M. (2009). Insights from successful and unsuccessful implementations of school reform programs. Jounal of Educational Change. Pp. 10:337–363.
Hallinger, P. Heck, R. (2011): Exploring the journey of school improvement: classifying and analyzing patterns of change in school improvement processes and learning outcomes, School Effectiveness and School Improvement: An International Journal of Research, Policy and Practice, 22:1, 1‐27.
Harris, A. (2012). Liderazgo y desarrollo de capacidades en la escuela. (C. Santa Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP.
Hargreaves, A., & Fink, D. (2006). Estrategias de cambio y mejora en educación caracterizadas por su relevancia, difusión y continuidad en el tiempo. Revista de Educación, 339, 43 ‐ 58.
Hopkins, D. (2008). Hacia una Buena Escuela: Experiencias y Lecciones. (C. Santa Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP.
Leithwood, K., Day, C., Sammons, O., Harris, A. y Hopkins, D. (2006). Successful school leadership: What it is and how it influences pupil learning. Research Report 800.http://www.dcsf.gov.uk/research/data/uploadfiles/RR800.pdf
Levin, B. (2009). Does politics help or hinder education change?. Journal of Educational Change. 10, 69‐ 72.
60
Mcbeath, J. (2011). Liderar el Aprendizaje dentro y fuera de la escuela (C. Santa Cruz, Trans.). Santiago: Fundación Chile, Fundación CAP.
Muñoz, G. (2010). Planes de mejoramiento SEP: Sistematización, análisis y aprendizajes de política. Centro de Estudios de Política y Práctica en Educación. Santiago.
Ng, Pak Tee. (2012). An examination on school accountability from the perspective of Singapore School Leaders. Educational Research Policy and practice.
OCDE (2013). Synergies for Better Learning AN INTERNATIONAL PERSPECTIVE ON EVALUATION AND ASSESSMENT. Paris.
Saaty, T. (1997). Toma de Decisiones para Líderes. El Proceso Analítico Jerárquico, la toma de Decisiones en un Mundo Complejo. RWS Publications.
Shwartz, H.; Hamilton, L.; Stecher, B. ; Steele, J. (2011). Expanded measures of School Performance. RAND Corporation. Prepared for Sandler Foundation. Extraído el 03‐11‐12 de www.rand.org
Thomas, S. (2010). Assessment and the Evaluation of Institutional Effectiveness. International Encylopedia of Education, 3, 172‐ 180.
Vasquez, J.; Darling‐Hammond, L. (2008). Accountability Texas‐Style: The Progress and Learning of Urban Minority Students in a High‐Stakes Testing Context. Educational Evaluation and Policy Analysis, 30 (2) (Jun., 2008), Pp. 75‐110.
Wrigley, T. (2004). School effectiveness: the problem of reductionism. British Educational Research Journal 30 (2).