Proyecto de Ley Política

Nacional Docente

Presentación de MIDE UC ante Comisión de Educación de la Cámara de Diputados

Jorge Manzi y Yulan Sun

02 de junio de 2015

Rol de MIDE UC en evaluaciones

nacionales

• Mide UC es un centro sin fines de lucro, de investigación, desarrollo y formación en el ámbito de la medición y evaluación educacional, perteneciente a la PUC.

• Ha colaborado con el Ministerio de Educación en la política pública en el ámbito de la evaluación docente, en los siguientes programas (todos asignados mediante licitaciones públicas): • Evaluación Docente (desde 2003)

• Asignación de Excelencia Pedagógica (en conjunto con la Universidad de Chile) desde 2002

• Prueba Inicia (donde también han colaborado otras universidades), desde 2008

Esquema de la presentación

• Comentarios generales al proyecto de ley

• Comentarios específicos acerca de instrumentos

propuestos y potenciales

• Conclusiones y recomendaciones

Comentarios Generales

• Acuerdo con la arquitectura general del proyecto: • Consideraciones previas: una política docente bien concebida deber

resolver tres grandes nudos: el atractivo de la carrera para los jóvenes, la calidad de la formación inicial, y el establecimiento de una carrera desafiante, con compensaciones crecientes y justas

• Proyecto promueve la calidad de los procesos educativos valorizando al actor más relevante, al hacer más atractiva la carrera, al promover un mejoramiento de la formación docente, al establecer un proceso de inducción inicial y un escalamiento en la carrera que mejora sustantivamente las condiciones laborales y las compensaciones salariales.

• Es universal, para todo el sistema que recibe financiamiento estatal y también para docentes de los distintos niveles y modalidades.

• Plantea un foco en el desarrollo profesional, mediante la certificación y el apoyo a su desarrollo, fijando tramos que permiten progresar y asociarlos a responsabilidades y remuneraciones, que se basan en evidencias del desempeño y conocimiento profesional.

Comentarios Generales

• Aunque el proyecto se inspira en la promoción del

desarrollo profesional, no aclara suficientemente ni

articula como debiera ser deseable los aspectos

sumativos y formativos de los procesos de

evaluación que orienten dicho desarrollo profesional:

• Hay una solución general adecuada para los

requerimientos sumativos de la certificación

(mediante portafolio y pruebas), pero no se identifica

con claridad ni se promueve suficientemente la

existencia de dispositivos formativos a nivel local.

Comentarios Generales

• Evitar que ley incorpore rigideces acerca de aspectos que debieran ser objeto de revisión periódica (por parte de un ente representativo e independiente, que debiera ser establecido legalmente): • Inconveniencia de establecer puntos de corte de instrumentos en

la ley.

• Posibilidad de ajustar contenido y composición de instrumentos según evolucione el marco de expectativas para el desempeño docente (Marco para la Buena Enseñanza)

• Conveniencia de incorporar exigencias conjuntivas (en lugar de compensatorias) para acceder a tramos avanzados de la carrera (por ejemplo: para certificarse en el nivel avanzado). Esto garantiza mínimos deseables y previene contra falsos positivos (dado que no hay retroceso)

Comentarios sobre instrumentos

propuestos en la ley

El rol de las Pruebas

• La OECD (2013) identifica 3 marcos políticos o regulatorios en que se emplean pruebas para docentes en distintos países: • Evaluaciones iniciales de profesores principiantes, que

tienen como fin su acreditación para el ejercicio de la docencia luego de su licenciatura o de un período de prueba.

• Evaluaciones orientadas a gestionar el desempeño, aplicadas a profesores en ejercicio, con el fin de gestionar su carrera y el desarrollo profesional del docente.

• Evaluaciones asociadas a recompensas simbólicas o incentivos económicos.

El rol de las Pruebas

• Las pruebas son útiles para certificar mínimos en la preparación de docentes en los ámbitos en que enseñan (conocimientos de la disciplina, conocimientos de la didáctica de la disciplina y conocimientos pedagógicos generales)

• Hay también alguna evidencia, aunque menos fuerte que la del portafolio, acerca de la correlación entre el desempeño de los docentes en pruebas de conocimiento y el logro de los estudiantes (Bravo et al, 2008; Clotfelter, Ladd & Vigdor, 2006; Ferguson, 1991; Goldhaber, 2005, 2006; Shehan & Marcus, 1978; Strauss & Sawyer, 1986)

Portafolio

• Valoración internacional como medida de calidad docente: • Evidencia más directa del desempeño profesional y que

mejor refleja la complejidad del trabajo docente.

• Altamente flexible: puede incluir muestras de trabajo del docente, artefactos de enseñanza, grabaciones de clase, comentarios reflexivos, etc.

• Construcción y corrección requieren alto nivel de especialización.

• En Chile se utilizan desde 2002: AEP, Evaluación Docente (Docentemás).

Portafolio de Evaluación Docente

Módulo 1 – Unidad pedagógica

• Profesor/a debe presentar muestras de trabajo de tareas centrales de la docencia: • cómo planifica su enseñanza.

• cómo evalúa el aprendizaje de sus estudiantes.

• cómo aprovecha esa información para retroalimentar a los estudiantes y su propia práctica.

• cómo reflexiona sobre su práctica.

Portafolio de Evaluación Docente

Módulo 2 – Video de clase

• Se observan aspectos claves de las prácticas de enseñanza de profesor/a:

• Cómo explica a sus estudiantes y cómo utiliza las preguntas para enseñar.

• Cómo retroalimenta y acompaña pedagógicamente el trabajo de alumnos.

• Cómo estructura su clase.

Módulo 2 – EJEMPLO

Video de una clase de 40 min.

Matemática 6° básico

Portafolio - Cómo se corrige

• 600 correctores, todos profesores de aula, de la modalidad, nivel y asignatura que evalúan.

• Centros de corrección en 6 universidades, en 4 regiones.

• Capacitación intensiva y estrictos protocolos para asegurar confiabilidad: marcha blanca, 20% doble corrección, correcciones grupales de módulos con “codificación maestra”, etc.

Portafolio - Ventajas

• Construcción y corrección bajo condiciones rigurosas permite confiabilidad y validez.

• Al mismo tiempo, alto potencial formativo: • Permite diagnosticar y retroalimentar: identifica

fortalezas y debilidades (no es solo un puntaje).

• Valoración de los propios docentes: coherente con su trabajo habitual y su percepción de cómo identificar un buen profesor (“viéndolo en la práctica”).

• Promueve la reflexión a nivel individual y colectivo: reportado por evaluados y detectado en estudio de validez consecuencial (Proyecto FONDECYT 1080135; Santelices, et al, 2013; Taut et al, 2011).

Valoración del Portafolio por parte de profesores. Fuente: Cuestionario complementario 2013 y 2014 (N= 16.788 + 15.780)

10% 12% 15% 16%

74% 72%

2013 2014

"Los productos solicitados en el Portafolio son semejantes a las labores que realizo cotidianamente

como docente"

Muy en desacuerdo o En desacuerdo Neutro De acuerdo o Muy de acuerdo

Valoración del Portafolio por parte de profesores. Fuente: Cuestionario complementario 2013 y 2014 (N= 16.788 + 15.780)

7,8% 9,0% 14,2% 15,3% 12,8% 14,7%

14,5% 15,5% 19,2% 19,6% 22,7% 22,9%

77,8% 75,5% 66,6% 65,2% 64,5% 62,4%

2013 2014 2013 2014 2013 2014

Reflexión acerca de mis prácticas pedagógicas

Diálogo profesional con mis colegas*

Sistematización de conocimientos pedagógicos

¿Qué grado de utilidad cree que le reportará la experiencia de haber elaborado el Portafolio en los siguientes aspectos?

Útil - Muy útil Neutro Nada útil - Poco útil

Portafolio – relación con aprendizajes • Relación directa (positiva) logros de aprendizaje,

demostrada en diversos estudios y con distintas metodologías, incluyendo Valor Agregado.

• Ej. Informe Nacional SIMCE 2008:

Portafolio – relación con aprendizajes

• Alvarado et al. (2012): 1 punto más en el Portafolio se asocia a 18 puntos más en SIMCE Matemática y 12 en Lenguaje. • En el caso de Informe Directivos 4.6 y 4.7 ptos respectivamente.

• Taut et al (2012): relación positiva entre VA SIMCE de alumnos de 8° básico y 2° medio y resultado de sus profesores en la Evaluación Docente, especialmente Portafolio.

• Hallazgos preliminares de proyecto FONDECYT 1120441, 2012-15, dirigido por S. Taut) • Compara docentes con nivel final Básico y Competente en

Evaluación docente en términos del progreso en el aprendizaje de sus estudiantes en un año escolar. Encuentra diferencias asociadas al resultado en el portafolio.

Desafíos uso del portafolio en SDPD (1)

• Responder a nuevas demandas de la certificación, por ejemplo: • Grupos que hoy no están en la Evaluación Docente

como educadoras de párvulos de nivel medio o sala cuna, docentes de especialidades TP.

• Dar cuenta de los distintos tramos, por ej. hasta Avanzado se evalúan competencias de aula, en Superior y Experto, otras.

• Incorporar elementos de trabajo colaborativo entre pares (comunidades de aprendizaje) y roles fuera del aula (ej. apoyo a gestión directiva, trabajo con la comunidad, innovación e investigación pedagógica,)

Desafíos uso del portafolio en SDPD (2)

• Lograr una evaluación confiable, dadas

consecuencias y especialmente si no hay

retrocesos:

• Indispensable doble corrección del 100% de los

portafolios.

• Certificación de tramo Avanzado implica decisión

crítica que requiere más confiabilidad, y por tanto

más evidencia:

• ¿una evaluación con dos grabaciones de clase?

• ¿dos evaluaciones consecutivas en el mismo tramo?

Desafíos uso del portafolio en SDPD (3)

• Evitar prácticas fraudulentas (copia y compra de

portafolios):

• Mecanismos de detección automatizados, basados en

entrega de evidencia en formato digital.

• Sanciones contundentes y claras para desincentivar

estas prácticas.

Sobre otros instrumentos de

evaluación

Otros instrumentos posibles:

Evaluación de directivos (1)

• Experiencia en Evaluación Docente: • Enseguida del portafolio (aunque a gran distancia) el

instrumento más relacionado con los logros alumnos.

• Indicios de inflación de puntajes: directivos hacen distinciones en el desempeño de los docentes, pero dentro de la parte superior de la escala:

• Disonancia con percepciones declaradas por los propios directivos en capacitaciones.

• Posibles explicaciones: “Evaluar mal a los docentes es evaluarme mal como director”, “Al colega yo puedo decirle todo lo que debe mejorar, pero en la evaluación no lo voy a perjudicar”.

70,4%

19,2%

8,8%

0,6%

26,7%

64,3% 60,9%

12,8%

0,1%

14,9%

30,1%

86,6%

Portafolio (n=17.070) Evaluación Director y Jefe UTP (n=17.052)

Entrevista Evaluador Par (n=17.047)

Autoevaluación (n=17.070)

Insatisfactorio Básico Competente Destacado

Directivos vs otros instrumentos en

Evaluación Docente (datos 2013)

Otros instrumentos posibles:

Evaluación de directivos (2) • Directivos son claves, pero investigación muestra que:

• Pueden identificar docentes en los extremos (muy buenos o muy malos), pero no logran hacer distinciones válidas en el medio (Jacob & Lefgren, 2008).

• Son reticentes a tomar acciones en casos de bajo desempeño (Tucker, 1997).

• Rol evaluador requiere desarrollo de competencias, por ej. de observación de aula (caso del proyecto MET).

• Problemático para lograr equidad, validez y confiabilidad necesarias en sistema nacional de certificación.

• Pero pueden cumplir un rol fundamental en evaluación local y formativa, centrada en apoyar desarrollo profesional. Esto requiere igualmente desarrollar capacidades.

Otros instrumentos posibles:

Cuestionarios a estudiantes

• Encuestas de “nueva generación” (Ej. Tripod). • Resultados interesantes (Proyecto MET). Pero no

hay evidencia en sistemas de gran escala y altas consecuencias.

• En ese contexto, riesgo importante de entregar resultados no válidos, por deseabilidad social o presiones (en ambas direcciones).

•

• Sí tienen un alto potencial para retroalimentación formativa del profesor. • En ese contexto también se podrían utilizar

cuestionarios a padres, menos estudiados hasta ahora.

Calidad vs efectividad docente

Calidad vs efectividad docente

• Hay un debate internacional en torno al foco que debe tener la evaluación de docentes:

• Unos proponen evaluar la calidad a partir de un marco de referencia que identifica habilidades y competencias deseables (como el Marco de la Buena Enseñanza). Estas expectativas se basan en evidencia acerca de lo que promueve el aprendizaje de los estudiantes.

• Otros proponen evaluar la efectividad de los docentes a través de medidas de logro de los estudiantes. En su versión más sofisticada esto se basa en la metodología de valor agregado.

Problemas con el uso del logro de los

estudiantes para evaluar la efectividad docente

• Para evaluar la efectividad se requiere contar con pruebas ojalá espaciadas anualmente en todos los niveles y sectores (lo que no es realista y genera una sobrecarga de mediciones a los estudiantes).

• Aun así, es muy difícil estimar la efectividad docente, controlando todos los otros factores que inciden en el aprendizaje y que están fuera de su influencia. La evidencia muestra que la efectividad docente varía en el tiempo (por lo que habría que promediar varias estimaciones para llegar a un resultado confiable: Newton et al., 2010; Baker et al., 2010).

• En varias asignaturas no se puede medir progreso con pruebas estandarizadas: ahí se necesita una alternativa.

• No se puede emplear este método en aulas pequeñas o cuando hay movilidad de estudiantes y profesores.

• Nuestra posición es que el aprendizaje de los estudiantes debiera ser un criterio para validar los instrumentos de la evaluación docente, pero no debería formar parte de ésta.

Conclusiones y

Recomendaciones • Inconveniencia de establecer en la ley reglas específicas

para acceder a tramos de la carrera. Se propone

establecer una instancia ad hoc que permita hacer

modificaciones sobre instrumentos y sus puntajes

basadas en la experiencia y evidencia.

• Promover más decididamente la dimensión de desarrollo

profesional de esta ley garantizando recursos y apoyos

para estos fines.

Conclusiones y

Recomendaciones • Se recomienda distinguir y articular evaluaciones adecuadas para

fines sumativos y formativos.

• Para fines sumativos: conocimientos y desempeños profesionales

• Portafolio enriquecido (que agregue evidencia de trabajo colaborativo y fuera

del aula). Se sugiere considerar diferentes tareas para etapas avanzadas de la

carrera. Este es el instrumento con mayor respaldo y mayores posibilidades para

identificar fortalezas y debilidades y orientar la mejora.

• Pruebas: contemplarlas preferentemente en las primeras etapas (hasta el nivel

avanzado), para asegurar una preparación mínima y actualizada de los

docentes.

• Para fines formativos:

• Recurrir a una amplia batería de instrumentos, con foco prioritario en el aula,

que debiera otorgar un rol relevante al director y pares (quienes deben recibir

preparación para desarrollar competencias de observación y retroalimentación).

• Considerar cuestionarios de estudiantes y padres.

• Promover que los instrumentos formativos, aunque diversos, se basen en un

mismo marco de referencia (como el MBE)

Referencias • Alvarado, M., Cabezas, G., Falck, D. & Ortega, M. E. (2012). La Evaluación Docente y sus instrumentos: Discriminación del desempeño

docente y asociación con los resultados de los estudiantes. Centro de Estudios MINEDUC & PNUD.

• American Educational Research Association, American Psychological Association, and National Council on Measurement in Education (AERA,

APA & NCME) (2014). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association.

• Baker, E. L., Barton, P. E., Darling-Hammond, L., Haertel, E., Ladd, H. F., Linn, R. L, Ravitch, D., Rothstein, R., Shavelson, R. J. & Shepard, L.

A. (2010). Problems with the use of student test scores to evaluate teachers. (EPI Briefing Paper #278). Washington, DC: Economic Policy

Institute.

• Bravo, D., Falck, D., González, R., Manzi, J. & Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos:

Evidencia para el caso de Chile. Extraído el 07 de abril de 2014 de

http://www.microdatos.cl/docto_publicaciones/Evaluacion%20docentes_rendimiento %20escolar.pdf

• Darling-Hammond, L., Chung, R. & Johnson, C. (2009). Teacher preparation and teacher learning. En Handbook of Education Policy Research.

Sykes, G., Schneider, B. & Plank, D. Nueva York: American Educational Research Association.

• Jacob,B. & Lefgren, L. (2008). Can principals identify effective teachers? Journal of Labor Economics, 26, 101-136.

• Marzano, R. & Toth, M. (2013). Teacher evaluation that makes a difference: A new model for teacher growth and student achievement.

Alexandria, VA: ASCD.

• Newton, X., Darling-Hammond, L., Haertel, E. & Thomas, E. (2010). Value-Added Modeling of Teacher Effectiveness: An Exploration of Stability

across Models and Contexts. Education Policy Analysis Archives, 18(23). Retrieved from: http://epaa.asu.edu/ojs/article/view/810

• Organización para la Cooperación y el Desarrollo Económico [OECD]. (2009), Creating Effective Teaching and Learning Environments: First

Results from TALIS, OECD Publishing, Paris. http://dx.doi.org/10.1787/9789264072992-en.

• Organización para la Cooperación y el Desarrollo Económico [OECD]. (2013). Teachers for the 21st century: Using evaluation to improve

teaching. OECD Publishing.

• - Santelices, V., Taut, S., Araya, C. & Manzi, J. (2013). Consecuencias a Nivel Local de un Sistema de Evaluación de Profesores: El Caso de

Chile [Consequences of a Teacher Evaluation System at District Level: The Case of Chile] . Revista Estudios Pedagógicos, 39(2), 299-328.

• - Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011). Perceived effects and uses of the national teacher evaluation system in Chilean

elementary schools. Studies in Educational Evaluation, 37, 218-229. DOI: http://dx.doi.org/10.1016/j.stueduc.2011.08.002

• - Taut, S., Valencia, E., Palacios, D., Santelices, V., Jimenez, D. & Manzi, J. (in press). Teacher performance and student learning: Linking

evidence from two national assessment programs. Assessment in Education: Principles, Policy & Practice, DOI:

10.1080/0969594X.2014.961406

• Tucker, P. (1997). Lake Wobegon: Where all teachers are competent. Journal of Personnel Evaluation in Education, 11(2), 103-126.

www.mideuc.cl