Upload
phunghanh
View
231
Download
0
Embed Size (px)
Citation preview
Proyecto de Ley Política
Nacional Docente
Presentación de MIDE UC ante Comisión de Educación de la Cámara de Diputados
Jorge Manzi y Yulan Sun
02 de junio de 2015
Rol de MIDE UC en evaluaciones
nacionales
• Mide UC es un centro sin fines de lucro, de investigación, desarrollo y formación en el ámbito de la medición y evaluación educacional, perteneciente a la PUC.
• Ha colaborado con el Ministerio de Educación en la política pública en el ámbito de la evaluación docente, en los siguientes programas (todos asignados mediante licitaciones públicas): • Evaluación Docente (desde 2003)
• Asignación de Excelencia Pedagógica (en conjunto con la Universidad de Chile) desde 2002
• Prueba Inicia (donde también han colaborado otras universidades), desde 2008
Esquema de la presentación
• Comentarios generales al proyecto de ley
• Comentarios específicos acerca de instrumentos
propuestos y potenciales
• Conclusiones y recomendaciones
Comentarios Generales
• Acuerdo con la arquitectura general del proyecto: • Consideraciones previas: una política docente bien concebida deber
resolver tres grandes nudos: el atractivo de la carrera para los jóvenes, la calidad de la formación inicial, y el establecimiento de una carrera desafiante, con compensaciones crecientes y justas
• Proyecto promueve la calidad de los procesos educativos valorizando al actor más relevante, al hacer más atractiva la carrera, al promover un mejoramiento de la formación docente, al establecer un proceso de inducción inicial y un escalamiento en la carrera que mejora sustantivamente las condiciones laborales y las compensaciones salariales.
• Es universal, para todo el sistema que recibe financiamiento estatal y también para docentes de los distintos niveles y modalidades.
• Plantea un foco en el desarrollo profesional, mediante la certificación y el apoyo a su desarrollo, fijando tramos que permiten progresar y asociarlos a responsabilidades y remuneraciones, que se basan en evidencias del desempeño y conocimiento profesional.
Comentarios Generales
• Aunque el proyecto se inspira en la promoción del
desarrollo profesional, no aclara suficientemente ni
articula como debiera ser deseable los aspectos
sumativos y formativos de los procesos de
evaluación que orienten dicho desarrollo profesional:
• Hay una solución general adecuada para los
requerimientos sumativos de la certificación
(mediante portafolio y pruebas), pero no se identifica
con claridad ni se promueve suficientemente la
existencia de dispositivos formativos a nivel local.
Comentarios Generales
• Evitar que ley incorpore rigideces acerca de aspectos que debieran ser objeto de revisión periódica (por parte de un ente representativo e independiente, que debiera ser establecido legalmente): • Inconveniencia de establecer puntos de corte de instrumentos en
la ley.
• Posibilidad de ajustar contenido y composición de instrumentos según evolucione el marco de expectativas para el desempeño docente (Marco para la Buena Enseñanza)
• Conveniencia de incorporar exigencias conjuntivas (en lugar de compensatorias) para acceder a tramos avanzados de la carrera (por ejemplo: para certificarse en el nivel avanzado). Esto garantiza mínimos deseables y previene contra falsos positivos (dado que no hay retroceso)
El rol de las Pruebas
• La OECD (2013) identifica 3 marcos políticos o regulatorios en que se emplean pruebas para docentes en distintos países: • Evaluaciones iniciales de profesores principiantes, que
tienen como fin su acreditación para el ejercicio de la docencia luego de su licenciatura o de un período de prueba.
• Evaluaciones orientadas a gestionar el desempeño, aplicadas a profesores en ejercicio, con el fin de gestionar su carrera y el desarrollo profesional del docente.
• Evaluaciones asociadas a recompensas simbólicas o incentivos económicos.
El rol de las Pruebas
• Las pruebas son útiles para certificar mínimos en la preparación de docentes en los ámbitos en que enseñan (conocimientos de la disciplina, conocimientos de la didáctica de la disciplina y conocimientos pedagógicos generales)
• Hay también alguna evidencia, aunque menos fuerte que la del portafolio, acerca de la correlación entre el desempeño de los docentes en pruebas de conocimiento y el logro de los estudiantes (Bravo et al, 2008; Clotfelter, Ladd & Vigdor, 2006; Ferguson, 1991; Goldhaber, 2005, 2006; Shehan & Marcus, 1978; Strauss & Sawyer, 1986)
Portafolio
• Valoración internacional como medida de calidad docente: • Evidencia más directa del desempeño profesional y que
mejor refleja la complejidad del trabajo docente.
• Altamente flexible: puede incluir muestras de trabajo del docente, artefactos de enseñanza, grabaciones de clase, comentarios reflexivos, etc.
• Construcción y corrección requieren alto nivel de especialización.
• En Chile se utilizan desde 2002: AEP, Evaluación Docente (Docentemás).
Portafolio de Evaluación Docente
Módulo 1 – Unidad pedagógica
• Profesor/a debe presentar muestras de trabajo de tareas centrales de la docencia: • cómo planifica su enseñanza.
• cómo evalúa el aprendizaje de sus estudiantes.
• cómo aprovecha esa información para retroalimentar a los estudiantes y su propia práctica.
• cómo reflexiona sobre su práctica.
Portafolio de Evaluación Docente
Módulo 2 – Video de clase
• Se observan aspectos claves de las prácticas de enseñanza de profesor/a:
• Cómo explica a sus estudiantes y cómo utiliza las preguntas para enseñar.
• Cómo retroalimenta y acompaña pedagógicamente el trabajo de alumnos.
• Cómo estructura su clase.
Portafolio - Cómo se corrige
• 600 correctores, todos profesores de aula, de la modalidad, nivel y asignatura que evalúan.
• Centros de corrección en 6 universidades, en 4 regiones.
• Capacitación intensiva y estrictos protocolos para asegurar confiabilidad: marcha blanca, 20% doble corrección, correcciones grupales de módulos con “codificación maestra”, etc.
Portafolio - Ventajas
• Construcción y corrección bajo condiciones rigurosas permite confiabilidad y validez.
• Al mismo tiempo, alto potencial formativo: • Permite diagnosticar y retroalimentar: identifica
fortalezas y debilidades (no es solo un puntaje).
• Valoración de los propios docentes: coherente con su trabajo habitual y su percepción de cómo identificar un buen profesor (“viéndolo en la práctica”).
• Promueve la reflexión a nivel individual y colectivo: reportado por evaluados y detectado en estudio de validez consecuencial (Proyecto FONDECYT 1080135; Santelices, et al, 2013; Taut et al, 2011).
Valoración del Portafolio por parte de profesores. Fuente: Cuestionario complementario 2013 y 2014 (N= 16.788 + 15.780)
10% 12% 15% 16%
74% 72%
2013 2014
"Los productos solicitados en el Portafolio son semejantes a las labores que realizo cotidianamente
como docente"
Muy en desacuerdo o En desacuerdo Neutro De acuerdo o Muy de acuerdo
Valoración del Portafolio por parte de profesores. Fuente: Cuestionario complementario 2013 y 2014 (N= 16.788 + 15.780)
7,8% 9,0% 14,2% 15,3% 12,8% 14,7%
14,5% 15,5% 19,2% 19,6% 22,7% 22,9%
77,8% 75,5% 66,6% 65,2% 64,5% 62,4%
2013 2014 2013 2014 2013 2014
Reflexión acerca de mis prácticas pedagógicas
Diálogo profesional con mis colegas*
Sistematización de conocimientos pedagógicos
¿Qué grado de utilidad cree que le reportará la experiencia de haber elaborado el Portafolio en los siguientes aspectos?
Útil - Muy útil Neutro Nada útil - Poco útil
Portafolio – relación con aprendizajes • Relación directa (positiva) logros de aprendizaje,
demostrada en diversos estudios y con distintas metodologías, incluyendo Valor Agregado.
• Ej. Informe Nacional SIMCE 2008:
Portafolio – relación con aprendizajes
• Alvarado et al. (2012): 1 punto más en el Portafolio se asocia a 18 puntos más en SIMCE Matemática y 12 en Lenguaje. • En el caso de Informe Directivos 4.6 y 4.7 ptos respectivamente.
• Taut et al (2012): relación positiva entre VA SIMCE de alumnos de 8° básico y 2° medio y resultado de sus profesores en la Evaluación Docente, especialmente Portafolio.
• Hallazgos preliminares de proyecto FONDECYT 1120441, 2012-15, dirigido por S. Taut) • Compara docentes con nivel final Básico y Competente en
Evaluación docente en términos del progreso en el aprendizaje de sus estudiantes en un año escolar. Encuentra diferencias asociadas al resultado en el portafolio.
Desafíos uso del portafolio en SDPD (1)
• Responder a nuevas demandas de la certificación, por ejemplo: • Grupos que hoy no están en la Evaluación Docente
como educadoras de párvulos de nivel medio o sala cuna, docentes de especialidades TP.
• Dar cuenta de los distintos tramos, por ej. hasta Avanzado se evalúan competencias de aula, en Superior y Experto, otras.
• Incorporar elementos de trabajo colaborativo entre pares (comunidades de aprendizaje) y roles fuera del aula (ej. apoyo a gestión directiva, trabajo con la comunidad, innovación e investigación pedagógica,)
Desafíos uso del portafolio en SDPD (2)
• Lograr una evaluación confiable, dadas
consecuencias y especialmente si no hay
retrocesos:
• Indispensable doble corrección del 100% de los
portafolios.
• Certificación de tramo Avanzado implica decisión
crítica que requiere más confiabilidad, y por tanto
más evidencia:
• ¿una evaluación con dos grabaciones de clase?
• ¿dos evaluaciones consecutivas en el mismo tramo?
Desafíos uso del portafolio en SDPD (3)
• Evitar prácticas fraudulentas (copia y compra de
portafolios):
• Mecanismos de detección automatizados, basados en
entrega de evidencia en formato digital.
• Sanciones contundentes y claras para desincentivar
estas prácticas.
Otros instrumentos posibles:
Evaluación de directivos (1)
• Experiencia en Evaluación Docente: • Enseguida del portafolio (aunque a gran distancia) el
instrumento más relacionado con los logros alumnos.
• Indicios de inflación de puntajes: directivos hacen distinciones en el desempeño de los docentes, pero dentro de la parte superior de la escala:
• Disonancia con percepciones declaradas por los propios directivos en capacitaciones.
• Posibles explicaciones: “Evaluar mal a los docentes es evaluarme mal como director”, “Al colega yo puedo decirle todo lo que debe mejorar, pero en la evaluación no lo voy a perjudicar”.
70,4%
19,2%
8,8%
0,6%
26,7%
64,3% 60,9%
12,8%
0,1%
14,9%
30,1%
86,6%
Portafolio (n=17.070) Evaluación Director y Jefe UTP (n=17.052)
Entrevista Evaluador Par (n=17.047)
Autoevaluación (n=17.070)
Insatisfactorio Básico Competente Destacado
Directivos vs otros instrumentos en
Evaluación Docente (datos 2013)
Otros instrumentos posibles:
Evaluación de directivos (2) • Directivos son claves, pero investigación muestra que:
• Pueden identificar docentes en los extremos (muy buenos o muy malos), pero no logran hacer distinciones válidas en el medio (Jacob & Lefgren, 2008).
• Son reticentes a tomar acciones en casos de bajo desempeño (Tucker, 1997).
• Rol evaluador requiere desarrollo de competencias, por ej. de observación de aula (caso del proyecto MET).
• Problemático para lograr equidad, validez y confiabilidad necesarias en sistema nacional de certificación.
• Pero pueden cumplir un rol fundamental en evaluación local y formativa, centrada en apoyar desarrollo profesional. Esto requiere igualmente desarrollar capacidades.
Otros instrumentos posibles:
Cuestionarios a estudiantes
• Encuestas de “nueva generación” (Ej. Tripod). • Resultados interesantes (Proyecto MET). Pero no
hay evidencia en sistemas de gran escala y altas consecuencias.
• En ese contexto, riesgo importante de entregar resultados no válidos, por deseabilidad social o presiones (en ambas direcciones).
•
• Sí tienen un alto potencial para retroalimentación formativa del profesor. • En ese contexto también se podrían utilizar
cuestionarios a padres, menos estudiados hasta ahora.
Calidad vs efectividad docente
• Hay un debate internacional en torno al foco que debe tener la evaluación de docentes:
• Unos proponen evaluar la calidad a partir de un marco de referencia que identifica habilidades y competencias deseables (como el Marco de la Buena Enseñanza). Estas expectativas se basan en evidencia acerca de lo que promueve el aprendizaje de los estudiantes.
• Otros proponen evaluar la efectividad de los docentes a través de medidas de logro de los estudiantes. En su versión más sofisticada esto se basa en la metodología de valor agregado.
Problemas con el uso del logro de los
estudiantes para evaluar la efectividad docente
• Para evaluar la efectividad se requiere contar con pruebas ojalá espaciadas anualmente en todos los niveles y sectores (lo que no es realista y genera una sobrecarga de mediciones a los estudiantes).
• Aun así, es muy difícil estimar la efectividad docente, controlando todos los otros factores que inciden en el aprendizaje y que están fuera de su influencia. La evidencia muestra que la efectividad docente varía en el tiempo (por lo que habría que promediar varias estimaciones para llegar a un resultado confiable: Newton et al., 2010; Baker et al., 2010).
• En varias asignaturas no se puede medir progreso con pruebas estandarizadas: ahí se necesita una alternativa.
• No se puede emplear este método en aulas pequeñas o cuando hay movilidad de estudiantes y profesores.
• Nuestra posición es que el aprendizaje de los estudiantes debiera ser un criterio para validar los instrumentos de la evaluación docente, pero no debería formar parte de ésta.
Conclusiones y
Recomendaciones • Inconveniencia de establecer en la ley reglas específicas
para acceder a tramos de la carrera. Se propone
establecer una instancia ad hoc que permita hacer
modificaciones sobre instrumentos y sus puntajes
basadas en la experiencia y evidencia.
• Promover más decididamente la dimensión de desarrollo
profesional de esta ley garantizando recursos y apoyos
para estos fines.
Conclusiones y
Recomendaciones • Se recomienda distinguir y articular evaluaciones adecuadas para
fines sumativos y formativos.
• Para fines sumativos: conocimientos y desempeños profesionales
• Portafolio enriquecido (que agregue evidencia de trabajo colaborativo y fuera
del aula). Se sugiere considerar diferentes tareas para etapas avanzadas de la
carrera. Este es el instrumento con mayor respaldo y mayores posibilidades para
identificar fortalezas y debilidades y orientar la mejora.
• Pruebas: contemplarlas preferentemente en las primeras etapas (hasta el nivel
avanzado), para asegurar una preparación mínima y actualizada de los
docentes.
• Para fines formativos:
• Recurrir a una amplia batería de instrumentos, con foco prioritario en el aula,
que debiera otorgar un rol relevante al director y pares (quienes deben recibir
preparación para desarrollar competencias de observación y retroalimentación).
• Considerar cuestionarios de estudiantes y padres.
• Promover que los instrumentos formativos, aunque diversos, se basen en un
mismo marco de referencia (como el MBE)
Referencias • Alvarado, M., Cabezas, G., Falck, D. & Ortega, M. E. (2012). La Evaluación Docente y sus instrumentos: Discriminación del desempeño
docente y asociación con los resultados de los estudiantes. Centro de Estudios MINEDUC & PNUD.
• American Educational Research Association, American Psychological Association, and National Council on Measurement in Education (AERA,
APA & NCME) (2014). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association.
• Baker, E. L., Barton, P. E., Darling-Hammond, L., Haertel, E., Ladd, H. F., Linn, R. L, Ravitch, D., Rothstein, R., Shavelson, R. J. & Shepard, L.
A. (2010). Problems with the use of student test scores to evaluate teachers. (EPI Briefing Paper #278). Washington, DC: Economic Policy
Institute.
• Bravo, D., Falck, D., González, R., Manzi, J. & Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos:
Evidencia para el caso de Chile. Extraído el 07 de abril de 2014 de
http://www.microdatos.cl/docto_publicaciones/Evaluacion%20docentes_rendimiento %20escolar.pdf
• Darling-Hammond, L., Chung, R. & Johnson, C. (2009). Teacher preparation and teacher learning. En Handbook of Education Policy Research.
Sykes, G., Schneider, B. & Plank, D. Nueva York: American Educational Research Association.
• Jacob,B. & Lefgren, L. (2008). Can principals identify effective teachers? Journal of Labor Economics, 26, 101-136.
• Marzano, R. & Toth, M. (2013). Teacher evaluation that makes a difference: A new model for teacher growth and student achievement.
Alexandria, VA: ASCD.
• Newton, X., Darling-Hammond, L., Haertel, E. & Thomas, E. (2010). Value-Added Modeling of Teacher Effectiveness: An Exploration of Stability
across Models and Contexts. Education Policy Analysis Archives, 18(23). Retrieved from: http://epaa.asu.edu/ojs/article/view/810
• Organización para la Cooperación y el Desarrollo Económico [OECD]. (2009), Creating Effective Teaching and Learning Environments: First
Results from TALIS, OECD Publishing, Paris. http://dx.doi.org/10.1787/9789264072992-en.
• Organización para la Cooperación y el Desarrollo Económico [OECD]. (2013). Teachers for the 21st century: Using evaluation to improve
teaching. OECD Publishing.
• - Santelices, V., Taut, S., Araya, C. & Manzi, J. (2013). Consecuencias a Nivel Local de un Sistema de Evaluación de Profesores: El Caso de
Chile [Consequences of a Teacher Evaluation System at District Level: The Case of Chile] . Revista Estudios Pedagógicos, 39(2), 299-328.
• - Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011). Perceived effects and uses of the national teacher evaluation system in Chilean
elementary schools. Studies in Educational Evaluation, 37, 218-229. DOI: http://dx.doi.org/10.1016/j.stueduc.2011.08.002
• - Taut, S., Valencia, E., Palacios, D., Santelices, V., Jimenez, D. & Manzi, J. (in press). Teacher performance and student learning: Linking
evidence from two national assessment programs. Assessment in Education: Principles, Policy & Practice, DOI:
10.1080/0969594X.2014.961406
• Tucker, P. (1997). Lake Wobegon: Where all teachers are competent. Journal of Personnel Evaluation in Education, 11(2), 103-126.