Upload
ramira-jaquez
View
25
Download
3
Embed Size (px)
Citation preview
Características prueba TERCE
Catalina CovacevichSeminario internacional de
elaboración de ítems para TERCE, UNESCO
Bogotá, 25 al 27 de mayo del 2011
Contexto y objetivos de TERCE
El propósito del Tercer Estudio Regional Comparativo y Explicativo (TERCE) es evaluar y comparar el desempeño de estudiantes latinoamericanos de primaria en las áreas de Lenguaje, Matemática y Ciencias naturales. El estudio también considera el análisis de estos resultados en función de factores del alumno, aula, escuela y contexto.
TERCE está basado en el Segundo Estudio Regional Comparativo y Explicativo (SERCE) y sus resultados en lectura, matemáticas y ciencias naturales serán comparables con los de SERCE.
UNESCO ha contratado a MIDE UC para la tarea de construir los instrumentos de la aplicación piloto.
Agenda de TERCE
Actividad Fechas
Ajuste al análisis curricular Diciembre 2010 - abril 2011
Desarrollo de instrumentos para pilotaje
Marzo - diciembre 2011
Aplicación piloto Mayo 2012 (HN) 1-15 Septiembre 2012 (HS)
Entrega de bases de datos piloto 15 noviembre 2012
Análisis de aplicación piloto 15 Noviembre 2012 – 15 febrero 2013
Informe aplicación piloto 15 febrero 2013
Seminario para decidir cierre de instrumentos
Primera semana Marzo 2013
Entrega de versiones definitivas de instrumentos
Marzo 2013
Aplicación definitiva Mayo/junio 2013 (HN) Septiembre/ octubre 2013(HS)
Entrega primer informe de resultados aplicación definitiva
Diciembre 2014
Marco de evaluación
Las pruebas de TERCE se basan en los currículum de los países participantes y en las habilidades para la vida, modelo presente en los currículum, que considera que la escuela debe promover conocimientos, habilidades, valores y actitudes que sirvan a los estudiantes para participar activamente en la sociedad, como individuos y como ciudadanos.
Para TERCE, ICFES realizó una revisión al análisis curricular elaborado para SERCE, analizando qué cambios curriculares han transcurrido desde entonces e incorporando en el análisis los curriculum de los países que no participaron del análisis curricular previo.
ICFES desarrolló un documento de ajuste al análisis curricular SERCE (presentado ayer), a partir del se elaboraron las tablas de especificaciones para las pruebas TERCE.
Estas tablas se revisarán por área disciplinaria
Cantidad y tipos de ítems
Al igual que en SERCE, los ítems serán de dos tipos: selección múltiple y producción de respuestas.
El tipo de ítem se escoge en función de la naturaleza del aprendizaje que se desea medir.
En la prueba TERCE definitiva se aplicarán la misma cantidad de ítems que en SERCE en las pruebas de lectura, ciencia y matemáticas, y además se conservará la proporción de ítems de respuesta cerrada y de producción de respuesta.
Los ítems aplicados en SERCE se distribuyeron de la siguiente manera:
Grado Área Ítems de respuesta cerrada
Ítems de producción de respuesta
Total de ítems
Tercero Lectura 66 0 66 Escritura 0 2 2 Matemática 66 6 72
Sexto Lectura 96 0 96 Escritura 0 2 2 Matemática 87 9 96 Ciencias naturales 84 6 90
Estructura de la prueba definitiva
Para TERCE (al igual que en SERCE) se utilizarán seis formas de prueba, utilizando un sistema de bloques rotados.
Cada prueba TERCE tendrá seis bloques, compuestos por un determinado número de ítems, que varía según el grado y la materia.
Se armarán seis formas de prueba: cada forma tiene dos bloques y cada bloque aparece en dos formas, una vez al principio y otra vez al final. Por lo tanto, cada estudiante responde dos bloques.
Prueba
Cantidad de bloques
Ítems por bloque
Total ítems
Lectura 3º 6 11 66 Lectura 6º 6 16 96 Matemática 3º 6 12 72 Matemática 6º 6 16 96 Ciencias naturales 6º 6 15 90
Estructura de la prueba piloto
Para la prueba piloto, se pretende probar aproximadamente un 75% más de ítems nuevos de los que se utilizarán en la aplicación definitiva.
Prueba Ítems
nuevos a pilotear
Ítems SERCE
a pilotear
Bloques a pilotear Formas
a pilotear
Ítems para la aplicación definitiva TERCE
Lectura 3º 77 22 9 (7 nuevos + 2 de anclaje)
9 66 (44 nuevos)
Lectura 6º 112 32 9 (7 nuevos + 2 de anclaje)
9 96 (64 nuevos)
Matemática 3º
84 24 9 (7 nuevos + 2 de anclaje)
9 72 (48 nuevos)
Matemática 6º
112 32 9 (7 nuevos + 2 de anclaje)
9 96 (64 nuevos)
Ciencias naturales 6º
105 30 9 (7 nuevos + 2 de anclaje)
9 90 (60 nuevos)
Tiempo de aplicación
Prueba Ítems por forma
Total tiempo Tiempo estimado para resolver cada ítem (sin contar el tiempo adicional)
Lectura 3º 22 60 (más 10 minutos adicionales) 2,7 minutos (163 segundos)
Lectura 6º 32 60 (más 10 minutos adicionales) 1,9 minutos (112 segundos)
Escritura 3º 1 45 minutos (por confirmar)
45 minutos (por confirmar)
Escritura 6º 1 45 minutos (por confirmar)
45 minutos (por confirmar)
Matemática 3º
24 60 (más 10 minutos adicionales) 2,5 minutos (150 segundos)
Matemática 6º
32 70 (más 10 minutos adicionales) 2,2 minutos (112 segundos)
Ciencias naturales 6º
30 60 (más 10 minutos adicionales) 2 minutos (120 segundos)
El tiempo de aplicación asignado para las pruebas en SERCE se mantendrá para TERCE. Esta información debe ser tomada en cuenta al construir los ítems.
La evaluación de escritura en TERCE
A partir del análisis curricular se ha optado por el uso de una evaluación auténtica, centrada en tareas comunicativas concretas, según la orientación predominante actualmente en la enseñanza de la lengua materna en la región: el enfoque comunicativo.
Este implica considerar diferentes aspectos de la situación de comunicación y a partir de ello proponer un texto, que recurra a las estructuras y formas de organización internas más adecuadas para resolver la tarea comunicativa.
Se solicitará la realización de una única tarea de escritura por estudiante, la que será evaluada con rúbricas que definirán niveles de desempeño bien delimitados en cada uno de los dominios descritos.
La propuesta se describe en el documento “Propuesta de la evaluación de la escritura” y se profundizará en este tema en la sesión dedicada a escritura.
Proceso de construcción de los ítems
Los ítems serán construidos por:
los países participantes en el estudio
equipos técnicos de MIDE UC.
Cada prueba será coordinada un profesional experto (profesor y experto en la disciplina, con conocimientos en evaluación), quien capacitará en la elaboración de ítems y supervisará la elaboración.
Los ítems pasarán por varias instancias de revisión: el encargado de cada prueba
el equipo de constructores de MIDE UC
un profesional experto en la disciplina
un profesional experto en evaluación
Los ítems seleccionados serán editados y diagramados. Esta selección final de ítems es sometida al visto bueno de un grupo de expertos de UNESCO.
Pre piloto (1)
Las preguntas abiertas serán sometidas a un pre piloto con el objetivo de probar las pautas de corrección y de obtener respuestas reales para generar los manuales de corrección.
Este pre piloto tendrá un carácter exploratorio y se realizará con una muestra pequeña e intencionada.
Cada país podría escoger la muestra, pero se solicita que por favor sean colegios de rendimiento promedio, o rendimiento bajo.
Pre piloto (2)
Prepiloto de matemática y ciencias naturales
Primera semana de agosto
Prueba Preguntas Formas Preguntas por forma
Muestra total
Total países
Muestra por país
Mat 3º 18 2 9 200 (100 por forma)
3 66
Mat 6º 24 2 12 200 (100 por forma)
3 66
Ciencias 6º
18 2 9 200 (100 por forma)
3 66
Total 200 132*
Pre piloto de escritura Finales de junio
Prueba Preguntas Formas Preguntas por forma
Muestra total
Total países
Muestra por país
Escritura 3º
4 4 1 240 3 80 (cada país aplica cada forma en un colegio diferente, mínimo 20 estudiantes)
Escritura 6º
4 4 1 240 3 80 (cada país aplica cada forma en un colegio diferente, mínimo 20 estudiantes)
Bibliografía necesaria para la elaboración de ítems
Manual de elaboración de ítems TERCE
Análisis curricular TERCE
Aportes para la enseñanza de la lectura/ la matemática/ las ciencias naturales
Habilidades para la vida
Características formales del envío de ítems
Fechas de envío: Ítems de escritura, 3 de junio
Ítems de respuesta abierta de matemática y ciencias naturales, 8 de julio
Ítems de respuesta cerrada, 22 julio
Cantidad de ítems: cada país construirá la cantidad de ítems que pueda. En las sesiones por área disciplinaria se les pedirá una estimación.
Estándares de calidad: los especificados en el manual, que serán revisados en la siguiente presentación y ejercitados en la tarde
Formato de entrega: cada ítem debe enviarse utilizando las fichas de envío de ítems disponibles en el manual. Se revisará cómo completarlas en las sesiones. A continuación se destacan algunos elementos de la ficha.
Código del ítem
Los códigos de envío de ítems constan de 7 caracteres:
Por ejemplo, el primer ítem construido por Brasil para lectura en 6º grado tendría el código BRSL601
Caracter 1 Caracter 2 Caracter 3 Caracter 4 Caracter 5 Caracter 6 Caracter 7
Sigla del país
Área disciplinaria
(L-E-M-C)
Grado (3-6)
Número del item construido por el país
para ese curso y esa área disciplinaria.
PAÍS Código
1 ARGENTINA ARG
2 BRASIL BRS
3 CHILE CHL
4 COLOMBIA COL
5 COSTA RICA COR
6 ECUADOR ECU
7 GUATEMALA GTM
8 HONDURAS HON
9 MÉXICO MEX
10 NUEVA LEÓN NUL
11 NICARAGUA NIC
12 PANAMÁ PAN
13 PARAGUAY PRG
14 PERÚ PER
15 REP.DOMINICANA RPD
16 URUGUAY URU
Modo de envío de los ítems
Los ítems se deben enviar a través de una aplicación de la web, disponible en el link:
http://146.155.36.92/unesco/
Cada país tendrá un nombre de usuario y clave
Los ítems no deben enviarse por correo electrónico, ya que arriesga la confidencialidad del proceso
Cada ítem debe ir en un archivo word independiente y tener como nombre el código del ítem
Cada imagen debe ir en un archivo separado y tener como nombre el código del ítem
Aplicación web para envío de ítems
Requisitos formales de envío de las imágenes
Todas las imágenes (dibujos, tablas, gráficos, etc.) deben enviarse como archivos TIFF o JPG.
Las imágenes utilizadas deben ser escaneadas de la imagen original (libro, folleto, lámina, etc.) en resolución mínima de 200 DPI e idealmente 300 DPI. No se deben escanear fotocopias, sino imágenes originales.
Si se utilizan imágenes de Internet, estas deben tener un mínimo de 400 pixeles y deben ser guardadas directamente en formato JPG o TIFF. No deben escanearse imágenes impresas de Internet.
Dentro de lo posible, las imágenes deben ser a escala real.
Referencias
Toda fuente debe citarse, incluyendo las imágenes, tablas y gráficos.
Escribir la referencia completa del estímulo o contexto donde se indique: autor, título, editorial, país, año de edición y página.
Si el estímulo fue adaptado, señalarlo.
Se solicita que las fuentes se citen utilizando los criterios APA, disponibles en el anexo II.
Al momento de diagramar las pruebas, estas citas se simplificarán.
Datos de contacto equipo MIDE UC
Nombre Cargo Correo
Alexis Williamson Coordinador prueba ciencias [email protected]
Roxana Aranda Coordinadora prueba matemática [email protected]
Paz Ramírez Coordinadora prueba lectura [email protected]
Natalia Ávila Coordinadora prueba escritura [email protected]
Catalina Covacevich Jefa de proyecto [email protected]
Fin