View
39
Download
0
Category
Preview:
Citation preview
Desarrollo de pruebas: visión general y especificaciones
ID7756 Evaluación del Aprendizaje de IdiomasEnero-Marzo 2014Prof. Yris Casart ycasart@usb.ve
Objetivos de la sesión Brindar una visión general del proceso de
desarrollo de pruebas.
Discutir la noción de especificaciones.
Elaborar un borrador de las especificaciones del instrumento de evaluación del proyecto individual.
Desarrollo de pruebas
•Declaración del diseño
1. Diseño
•Estructura de la prueba
•Especificaciones de las tareas
2. Operacionalización
•Retroinformación sobre utilidad
•Puntaje de las pruebas
3. Administración
(Bachman y Palmer, 1996)
Diseño de pruebas
Determinar el propósito de
la prueba
Decidir los objetivos a
evaluar
Distribuir los objetivos en
una estructura
Seleccionar tareas que
cumplan con las cualidades
Establecer ponderación, puntuación y
feedback (Brown, 2004)
Desarrollo de la prueba
Describa los objetivos
Seleccione el tipo de tareas apropiadas
Diseñe y organice las tareas
Diseñe un sistema de puntuación
(Genesee y Upshur, 1996)
Especificaciones de la pruebaDefiniciónTipos y contenidoEnfoques para su elaboración
Especificaciones de la prueba Pauta que guía la elaboración de las
preguntas y la construcción de la prueba.
Documento que sirve para establecer la validez de constructo de la prueba.
Declaración oficial sobre lo que la prueba evalúa y cómo lo evalúa.
(Alderson, Clapham & Wall, 1995)
Tipos de especificaciones
1. Especificaciones para los escritores: Contiene información detallada que guiará la escritura de la prueba.
2. Especificaciones para los validadores: Contiene la justificación teórica del contenido de la prueba, para establecer su validez.
3. Especificaciones para los usuarios de la prueba: Contiene información relevante para profesores, editoriales, etc.(Alderson, Clapham & Wall,
1995)
Especificaciones para escritores
Propósito de la prueba Tipo de aprendiz Número de secciones Situación de la lengua
meta Tipo de textos Longitud del texto Habilidades Elementos del
lenguaje
Tipo de tarea Número total de
preguntas Número de preguntas
por sección Formato de preguntas Instrucciones Criterios para la
corrección
(Alderson, Clapham & Wall, 1995)
Especificaciones para validadores
Habilidades que se intentan medir.
(Definición del constructo)
Interrelaciones entre dichas habilidades.
Métodos de evaluación utilizados.
(¿Cómo afectan la medición de las habilidades?)
Criterios de valoración.(Alderson, Clapham & Wall,
1995)
Especificaciones para usuarios
Versión simplificada y pública (syllabus) Características Utilidad y limitaciones Descripción de la población Modelos de preguntas y de pruebas Instrucciones completas Ejemplos de respuestas y su puntuación
según criterios de corrección Cómo prepararse
(Alderson, Clapham & Wall, 1995)
Especificaciones del profesor
Esquema simple, práctico e informal de la prueba que indique: Temas, objetivos y destrezas a evaluar. Formato de preguntas y respuestas. Número de secciones y de preguntas por
sección. Tiempo asignado para cada parte. Ponderación y criterios de corrección.
(Brown, 2000)
Factores a considerar
Especificacione
s
Objetivos a
evaluar
Importancia(peso
asignado a cada
objetivo)
Tipos de tarea
realizadas en el
aula
Asuntos práctico
s
Tipo de washbac
k
(Brown, 2000)
Enfoque para el diseño de pruebas de Lenguas con Fines EspecíficosIdentificar a
los interesados
Reunirlos para discutir la situación
Formar grupos
pequeños
Cada grupo elabora un
borrador de las especificaciones
Intercambian especificacio
nes
Cada grupo escribe ítems o tareas usando
especificaciones
Todos evalúan efectividad de
especificaciones y ajustes necesarios
Repiten el proceso
(Doug
las,
2
00
0)
Ventajas de este enfoque
1) El diseño de pruebas se realiza mejor en grupos.
2) Se necesita una amplia gama de experticia en el desarrollo de pruebas de LFE.
3) La elaboración de las especificaciones es un proceso iterativo
4) Las especificaciones evolucionan y cambian en la medida que se incorpora más información, experiencia y experticia.
(Douglas, 2000)
Resumen
“…the production of the test specifications document is an indispensable part of the test development process. It not only helps the test development team to focus on important considerations in test development, but also the process of producing the document requires the developers to be very precise about why they are producing the test and what is it they wish to measure. The finished document will serve as a …
Resumen
…guide for the construction of the test: it provides item writers with parameters for the production of items and tasks, and it provides scorers and raters with guidelines for their work. The specifications document is also a source of information for test users on the objective of the test and the limitations on what it measures and interpretations of test performance that may appropriately be made.”(Douglas, 2000)
Borrador de las especificaciones
Propósito de la prueba Tipo de aprendiz Número de secciones Situación de la lengua
meta Tipo de textos Longitud del texto Habilidades Elementos del
lenguaje
Tipo de tarea Número total de
preguntas Número de preguntas
por sección Formato de preguntas Instrucciones Criterios para la
corrección
(Alderson, Clapham & Wall, 1995)
ReferenciasAlderson, J. C., Clapham, C. & Wall, D. (1995).
Language Test Construction and Evaluation. Cambridge, U.K.: Cambridge University Press.
Bachman, L. & Palmer, A. (1996). Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford, UK: Oxford University Press.
Douglas, D. (2000). Assessing Languages for Specific Purposes. Cambridge, U.K.: Cambridge University Press.
Genesee, F. & Upshur, J. (1996). Classroom-Based Evaluations in Second Language Education. Cambridge, U.K.: Cambridge University Press.
Recommended