Psicometria basica

Dra. Carmina Flores Domínguez

Academia de Educación en Ciencias de la Salud

Facultad de Ciencias de la Salud

Universidad Anáhuac México Norte

Psicometría Básica

D.R. Dra. Carmina Flores-Domínguez. 2013

Psicometría básica


¿Por qué evaluar?

Objetivos de la Evaluación

Indicar a sus alumnos qué material es importante

Incentivar a los alumnos a estudiar

Identificar las áreas deficientes que requieren de

más estudio

Determinar las notas finales o tomar decisiones

de promoción

Detectar los puntos débiles del curso/programa

de estudios

Case S., Swanson D. NBME. (2006). Cómo elaborar preguntas para evaluaciones escritas en el área de ciencias básicas y clínicas.

National Board of Medical Examiners. Philadelphia, USA.



¿Qué se debe evaluar?

El contenido de la prueba debe coincidir con los objetivos del

curso, en este caso, con las competencias del mismo.

Los temas fundamentales deben tener más peso que los temas

menos importantes.

El tiempo de evaluación dedicado a cada tema debe reflejar la

importancia relativa del tema.

La muestra de preguntas debe representar los objetivos del

aprendizaje, en este caso, las competencias.




Psicometría

Disciplina que tiene por finalidad el desarrollo de modelos

cuantitativos que permitan “transformar” o codificar hechos en

datos por medio del diseño de métodos adecuados para la

aplicación de tales modelos y conocer las diferencias

individuales de los sujetos en cuanto a sus propiedades,

atributos o rasgos.


Fernández M., Cayssials A., Pérez M. (2009). Curso básico de Psicometría. Teoría Clásica. Editorial Lugar. Buenos Aires, Argentina.


Esta ciencia es la encargada de hacer las mediciones en

Psicología.

Generación o formulación de modelos.




Pruebas

Desarrollo tecnológico derivado de los modelos teóricos.




Niveles de medición

Desde la simple nominación hasta la cuantificación de la

cantidad del atributo que el sujeto posee.



Niveles de medición o tipos de escalas

de Stevens.

Nominal

-Cualifica

-Indica pertenencia a la

categoría

Cualitativo

Ordinal

-Cualifica

-Indica pertenencia

-Ordena

-No unidad de medida común

-No indica cantidad

Semi cuantittativo

Intervalar -Cualifica e Indica

pertenencia

-Ordena

-Indica cantidad

-Unidad de medida común, de medidas

iguales

-Permite todas las operaciones de

cálculo estadístico

-Cero arbitrario

Cuantitativo

De razón o cociente

-Cualifica e Indica pertenencia

-Ordena

-Indica cantidad

-Unidad de medida común, de medidas

iguales

-Permite todas las operaciones de

cálculo estadístico

-Cero real

Cuantitativo




Prueba, test, escala o instrumento psicométrico.

Dispositivo o procedimiento estandarizado para obtener una

muestra del comportamiento de un examinado en un dominio

específico para su posterior evaluación y puntuación utilizando

procedimientos estandarizados.

Cuenta con evidencias empíricas sobre la validez y confiabilidad

de los resultados.




Los reactivos de un test son la mínima unidad distinguible en

el instrumento.

Se trata de pequeñas tareas que el individuo debe realizar

para responder.





Toda prueba Psicometría supone:

Medición de un atributo del sujeto que se ha operacionalizado

desde un modelo teórico.

Noción de escalamiento

Capacidad para discriminar diferencias individuales entre

personas

Validez y confiabilidad

Atributos formales




Operacionalización

Todos los elementos de una evaluación se deben operacionalizar.

Elaboración de una tabla de especificaciones en base a los

objetivos formativos, o bien, a las competencias a evaluar.




¿Qué es el escalamiento?

Posibilidad de traducir las respuestas brindadas en una

puntuación.




Discriminación

Definir si el instrumento es realmente capaz de captar las

diferencias entre los individuos.

En educación médica: poder diferenciar a los estudiantes que sí

saben de los que no.




Confiabilidad

Confianza que podemos tener acerca de que los resultados que

la prueba da al utilizarla.




Validez

Los estudios de validez señalan de qué manera el autor de la

prueba y/u otros expertos aportaron evidencias empíricas de

que el instrumento evalúa lo que verdaderamente pretende

evaluar.

Que el instrumento sirva para medir lo que se pretende medir.




Validez

¿Qué mide el instrumento?

¿Cómo lo mide?




Confiabilidad-consistencia interna

Coeficiente α-Cronbach.

Indicador de grado de covarianza observada entre los reactivos

que conforman la prueba o de la proporción de la varianza del error con respecto a la varianza total restado de 1 (confiabilidad perfecta).




Valores adecuados= 0.8-0.7, el ideal es 0.9 o más.




Finalmente, el grado de importancia de las características

psicométricas de un método de evaluación está determinado

por el objetivo del examen y por las decisiones que se

tomarán en base de los resultados.





En el caso de exámenes que tienen un gran peso en

aprobación del curso los resultados deben ser reproducibles

(precisos, confiables) y exactos (válidos).





Para generar un puntaje reproducible, es necesario elaborar

una muestra con un contenido amplio (es decir, mínimo una

docena casos, o bien, mínimo 100 preguntas de opción

múltiple o preguntas de respuesta breve).




D.R. Dra. Carmina Flores-Domínguez 2013

Para saber más:

Case SM, Downing SM. (1989) Performance of various

multiple-choice item types on medical specialty examinations:

types A, B, C, K, and X. Proceedings of the 28th Annual

Conference on Research in Medical Education, 167-172.

Swanson DB, Case SM. (1992) Trends in written assessment: a

strangely biased perspective. En Harden R, Hart I, Mulholland H

(Eds.), Approaches to the Assessment of Clinical Competence:

Part 1. Page Brothers, Norwich, Inglaterra, 38-53.





Swanson DB, Case SM. (1995) Variation in item difficulty and

discrimination by item format on Part I (basic sciences) and

Part II (clinical sciences) of U.S. licensing examinations. En

Rothman A, Cohen R (Eds.), Proceedings of the Sixth

Ottawa Conference on Medical Education. University of

Toronto Bookstore Custom Publishing, 285-287.

Norman G, Swanson DB, Case SM. (1996) Conceptual and

methodological issues in studies comparing assessment

formats. Teaching and Learning in Medicine, 8(4):208-216.





Case SM, Swanson DB. (1993) Extended-matching items: a

practical alternative to free-response questions. Teaching and

Learning in Medicine, 5(2), 107-115.

