EDUARDO BACKHOFF ESCUDERO INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN

MÉXICO, D.F., NOVIEMBRE DE 2013

MODELOS COGNITIVOS EN LA EVALUACIÓN DE LAS

CIENCIAS

VII Conferencias Internacional sobre la Enseñanza Indagatoria de la Ciencia en Educación Básica «La Evaluación del

Aprendizaje de la Ciencia: tendencias y retos» México D.F., noviembre de 2013

PROPÓSITO DE LA PONENCIA Propósito General •  Justificar el uso de modelos cognitivos para evaluar el

aprendizaje de los estudiantes. Propósitos específicos •  Describir la importancia de la evaluación del aprendizaje,

tanto dentro como fuera del aula. •  Ejemplificar el uso de modelos cognitivos para la evaluación

de ciencias. •  Caracterizar a las evaluaciones de ciencias que realiza el

INEE y la OCDE. •  Concluir sobre la necesidad de avanzar a evaluaciones que

se sustentes en modelos cognitivos y que se administren por computadora.

EL USO DE LAS EVALUACIONES

•  Las evaluaciones de logro escolar proporcionan información útil para que los docentes, directivos, estudiantes y padres de familia tomen decisiones para mejorar los aprendizajes.

•  Los fines para los cuales se utilizará una evaluación determinarán los componentes de las distintas fases de su diseño, elaboración e interpretación.

EVALUACIONES DE AULA: FORMATIVA •  En el contexto del aula, los buenos maestros utilizan

diversas formas de avaluar a sus estudiantes: pruebas, observación del alumno, proyectos y tareas escritas, y conversaciones con los estudiantes.

•  Dado que este tipo de evaluación tiene el propósito de ayudar al alumno a aprender, se le refieren como evaluación formativa.

•  Está muy bien documentado que los estudiantes aprenden más cuando reciben retroalimentación sobre las particulares de su trabajo escolar.

EVALUACIÓN DE AULA: SUMATIVA

•  Otro tipo de evaluación que se utiliza para tomar decisiones en el ámbito educativos es el que se realiza para determinar si un estudiante ha alcanzado un cierto nivel de competencia después de completar una etapa de la educación.

•  A este tipo de evaluación se le denomina evaluación de logro, o evaluación sumativa.

•  Algunas de las formas más conocidas de evaluación sumativa son las que utilizan los docentes en sus cursos, tales como los exámenes de fin de cursos.

EVALUACIÓN EXTERNA DE GRAN ESCALA

•  Las evaluaciones de gran escala que se administran por personal externo a la institución proporcionan información relevante y comparativa sobre el logro de los estudiantes.

•  Debido a que estas evaluaciones se realizan en tiempos muy espaciados y con un desfase temporal, rara vez proporcionan información oportuna a los profesores y estudiantes que pueda utilizarse para tomar decisiones en el salón de clases.

USO DE LAS EVALUACIONES DE GRAN ESCALA

•  Recientemente, los tomadores de decisiones empiezan a considerar que las evaluaciones de logro educativo de gran escala representan una herramienta muy poderosa para cambiar lo que sucede al interior de las aulas y de las escuelas.

•  Es un hecho que en el mundo las evaluaciones ahora son vistas como una forma no sólo de medir el desempeño, sino también de cambiarlo.

LIMITACIONES AL INTERPRETAR LOS RESULTADOS

•  Aun cuando se cumplan estos criterios de una evaluación, se debe tener cuidado para no generalizar los resultados y llegar a conclusiones que no se apoyan en las evidencias.

•  Por ejemplo, un profesor cuyos alumnos obtienen puntuaciones altas en un examen, no necesariamente es mejor que uno cuyos alumnos tienen puntuaciones más bajas.

•  La calidad de los insumos, tales como las características de entrada de los estudiantes y los recursos educativos disponibles, deben también ser considerados.

VALIDEZ DE LAS EVALUACIONES

•  Para que sean útiles las evaluaciones de aprendizaje, deben ser válidas (así como confiables y equitativas).

•  Dos definiciones de validez:

1.  La validez se sustenta en la evidencia empírica y en la teoría que dan sentido a las interpretaciones de los resultados de la evaluación.

2.  Una prueba es válida para medir un atributo si y sólo si el atributo existe y si las variaciones de la medición son producidas causalmente por las variaciones en los atributos.

LA EVALUACIÓN COMO UN PROCESO DE RAZONAMIENTO BASADO EN LA EVIDENCIA

•  Una evaluación es una herramienta diseñada para observar el comportamiento de los estudiantes y generar información útil para concluir sobre lo que saben los estudiantes.

•  La evaluación nos dice qué tipo de evidencia está disponible para dilucidar acerca de las competencias de las personas examinadas.

•  Lo que uno cree acerca de la naturaleza del aprendizaje influirá sobre los tipos de datos de evaluación que se buscan y sobre las inferencias que se deduzcan.

TRIÁNGULO DE LA EVALUACIÓN DE PEREGRINO Y COL. (2001)

Son tres los elementos claves para diseñar una evaluación que mida el aprendizaje: un modelo de cognición, uno de observación y uno de interpretación.

Modelo de cognición

Modelo de observación

Modelo de interpretación

MODELOS GENERAL Y ESPECÍFICO DEL APRENDIZAJE •  El modelo de cognición del estudiante debe

contener dos niveles de especificidad: un modelo general de cómo se aprende y uno que explique el aprendizaje en un dominio específico.

•  El modelo de observación debe basarse en las creencias y supuestos acerca de los tipos de evidencias de las competencias de los estudiantes que la evaluación debe proporcionar.

•  El modelo de interpretación debe servir para encontrarle sentido a la información que proporciona la evaluación.

COGNICIÓN Y APRENDIZAJE

•  El componente de la cognición en el diseño de una evaluación se refiere a una teoría (o conjunto de creencias) acerca de cómo los estudiantes representan el conocimiento en lo general y desarrollan una competencia en lo particular .

•  La evaluación será más eficaz si el diseñador comienza con un modelo cognitivo del aprendizaje, explícito y claramente conceptualizado.

•  Este modelo debe reflejar la explicación científica más verosímil sobre la forma en que los estudiantes representan los conocimientos y se vuelven expertos en un dominio.

EXPERIMENTO DE SIEGLER (1)

•  Examinó cómo las personas desarrollan una comprensión de los componentes subyacentes al principio del esfuerzo de torsión (torque).

•  Presentó a niños de diferentes edades el tipo de balanza que se muestra en la figura, que incluye un punto de apoyo que rota (fulcro).

Balanza escalada con dos brazos

EXPERIMENTO DE SIEGLER (2) •  El brazo de la balanza se puede inclinar a la

izquierda o a la derecha o, bien, permanecer nivelado, dependiendo de cómo los pesos sean dispuestos sobre las clavijas.

•  La tarea del estudiante es predecir el comportamiento del brazo de la balanza.

•  Dos variables influyen en el resultado: 1.  la cantidad de peso de cada lado del fulcro 2.  la distancia del peso al punto de giro.

•  Para resolver estos problemas se debe combinar proporcionalmente el peso y la distancia al fulcro.

REGLAS QUE UTILIZAN LOS ESTUDIANTES PARA RESOLVER PROBLEMAS DE BALANCEO (1 Y 2)

Regla I: Si el peso es el mismo en ambos lados, se predice que se equilibrará la balanza. Si el peso es diferente, se predice que se inclinará del lado con más peso.

Regla II: Si un lado tiene más peso, se predice que la balanza se inclinará de ese lado. Si los pesos de los dos lados son iguales, se elegirá el lado que tiene el peso más lejos el fulcro.

REGLAS UTILIZAS POR LOS ESTUDIANTES PARA RESOLVER PROBLEMAS DE BALANCEO (3 Y 4) Regla III: Si tanto el peso como la distancia son iguales, se predice que la balanza quedará equilibrará. Si un lado tiene más peso o distancia, y los dos lados son iguales en la otra dimensión, se predice que pasará el lado con el mayor valor en la dimensión desigual. Si un lado tiene más peso y al otro lado más distancia, se adivinará la respuesta.

Regla IV: Procede como en la regla anterior, a menos que un lado tenga más peso y el otro más distancia. En ese caso, se calcula el torque al multiplicar el peso por la distancia de cada lado. Así se predice qué lado con mayor esfuerzo de torsión será hacia donde se incline la balanza.

PROBLEMAS DISEÑADOS PARA OBSERVAR LAS REGLAS QUE SE UTILIZAN EN EL BALANCEO (1)

1. Problemas de equilibrio: la misma configuración de pesas en las clavijas a cada lado del fulcro.

2. Problemas de peso: cantidades desiguales de pesos, equidistantes entre el fulcro. 3. Problemas de distancia: iguales cantidades de pesos, diferentes distancias del fulcro.

4. Problemas de conflicto de peso: un lado con más peso, al otro lado con el peso más lejos del fulcro, y la balanza se inclina del lado con mayor peso.

PROBLEMAS DISEÑADOS PARA OBSERVAR LAS REGLAS QUE SE UTILIZAN EN EL BALANCEO(2)

5. Problemas de conflicto de distancia: un lado con más peso, al otro lado con más distancia, y el la balanza se inclina del lado con la mayor distancia.

6. Problemas de conflicto de balanceo: el conflicto habitual entre peso y distancia, donde hay un equilibrio en la balanza.

INTERPRETACIÓN

Tipo  de  problema Balance

Peso

Distancia

Conflicto  peso

Conflicto  Distancia

Conflicto  balance

Reglas

I                                                II                                                III                                                IV

100                                    100                                        100                                          100

100                                    100                                        100                                          100

     0                                    100                                        100                                          100

100                                    100                                          33                                          100

     0                                            0                                              33                                            100

     0                                            0                                              33                                            100

(Rs:  Balance)

(Rs:  Azar)

(Rs:  Derecha) (Rs:  Derecha) (Rs:  Azar)

(Rs:Derecha) (Rs:  Derecha) (Rs:  Azar)

LA EVALUACIÓN DE LAS CIENCIAS NATURALES: EL CASO DEL INEE

•  Los Exámenes para la Calidad y el Logro Educativos evalúan los conocimientos y habilidades que se establecen en los planes y programas de estudio del currículo nacional.

•  Entre sus principales características destacan: de tipo criterial, alineados al currículo nacional, establecen cuatro niveles de logro, y sus reactivos son de opción múltiple.

•  Las evaluaciones de 2008 y 2012 se centran en los contenidos de los programas de Biología correspondientes.

EJEMPLO DE UN REACTIVO DE EXCALEL: NIVEL AVANZADO

Una mujer que tiene un ciclo menstrual regular empezó su menstruación el 4 de septiembre. ¿Aproximadamente, en qué día ocurrirá la ovulación?

a) El 4 de septiembre b) El 28 de septiembre c) Entre el 10 y el 12 de septiembre d) Entre el 15 y el 21 de septiembre

LA EVALUACIÓN DE LAS CIENCIAS NATURALES EN PISA

•  Para PISA la competencia científica es “La capacidad de usar el conocimiento científico, identificar cuestiones y extraer conclusiones basadas en pruebas que les permita comprender y tomar decisiones sobre el medio natural y los cambios que sufre por la acción humana”.

•  Se distinguen tres dimensiones interconectadas para la evaluación de las ciencias: conceptos, procesos y situaciones.

•  Los conceptos científicos se derivan de la física, la química y la biología, y los temas se seleccionan por su conexión con situaciones cotidianas, su interés para los alumnos y su cercanía con la ciencia.

EJEMPLO DE UNA FAMILIA DE PREGUNTA DE PISA DE CIENCIAS NATURALES

…las estatuas llamadas Cariátides, …fueron erigidas…hace más de 2,500 años. Las estatuas están hechas de un tipo de roca llamada mármol, …[que] está compuesto de carbonato de calcio. En 1980 …las estatuas originales estaban siendo corroídas por la lluvia ácida.

PREGUNTA 1. La lluvia normal es ligeramente ácida porque ha absorbido algo del dióxido de carbono del aire. La lluvia ácida es más ácida que la lluvia normal porque además ha absorbido gases como óxidos de azufre y óxidos de nitrógeno. ¿De dónde vienen los óxidos de azufre y los óxidos de nitrógeno que hay en el aire? ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

CONCLUSIONES (1) •  Las fortalezas de las evaluaciones reside en su adhesión

a las teorías del aprendizaje; sus limitaciones se reflejan en la medida en que no logran capturar la amplitud y riqueza de la competencia que se evalúa.

•  Hay preocupación sobre si las evaluaciones utilizadas, tanto internas como externas al aula, capturan la complejidad del aprendizaje que se enfatiza en la actualidad.

•  Desgraciadamente, muchas evaluaciones no se centran en los aspectos cognitivos que la investigación indica; asimismo, no se diseñan para captar los aspectos críticos de comprensión de los estudiantes.

CONCLUSIONES (2)

•  Aunque hay diferencias grandes en las evaluaciones del INEE y PISA, ninguna de las dos utiliza modelos cognitivos explícitos como los propuestos por Siegler.

•  Para poderlo hacer se requeriría: 1. adoptar un modelo cognitivo eficaz para evaluar cada

uno de las competencias científicas de interés y 2. trascender del formato de lápiz y papel a uno

computarizado, que permita la evaluación de habilidades cognitivas en aplicaciones de gran escala.

•  Hoy en día, los llamados Generadores Automáticos de Ítems permiten producir reactivos que se basan en modelos cognitivos, con lo cual se avanzaría considerablemente en materia de evaluación de las ciencias.