Evaluaciones muestrales, cíclicas, a gran escala

Cuadernillo de prueba + cuestionarios de contexto

Rigor metodológico:

• Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos…

• Selección de la muestra

• Traducción de materiales, aplicación, corrección, limpieza de datos…

• Análisis TRI de las respuestas Dificultad de los ítems y puntuación lograda por los alumnos

Informes internacionales comparativos

RASGOS COMUNES DE LOS ESTUDIOS DE

EVALUACIÓN INTERNACIONALES

EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS

DESCRIPTOR

BLOQUES DE CONTENIDOS • Números • Álgebra • Geometría • Funciones y Gráficas • Estadística y Probabilidad • Contenidos comunes

Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO

ítems

Prepilotaje

Pilotaje

Estudio principal

Análisis de resultados

Elaboración de una prueba

Respuesta de elección múltiple

Respuesta cerrada

Respuesta abierta construida

Respuestas abiertas

Matriz de especificaciones

estímulo

UN

IDA

D

OBJETIVO DE LOS ESTUDIOS

PIRLS Y TIMSS

Evaluar la comprensión lectora (PIRLS) y el rendimiento en matemáticas y ciencias (TIMSS) tras cuatro años de escolarización obligatoria (4º de Educación Primaria en España)

¿Qué evaluar? Contenidos curriculares comunes en todos los países participantes en la evaluación

Obtener información comparada entre los distintos países participantes y medir las tendencias entre ciclos.

Proporcionar información sobre: El contexto de aprendizaje: alumno, familia y centro escolar. Las actitudes de los alumnos hacia la lectura, las

matemáticas y las ciencias. El uso que hacen los alumnos del tiempo libre. Factores que favorecen el entorno de aprendizaje y la

eficacia de la escuela (recursos, métodos, clima, etc.)

PIRLS

PIRLS Progress in International Reading Literacy Study

Estudio Internacional de Progreso en Comprensión Lectora

Periodicidad Cada cinco años

Organización IEA (Asociación Internacional para la Evaluación del Rendimiento

Educativo)

Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)

Último año aplicación 2011

Cuestionarios de

contexto

Alumno, profesores, centro y padres

Otras informaciones Competencia evaluada: Comprensión lectora.

Próxima aplicación: 2016

La IEA, fundada en 1958, lleva a cabo estudios internacionales de evaluación educativa a gran escala.

TIMSS

TIMSS Trends in International Mathematics and Science Study

Estudio Internacional de Matemáticas y Ciencias

Periodicidad Cada cuatro años

Organización IEA (Asociación Internacional para la Evaluación del Rendimiento

Educativo)

Edad/Nivel educativo 4º Educación Primaria (9 – 10 años)

Último año aplicación 2015. Informe en noviembre de 2016

Cuestionarios de

contexto

Alumno, profesores, centro y padres

Otras informaciones Competencias evaluadas: Matemáticas y Ciencias.

Próxima aplicación: 2019

MARCO TEÓRICO DEL

ESTUDIO PIRLS

La noción de lectura en PIRLS

Habilidad para comprender

Habilidad para construir significados

Aprender a leer

Leer para aprender y disfrute personal

Evalúa tres aspectos en la comprensión lectora

PROPÓSITOS DE LECTURA

• Leer para informarse y aprender (50%)

• Leer para disfrutar (50%)

PROCESOS COGNITIVOS •Obtener información (10%+10%) •Hacer inferencias (15%+15%) •Interpretar e integrar (15%+15%) •Analizar y evaluar (10%+10%)

ACTITUD Y HÁBITOS DE LECTURA

CUESTIONARIOS DE CONTEXTO

• Alumnos • Padres o tutores legales • Profesores • Directores de centro

CUADERNILLOS DE LA PRUEBA

•Textos literarios (50%)

•Textos informativos (50%)

Preguntas o ítems para evaluar los

procesos cognitivos

Cada texto: • 750 a 900 palabras (3 a 5 páginas) • 10 a 15 preguntas

MARCO TEÓRICO DEL

ESTUDIO PIRLS

DOMINIOS DE CIENCIAS

DOMINIOS DE MATEMÁTICAS

DOMINIOS COGNITIVOS COMUNES • Conocer (40%) • Aplicar (40%) • Razonar (20%)

DOMINIOS DE CONTENIDO

• Números (50%) • Formas y mediciones

geométricas (35%) • Representación de

datos (15%)

ÁREAS TEMÁTICAS

CAPACIDADES EVALUABLES

HABILIDADES Y DESTREZAS

DOMINIOS DE CONTENIDO • Ciencias de la vida (40%) • Ciencias físicas (40%) • Ciencias de la Tierra (20%)

ÁREAS

TEMÁTICAS

CAPACIDADES EVALUABLES

MARCO TEÓRICO DEL

ESTUDIO TIMSS

La obtención de resultados representativos y fiables, y la distribución por niveles requiere gran número de ítems Distribución de cuadernillos por bloques (Balanced Incomplete Block - BIB)

• Textos literarios: PRLit1 a 5 + PLLit3 • Textos informativos: PRInf1 a 5 + PLInf3 • Cuadernillo “Lecturas”: triple frecuencia • Seis textos (3+3) de anclaje para medir tendencias

DISEÑO DE LAS

PRUEBAS EN PIRLS

APLICACIÓN DE LAS PRUEBAS

Preparación de los

alumnos

(10 minutos)

Primer texto 40 minutos

Descanso 15 minutos

Preparación (5 minutos)

Segundo texto

40 minutos

Cuestionario del alumno

(10-30 minutos)

Preparación de los

alumnos

(10 minutos)

Primera parte

36 minutos

Descanso 15 minutos

Preparación (5 minutos)

Segunda parte

36 minutos

Cuestionario del alumno

(10-30 minutos)

INSTRUMENTOS PARA CONOCER LOS FACTORES DE CONTEXTO

CUESTIONARIOS DE CONTEXTO • Alumnos • Padres o tutores legales • Directores de los centros • Profesores

ENCYCLOPEDIA Información de cada país sobre su sistema educativo y el currículo de Lectura, Matemáticas y Ciencias

PIRLS

TIMSS

Contexto personal, social, escolar Sexo, fecha de nacimiento, lengua hablada en casa, número de libros en casa, recursos en

casa y frecuencia de uso, interés de los padres en las tareas escolares, opinión sobre el colegio y bienestar en el mismo.

Hábitos de lectura (PIRLS) Lectura fuera del colegio: tiempo de lectura, motivación para leer, tipos de lectura y

frecuencia de lectura de cada una, frecuencia de asistencia a bibliotecas, frecuencia de préstamos de bibliotecas, etc.

Lectura en clase: frecuencia, hábitos en clase, métodos del profesorado, gusto por la lectura, interés por los temas leídos, autoconcepto en lectura, autoevaluación de su propia lectura, interés de sus padres, etc.

Aprendizaje de las matemáticas y de las ciencias (TIMSS) Gusto por las matemáticas y las ciencias, autoconcepto, percepción de su utilidad,

percepción de la clase de matemáticas y ciencias y de la metodología del profesorado, etc.

CUESTIONARIOS DE CONTEXTO

CUESTIONARIOS DE CONTEXTO

Contexto personal, antecedentes, satisfacción general Edad, años de experiencia como docente, sexo, nivel de estudios, especialidad en educación,

matemáticas, ciencias o lengua, entorno del centro, satisfacción general, recursos, uso de ordenadores, participación y colaboración con el profesorado, formación continua, trabajo en equipo, etc.

Trabajo general con la clase PIRLS/TIMSS Número de alumnos (y en 4º primaria), alumnos con dificultades en lengua evaluada, materia

que enseña, hábitos de trabajo, distribución del tiempo de clase, dificultades que entorpecen su tarea docente (alumnos con sueño, ACNEE, problemáticos, sin interés, etc.), frecuencia en la relación con los padres.

Trabajo con la clase PIRLS/TIMSS en lectura, matemáticas y ciencias Materiales, hábitos, distribución de los tiempos, alumnos que necesitan refuerzo de la materia,

tipos de lectura, tiempo dedicado a corrección, felicitación, tipo de deberes para casa, importancia concedida a los distintos aspectos del currículo, modo de evaluación, recursos (biblioteca, ordenadores, calculadoras, etc.)

CUESTIONARIOS DE CONTEXTO

CUESTIONARIOS DE CONTEXTO

Características generales del centro Número total de alumnos y en cuarto de primaria, entorno socioeconómico, tipo de

población, lengua materna de los alumnos, horario lectivo y de apertura del centro, número de ordenadores disponibles para los alumnos, existencia de biblioteca y su dotación, laboratorio de ciencias, recursos generales del centro y en particular para la enseñanza de la lectura las matemáticas y las ciencias, etc.

Funcionamiento del centro Tipo y frecuencia de la relación con los padres, ambiente general del centro (disciplina,

puntualidad, respeto, interés del alumnado, expectativas del profesorado, instrumentos de evaluación del profesorado, distribución del tiempo de actividades de la dirección etc.

¿Qué saben los alumnos antes de entrar al colegio? Actividades relacionadas con lectura, matemáticas y ciencias

Preparación de los alumnos al entrar en el colegio, curso en que se incide en diferentes hábitos y estrategias lectoras, atención dedicada a la lectura y escritura, medidas para alumnos con otra lengua materna, etc.

CUESTIONARIOS DE CONTEXTO

CUESTIONARIOS DE CONTEXTO

Contexto general Persona que rellena el cuestionario, lengua hablada en casa, asistencia a Educación

Infantil del hijo, edad al entrar en el colegio, nivel de estudios, tipo de trabajo, expectativas sobre los estudios de su hijo, número de libros generales e infantiles en casa, frecuencia de uso de algunos recursos en casa (enciclopedias, ordenadores, DVD, Internet, etc.)

Actividades relacionadas con el colegio Actividades y “logros” al entrar en el colegio, tiempo empleado por su hijo en hacer los

deberes, hábitos con los hijos, ayuda prestada, interés por las actividades relacionadas con el colegio, opiniones sobre el colegio, etc.

Actividades personales y con los hijos en relación con la lectura Hábitos familiares relacionados con la lectura con los hijos antes de entrar en el colegio

(leer, cantar, contar cuentos, juegos de letras, de construcción, puzzles, etc.), frecuencia de lectura personal, tipos de lectura, gusto por la lectura, etc.

PREGUNTAS LIBERADAS

Todas las preguntas liberadas en http://www.mecd.gob.es/inee/Preguntas-liberadas.html

Preguntas liberadas TIMSS y PIRLS http://evaluacion.educalab.es/timsspirls/

Titularidad del centro

Tamaño

Modalidad de enseñanza lengua cooficial

Comunidad Autónoma

Otros

SELECCIÓN DE LA MUESTRA

MUESTRA DE PIRLS Y TIMSS:

2011

PIRLS 2011 Madrid España Internacional

Alumnos 643 8.580 254.914

Centros 20 312 1.756

Profesores 28 402 3.263

Grupos 28 403 4.173

TIMSS 2011 Madrid España Internacional

Alumnos 655 4.183 261.339

Centros 20 151 923

Profesores 28 200 2.854

Grupos 28 200 2.953

RESULTADOS PIRLS Y TIMSS

EN 2011

568

558

556

554

552

552

548

546

545

542

541

541

541

541

539

539

538

535

531

530

529

528

527

526

520

513

507

506

Finlandia

Irlanda del Norte

Estados Unidos

Dinamarca

Irlanda

Inglaterra

Canadá

Países Bajos

República Checa

Suecia

Italia

Alemania

Portugal

Israel

Hungría

Madrid

MEDIA OCDE

República Eslovaca

Nueva Zelanda

Eslovenia

Austria

Lituania

Australia

Polonia

Francia

España

Noruega

Bélgica (C. francesa)

PIRLS 2011: Lectura PAÍSES PARTICIPANTES OCDE …Finlandia consigue el mejor rendimiento de los participantes de la OCDE, con 30 puntos por encima de la media. …Madrid obtiene una puntuación igual a la media de la OCDE. … España, junto con Noruega y Bélgica (Comunidad Francesa) son los países con puntuaciones más bajas De la OCDE.

RESULTADOS PIRLS Y TIMSS EN 2011

605

562

549

545

542

541

540

537

534

532

528

527

522

516

515

513

511

508

508

507

507

504

495

486

482

481

469

462

Corea

Irlanda del Norte

Bélgica (C. Flamenca)

Finlandia

Inglaterra

Estados Unidos

Países Bajos

Dinamarca

Lituania

Portugal

Alemania

Irlanda

MEDIA OCDE

Australia

Hungría

Eslovenia

República Checa

Italia

Austria

Madrid

República Eslovaca

Suecia

Noruega

Nueva Zelanda

España

Polonia

Turquía

Chile

TIMSS 2011: Matemáticas PAÍSES PARTICIPANTES OCDE … Corea consigue el mejor rendimiento de los Países de la OCDE con 83 puntos por encima de La media. …Madrid obtiene una puntuación igual al promedio de Italia, Austria, República Eslovaca y Suecia y a 15 puntos de distancia por debajo de la OCDE. … La distancia de España con la media OCDE es mayor en TIMSS-matemáticas (40 puntos) que en PIRLS-lectura (25 puntos).

RESULTADOS PIRLS Y TIMSS EN 2011

587

570

559

544

536

534

533

533

532

532

531

529

528

528

524

523

522

520

517

516

516

515

509

505

505

497

494

480

463

Corea

Finlandia

Japón

Estados Unidos

República Checa

Hungría

Suecia

Madrid

Austria

República Eslovaca

Países Bajos

Inglaterra

Dinamarca

Alemania

Italia

MEDIA OCDE

Portugal

Eslovenia

Irlanda del Norte

Irlanda

Australia

Lituania

Bélgica (C. Flamenca)

España

Polonia

Nueva Zelanda

Noruega

Chile

Turquía

TIMSS 2011: Ciencias PAÍSES PARTICIPANTES OCDE … Corea consigue el mejor rendimiento de los países de la OCDE. …Madrid obtiene una puntuación superior en Ciencias que la media de la OCDE (10 puntos) y en Lengua y Matemáticas. … España está a menor distancia de la media OCDE en Ciencias que en Lengua y Matemáticas

MUESTRA DE PIRLS 2016 EN LA

COMUNIDAD DE MADRID

Diseño Muestra PIRLS - BILINGÜE 2016 Programa Nº de Centros - Grupos

(1 Grupo en cada Centro)

Idioma de la

prueba

Nº de

submuestras

Ordinario 80 Español 80

Bilingüe (2012 y

anteriores)

80 Español (1º día) 80

Inglés (2º día) 80

TOTAL 160 240

Muestra Madrid 2016 (Estimación) Referencias:

- Nivel 4º de Educación Primaria (Exentos E.E. e Internacionales)

- Centros Bilingües: Inicio programa 2012 y anteriores

Públicos Concertados/Privados

No bilingües 496 427

Bilingües 276 96 (Concertados)

TOTAL 772 523

GRACIAS