La evaluación educacional en Chile: mediciones nacionales e internacionales

Jorge Manzi

Universidad Católica de Chile

www.mideuc.cl

Distribución Porcentual de población de 25 a 64 años según máximo nivel educativo alcanzado

Jóvenes de 20 a 24 años que completaron la primera y segunda etapa de la secundaria

Una caracterización de las tareas que componen las distintas ocupaciones (Levy y Murnane, 2001)

• Tareas que siguen reglas preestablecidas y bien definidas:– rutinarias manuales: ensamblaje, maquila– rutinarias cognitivas: verificación de datos, bancos

• Tareas que requieren de criterio y/o experticia.– no rutinarias manuales: construcción, servicios

personales– no rutinarias cognitivas: servicios profesionales,

investigación.

Cambios en número de personas ocupadas por tipo de tarea (EEUU 1959-1998). (Levy y Murnane, 2001)

Estos cambios explican el 40% del incremento en la demanda y por ende en la remuneración relativa de los trabajadores con educación superior durante este período.

Las habilidades que se requieren para acceder a los empleos de menor vulnerabilidad según Levy y Murnane

• Saber leer en un nivel de 9º grado.• Competencias matemáticas al nivel de 9º grado. • La habilidad de solucionar problemas semi-

estructurados en los que se requiera probar una hipótesis.

• La habilidad para trabajar en equipo con personas de distintas trayectorias.

• La habilidad para comunicarse de manera efectiva tanto de manera oral como escrita.

• La habilidad para utilizar computadores para realizar tareas sencillas.

Medición Educacional en Chile

• Exámenes de ingreso a universidades: Bachillerato → PAA → PSU

• Medición de logros escolares: PER → SIMCE

• Participación en programas internacionales

• Evaluación de profesores: egresados y en servicio

PRUEBAS DE INGRESO A LAS UNIVERSIDADES

Exámenes de ingreso a las universidades

• Bachillerato (fines del siglo XIX – 1966)– Preguntas abiertas

– Problemas con medición masiva y con aseguramiento de consistencia entre revisores

→

Exámenes de ingreso a las universidades

• PAA (1967 - 2002)– Preguntas de selección múltiple

– 3 pruebas obligatorias, 5 optativas

– Modelo original suponía que aptitudes eran estables, no entrenables y distribuidas en forma equivalente entre examinados de diversos grupos sociales

– Limitada relación con experiencia escolar de examinados

– Pruebas se vinculan con financiamiento a las universidades (AFI)

Exámenes de ingreso a las universidades

• PSU (desde 2003)– 4 pruebas: cada carrera universitaria exige 3 de ellas

(siempre matemática y lenguaje)– Se originan en comisión de expertos, que recomendó

unánimemente que las pruebas fueran reformuladas asegurando su alineamiento con la experiencia escolar de examinados (curriculum de enseñanza media). Se pretende así aprovechar el rol de señal de las pruebas (orientan a estudiantes y profesores) para promover la elevación de los aprendizajes.

– Se basan en modelo que explicita la indisoluble relación entre habilidades cognitivas (aptitudes) y contenidos.

Distribución de Postulantes según Dependencia del Establecimiento Educacional de origen

0

10

20

30

40

50

60%

P. Pagado 17,43 15,69 15,68 14,16 13,01 11,41 10,84 10,02

P. Subvencionado 37,19 38,96 41,62 43,27 44,66 45,58 48,05 48,9

Municipal 45,37 45,35 42,7 42,56 42,33 43,02 41,11 41,08

2002 2003 2004 2005 2006 2007 2008 2009

Porcentaje de Padres con Formación postsecundaria según tipo de Establecimiento Educacional

0

10

20

30

40

50

60

70

80

90%

PART PAG 74,59 77,62 81,18 80,5 81,62 81,97 83,71 84,78

PART SUBV 29,84 30,61 35,64 32,29 32,29 28,39 29,42 29,34

MUNICIPAL 19,4 18,88 21,9 18,49 17,49 14,25 14,62 14,3

2002 2003 2004 2005 2006 2007 2008 2009

Brechas Particulares Pagado vs. Municipales en PSUM y PSUL. Sin ajuste (Sólo alumnos Promoción)

0

25

50

75

100

125

150

Dife

renc

ia P

artic

ular

-Mun

icip

al e

n P

unta

je P

SU

Lenguaje 108 121 112 113 123 135 137 143

Matematicas 117 126 120 120 126 140 148 154

2002 2003 2004 2005 2006 2007 2008 2009

Brechas Particulares Subvencionados vs. Municipales en PSUM y PSUL. Sin ajuste (Sólo alumnos Promoción)

0

25

50

75

100

125

150

Dife

renc

ia P

artic

ular

-Mun

icip

al e

n P

unta

je P

SU

Lenguaje 27 29 29 27 32 36 33 33

Matematicas 26 28 27 23 25 31 31 32

2002 2003 2004 2005 2006 2007 2008 2009

Resumen de Correlaciones con Rendimiento Académico (Validez Predictiva)

Carreras Lenguaje Matemática NEM

2003 (PAA) 771 0,01 0,13 0,23

2004 777 0,07 0,27 0,25

2005 828 0,09 0,23 0,23

2006 859 0,09 0,23 0,22

MEDICIONES DE LOGROS ESCOLARES: SIMCE

SIMCE

• PER (1982) → SIMCE (desde 1988)– Censal

– 3 grados (4o básico, 8o básico, 2o medio)

– Mide los principales sectores de aprendizaje: Matemática, Lenguaje, Ciencias y Ciencias Sociales

– Preguntas de respuesta cerrada y abierta

– Se reporta a nivel agregado

– Conlleva consecuencias para los establecimientos (SNED, programas focalizados)

SIMCE y EQUIDAD (4º básico 2008)

GRUPO SOCIOECONÓMICO

LECTURA EDUCACIÓN MATEMÁTICA

COMPRENSIÓN DEL MEDIO SOCIAL Y CULTURAL

PROMEDIO VARIACIÓN PROMEDIO VARIACIÓN

PROMEDIO

BAJO 240 5 220 1 224

MEDIO BAJO 242 6 226 1 231

MEDIO 260 5 246 -1 250

MEDIO ALTO 281 5 272 1 273

ALTO 303 5 300 4 295

SIMCE y EQUIDAD: Resultados según GSE y Dependencia

GRUPO SOCIOECONÓMICO

LECTURA EDUCACIÓN MATEMÁTICA

MUN PSUB PPAG MUN PSUB PPAG

BAJO (+)242 234 - (+)222 209 -

MEDIO BAJO

242 243 - 226 226 -

MEDIO 255 (+)263 - 241 (+)249 -

MEDIO ALTO

276 (+)282 - 266 (+)273 -

ALTO - 295 (+)304 - 289 (+)302

NACIONAL 247 267 304 231 254 301

PRUEBAS INTERNACIONALES

Participación de Chile en pruebas internacionales

• SIALS 1998: comprensión lectora de población adulta• TIMSS (1999, 2003): dominio en matemática y

ciencias de estudiantes de 15 años• CIVICA 1999-2000: conocimientos y actitudes cívicas

de estudiantes de 8º básico y 4º medio• LLECE (Laboratorio Latinoamericano de Evaluación

de la Calidad de la Educación de la UNESCO) (1997, 2006): lectura, escritura, matemática y ciencias en estudiantes de 3º y 6º básico

Participación de Chile en pruebas internacionales

• PISA (2000, 2006 y 2009): habilidades básicas de estudiantes de 15 años– Foco 2000: Lenguaje– Foco 2006: Ciencias– Foco 2009: Lenguaje. Además se agrega prueba de Lectura

digital: habilidad para acceder, manejar, integrar y evaluar información; construir nuevos conocimientos a partir de textos electrónicos (de los 60 países, 17 incluyen esta habilidad, Chile entre ellos)

SIA

LS:

Dis

trib

uci

ón d

e C

ompre

nsi

ón L

ect

ora

de

adult

os (

Doc

um

ento

s)

0102030405060708090100 Swed

enNor

way Denmar

k Canad

a Finlan

dNeth

erla

nds

Czech

Rep

ublic

United

King

domUnit

ed S

tates Ger

many

New Ze

aland Aus

tralia

Belgium (F

lander

s)

Switzer

land

(Ger

man)

Switzer

land (F

rench

)

Switzer

land (It

alian

)Ire

land Hun

gary

Polan

d Slovenia Por

tugal

Chile

Niv

el4

-5

Niv

el3

Niv

el2

Niv

el1

Rendim

iento

en T

IMSS

2003 d

e

Mat

em

átic

a

200

250

300

350

400

450

500

550

600

650 Sing

apur

Corea

China T

aipei Ja

pón Bélgic

a Holand

a Eston

ia Hungr

ía Malasia

Rusia

Eslova

quia Aus

trali

aEEUU Sue

ciaIsr

aelIta

lia Rumania

Prom

Inte

rnac

ional Norue

ga Macedo

nia El Líb

ano

Iran

Indo

nesia

Egipto Pale

stina

Chile Filip

inas

Arabia

Saudit

aGan

aSudá

frica

Países PISA en 2009: 87% de la economía mundial

Población de estudiantes de 15 años por grado en PISA

Niveles de desempeño en lectura: Interpretación de textos (PISA)

Nivel5 � Interpreta el significado de textos que incorporan sutilezas del lenguaje (por ejemplo textos con figuras literarias, oraciones que utilizan el humor, la ironía o el sarcasmo). Demuestra comprensión plena y detallada del texto.

Nivel4 � Utiliza una inferencia de alto nivel basada en el texto para comprender y aplicar categorías, en un contexto que no le resulta familiar, para interpretar el significado de una sección del texto, considerando el texto completo. Maneja ambigüedades o ideas distintas a las expectativas generadas por el texto e ideas formuladas negativamente.

Nivel3 � Integra diversas partes de un texto para identificar una idea principal, comprende una relación o interpreta el significado de una palabra o frase. Compara, contrasta y clasifica en categorías, tomando en cuenta múltiples criterios. Discrimina entre información relevante que compite entre sí.

Nivel2 � Identifica la idea principal en un texto. Comprende relaciones, define o aplica categorías simples. Interpreta el significado dentro de una parte limitada del texto cuando la información no es relevante y se requieren inferencias de bajo nivel.

Nivel1 � Reconoce el tema principal o el propósito del autor en un texto sobre un tema que le resulta familiar, cuando la información requerida es relevante en el texto.

PISA: Porcentaje de estudiantes en cada uno de los niveles de dominio

Latinoamérica y OCDE: Porcentaje de estudiantes según niveles de desempeño en lectura global

0

10

20

30

40

50

60

70

80

90

100

Argentina

Brasil

Chile

México Per

úLati

noaméric

a

Finlandia

Portugal

Estado

s Unido s

Promedio

OCDE

Nivel 5Nivel 4Nivel 3Nivel 2Nivel 1Bajo 1

Lectura PISA 2000 - 2006Cambio en PISA Lectura: 2000-2006

TIMSS: Distribución de Rendimientos en Matemática según escolaridad de los padres

300

350

400

450

500

550

600

650

700

Sing apur

Corea

Holand

aHun

gríaCan

adáAust

ral iaRep

.Chec

aEEUU

Nueva

Zelan daIta

liaIsr

ael

Indonesia Chil

eFil ip

inasMarru

e cos

Primaria Completa

Universitaria Completa

Secundaria completa

SIA

LS:

Dis

trib

uci

ón d

e C

ompre

nsi

ón L

ect

ora

(Doc

um

ento

s) s

egú

n n

ivel educa

cion

al

180

200

220

240

260

280

300

320

340 Swed

enNethe

rland

s

Czech

Repub

lic Denmar

k Finlan

d Germ

any Nor

way

Belgiu

m (Fla

nder

s)Cana

da

New Z

ealand

United

Kingd

om

Switzerla

nd (F

renc

h)

Switzerla

nd (Germ

an) Portug

al Austral

iaIre

land

Switzerla

nd (I

talian

)Unit

ed Stat

esHun

gary Pola

nd Sloven

iaChil

e

Me

no

s q

ue

se

cu

nd

ari

a

Te

rcia

ria

Co

mp

leta

Se

cu

nd

ari

a c

om

ple

ta

Finlandia

CanadaJaponNueva Zelanda AustraliaPaises Bajos Korea

Alemania Reino UnidoRep. Checa

Suiza

AustriaBelgica IrlandaHungria Suecia

PoloniaDinamarcaFrancia

IslandiaEstados Unidos

EslovaquiaEspaña NoruegaLuxemburgo

ItaliaPortugal Grecia

Turquia

Mexico

IndonesiaArgentinaBrazil ColombiaTunisiaAzerbaijan

CHILE

380

400

420

440

460

480

500

520

540

560

2712172227Fuerte impacto de Condiciones Socioeconómicas

Distribución equitativa en Oportunidades de Aprendizaje

Relación entre Puntaje PISA 2006 e índice de equidad

PISA: Desempeño por alumno según el nivel de gasto en educación

Descomposicón de la Varianza de PISA en ciencias

2,3%

44,7%

5,8%

9,2%

3,4%

8,4%

7,6%

5,0%

6,2%

7,4%

Nivel Estudiante(47%)

Nivel Estudiante(47%)

Nivel Estudiante(47%)

Nivel Sistema26%

Nivel Escuela27%

Explicado por factores de la escuela y el sistema

EVALUACIÓN DE PROFESORES

Antecedentes

• La mayor parte de los países del Mundo miran en la actualidad a la sala de clases y a la escuela como el principal foco de su política educativa.

• Esto ha tornado la mirada a los principales actores en cada ámbito: profesores y personal directivo.

• El desafío es crear sistemas escolares donde profesores y directivos se organicen asegurar que todos los estudiantes progresen en sus aprendizajes

Aspectos claves en una política docente integral

Atraer a los mejores

•Becas

Asegurar buena Formación inicial y en servicio

•FFID (1997-2002)•MECESUP (2005-)•Acreditación

obligatoria de carreras de pedagogía

•Alinear formación con evaluación (Planes de Superación Profesional)

Retener a los mejores

• Incentivos colectivos (SNED)

• Incentivos individuales (AEP – AVDI)

•Carrera docente

Crecimiento de la matrícula en Pedagogía 2000-2007

Tipo de institución 2000 2007 Variación porcentual

Universidades 29.904 86.878 291%Institutos profesionales 5.175 12.501 242%TOTAL 35.079 99.379 283%

Condiciones Laborales: Salario Anual Profesores Educación Primaria en Establecimientos Públicos

0

10 000

20 000

30 000

40 000

50 000

60 000

70 000

80 000

90 000

100 000

Esto

nia

Ch

ile

Hun

gary

Turk

ey

Isra

el

Mexic

o

Cze

ch

Rep

ublic

New

Zeala

nd

Po

rtug

al

Fra

nce

Italy

Icela

nd

Sw

ed

en

Jap

an

Gre

ece

Austr

ia

Fin

land

Belg

ium

(F

l.)

Irela

nd

En

gla

nd

Ko

rea

Austr

alia

No

rway

Sp

ain

Den

mark

Germ

an

y

Sw

itze

rlan

d

Luxem

bo

urg

Do

lare

s A

nu

ale

s

Salario Máximo Salario Inicial Salario 15 años experiencia

Datos obtenidos de Education at a Glance 2008: OECD Indicators - OECD © 2008 -ISBN 9789264046283

Relación entre Salario de Profesores y Resultados PISA Matemática

Datos obtenidos de Informe PISA 2006 y Education at a Glance 2008: OECD Indicators - OECD © 2008 - ISBN 9789264046283

R² = 0.3135

400

420

440

460

480

500

520

540

560

0 10 000 20 000 30 000 40 000 50 000 60 000 70 000 80 000

Med

ias

PIS

A M

atem

átic

a

Salario Anual Profesores 15 años experiencia (Dolar es)

Matemática r= 0,56

Evaluación de profesores

• Asignación de Excelencia Pedagógica– Postulación voluntaria

– Profesores de establecimientos que reciben subvención estatal (Municipales y Particulares Subvencionados)

– Asignación se basa en Portafolio y Prueba de conocimientos pedagógicos y disciplinares

– Medición se basa en estándares de desempeño profesional (Marco para la Buena Enseñanza)

Evaluación de profesores

• Programa Nacional de Evaluación Profesional Docente (Docentemás)– Evaluación obligatoria (basada en ley)– Profesores de establecimientos Municipales– Se basa en acuerdo tripartito entre Ministerio de

Educación, Colegio de Profesores y Asociación de Municipios

– Evaluación se basa en cuatro instrumentos:• Portafolio (evidencia escrita y filmación de una clase)• Autoevaluación• Entrevista de evaluador par• Informe de Director y/o jefe de Unidad Técnico

Pedagógica– Medición se basa en estándares de desempeño

profesional (Marco para la Buena Enseñanza)

Docentemás: ¿Cómo se evalúa?

Se recogen distintas perspectivas acerca del desempeño profesional

del docente. A través de los siguientes instrumentos:

Autoevaluación

Propia perspectiva

Entrevista Evaluador Par

Perspectiva de un colega

Portafolio

Evidencia directa

Informes de Referencia de Terceros

Perspectiva de superior jerárquico

Estructura Portafolio: Productos y Subproductos

Estructura Portafolio: Productos y Subproductos

Evaluación Docente: Comparación de resultados 2005 a 2008

3,83% 2,96% 2,20% 1,14%

38,73%

32,96%35,15%

22,80%

51,42%

58,10%

54,89%

63,92%

6,02% 5,98%7,76%

12,13%

0%

10%

20%

30%

40%

50%

60%

70%

2005 2006 2007 2008

Resultados Finales 2005 a 2008

Insatisfactorio Básico Competente Destacado

Portafolio: Perfil medio en dimensiones

1

1.5

2

2.5

3

3.5

4

Organizac ión

de los

elem entos de

la unidad

Calidad de las

activ idades de

las c lases

Calidad del

instrum ento

de evaluac ión

Utilizac ión de

los resultados

de la

evaluación

Reflexión

sobre su

quehacer

docente

Am biente de la

clase

Estructura de

la c lase

Interacción

pedagógica

Video

Dimensión G: Estructura de la clase

141651416514165N =

PJE_INDG3PJE_INDG2PJE_INDG1

Mea

n +-

1 S

D

3,5

3,0

2,5

2,0

1,5

1,0

IndG.1. Calidad de la estructura de la clase

IndG.2. Utilización del tiempo instruccional

IndG.3. Contribución de las actividades al logro de los objetivos y contenidos de la clase

Distribución de resultado final según uso de computador para trabajo docente

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Menos de dos veces al mes

(6,3%)

Dos veces al mes (4%)

Una vez por semana (27,8%)

Todos los días (61,9)

Insatisfactorio Básico Competente Destacado

mjrobles1

Diapositiva 51

mjrobles1 Eliminamos el chi cuadrado porque ya no coresponde debido a la agrupación de categoríasmjrobles, 19-03-2009

Aspectos que inciden en la evaluación docente (Fuente: Valencia, 2009)

• Aspectos del profesor– Mayor formación en servicio

– Poseer Asignación de Excelencia Pedagógica

– Trabajar en un establecimiento

• Aspectos del establecimiento– Mayor proporción de otros docentes con

Asignación de Excelencia Pedagógica

– Altas expectativas académicas de los padres

– (No influye la condición socioeconómica y ruralidad del establecimiento)

Los buenos profesores hacen la diferencia (Fuente: SIMCE Informe Nacional 2008)

El Informe Nacional 2008 incluyó una sección donde comparó el rendimiento Medio de los estudiantes en el SIMCE según el número de profesores bienEvaluados a los que habían estado expuestos en los 4 años previos. Las comparaciones se hicieron al interior de cada grupo socioeconómicoPara controlar su efecto.

Evaluación de Egresados de Pedagogía• En 2008 se creó el Programa INICIA para apoyar la

renovación de la formación docente.

• El programa incluye una evaluación diagnóstica de los egresados de pedagogía

• La evaluación apunta a:– Conocimientos en el ámbito disciplinario donde el

futuro docente se desempeñará

– Conocimientos generales de educación y pedagogía

– Competencias pedagógicas fundamentales

– Competencias generales.• Habilidades de comunicación escrita;

• Competencias computacionales (con un foco en el uso pedagógico de la computación).

Puntaje PSU de ingreso Egresados de Pedagogía

• 64% de los alumnos examinados proviene deinstituciones cuyo promedio de ingreso víaPSU es inferior a los 500 puntos.

Nota: el número de instituciones se basa en aquellas con al menos 8 estudiantes con datos PSU

PSU Promedio Instituciones Estudiantes

Menor a 450 9 774

451-500 7 300

501-550 12 496

Mayor que 550 2 119

INICIA: Porcentaje de respuestas correctas Prueba de conocimientos

• Diferencia de desempeño entre generalistas y pruebas de 2º ciclo es estadísticamente significativa.

Prueba Alumnos que rinden Promedio Porcentaje de Respuestas Correctas

Generalista 1720 47%

Lenguaje Segundo Ciclo 115 42%

Matemática Segundo Ciclo

105 39%

Sociedad Segundo Ciclo 42 40%

Naturaleza Segundo Ciclo

11 36%

INICIA: Resultados en Prueba de conocimientos, según PSU de egresados

Resultados de esta prueba están directamente relacionados con puntaje PSU de ingreso de los examinados

Puntaje PSU Porcentaje de Respuestas Correctas

450 o menos 40%

451 – 500 45%

501 – 550 51%

Mayor que 550 63%

Conclusiones• Ampliación sostenida de la base de mediciones en

nuestro sistema educacional.• Perfeccionamiento y modernización de los

instrumentos empleados• Mediciones son el aspecto más visible del sistema

educacional ante la opinión pública.– Determinan la percepción social y política acerca del

progreso educacional.– Generan gran atención y debate cuando se producen

cambios, como lo demuestra el reciente cambio en las pruebas de admisión a las universidades.

• Necesidad de asegurar un marco político-institucional consensuado para crear el ambiente necesario para los desarrollos técnicos que requiere la medición educacional

Conclusiones• Las mediciones nacionales e internacionales

han ratificado el fuerte impacto que en nuestro país poseen los antecedentes socioeconómicos.

• Mayor varianza socioeconómica entre escuelas que al interior de ellas (efecto composicional)

• Necesidad de aprovechar las mediciones para orientar políticas que resuelvan los nudos centrales en la educación chilena:– Profesores: atraer, formar, retener y desarrollar

los mejores talentos– Directores: promover un auténtico liderazgo

pedagógico

Conclusiones

• Mediciones internacionales revelan importantes distancias con respecto a las aspiraciones de logro en educación.

• Bajos rendimientos nacionales también se manifiestan en nuestra elite

• Por tanto: se requiere que las mediciones educacionales apoyen la elevación de los aprendizajes:– Alineamiento de las mediciones con expectativas

nacionales de aprendizaje o rendimiento– Incorporar sistemas de información y retroalimentación

que faciliten las decisiones educacionales a nivel de escuelas y sala de clases

Conclusiones

• Las mediciones externas no han permeado suficientemente el sistema escolar:– Insuficiente preparación docente en medición– Insuficiente apropiación y aprovechamiento de

la información disponible – Necesidad de generar sistemas de monitoreo de

los aprendizajes con información útil para decisiones pedagógicas (incluyendo información individual y agregada acerca del progreso de los estudiantes)

– Insuficiente atención a los temas de comunicación de resultados (aunque SIMCE es uno de los sistemas más avanzados en este ámbito)

– Regular las consecuencias asociadas a las mediciones

La evaluación educacional en Chile: mediciones nacionales e internacionales

Jorge Manzi

Universidad Católica de Chile

www.mideuc.cl