Embed Size (px)
Citation preview
1
INFORME DE CONSULTORÍA
2
Proyecto: USAID/LEER Y APRENDER
Estudio Exploratorio de Variables del Docentes Asociadas al Rendimiento de
Lectura en Niños de Tercero Primaria Atendidos por el Proyecto
“Leer Y Aprender/USAID”
Producto 2.2.
Consultor: Mario Raúl Moreno Grajeda.
Especialista en Estadística y Psicometría
Marzo de 2016
3
Introducción
El presente informe pretende determinar los factores o variables de los maestros que son
capaces de afectar (de manera positiva o negativa) o no afectar el nivel de lectura de los
estudiantes del proyecto intervenidos por el Proyecto Leer y Aprender de USAID/JUAREZ
(LEA) en Guatemala, el cual está siendo ejecutado en el occidente del país, en poblaciones
mayoritariamente indígenas, específicamente en los departamentos de Huehuetenango,
Quetzaltenango, Quiche, San Marcos y Totonicapán.
Debido a que el objetivo primordial de un sistema educativo dentro de un país de
proporcionar a los ciudadanos habilidades y conocimientos que les permita desenvolverse de
mejor manera en el mundo en el que viven, además debe recudir las diferencias de oportunidades
(Backhoff, Bouzas, Hernández, y García, 2007), el LEA ha concebido el aprendizaje para la vida
como una automotivación que debería contemplar aspectos como la inclusión social, autonomía
y responsabilidad ciudadana, competitividad, empleabilidad, desarrollo personal y sensación de
bienestar. De dicha cuenta el LEA es un proyecto educativo que apoya al Ministerio de
Educación de Guatemala (MINEDUC) y al sistema educativo del país en el aprendizaje de la
lectura tanto de idioma español como en un idioma maya para que ello se convierta en una
herramienta cognitiva para que los estudiantes puedan desarrollar competencias para la vida, con
énfasis en aprender a leer y leer para aprender.
La lógica de explorar los factores o variables de los maestros es que el LEA tiene un
componente de lectura que se enfoca en (a) la implementación de mejoras técnicas y dedicación
de tiempo para la enseñanza de la lectura, (b) generación de materiales de lectura para los
estudiantes, (c) aumento la enseñanza de la lectoescritura en español y en el idioma materno de
los estudiantes, y (d) desarrollo de evaluaciones para medir el progreso de aprendizaje de lectura.
4
Esto es de particular importancia para el área de acción del LEA debido a que, en estos
departamentos, los resultados de las pruebas nacionales han mostrado bajos porcentajes de logro
ubicados debajo del promedio nacional (los cuales han sido 51.71% en 2010, 46.63% en 2011 y
49.93% en 2014), con la excepción de Quetzaltenango cuyos porcentajes son similares al
promedio del país, (Quim & Santos, 2015).
Por tal motivo, para el LEA se hace necesario explorar los factores docentes (e.g.,
utilización de materiales pedagógicos, uso de técnicas de evaluación de aprendizajes, desarrollo
de actividades de vocabulario y lectoescritura entre otros) que puedan influir sobre el
rendimiento de escritura de los estudiantes en el área de acción del proyecto.
Objetivos
El presente informe tiene el objetivo de determinar e informar sobre los factores o
variables del maestro que están asociados al nivel de lectura de los estudiantes bajo la
intervención del LEA.
Metodología
El nivel de lectura de los estudiantes puede ser determinado mediante pruebas de
estandarizadas. Los resultados de dichas pruebas también son útiles para determinar los factores
asociados a los niveles de lectura cuando se incluye un cuestionario que recopila información
adicional de estudiantes y docentes. Los factores asociados al rendimiento son habitualmente
todas aquellas variables que tienen un impacto positivo o negativo sobre el desarrollo de dicha
habilidad. En un lenguaje no técnico, los factores asociados son aquellas acciones o
características del entorno de los estudiantes, que tienen la capacidad de crear una situación que
ayude u obstaculice el aprendizaje, en este caso de la lectura, del estudiante. Por ejemplo, el
5
desarrollo de actividades de lectoescritura. Otro ejemplo seria la experiencia docente con que
cuenta el maestro. Un ejemplo final seria, la cantidad de alumnos que atiende el maestro.
Los factores asociados a tomar en cuenta en cualquier estudio de factores asociados
depende de varias situaciones tales como el objetivo del análisis, la estructura anidada de los
datos, la disponibilidad de los datos, etc. Sin embargo, en términos generales, los factores
asociados suelen provenir de las jerarquías de anidación que tengan los datos. Por ejemplo,
factores asociados del estudiante, del docente (salón de clase), de la escuela, de distrito, etc. Es
importante señalar que los estudiantes están anidados dentro de los docentes, los docentes dentro
de escuelas y así sucesivamente. Esta son las estructuras de anidación. Regularmente los factores
asociados más comunes que se utilizan en los análisis son los del estudiante y del docente (e.g.,
informes de factores asociados del MINEDUC).
Tomando en cuenta lo anterior, el presente estudio de factores asociados utilizó una base
de datos proporcionada por el proyecto LEA, la cual fue generada mediante la colección de
información para determinar el crecimiento en lectura obtenido por los estudiantes del proyecto.
Esto hace que el estudio de factores asociados sea un análisis secundario con una base de datos
ya existente. Un aspecto a mencionar, es que cuando se trabaja análisis de factores asociados,
los datos de los estudiantes se ubiquen en una base de datos y los datos de los docentes se
ubiquen en otra base de datos. Esto depende del software que se trabaje (e.g., HLM 7.0).
Para iniciar el análisis, se limpiaron las bases de datos tanto de los estudiantes como de
los maestros. Una vez las bases de datos estuvieron limpias y etiquetadas, se procedió a eliminar
variables tanto de estudiante como de maestros. Se eliminó aquellas variables que se
consideraron que no están asociadas al rendimiento de lectura. Por ejemplo, el grado en el que
estudian los hermanos del niño evaluado. Adicionalmente, se crearon variables a partir de las ya
6
existentes. Por ejemplo, variables de solo dos opciones de respuestas (dicotómicas), que ayudan
en el análisis a realizar comparaciones entre grupos específicos.
Variables del estudiante
Los factores asociados al rendimiento escolar pueden no ser parte del proceso de
enseñanza. Es decir que no solo aquellas actividades intra y extra-aula hacen que un estudiante
pueda aprender, sino también las características sociodemográficas, tanto de un alumno como de
un maestro pueden ser consideradas como factores asociados. En este sentido, estos factores
afectan de forma diferente el proceso de aprendizaje de los estudiantes; es decir no todos los
alumnos aprenden al mismo ritmo. Por ejemplo, en una clase de computación, es muy probable
que aquellos estudiantes con un Estatus Socioeconómico (SES) más alto aprendan más que
aquellos alumnos con un SES más bajo. Esto posiblemente se deba a que aquellos alumnos con
un SES más alto, han estado previamente expuestos al uso de una computadora en casa, mientras
que los alumnos con un SES más bajo no hayan estado expuestos a tal uso.
El proyecto LEA requirió explícitamente hacer una exploración de las variables de
maestros que afectan el nivel de lectura de los estudiantes de dicho proyecto. Sin embargo, se
consideró prudente incluir algunas variables selectas de los estudiantes que pudieran servir de
variables control. Al incluir estas variables, las estimaciones de los modelos pueden aproximarse
mas a la realidad, debido a que estudiantes con características diferentes podrían aprender de
diferente manera, influyendo así en su rendimiento escolar.
En el análisis se utilizaron solamente 7 variables de los estudiantes, las cuales son (a)
Post puntaje (variable de respuesta), (b) Pre puntaje de lectura, (c) genero del estudiante, (d)
cantidad idiomas que habla el estudiante, (e) pre primaria, (f) capital cultural del estudiante.
7
Variables de los maestros
Como se mencionó anteriormente, los factores asociados pueden provenir de las
diferentes jerarquías en las que se encuentran anidados los datos. Las variables de los maestros
provienen de una jerarquía mayor, la cual contiene a los datos de los estudiantes. Estas variables
también pueden afectar el rendimiento de los estudiantes, ya que se supone la existencia de
variabilidad de las características de los docentes, que influyen de manera diferente sobre el
aprendizaje de los estudiantes. Es decir, los maestros presentan diferentes características que de
una u otra forma impactan a los estudiantes. Por ejemplo, cada grupo de estudiantes proveniente
de diferentes salones de clase reciben clases con maestros con diferentes años de experiencia.
En el presente análisis de factores asociados se utilizaron 21 variables que se listan a
continuación: La edad del docente, género del maestro, idioma materno del docente, idioma en
que el docente imparte sus clases español, competencia que tiene el docente en idioma español,
competencia que tiene el docente en idioma maya, tipo de contrato laboral del docente, cantidad
de niños y niñas que el maestro atiende, si el docente estudia actualmente, si el docente recibe
visitas de un acompañante pedagógico para apoyar su labor docente, tiempo en horas que el
docente dedica durante la semana al desarrollo de las siguientes sub áreas del CNB (idioma
español), cantidad de periodos que el docente dedica a la semana a la enseñanza de
lectoescritura, si el docente utiliza libros de texto en L1 para la enseñanza de lectoescritura, si el
docente utiliza libros de texto en L2 para la enseñanza de lectoescritura, acceso que el docente
tiene acceso a libros de cuentos en idioma indígena. En el anexo de este documento se presenta
una nota técnica en la cual se explica la codificación de las variables.
Adicionalmente, se incluyeron en el modelo 6 variables compuestas: (a) formación del
docente, (b) participación en comunidades de aprendizaje, (c) actividades de monitoreo y
8
evaluación de los aprendizajes, (d) actividades para mejorar la comprensión lectora de los
estudiantes y (e) actividades para mejorar el vocabulario de los estudiantes. Estas variables
fueron construidas con el modelo Rasch, el cual produjo puntajes continuos. Estos puntajes están
unidades denominadas como logitos (logits) y regularmente se encuentran en un rango de -3 a 3.
Para la revisión de la construcción de estas variables, se recomienda al lector solicitar al LEA el
informe pertinente de la construcción de dichas escalas.
Un dato importante a considerar es que de los 102 maestros incluidos en la base de datos
de los alumnos, solamente 94 de ellos se encontraron en la base de datos de los docentes, por lo
cual el análisis fue realizado con 94 maestros.
Estadísticas descriptivas de las variables utilizadas
Para tener una apreciación de las distribución de los valores de cada variable utilizada en
el análisis, las Tablas 1 y 2 presentan un resumen descriptivo que incluye el tamaño de la
muestra (n), la media, la desviación estándar y los valores mínimo y máximo. La tabla 1 presenta
las variables utilizada a nivel de estudiante sin hacer discriminaion por maestro. Por otro lado la
tabla 2 presesenta los datos descriptivos para las variables de los del nivel de maestros.
Tabla 1
Estadísticas descriptivas de variables en el nivel-1(estudiantes)
Variables n Media Desviación Estándar Mínimo Máximo
Puntajes 1366 0.03 0.79 -4.36 3.74 Pre-puntajes 1268 -0.25 0.95 -3.83 5.12 Género del estudiante 1270 0.47 0.5 0 1 Idiomas que habla el estudiante 1273 0.41 0.49 0 1
¿Estudiaste preprimaria antes de entrar a primer grado? 1196 0.73 0.44 0 1
Capital cultural 1366 4.14 1.89 0 6
9
Tabla 2
Estadísticas descriptivas de variables en el nivel-2 (maestros)
Variable N Media Desviación Estándar Mínimo Máximo
Edad del docente 94 36.81 7.40 24.00 57.00 Género del docente 94 0.59 0.50 0.00 1.00 Idioma materno del docente 94 0.52 0.50 0.00 1.00 Idioma en que el docente imparte sus clases Español 94 0.86 0.35 0.00 1.00 Competencias en idioma Español 94 3.36 1.37 0.00 4.00 Competencias en idioma Maya 94 1.74 1.77 0.00 4.00 Tipo de contrato Laboral 94 0.81 0.39 -0.02 1.0 Cantidad de niños atendidos al momento de la evaluación 94 16.69 12.05 4.00 90.00 Cantidad de niñas atendidas al momento de la evaluación 94 13.79 7.66 0.00 61.00 ¿Estudia actualmente? 94 0.37 0.49 0.00 1.00 Recibe visitas de un acompañante pedagógico para apoyar su labor docente? 94 0.64 0.70 -0.44 2.59 Cuanto tiempo en HORAS durante la semana dedica al desarrollo de las siguientes sub-áreas del CNB: Idioma español 94 7.28 7.43 -18.56 41.23 Cuantos periodos a la semana dedica a la enseñanza de lectoescritura 94 5.57 4.51 -7.61 40.00 Utiliza libros de texto en L1 para la enseñanza de lectoescritura? 94 0.72 0.45 0.00 1.00 Utiliza libros de texto en L2 para la enseñanza de lectoescritura? 94 0.70 0.46 0.00 1.00 ¿Tiene acceso a libros de cuentos en idioma indígena? 94 0.38 0.49 0.00 1.00 Formación docente 94 -0.90 2.21 -3.39 5.83 Participación en comunidades de aprendizajes 94 0.47 2.25 -4.71 3.14 Monitoreo y Evaluación de Aprendizajes 94 -0.54 1.92 -5.19 2.43 Actividades de Lectoescritura 94 -0.10 1.86 -3.15 4.50 Actividades de Vocabulario 94 -0.01 1.52 -2.48 3.04
10
Modelos
En total se ajustaron seis modelos multinivel, tres de ellos no estuvieron anidados (un
modelo no incluye las variables del otro). Sin embargo, los últimos dos modelos si anidaron a los
modelos anteriores. La lógica de ajustar modelos no anidados radica en el hecho que las
variables de cada modelo fueron agrupadas de acuerdo a características distintivas de los
docentes, además de tener modelos más parsimoniosos. Por ejemplo, un modelo incluyó
variables de tipo demográficas, otro modelo variable de contexto, etc.
Modelo 1: Modelo Incondicional
El análisis se inició ajustando un modelo completamente incondicional. El modelo
incondicional no incluye covariables (variables predictoras), pero necesariamente debe incluir
una variable de respuesta. En este caso la variable de respuesta es el rendimiento que tuvieron los
estudiantes en lectura (rendimiento post). El modelo fue ajustado para determinar la correlación
intra-clase y determinar si es necesario controlar la estructura anidada de los datos. La
correlación intra-clase es una medida que determina el grado de correlación de las observaciones
o mediciones, pero también refleja como varían los resultados promedios de lectura de maestro a
maestro (porcentaje de varianza entre maestros). Ver anexo para detalles metodológicos.
Regularmente el coeficiente de regresión del modelo incondicional (γ00) no tienen ningún
uso, pero refleja el promedio general del puntaje de todos los grupos asociados a cada maestro.
Es decir, cada maestro tiene un grupo de estudiantes y cada grupo tiene un promedio, entonces
este coeficiente refleja el promedio de todos los grupos. Por el contrario, los efectos aleatorios, la
varianza de nivel-1 y del nivel-2, son los que se utilizan para el cálculo de la correlación intra-
clase. En otras palabras la varianza del nivel-1 es varianza de los resultados de los estudiantes
alrededor de la media de su grupo, mientras que la varianza del nivel 2 es la varianza de los
11
promedios de los grupos alrededor de la media de todos los grupos. La Tabla 3 muestra los
estadísticos asociados al modelo regresión incondicional. Aquí se puede ver que el valor del
promedio de todos los grupos es 0.0446 logits.
Tabla 3
Efectos fijos con errores estándar robustos del modelo incondicional.
Efectos fijos Coeficiente Error Estandar t Approx.
grados de libertad Valor-p
For INTRCPT1, β0 INTRCPT2, γ00 0.0446 0.0486 0.918 93 0.361
El modelo también proporción las varianzas entre estudiantes y las varianzas entre grupos
de estudiantes. De aquí en adelante llamaremos maestros a los grupos de estudiantes porque los
estudiantes se encuentran anidados dentro del maestro. Entonces la varianza entre maestros fue
de 0.1795 y la varianza entre estudiantes fue de 0.4289. Utilizando estos resultados se determinó
que la correlación intra-clase de los puntajes de los estudiantes fue de 0.295. Dicho valor se
considera relativamente alto, con lo cual justifica la utilización de modelos que ayudan a hacer
estimaciones más precisas cuando los datos presentan estructuras anidadas. Aunque el valor de
la correlación intra-clase es alto, este se encuentra en el rango de valores de estudios
internacionales (Zopluoğlu, 2012) lo que apoya aún más la idea de utilizar modelos que se
ajustan en este reporte.
Modelo 2: Variables demográficas del maestro
Los modelos a los cuales se les introducen variables se les conoce como modelos
condicionales, ya que las variables condicionan de alguna manera los punteos de los estudiantes
que el modelo predice. Contrario al modelo incondicional, en modelos condicionales la
correlación intra-clase carece de importancia, pero lo que gana importancia son las valores
12
estimados de los coeficientes de regresión ya que dichos valores representan el impacto sobre los
puntajes de los estudiantes. En otras palabras, representan la magnitud de la asociación entre los
puntajes de los estudiantes y las variables. Por otro lado, las varianzas obtenidas en este modelo
son útiles para determinar algo que se llama Pseudo R2. Este estadístico (El Pseudo R2 ) ayuda a
definir que tan bien el modelo predice los puntajes de los estudiantes. De tal manera que
mientras su valor sea más alto, el modelo predice mejor los puntajes, ocurre lo contrario si el
Pseudo R2 es cercano a cero. El Pseudo R2 también es un indicador que sugiere que proporción
o porcentaje de la varianza de los puntajes (diferencias de puntajes entre estudiantes) es
explicada por las variables incluidas en el modelo. En otras palabra, ayuda a determinar, por
ejemplo, si la experiencia docente provoca diferencias entre los puntajes obtenidos por los
estudiantes. Así pues, el Pseudo R2 fue estimado para el nivel de maestros con el fin de
determinar la cantidad de varianza explicada entre docentes. Sin embargo, para este modelo, no
se estimó el Pseudo R2 para el nivel estudiante debido a que no se incluyó variables en el nivel
de estudiante. Al no haber variables de estudiantes en el modelo, no es posible explicar la
diferencias entre los resultados debido a variables del nivel mencionado. La forma matemática
del modelo se presenta en el anexo metodológico.
En el Modelo 2 se consideraron seis variables que, en la literatura son conocidas como
variables demográficas. Estas variables pertenecientes al maestro son la edad, género, idioma
materno, competencia en idioma español, competencia en idioma indígena, tipo de contrato y si
el maestro estudia actualmente.
13
La Figura 1 muestra las únicas dos variables que presentaron un impacto sobre los
resultados de lectura de los estudiantes. Para ampliar la información de los resultados de este
modelo, referirse a la tabla 4 en el anexo.
Figura 1. Variables con un impacto positivo sobre los puntajes de lectura de los estudiantes, Modelo 2.
La primera variable es el género del docente (γ02 = 0.249 y p = .009). Esta variable fue
codificada como 1=mujer, 0=otro. Esto permite comparar los grupos de maestras y los grupos de
maestros. La Figura 1 indica que la variable género presenta un efecto positivo sobre los
resultados de los estudiantes, sugiriendo que el promedio de puntaje de estudiantes cuyos grupos
son enseñados por maestras es mayor que el puntaje promedio de estudiantes cuyos grupos son
enseñados por maestros, la diferencia entre ambos grupos es de 0.249 logits. La segunda variable
fue el tipo de contrato con cuenta el maestro (γ06 = 0.338 y p = .007). En dicha variables el valor
1 significa que los grupos de estudiantes tienen un maestro con contrato en el renglón
presupuestario 011 y cero en cualquier otro caso. Esto quiere decir que, el puntaje promedio de
los grupo de estudiantes cuyos maestros cuentan con contrato laboral 011 fue mayor que el
0.249
0.338
00.050.1
0.150.2
0.250.3
0.350.4
Género (γ02) Tipo de Contrato (γ06)
Impa
cto
Variables
14
puntaje promedio de los grupos de estudiantes cuyos maestros tienen contrato laboral diferente
de 011. La diferencia entre ambos grupos fue de 0.338.
El modelo 2 mostró un poder predictivo modesto puesto que el Pseudo R2 (0.1463)
explicó 14.63% de la varianza de los puntajes en el nivel del maestro. Esto quiere decir que las
diferencias de los resultados entre los diferentes grupos de estudiantes (grupos que son
enseñados por maestros) se debió en 14.62% a las diferencias de género y a las diferencias del
tipo de contrato entre maestros.
Modelo 3: Variables de contexto
El tercer modelo fue ajustado con variables que reflejan el contexto de la enseñanza que
realizan los maestros. En total se introdujeron nueve variables. Dichas variables fueron idioma
en que se imparte docencia, cantidad de niños atendidos, cantidad de niñas atendidas, si el
docente recibe visitas de un acompañante pedagógico para apoyar su labor, cantidad de horas
durante la semana que dedica al desarrollo de idioma español, cantidad de periodos a la semana
que dedica a la enseñanza de lectoescritura, utilización de libros de texto en L1 para la enseñanza
de lectoescritura, utilización de libros de texto en L2 para la enseñanza de lectoescritura, acceso
a libros de cuentos en idioma indígena. Al igual que el modelo dos, el presente modelo no
incluyó variables en el nivel de estudiante. Tanto las características de cada una de estas
variables utilizadas en este modelo, así como el modelo respectivo están especificados en el
anexo de este documento.
La Tabla 5, ubicada también el anexo, muestra los resultados del modelo. En dicha tabla
se puede observar que ninguna de todas las variables incluidas afectó los puntajes de los
estudiantes. Dicho de otra manera, si el modelo está bien especificado, los resultados sugieren
15
que las diferencias de puntajes entre los grupos de estudiantes se deben a cualquier otro factor,
menos a los utilizados para la construcción del modelo 3.
Modelo 4: Variables construidas con el modelo Rasch
El Modelo 4 incluyó una serie de variables que fueron construidas combinando diversas
variables. La construcción de las variables fue realizada a través de modelo Rasch (escalas). En
total se utilizaron 5 variables que son la formación del docente, comunidades de aprendizajes,
monitoreo y evaluación de los aprendizajes, actividades de lectoescritura y actividades para
fortalecer el vocabulario de los estudiantes. Debido a la naturaleza de la construcción de dichas
variables, ellas son de carácter continuo y están expresadas en unidades llamadas “logits” o
“logitos”. La representación matemática del Modelo 4 se encuentra en los anexos.
Para profundizar más sobre las propiedades y construcción de estas variables, el lector puede
referirse al producto 2 asociado a la presente consultoría. El documento puede ser facilitado con
el consentimiento y autorización de las autoridades del proyecto LEA.
Los resultados del modelo se presentan en la Tabla 6 (ver anexos). Los resultados
sugieren que ninguna variable tuvo efecto alguno sobre los puntajes de lectura de los grupos de
estudiantes. Esto resultados son sorpresivos debido a que hipotéticamente, al menos, las
actividades de lectoescritura y las actividades para fortalecer el vocabulario de los estudiantes
debieron haber presentado algún tipo de efecto, ya que estas tienen relación con la lectura.
El modelo presentó un poder predictivo casi nulo, ya que su Pseudo-R2 fue 0.94%, lo cual
quiere decir que respecto del modelo incondicional, el Modelo 4 explica en menos del 1% de la
variabilidad de los resultados de lectura. Esto quiere decir que, las diferencias entre los puntajes
de los grupos de estudiantes se deben a otros factores diferentes a los evaluados en este modelo.
16
Modelo 5: Todas las variables
Este modelo incluyó las variables de todos los modelos anteriores, la razón de ajustar este
modelo fue para examinar si algunas de las variables incluidas en los modelos anteriores
cambiaba su significancia estadística. Esto quiere que decir que el impacto o no impacto de las
variables podría cambiar de estatus por la presencia de otra variable. Dicho de otra forma, una
variable que en un modelo previo presentó un impacto, en el presente modelo podría presentar no
impacto y viceversa. Estos puede suceder debido a que las variables podrían haber estado
correlacionadas con otras variables o moderadas por otras variable. Las variables moderadoras
son aquellas que afectan la relación entre variables independientes y la variable dependiente.
A continuación se mencionan las variables utilizadas en el ajuste del modelo 5. Del
Modelo 2 se tomaron las siguientes variables del maestro: edad, género, idioma materno,
competencia en idioma español, competencia en idioma indígena, tipo de contrato y si el maestro
estudia actualmente. Por otro lado, las variables utilizadas del Modelo 3 fueron, idioma en que se
imparte docencia, cantidad de niños atendidos, cantidad de niñas atendidas, recibe visitas de un
acompañante pedagógico para apoyar su labor docente, cantidad de horas durante la semana que
dedica al desarrollo de idioma español, cantidad de periodos a la semana que dedica a la
enseñanza de lectoescritura, utilización de libros de texto en L1 para la enseñanza de
lectoescritura, utilización de libros de texto en L2 para la enseñanza de lectoescritura, acceso a
libros de cuentos en idioma indígena. Finalmente del Modelo 4 se tomaron las variables,
formación del docente, comunidades de aprendizajes, monitoreo y evaluación de los
aprendizajes, actividades de lectoescritura y actividades para fortalecer el vocabulario de los
estudiantes.
17
Al igual que los modelos anteriores, la representación matemática del modelo y la
codificación de las variables se presentan en la nota técnica al final de este documento.
La Figura 2 muestra el efecto en los modelos anteriores y el efecto obtenido en este
modelo sobre los resultados de los puntajes. Las barras blancas con bordes negros representan el
efecto encontrado en algún modelo anterior, mientras que las barras negras representan el efecto
o impacto en el Modelo 5. Además, un asterisco sobre el valor del efecto representa una
significancia al 10%, dos asteriscos significancia al 5% y tres asteriscos significancia al 1%. Los
valores sin asterisco, representan la ausencia de impacto.
Figura 2. Comparación del impacto de las variables del Modelo 5 con otros modelos.
18
El ajuste del Modelo 5 mostró cambios en las variables Edad del docente, actividades de
lectoescritura y actividades de vocabulario. En el modelo 1, la variable edad del docente no tuvo
significancia estadística (γ01 = 0.008, p=0.277). Sin embargo en este modelo, la misma variable
tuvo una significancia estadística al 10% (γ01 = 0.0118, p=0.092). Este resultado implica tres
cosas. Primero, que en el Modelo 5 la variable edad si tiene un efecto sobre lectura. Segundo,
que el efecto sugiere que por cada año de edad adicional que tienen los maestros, los puntajes de
lectura aumentan en 0.0118 logits en promedio. Tercero, que es posible la existencia de una
variables que correlacione o modere el efecto que la edad del docente sobre el rendimiento de
lectura. Es importante notar que la edad del maestro puede estar asociada a su experiencia
laboral, puesto que al mismo tiempo que aumenta su edad también aumenta su experiencia, esta
podría ser una posible causa del incremento del puntaje de los estudiantes.
La variable actividades de lectoescritura no tuvo significancia estadística en el Modelo 4
(γ20 = 0.068, p=0.117); sin embargo, en el presente modelo dicha variable presentó una
significancia al 10% (γ20 = 0.0631, p=0.093). Esto significa, que en el Modelo 4 la variable en
cuestión no presentó efecto alguno sobre los puntajes de escritura, mientras que en el Modelo 5
sí presenta un impacto de .063 logits. Esto quiere decir que en la medida que aumenta una unidad
el punteo de las actividades de lectoescritura, el puntaje promedio de los estudiantes aumenta en
0.068 logits en promedio. De igual forma, en el Modelo 4, la variable actividades de vocabulario
no tuvo significancia estadística, mientras que en el presente modelo dicha variable fue
significativa estadísticamente (γ21 = -0.1167, p=0.031). Esto significa que la variable en cuestión,
en este último modelo, mostró un efecto sobre los puntajes de los estudiantes. Sin embargo su
efecto fue negativo, indicando que en promedio por cada unidad que aumenta la variable de
actividades del vocabulario, el puntaje de lectura tiende a disminuir en .1167 logits.
19
Por otro lado, la variable género del docente siguió siendo estadísticamente significativa
(γ02 = 0.278, p = .003) en este modelo. Al igual que en el Modelo 1, en donde la variable tipo de
contrato tuvo significancia estadística (γ6 =0.338, p= 0.007), en el presente modelo dicha
variable también tuvo significancia estadística (γ6 = 0.2852, p= 0.034). La interpretación es la
misma que en el Modelo 1. Estos resultados sugieren que ninguna de las variables introducidas
en el Modelo 5 afectó la relación entre las variables género del docente y puntajes de lectura, y
entre las variables tipo de contrato y puntajes de lectura.
Finalmente, el Pseudo R2 (0.108) del nivel-2 del modelo tuvo un poder predictivo
relativamente bajo, pero explica 10.8% de la varianza de los puntajes.
Modelo 6: Variables a nivel del estudiante
El Modelo 6 se ajustó incluyendo variables en el nivel del estudiante. Las variables que
se incluyeron fueron solamente cinco, las cuales son el pre-puntaje de la prueba (X1j), el género
del estudiante (X2j), idiomas que habla el estudiante (X3j), si el estudiante estudio pre primaria
(X4j) y el capital cultural del estudiante (X5j). La representación matemática de este modelo así
como sus resultados (Tabla 8) se muestran en el apéndice de este documento.
La Figura 3 muestra las variables que tuvieron un cambio en su significancia estadística,
ya sea que dejaron de ser estadísticamente significativa o viceversa.
20
Figura 3. Comparación del impacto de las variables del Modelo 6 con otros modelos.
Al incluir las variables del estudiante, algunas variables del nivel-2 del modelo perdieron
significancia estadística mientras que otras que antes no eran significativas pasaron a serlo.
Específicamente, la variable W1j dejó de ser significativas al 10%. Esto quiere decir que, la edad
del maestro ya no tuvo efecto alguno sobre los resultados de los estudiantes. Sin embargo la
variable W4j paso a ser una variable estadísticamente significativa (γ04 = 0.0677, p = 0.011) al
5%. Lo cual significa que la competencia que tiene el maestro en idioma español impacta
positivamente los puntajes de los estudiantes cuando se controla por variables del alumno. El
impacto de dicha variable sobre el puntaje de los estudiantes es de 0.064 logits. Esto quiere decir
que por cada unidad que aumenta la competencia del maestro en idioma español, el puntaje
0.01
2* 0.06
0
0.28
5**
-0.1
49 -0.0
89
0.07
3***
-0.1
17**
0.00
3 0.06
8**
0.24
9***
-0.1
36**
-0.1
49*
0.02
6
-0.0
71**
*
-0.200-0.150-0.100-0.0500.0000.0500.1000.1500.2000.2500.3000.350
Edad, γ01
Com
petencia Idioma Espanol,
γ04
Tipo de Contrato, γ06
Docente estudia, γ07
Docente im
parte clases en idiom
a Espanol, γ08
Actividades de
Lectoescritura,γ020
Actividades de
Vocabulario,γ021
Modelo Anterior
21
promedio de los alumnos incremente en 0.064 logits. La variable tipo de contrato aun es
significativa en este modelo, sin embargo dejó de ser significativa al 5% y paso a ser
significativa al 1%. Su efecto siguió siendo positivo y se interpreta igual que en el modelo
anterior. Otra variable que paso a ser significativa con la inclusión de variables del alumno fue la
variable W7j (γ07=-0.136, p = 0.041); sin embargo el impacto que esta variable es negativo. En
otras palabras, los resultados promedio de estudiantes en el grupo de docentes que estudia es
menor por 0.136 logits comparado con los resultados promedio de los estudiantes en el grupo de
docentes que no estudia.
De forma similar, otra variable que presentó cambios en su significancia estadística fue la
variable W8j, ya que paso de no tener significancia a tener significancia al 10% (γ80 = -0.148, p =
0.095). En otras palabras, el puntaje promedio de los alumnos de los docentes que imparten sus
clases en idioma español está por debajo de puntaje promedio de los alumnos cuyos docentes no
imparte sus clases en idioma español en .148 logits, en promedio.
De igual forma la variable W18j paso a tener significancia estadística (γ18 = -0.026, p =
0.089) al 10% con la inclusión de las variables del estudiante. Esto quiere decir que, en la medida
que aumenta el en una unidad el puntaje de los docentes en la escala de comunidades de
aprendizaje, el puntaje promedio de los estudiantes disminuye en 0.026 logits.
Lo contrario sucedió con la variable W20j, la cual fue significativa en el Modelo 5, pero en
este modelo dejo de ser significativa al 10%. De igual manera la variable W21j dejo de ser
significativa al 5%, pero aun es significativa al 10%, la interpretación de esta variable es igual
que antes.
22
Figura 4. Efectos de las variables del estudiante sobre el nivel de lectura.
En relación a las variables del estudiante, la variable pre-puntajes (X1ij) de los estudiantes
mostró tener alta significancia estadística (γ10 =0.198, p < 0.001). Lo cual se interpreta que a
nivel de estudiante el pre puntaje influye en los resultados de los estudiantes así: por cada logit
que aumenta el pre puntaje de lectura, el post puntaje aumente en 0.198.
De igual forma la cantidad de idiomas que habla un estudiante (X3ij) tuvo significancia
estadística (γ30 =0.185, p = 0.003). Esto indica el grupo de estudiantes que habla más de un
idioma, tiene un promedio mayor (en .185 logist) que el grupo que solo habla un idioma.
Respecto al poder predictivo del modelo, el Pseudo-R2 tuvo un valor de 0.71 en el nivel-2
del modelo, mientras que le nivel-1 del modelo tuvo un Pseudo –R2 de 0.238
Conclusiones y Recomendaciones
En este informe se han presentado 6 modelos multinivel que permiten determinar la
magnitud de la correlación intra-clase (modelo 1) y los factores que afectan el nivel de lectura
(modelos 2 al 6) en las escuelas intervenidas por el programa Leer y Aprender de
USAID/JUAREZ.
0.198***
0.022
0.185***
0.042
0.0010.000
0.050
0.100
0.150
0.200
0.250
Pre-puntaje, β1 Género del estudiante, β2
Idiomas que habla el estudiante, β3
El estudiante estudio pre primaria , β4
Capital cultural del estudiante, β5
23
La correlación intra-clase mostró tener un nivel significativo (0.295) sugiriendo que la
utilización de modelos multinivel, para explorar los factores asociados a lectura, está más que
justificada.
La evidencia sugiere que el género del docente, así como la condición contractual del
docente tuvieron un impacto positivo sobre el rendimiento de los estudiantes, cuando solo se
incluyeron variables demográficas de los docentes. Esto sucedió en todos los modelos. Un
estudio cualitativo podría ayudar a determinar cuales son las razones por las cuales se presentan
estos resultados.
Contrario a la creencia popular que no hay nada que hacer con aquellas variables sobre
las que no se tiene control (e.g., género del docente), bien se podrían establecer políticas
educativas o programas de capacitación enfocados a maestros de género masculino para cerrar la
brecha encontrada. De igual manera, programas de capacitación docente pueden orientase a
aquellos docentes que trabajan bajo renglones presupuestarios diferentes al renglón 011. Estos
programas de capacitación o políticas educativas bien podrían orientarse con un estudio previo
que ayude a conocer las practicas de enseñanza que realizan los maestros y maestras.
Los modelos 3 y 4 sugieren que ninguna de las variables del contexto laboral del docente
así como las variables construidas que son la formación del docente, comunidades de
aprendizajes, monitoreo y evaluación de los aprendizajes, actividades de lectoescritura y
actividades para fortalecer el vocabulario de los estudiantes no tuvieron ningún efecto sobre los
niveles de lectura del estudiante.
El modelo cinco y sugirió la existencia de variables moderadoras, aunque no se
identificaron, a nivel del maestro, las cuales moderan la relación entre el nivel de lectura y la
edad del docente, actividades para mejorar lectoescritura y actividades para mejorar el
24
vocabulario. Esto se debe a que al introducir todas las variables del nivel-2 en el modelos, la
variables mencionadas cambian su status de significancia estadística. Esto podría sugerir que
aumento la enseñanza de la lectoescritura en español no solo depende de actividades para
mejorar lectoescritura y actividades para mejorar el vocabulario si no también otras variables.
De igual manera el modelo seis sugirió la existencia de variables moderadores a nivel del
estudiante que moderan la relación entre el rendimiento de lectura y la edad del docente,
actividades para mejorar lectoescritura y actividades para mejorar el vocabulario. Esto se debe a
que al introducir todas las variables de los estudiantes, la variables mencionadas cambiaron su
status de significancia. Estas variables son el género del maestro (dejo de ser significativa), la
competencia que tienen los docentes en idioma español (paso a ser significativa), impartir clases
en idioma español (paso a ser significativa al 10%), actividades para mejorar la lectoescritura
(dejo de ser significativa al 10%) y actividades para mejorar el vocabulario (dejo de ser
significativa al 5% pero aun significativa al 10%).
Hay que toma en cuenta que el hecho que una variable tenga significancia estadística, no
implica que el impacto de una la variable sea causal. Esto se debe a que el análisis desarrollado
es de tipo correlacional (u observacional) ya que en ningún momento los docentes fueron
asignados aleatoreamente a ninguna condición especifica. Por ejemplo. Los docentes no fueron
asignados aleatoriamente a tener contrato laboral 011 o no tenerlo. Debido a esta falta de
aleatoriedad, no es posible que atribuir un impacto causal. Esto abre una ventana de
investigaciones para poder diseñar hacia el futuro estudios de tipos causal, especialmente con las
variables que tuvieron significancia estadística. Estos estudios de tipo causal pueden
desarrollarse a través de la técnica de emparejamiento por puntajes de propensión. Por ejemplo,
si se desea determinar una estimación causal del tipo de contrato docente sobre los rendimientos
25
de lectura, se pueden hacer un emparejamiento de docentes con contrato 011 y con otro tipo de
contrato a través de puntajes de propensión. Estos puntajes de propensión son obtenidos a través
del uso de regresiones logísticas. Para mayor detalle de la técnica de emparejamiento por
puntajes de propensión se recomienda revisar Pai y Bai (2015).
Limitaciones del análisis
La mayor limitación que se encontró al desarrollar el análisis fue la alta existencia de
valores perdidos. Por tal razón no se pudo utilizar una serie de variables de los maestros. Esto se
debe a que el software HLM no permite valores perdidos en el nivel dos.
26
References
Backhoff, E., Bouzas, A., Hernández, E. y García, M. (2007). Aprendizaje y Desigualdad Social
en México. Retrieved from
http://www.oei.es/evaluacioneducativa/aprendizaje_desigualdad_social_mexico.pdf
Cunha, F., Heckman, J. J., Lochner, L., & Masterov, D. V. (2006). Interpreting the evidence on
life cycle skill formation. Handbook of the Economics of Education, 1, 697-812.
Hanushek, E. A., & Woessmann, L. (2008). The role of cognitive skills in economic
development. Journal of economic literature, 607-668.
Moreno, M. y Santos, J. (2011). Informe de factores asociados al rendimiento escolar:
evaluacion nacional de primero, tercero y sexto primaria del ano 2008. Retrieved from
http://www.mineduc.gob.gt/digeduca/
Quim, M. y Santos, J. (2015). Informe departamental y municipal de primaria 2014. Guatemala:
Dirección General de Evaluación e Investigación Educativa, Ministerio de Educación.
Disponible en red: http://www.mineduc.gob.gt/Digeduca
Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data
analysis methods (2nd ed.). Newbury Park, CA: Sage.
Zopluoğlu, C. (2012). A cross-national comparison of intra-class correlation coefficient in
educational achievement outcomes. Eğitimde ve Psikolojide Ölçme ve Değerlendirme
Dergisi, 3(5).
27
ANEXOS
Este anexo constituye una nota técnica metodológica de análisis de factores asociados al
rendimiento de lectura.
Depuración de variables del estudiante
Dentro de todo el set de variables incluidas en la base de datos de los estudiantes, algunas
variables de respuesta dicotómica fueron excluidas del análisis debido a que la proporción de
respuestas era desbalanceada entre las opciones de respuesta. Por ejemplo, se eliminó la variable
“Además de estudiar, ¿ayudas en tu casa con tareas del hogar?” debido a que solamente 51
estudiantes de 1546 respondieron que “ NO”. La inclusión de variables con tal característica
podría provocar, en el análisis, comparaciones de grupos muy desbalanceados y al final obtener
resultados espurios. Otra variable que se eliminó fue ¿Tu maestro te deja tareas para hacer en tu
casa?, ya que solamente 15 estudiantes respondieron que “NO”. También se eliminó la variable
¿Te gusta leer? debido a que solo 32 estudiantes respondieron de forma negativa.
Seguidamente se inspeccionó los valores perdidos por variables. Se determinó que la
variable con menor cantidad de valores perdidos fue 108 (todas las variables relacionadas al
idioma, e.g., Hablas idioma español) y con más valores perdidos fue 298 (i.e. Alguien de la casa
te ayuda a hacer tareas).
Regularmente, investigadores y académicos no prestan atención a los valores perdidos
eliminándolos los casos del análisis pero no la variable. Sin embargo, dicha práctica puede ser
perjudicial cuando los valores perdidos no están distribuidos de forma completamente aleatoria o
aleatoria, ya que puede sesgar las estimaciones. Como regla general, se admite hasta un 5% de
valores perdidos, asumiendo que dichos valores están distribuidos de forma aleatoria.
28
Al ajustar modelos multinivel, como es caso del análisis realizado en este informe, el
manejo de los datos perdidos no representa un problema para el nivel 1 de los modelos, ya que el
software HLM utilizado prioriza las variables de niveles superiores. El software HLM es un
software estadístico especializado que permite controlar la estructura anidada de los datos, de tal
manera que se pueden ajustar modelos en todos los niveles de la estructura anidada de forma
simultanea. Para tal fin el software permite la utilización modelos multinivel, los cuales
representan un ventaja importante sobre los modelos estándar de regresión debido a que
controlan la estructura jerárquica de los datos (Raudenbush and Bryk, 2002). Es importante
mencionar que los datos en educación regularmente se presentan de forma anidada. Así pues,
cuando el software HLM ajusta el modelo del nivel-1, los datos perdidos no limitan o impiden tal
ajuste. Sin embargo si valores perdidos existen en niveles supriores (e.g., el nivel dos de los
modelos del presente informe), el software no ejecuta las estimaciones. En el análisis realizado,
los estudiantes se encuentran anidados dentro de una estructura jerárquica mayor que es el
maestro.
Una de las formas de solucionar valores perdidos es a través de la imputación de datos.
Sin embargo, esto no se llevó a cabo a el nivel 1 de los modelos (nivel de estudiantes), no solo
porque las variables de interés no son la de los estudiantes, sino también debido a la existencia de
valores perdidos de casos completos (es decir que ciertos estudiantes no respondieron ni una sola
pregunta del cuestionario de factores asociados). De tal cuenta que al realizar una imputación a
los estudiantes sin responder el cuestionario de factores asociados, se estaría prácticamente
construyendo el perfil de dichos estudiantes, lo cual no es el objetivo de la imputación de
valores.
29
Codificación de Variables del Estudiante
El pre puntajes de lectura fue una variable continua construida a través del modelo Rasch.
Por otro lado, el género del estudiante fue codificado de forma dicotómica con dos valores, 1 si
el estudiante era mujer y 0 si era hombre. La variable idiomas que habla el estudiante fue
incluida en el análisis dicotomizando las opciones de respuesta. El valor 1 fue asignado si el
estudiante hablaba más de un idioma y 0 si hablaba solamente 1 idioma. Se decidió no construir
la variable convencional de idioma, en la cual regularmente se codifica como 1 si el estudiantes
habla idioma español y 0 en cualquier otro caso. La razón de no construir la variable idioma de
forma convencional se debió a que la pregunta original no fue excluyente con lo idiomas, es
decir que la pregunta recolectó información de la cantidad de idiomas que un estudiante habla.
Dicho en otras palabras, la pregunta no pudo discriminar aquellos estudiantes que hablan solo
español o solo un idioma maya.
En el caso de la variable “pre primaria”, la cual recolectó información si o no un
estudiantes realizó estudios de pre primaria, fue recodificada para ser una variable de carácter
dicotómico. Se asignó el valor de 1 a aquellos estudiantes que si atendieron pre primaria y 0 a los
que no lo hicieron. La variable capital cultural fuer construida a partir de otras variables. De tal
forma que, para tener una aproximación al capital cultural, se combinaron las siguientes
variables: ¿Tu mamá sabe leer?, ¿Tu mamá fue a la escuela?, ¿Tu papá sabe leer?, ¿Tu papá fue
a la escuela?, ¿Hay libros en tu casa para leer?, ¿Alguien de tu familia te lee cuentos o historias?
El capital cultural entonces tomó valores de 0 a 6 siendo aquellos estudiantes con mayor punteo
quienes cuentan con un capital cultural mayor y aquellos con punteos menores quienes cuentan
con un capital cultural menor. El beneficio de combinar variables para obtener una sola, tal y
30
como se hiso en con el capital cultural, es que una variable conjunta captura más información y
al mismo tiempo ayuda a tener un modelo más parsimonioso.
Depuración y Manejo de Variables del Maestro
Al trabajar con la base de datos de los maestro, se depuró la base original en función de la
cantidad de valores perdidos. Debido a que se detectó muchos valores perdidos en algunas
variables, se tomó la decisión de eliminar aquellas variables en las cuales los valores perdidos
fueran más de 25 de un total de 102 posibles casos perdidos. Adicionalmente, se eliminaron
aquellas variables que sirvieron para la creación de escalas, pero se trabajó con las escalas
creadas de dichas variables (ver informe de consultoría 2.1).
Con las restantes variables se procedió a imputar valores pedidos por medio del módulo
de imputación de valores perdidos de SPSS 22.0. Es importante remarcar que la imputación de
datos en el nivel de maestro si es justificada debido a que el software HLM (con el cual se
realizó en análisis de factores asociados) requiere casos completos en el nivel-2. De tal cuenta al
no realizar imputación en estas variables se hubiera perdido un número considerable de casos.
Adicionalmente, se dejaron fuera del análisis una serie de variables que se consideraron
variables que no pertenecen al docente. Por ejemplo, la percepción que tiene los docentes sobre
el nivel de involucramiento de las madres y de los padres delos estudiantes, y actividades
realizadas en la biblioteca.
La edad del docente se utilizó como variable continua y no se realizó ningún tipo de
recodificación con ella. En relación al género del maestro, esta variable fue codificada de forma
dicotómica, en la cual 1 representa si el docente es maestra y 0 si es maestro. En el caso de la
variable “idioma del docente”, fue necesario realizar un proceso de dicotomización que terminó
con dos opciones de respuesta asi: 1 si el docente habla español y 0 si el docente habla cualquier
31
otro idioma. Adicionalmente, se incluyó el idioma en que el docente imparte sus clases español;
esta variable se utilizó como variable de carácter dicotómico y fue incluida en los modelos con
los valores 1 si el docente enseña en español y 0 si no lo hace.
Posteriormente, se construyó una variable a la que se le nombró “competencia del idioma
español”, para tal efecto se unificaron las variables: (a) El docente entiende el idioma Español,
(b) El docente habla el idioma español, (c) El docente lee el idioma español, y (d) El docente
escribe el idioma español. La unificación se desarrolló mediante las suma de los valores
originales. De esa cuenta, la escala tomó valores de 0 a 4, y se interpreta así: mientras más alto el
valor que un maestro obtiene en dicha escala, el maestro está más cerca de tener competencia
completa en español. Por otro lado mientras más cerca de 0 es el punteo de un maestro, el
maestro está más lejos de la competencia completa.
De igual manera se hizo para el idioma maya, de tal cuenta se combinaron las variables
(a) El docente entiende el idioma maya, (b) El docente habla el idioma maya, (c) El docente lee
el idioma maya, y (d) El docente escribe el idioma maya, para obtener la competencia en idioma
Maya. Esta escala tiene la misma interpretación que la escala de competencia en idioma español.
Otra variable que se utilizó en el análisis fue la forma en que el maestro está contratado.
De esa cuenta, la variable “tipo de contrato laboral” se recodificó de forma dicotomizada así: 1 si
el docente está en renglón presupuestario 011 y 0 si el docente estas en cualquier otro renglón
presupuestario. Esta variable puede ser importante bajo el supuesto que el desempeño docente
puede verse afecta por el tipo de contrato que tiene cada maestro.
Las variables cantidad de niños y niñas que el maestro atiende, se tomaron como
variables continuas. Estudia actualmente fue una variable incluida en los modelos como una
32
variable dicotómica, asignando el valor de 1 si el maestro estudiaba al momento de la evaluación
y el valor de 0 si no estaba estudiando.
De forma similar se utilizó la variable “recibe visitas de un acompañante pedagógico para
apoyar su labor docente?” En esta variable el valor 1 indica que el maestro recibe visitas y 0 que
no recibe visitas.
La variable “cuanto tiempo en horas durante la semana dedica al desarrollo de las
siguientes sub áreas del CNB (idioma español)” fue incluida como una variable continua.
Igualmente se hizo con la variable “cuantos periodos a la semana dedica a la enseñanza de
lectoescritura”.
Otra variable de interés fue “utiliza libros de texto en L1 para la enseñanza de
lectoescritura?”. Esta variable tomó el valor de 1 si el maestro utiliza libros de texto en L1 para
la enseñanza de lectoescritura y 0 cuando no lo hace. De forma similar se hizo para la variable
“utiliza libros de texto en L2 para la enseñanza de lectoescritura?”, en esta variable el valor 1
representó que el maestro utiliza libros de texto en L2 para la enseñanza de lectoescritura y 0
cuando no lo hace. La variable “tiene acceso a libros de cuentos en idioma indígena?”, se
codificó como 1 si el maestro tiene acceso y 0 cuando no tiene acceso. Estas variables son
representa una aproximación a materiales que el maestro puede utilizar para realizar su labor.
Finalmente, las variables (a) formación del docente, (b) participación en comunidades de
aprendizaje, (c) actividades de monitoreo y evaluación de los aprendizajes, (d) actividades para
mejorar la comprensión lectora de los estudiantes y (e) actividades para mejorar el vocabulario
de los estudiantes fueron variables construidas con el modelo Rasch, el cual produjo puntajes
continuos. Estas variables están compuestas de variables individuales de respuestas dicotómicas.
33
Para ver las variables individuales que integran las variables compuestas y su construcción,
revisar el informe 2.2 asociado a la consultoría de este informe.
Correlación intra clase
Su cálculo se establece a partir de la estimación de las varianzas residuales de los niveles
del modelo incondicional. El valor de la correlación intra-clase va desde un valor cero hasta uno;
si su valor es cero o cercano a cero, la correlación entre observaciones es baja y podría ser
justificable utilizar modelos de regresión estándar, los cuales no toman en cuenta la estructura de
anidación. Por el contrario si la correlación intra-clase es moderada o alta, se hace necesaria la
utilización de modelos multinivel. La correlación intra-clase se estima mediante la siguiente
formula:
𝜌 =𝜏00
𝜎2+𝜏00;
en donde representa la correlación intra-clase. 00 es la varianza del nivel-2, que en el caso del
presente informe fue la varianza a nivel del maestro. Finalmente, 2 refleja la varianza del nivel-
1 del modelo.
Modelo 1: Modelo Incondicional
Nivel-1: estudiante
RASCHS1ij = β0j + rij,
Level-2: maestro
β0j = γ00 + u0j.
Al combinar estas ecuaciones se obtiene el modelo mixto o modelo combinado, que
matemáticamente se define así:
Modelo combinado
RASCHS1ij = γ00 + u0j+ rij
34
El este modelo incondicional, RASCHS1 es el puntaje de los estudiantes del post test. Es
una variable continua construida con el modelo Rasch con unidades llamadas “logits” o
“logitos”. β0j representa la media de puntajes de los estudiante para el maestro j. γ00 es la gran
media de los puntajes, rij es el efecto aleatorio asociado a los punteos de los estudiantes, mientras
que u0j es el efecto aleatorio asociado a los maestros. Ambos efectos aleatorios son únicos, es
decir que existe uno y solamente uno asociado a cada estudiante y maestro, respectivamente.
Modelo 2: Variables demográficas
El set de ecuaciones que representa el Modelo 2 se presenta a continuación:
Nivel-1: estudiante
RASCHS1ij = β0j + rij,
Nivel-2: maestro
β0j = γ00 + γ01*(W1j) + γ02*(W2j) + γ03*(W3j) + γ04*(W4j) + γ05*(W5j) + γ06*(W6j) + γ07*(W7j) + u0j.
Modelo combinado
RASCHS1ij = γ00 + γ01*(W1j) + γ02*(W2j) + γ03*(W3j) + γ04*(W4j) + γ05*(W5j) + γ06*(W6j)
+ γ07*(W7j) + u0j+ rij
En donde W1j a W7j representan las variables años de edad del docente, género del
docente, idioma materno, competencia en idioma español, competencia en idioma indígena, tipo
de contrato y si el maestro estudia o no. γ00 representa la gran media de puntajes de los
estudiantes. γ01 a γ07 son los coeficientes de regresión de los efectos fijos que capturan el impacto
de las covariables (W1j a W7j) sobre el puntaje de los estudiantes. β0j es el promedio de los
puntajes de los estudiantes para el maestro j, condicionado por las covariables incluidas del
modelo. rij y u0j son los residuales condicionales del modelo.
35
La Tabla 4 presenta los resultados obtenidos con el Modelo 2. Los resultados sugieren
que dos variables tienen un efecto positivo sobre los puntajes de los estudiantes.
Tabla 4
Modelo de variables demográficas del maestro
Efectos fijos Coeficiente Error Estándar t Approx.
grados de libertad Valor-p
For INTRCPT1, β0 INTRCPT2, γ00 -0.054126 0.094309 -0.574 86 0.568 W1j, γ01 0.008104 0.007411 1.093 86 0.277 W2j, γ02 0.249316 0.093286 2.673 86 0.009*** W3j, γ03 -0.006314 0.134391 -0.047 86 0.963 W4j, γ04 0.036337 0.036674 0.991 86 0.325 W5j, γ05 -0.025324 0.041384 -0.612 86 0.542 W6j, γ06 0.338099 0.122139 2.768 86 0.007*** W7j, γ07 -0.114975 0.101846 -1.129 86 0.262 Nota: *** indica que la variables tiene un efecto estadístico.
Modelo 3: Variables de contexto de enseñanza
El tercer modelo fue ajustado con variables que en su mayoría reflejan el contexto de
enseñanza de los maestros. En total se introdujeron nueve variables relacionadas al contexto en
el cual el maestro desarrolla su labor de docencia. Dichas variables fueron idioma en que se
imparte docencia (1= español, 0 = otro), cantidad de niños atendidos, cantidad de niñas
atendidas, recibe visitas de un acompañante pedagógico para apoyar su labor docente (1= sí, 0 =
no), cantidad de horas durante la semana que dedica al desarrollo de idioma español, cantidad de
periodos a la semana que dedica a la enseñanza de lectoescritura, utilización de libros de texto en
L1 para la enseñanza de lectoescritura (1= si, 0 = no), utilización de libros de texto en L2 para la
enseñanza de lectoescritura (1= si, 0 = no), acceso a libros de cuentos en idioma indígena (1= si,
0 = no). Al igual que el modelo dos, el presente modelo no incluyó variables en el nivel de
estudiante.
36
La representación matemática del modelo es así:
Nivel-1 : estudiante RASCHS1ij = β0j + rij,
Nivel-2 : maestro β0j = γ00 + γ08*(W8j) + γ09*( W9j) + γ10*( W10j) + γ11*( W11j) + γ12*( W12j) + γ13*( W13j) + γ14*( W14j) + γ15*( W15j) + γ16*( W16j) + u0j,
Modelo combinado
RASCHS1ij = γ00 + γ08*(W8j) + γ09*( W9j) + γ10*( W10j) + γ11*( W11j) + γ12*( W12j) + γ13*( W13j) + γ14*( W14j) + γ15*( W15j) + γ16*( W16j) + u0j+ rij.
En donde W8j a W16j representan las variables descritas anteriormente en mismo orden.
γ08 a γ16 representan los efectos fijos asociados a cada una de las variables y al mismo tiempo
capturan el impacto de dichas variables sobre el puntaje de los estudiantes. γ00, u0j y rij ya fueron
definidas en los modelos anteriores.
La Tabla 5 muestra los resultados del modelo. Ninguna de todas las variables incluidas
tiene impacto sobre los puntajes de los estudiantes.
Tabla 5
Modelo de variables del contexto de docencia del maestro
Fixed Effect Coefficient Standard error t-ratio Approx.
d.f. p-value
For INTRCPT1, β0 INTRCPT2, γ00 0.108694 0.183015 0.594 84 0.554 W8j, γ08 -0.109237 0.127179 -0.859 84 0.393 W9j, γ09 -0.000881 0.004497 -0.196 84 0.845 W10j, γ10 -0.009713 0.008077 -1.203 84 0.233 W11j, γ11 -0.039204 0.074381 -0.527 84 0.600 W12j, γ12 -0.003013 0.009557 -0.315 84 0.753 W13j, γ13 -0.001836 0.013963 -0.132 84 0.896 W14j, γ14 0.111856 0.097578 1.146 84 0.255 W15j, γ15 0.011971 0.112186 0.107 84 0.915 W16j, γ16 -0.088197 0.107306 -0.822 84 0.413 Nota: El modelo mostró un poder predictivo nulo.
37
Modelo 4: Variables construidas con el modelo Rasch
El modelo 4 incluyó una serie de variables que fueron construidas a través de modelo
Rasch (escalas). En total se utilizaron 5 variables que son la formación del docente, comunidades
de aprendizajes, monitoreo y evaluación de los aprendizajes, actividades de lectoescritura y
actividades para fortalecer el vocabulario de los estudiantes. Debido a la naturaleza de la
construcción de dichas variables, estas son variables continuas y están expresadas en unidades
llamadas “logits” o “logitos”. Para profundizar más sobre las propiedades y construcción de estas
variables, el lector puede referirse al producto 2 asociado a la presente consultoría. El documento
puede ser facilitado a quien lo requiera, con el consentimiento y autorización de las autoridades
del proyecto LEA.
Este modelo se representa como sigue:
Nivel-1: estudiante
RASCHS1ij = β0j + rij,
Nivel-2: maestro
β0j = γ00 + γ17*(W17j) + γ18*( W18j) + γ19*( W19j) + γ20*( W20j) + γ21*( W21j) + u0j,
Modelo combinado
RASCHS1ij = γ00 + γ17*(W17j) + γ18*( W18j) + γ19*( W19j) + γ20*( W20j) + γ21*( W21j) + u0j+ rij.
En donde W17j a W21j son las variables mencionadas con anterioridad en el orden
correspondiente. γ17 a γ21 son los coeficientes de los efectos fijos que capturan el impacto de las
variables sobre los puntajes de los estudiantes. El resto de términos, γ00, u0j y rij ya fueron
definidos anteriormente.
Los resultados de este modelo se presentan en la Tabla 6. Allí se aprecia que ninguna de
estas variables fue estadísticamente significativa.
38
Tabla 6
Modelo de variables construidas con el modelo Rasch
Fixed Effect Coefficient Standard error t-ratio Approx.
d.f. p-value
For INTRCPT1, β0 INTRCPT2, γ00 0.044863 0.047180 0.951 88 0.344 W17j, γ17 0.006247 0.026970 0.232 88 0.817 W18j, γ18 -0.032030 0.021483 -1.491 88 0.140 W19j, γ19 -0.018001 0.029572 -0.609 88 0.544 W20j, γ20 0.068376 0.043218 1.582 88 0.117 W21j, γ21 -0.078679 0.048511 -1.622 88 0.108
Modelo 5
Las siguientes ecuaciones representan al modelo:
Nivel-1: estudiante
RASCHS1ij = β0j + rij,
Nivel-2: maestro
β0j = γ00 + γ01*(W1j) + γ02*(W2j) + γ03*(W3j) + γ04*(W4j) + γ05*(W4j) + γ06*(W5j) + γ07*(W6j)
+ γ08*(W8j) + γ09*( W9j) + γ10*( W10j) + γ11*( W11j) + γ12*( W12j) + γ13*( W13j) + γ14*( W14j) + γ15*(
W15j) + γ16*( W16j) + γ17*(W17j) + γ18*( W18j) + γ19*( W19j) + γ20*( W20j) + γ21*( W21j)
+ u0j,
Modelo Combinado
RASCHS1ij = γ00 + γ01*(W1j) + γ02*(W2j) + γ03*(W3j) + γ04*(W4j) + γ05*(W4j) + γ06*(W5j)
+ γ07*(W6j) + γ08*(W8j) + γ09*( W9j) + γ10*( W10j) + γ11*( W11j) + γ12*( W12j) + γ13*( W13j) + γ14*(
W14j) + γ15*( W15j) + γ16*( W16j) + γ17*(W17j) + γ18*( W18j) + γ19*( W19j) + γ20*( W20j) + γ21*(
W21j)+ u0j+ rij.
39
En donde W1j a W21j son las variables definidas en los modelos 1 al 4 y γ01 a γ21 son los
coeficientes asociados a los efectos fijos que capturan el impacto de las variables sobre los
puntajes de los estudiantes. Los resultados obtenidos con el ajuste de este modelo se presentan en
la tabla 7.
Tabla 7
Modelo con todas las variables
Fixed Effect Coefficient Standard error t-ratio Approx.
d.f. p-value
For INTRCPT1, β0 INTRCPT2, γ00 -0.351581 0.233058 -1.509 72 0.136 W1j, γ01 0.011882 0.006956 1.708 72 0.092* W2j, γ02 0.278003 0.090863 3.060 72 0.003*** W3j, γ03 -0.070973 0.144672 -0.491 72 0.625 W4j, γ04 0.059915 0.044592 1.344 72 0.183 W4j, γ05 -0.001570 0.044875 -0.035 72 0.972 W6j, γ06 0.285235 0.132095 2.159 72 0.034** W7j, γ07 -0.148638 0.100028 -1.486 72 0.142 W8j, γ08 -0.088918 0.138703 -0.641 72 0.524 W9j, γ09 -0.000971 0.004802 -0.202 72 0.840 W10j, γ010 0.000163 0.007241 0.023 72 0.982 W11j, γ011 -0.011945 0.099466 -0.120 72 0.905 W12j, γ012 0.001018 0.007664 0.133 72 0.895 W13j, γ013 -0.003522 0.011484 -0.307 72 0.760 W14j, γ014 0.127978 0.108677 1.178 72 0.243 W15j, γ015 0.085973 0.095841 0.897 72 0.373 W16j, γ016 0.075329 0.104613 0.720 72 0.474 W17j, γ017 0.011454 0.024653 0.465 72 0.644 W18j, γ018 -0.021428 0.018656 -1.149 72 0.255 W19j, γ019 -0.041619 0.040936 -1.017 72 0.313 W20j, γ020 0.073097 0.042918 1.703 72 0.093* W21j, γ021 -0.116689 0.053001 -2.202 72 0.031**
40
Modelo 6: Variables a nivel del estudiante
El Modelo 6 se ajustó incluyendo variables en el nivel del estudiante. Las variables que
se incluyeron fueron solamente cinco, las cuales son el pre-puntaje de la prueba (X1j), el género
del estudiante (X2j), idiomas que habla el estudiante (X3j), si el estudiante estudio pre primaria
(X4j) y el capital cultural del estudiante (X5j). La primera variable es una variable construida con
el modelo Rasch por lo cual es continua. La segunda variable es el género del estudiante, la cual
fue codificada como 1 si el estudiante es mujer y 0 si es hombre. La tercera variable es una
variable dicotómica con valores de 1 si el estudiante habla un idioma y 0 si habla más de uno. La
cuarta variable es también una variable dicotómica que recoge información para saber si o no el
estudiante estudio pre primaria; así pues esta variables fue codificada como 1 si el estudiante
estudio pre primaria y 0 si no lo hizo. La última variable fue el capital cultural la cual se asumió
como una variable continua. Con anterioridad se describió como fue construida. El modelo
quedo especificado de la siguiente forma:
Nivel-1: estudiante
RASCHS1ij = β0j + β1j* X1j + β2j* X2j + β3j* X3j + β4j* X4j + β4j* X5j + rij
Nivel-2: maestro
β0j = γ00 + γ01*(W1j) + γ02*(W2j) + γ03*(W3j) + γ04*(W4j) + γ05*(W4j) + γ06*(W5j) + γ07*(W6j)
+ γ08*(W8j) + γ09*( W9j) + γ10*( W10j) + γ11*( W11j) + γ12*( W12j) + γ13*( W13j) + γ14*( W14j) + γ15*(
W15j) + γ16*( W16j) + γ17*(W17j) + γ18*( W18j) + γ19*( W19j) + γ20*( W20j) + γ21*( W21j)+ u0j
β1j = γ10 + u1j
β2j = γ20 + u2j
β3j = γ30 + u3j
41
β5j = γ40 + u4j
β5j = γ40 + u5j
Modelo combinado
RASCHS1ij = γ00 + γ01*(W1j) + γ02*(W2j) + γ03*(W3j) + γ04*(W4j) + γ05*(W4j) + γ06*(W5j)
+ γ07*(W6j) + γ08*(W8j) + γ09*( W9j) + γ10*( W10j) + γ11*( W11j) + γ12*( W12j) + γ13*( W13j) + γ14*(
W14j) + γ15*( W15j) + γ16*( W16j) + γ17*(W17j) + γ18*( W18j) + γ19*( W19j) + γ20*(W20j) + γ21*( W21j)
+ γ10* X1j + γ20* X2j + γ30* X3j + u0j + u1j* X1j + u2j* X2j + u3j*X3j + u4j* X4j + u5j*X5j+ rij
Los resultados del modelo se presentan en la tabla siguiente.
42
Tabla 8
Modelo con variables al nivel de estudiante.
Fixed Effect Coefficient Standard error t-ratio Approx.
d.f. p-value
For INTRCPT1, β0 INTRCPT2, γ00 -0.344594 0.184132 -1.871 71 0.065 W1j, γ01 0.003397 0.004866 0.698 71 0.487 W2j, γ02 0.168228 0.066387 2.534 71 0.013** W3j, γ03 -0.000673 0.104392 -0.006 71 0.995 W4j, γ04 0.067737 0.026099 2.595 71 0.011** W5j, γ05 -0.014723 0.033253 -0.443 71 0.659 W6j, γ06 0.249351 0.088282 2.824 71 0.006*** W7j, γ07 -0.136423 0.065448 -2.084 71 0.041** W8j, γ08 -0.148757 0.087936 -1.692 71 0.095* W9j, γ09 -0.002749 0.003553 -0.774 71 0.442 W10j, γ010 -0.000655 0.005107 -0.128 71 0.898 W11j, γ011 0.068316 0.060924 1.121 71 0.266 W12j, γ012 0.001855 0.005721 0.324 71 0.747 W13j, γ013 -0.005099 0.007724 -0.660 71 0.511 W14j, γ014 0.097713 0.068206 1.433 71 0.156 W15j, γ015 0.114283 0.076508 1.494 71 0.140 W16j, γ016 0.027993 0.067461 0.415 71 0.679 W17j, γ017 0.006647 0.015270 0.435 71 0.665 W18j, γ018 -0.025898 0.015013 -1.725 71 0.089* W19j, γ019 -0.004503 0.027335 -0.165 71 0.870 W20j, γ020 0.025623 0.030774 0.833 71 0.408 W21j, γ021 -0.071473 0.035937 -1.989 71 0.051* For X1j slope, β1 INTRCPT2, γ10 0.198219 0.033257 5.960 92 <0.001*** For X2j slope, β2 INTRCPT2, γ20 0.021692 0.041264 0.526 92 0.600 For X3j slope, β3 INTRCPT2, γ30 0.185405 0.060170 3.081 92 0.003*** For X4j slope, β4 INTRCPT2, γ40 0.041922 0.047065 0.891 92 0.375 For X5j slope, β5 INTRCPT2, γ50 0.001197 0.011412 0.105 92 0.917
