16
Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016) 116 La percepción del aprendizaje de los estudiantes de ingeniería en función de la metodología de aula aplicada: Flipped Learning vs. Convencional Guillermo Castilla 1 y Manuel G. Romana 2 1 Universidad Europea de Madrid. Departamento de Ciencias y TIC. 2 Universidad Politécnica de Madrid. Departamento de Ingeniería Civil: Transporte y Territorio. E-mails: 1 [email protected], 2 [email protected]. Resumen: El artículo presenta una investigación orientada a calibrar y cuantificar las posibles diferencias de percepción de los estudiantes actuales. Concretamente, centrándose en su proceso de aprendizaje y los resultados en la asignatura de estadística para la ingeniería (con base y aparato matemático pero gran aplicación real y posibilidad de discutir casos y estrategias). La muestra de estudio está conformada por un total de 85 estudiantes de segundo curso de ingeniería. Estos estudiantes se encontraban repartidos en tres grupos: uno del Grado en Ingeniería Informática de 28 alumnos, y dos del Grado en Ingeniería Mecánica de 22 y 35 alumnos. La metodología Flipped Learning se implantó en el grupo de 28 y en el de 35, dejando al de 22 como grupo de control. En este último se empleó la clase magistral. En los grupos dónde se utilizó la metodología Flipped Learning, esta se implementó en los dos últimos tercios del curso. Se realizaron encuestas antes y después de la implementación en los tres grupos y en estas páginas se analizarán los resultados obtenidos, tratando de explicar las tendencias percibidas y manifestando las diferencias existentes, desde el punto de vista del estudiante, entre las lecciones magistrales (no participativas) y la metodología Flipped Learning (activa). Se incluirán descripciones de la asignatura, de los estudiantes, del modelo académico y de las dos metodologías, así como los sistemas de medición utilizados y el análisis llevado a cabo. En conclusión, el estudio apunta a que es probable que los estudiantes perciban su participación como una aportación valiosa en el proceso de aprendizaje, lo cual redunda en una mejora de su motivación e interés hacia los contenidos. Finalmente, implementar Flipped Learning conlleva un uso más eficaz del tiempo dentro y fuera del aula. Esto abre la posibilidad a ahondar en aspectos más complejos de los contenidos, lo que a su vez repercute en una mejor valoración de la asignatura a ojos de los estudiantes. Palabras clave: Flipped Learning, metodología activa, ingeniería, estadística, percepción estudiantil. Title: Engineering student’s perception of their own learning depending on the teaching methodology used: Flipped Learning vs. Lecturing. Abstract: This paper presents the design and results of a teaching experiment aiming to establish whether any possible differences in perception can be observed in today’s engineering students regarding the teaching method used. More to the point, the goal is to evaluate how they view their learning process and the final results obtained in the subject of Statistics for Engineering Sciences (a subject with a strong mathematical base, but with the possibility of discussing

La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

116

La percepción del aprendizaje de los estudiantes de ingeniería en función de la metodología de aula aplicada:

Flipped Learning vs. Convencional

Guillermo Castilla1 y Manuel G. Romana2

1Universidad Europea de Madrid. Departamento de Ciencias y TIC. 2Universidad

Politécnica de Madrid. Departamento de Ingeniería Civil: Transporte y Territorio. E-mails: [email protected], [email protected].

Resumen: El artículo presenta una investigación orientada a calibrar y cuantificar las posibles diferencias de percepción de los estudiantes actuales. Concretamente, centrándose en su proceso de aprendizaje y los resultados en la

asignatura de estadística para la ingeniería (con base y aparato matemático pero gran aplicación real y posibilidad de discutir casos y estrategias). La muestra de

estudio está conformada por un total de 85 estudiantes de segundo curso de ingeniería. Estos estudiantes se encontraban repartidos en tres grupos: uno del

Grado en Ingeniería Informática de 28 alumnos, y dos del Grado en Ingeniería Mecánica de 22 y 35 alumnos. La metodología Flipped Learning se implantó en el grupo de 28 y en el de 35, dejando al de 22 como grupo de control. En este

último se empleó la clase magistral. En los grupos dónde se utilizó la metodología Flipped Learning, esta se implementó en los dos últimos tercios del

curso. Se realizaron encuestas antes y después de la implementación en los tres grupos y en estas páginas se analizarán los resultados obtenidos, tratando de explicar las tendencias percibidas y manifestando las diferencias existentes,

desde el punto de vista del estudiante, entre las lecciones magistrales (no participativas) y la metodología Flipped Learning (activa). Se incluirán

descripciones de la asignatura, de los estudiantes, del modelo académico y de las dos metodologías, así como los sistemas de medición utilizados y el análisis llevado a cabo. En conclusión, el estudio apunta a que es probable que los

estudiantes perciban su participación como una aportación valiosa en el proceso de aprendizaje, lo cual redunda en una mejora de su motivación e interés hacia

los contenidos. Finalmente, implementar Flipped Learning conlleva un uso más eficaz del tiempo dentro y fuera del aula. Esto abre la posibilidad a ahondar en aspectos más complejos de los contenidos, lo que a su vez repercute en una

mejor valoración de la asignatura a ojos de los estudiantes.

Palabras clave: Flipped Learning, metodología activa, ingeniería, estadística,

percepción estudiantil.

Title: Engineering student’s perception of their own learning depending on the teaching methodology used: Flipped Learning vs. Lecturing.

Abstract: This paper presents the design and results of a teaching experiment aiming to establish whether any possible differences in perception can be

observed in today’s engineering students regarding the teaching method used. More to the point, the goal is to evaluate how they view their learning process and the final results obtained in the subject of Statistics for Engineering Sciences

(a subject with a strong mathematical base, but with the possibility of discussing

Page 2: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

117

cases ad strategies). The sample is composed of 85 sophomore students of three groups belonging to two BSc Engineering degrees, Mechanical (ME, 2 groups)

and Computer Sciences (CS, 1 group), in a private university. The students had identical problem sets and evaluation tests, with the same weight in the final grade. However, in one of the ME groups and the CS group the flipped classroom

method was used, while the third group (ME) followed the course using a traditional method of lecturing, and problems were solved individually at home.

The flipped classroom method was implemented in the final two thirds of the course. Surveys were taken before the method change, at the end of the course and 6 weeks after the course finished. We will cover the survey results, trying to

explain the perceived facts and reflecting the existing differences, from the student’s point of view, between lecturing (passive) and Flipped Learning

(active). A detailed description of the subject is included, as well as the student body, both methodologies and the surveying system and the analysis.

Key words: Flipped Learning, active methodology, engineering, statistics, student perception.

1. Introducción

La educación en los últimos 20 años ha cambiado, es innegable. No solamente su contexto, sino sus actores también. Los estudiantes en la actualidad no tienen

un acercamiento a los contenidos académicos ni remotamente similar al de generaciones anteriores ya que los contenidos digitales han cambiado el paradigma de la enseñanza. Prensky (2001) acuñó el término “nativos digitales”

para referirse a las personas que han nacido y se han desarrollado en un contexto dónde las TIC han jugado un papel fundamental en todos los ámbitos

de su día a día. Posteriormente Pedró (2006) matiza la definición con el apelativo: “Apéndices del Nuevo Milenio”, aclarando que la definición de Prensky supone de forma generalista que la exposición a la tecnología es equivalente a la

adquisición de competencias digitales, no siendo necesariamente así, sino más bien que existe una generalizada familiaridad con la misma.

Los materiales son consumidos a una velocidad vertiginosa y los profesores se ven más y más abocados a la creación de materiales multimedia que apoyen (y en algunos casos sustituyan) sus clases tradicionales.

Multitud de metodologías docentes nuevas han aparecido, o se han reinventado con un enfoque más digital, para dar respuesta al cambio en la

forma de aprender que ha supuesto la revolución digital.

Flipped Learning es una de estas metodologías reinventadas que ha gozado de cierto éxito en Estados Unidos a nivel de enseñanza primaria y secundaria y que

en los últimos años se ha propagado internacionalmente en todos los niveles de la educación.

No hay una definición fija para Flipped Learning (o Flipped Classroom) pues se trata de un crisol de metodologías activas que se agrupan bajo un mismo nombre. Para aclarar la acepción de Flipped Learning que se va a utilizar en este

artículo, los autores proponen la siguiente definición:

Flipped Learning define una metodología educativa presencial en la que el

estudiante se convierte en agente activo de su propio aprendizaje. El estudiante

adquiere los conocimientos teóricos fuera del aula mediante contenidos multimedia

seleccionados por el docente o investigados por él mismo, pudiendo darse un

Page 3: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

118

modelo mixto con tanto peso en cada lado como se desee. El aula pasa a ser un

espacio donde de forma individual o en grupos reducidos, los estudiantes se

enfrentaran a pruebas prácticas que contextualicen y asienten lo aprendido de

forma autónoma, actuando el docente como figura de guía y de apoyo.

Basada y ampliada sobre la que a comienzos de 2012, Bergmann y Sams (2012) propusieron en su monográfico sobre la metodología y poco más tarde en

su web Flipped Learning Network: “Flipped Learning es una metodología pedagógica en la cual la enseñanza directa se mueve del lugar de aprendizaje

colectivo al lugar de aprendizaje individual, y el lugar de aprendizaje colectivo se transforma en un ambiente de enseñanza interactiva y dinámica donde el educador guía a sus estudiante en la aplicación de conceptos y les enseña a

aproximarse de forma creativa a la materia tratada”.

Cabe destacar que las pruebas mencionadas en la primera definición han de

tener un peso relevante en la evaluación y que se ha podido comprobar que las actividades de aula resultan mucho más efectivas si se plantean como colaboraciones en lugar de como trabajos individuales.

Aunque las aplicaciones del método son cada vez más numerosas, aún existe escasa bibliografía dedicada a la implantación de Flipped Learning en educación

superior.

2. Objetivos

El objetivo fundamental que vertebra este artículo es conocer de primera

mano cómo perciben los estudiantes de ingeniería la enseñanza utilizando una metodología Flipped Learning frente al uso de un sistema tradicional. Otros

objetivos que se plantean son los siguientes:

Verificar si los alumnos prefieren la metodología Flipped Learning o la tradicional, y en qué medida.

Averiguar si la metodología Flipped Learning impacta sobre la motivación de los estudiantes en mayor o menor medida que la clase magistral. Relacionar los

aspectos concretos de la metodología con usos y costumbres de los estudiantes actuales.

3. Material y métodos

3. 1. La asignatura

3.1.1. Descripción de la asignatura

La asignatura seleccionada para medir la percepción de los estudiantes sobre las diferencias entre Flipped Classroom y la clase tradicional fue Estadística para

la Ingeniería.

En la Universidad Europea de Madrid, institución de educación superior dónde se realizó el estudio, Estadística para la Ingeniería se imparte en inglés durante

el segundo curso de prácticamente todos los grados de ingeniería. Es una asignatura de 6 ECTS con un reparto de 3 dedicados a teoría y 3 a práctica. El

profesor, además, fue el mismo para todos los grupos descritos en este estudio.

En el momento de realizarse el experimento, uno de los autores del presente documento era responsable de la asignatura. El responsable de asignatura es un

cargo no reglado de la institución que permite la armonización de asignaturas

Page 4: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

119

iguales impartidas en distintos grados dentro de la misma facultad o escuela. La ostentación de este cargo permitió al autor realizar el experimento dentro de

unos parámetros que no supusiesen una ventaja o desventaja para los grupos implicados frente a otros grupos dentro del mismo grado (o de otros grados).

La asignatura en sí está subdividida en una serie de bloques relativamente

estancos, con lo que sistematizar la creación de contenidos para adaptarlos a esta clase de metodología resultaba asequible.

Las partes de la asignatura atendiendo a las recomendaciones que vierte la ANECA son las siguientes:

Bloque 1. Estadística descriptiva y regresión.

Bloque 2. Probabilidad.

Bloque 3. Variable aleatoria.

Bloque 4. Modelos discretos.

Bloque 5. Modelos continuos.

Bloque 6. Inferencia.

Los bloques 1 a 3 se cubren en la primera parte de la asignatura. Al finalizar el bloque tres se realiza una prueba objetiva de evaluación parcial de todo el

contenido visto hasta ese momento.

A partir del bloque 4 se comienza a aplicar la metodología de Flipped Learning

en los grupos correspondientes. Al finalizar el bloque 6 se realiza una prueba final de todos los contenidos de la asignatura. Los bloques 4 a 6 tienen una duración superior a los bloques 1 a 3.

3.1.2. La idoneidad de la asignatura

Como puede observarse en la tabla 1, de entre las asignaturas de corte

matemático disponibles en la institución donde se realizó la experiencia, se eligió la estadística porque es la que mayor facilidad presenta para la resolución colaborativa de problemas.

Razones Cálculo I y II Análisis

matemático Estadística

Metodología

Flipped

Learning

Conocimiento modular Sí Sí Sí

Orientación a la práctica Sí Sí Sí

Admite colaboración No No Sí

Contorno

Tamaño suficiente para

incluir grupo de control Sí No Sí

Trasversal a todas las

ingenierías Sí No Sí

Fuente: Elaboración propia

Tabla 1. Idoneidad de la elección de estadística de entre las asignaturas

de corte matemático

Page 5: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

120

3.1.3. La evaluación de la asignatura

La calificación final de la asignatura responde a una serie de pruebas de

evaluación y trabajos en aula y autónomos que han de realizar los estudiantes. El reparto de pesos es el descrito en la tabla 2.

Actividad Prueba

Parcial

Trabajo

individual

Trabajo de aula /

autónomo Prueba final

Porcentaje de

calificación final 20 % 20 % 30 % 30 %

Fuente: Elaboración propia

Tabla 2. Reparto de pesos de las actividades con evaluación adscrita dentro de la

asignatura de Estadística para la ingeniería

Los exámenes son pruebas de 2 horas dónde se incluyen 6 problemas correspondientes a lo cubierto hasta ese momento en la asignatura.

El trabajo individual es un trabajo de reflexión de estadística descriptiva

realizado por los estudiantes en la primera mitad de la asignatura, aproximadamente al finalizar la 3ª semana de curso.

3.1.4. Descripción de los grupos

Los grupos que se analizaron para la experiencia que se está describiendo

fueron tres, sumando un total de 85 estudiantes.

Para facilitar su diferenciación denominaremos a los grupos como A, B y C, según el orden cronológico en el que se realizó la experiencia.

Los grupos A y C, con un total de 53 estudiantes matriculados, fueron en los que se implantó la metodología Flipped Learning, mientras que en el grupo B, de

22 alumnos, se impartieron clases tradicionales.

Los grupos A y B pertenecían al Grado en Ingeniería Mecánica y el grupo C al Grado en Ingeniería Informática, aunque, como se ha explicado en la sección

Descripción de la asignatura, Estadística para la Ingeniería se imparte de forma idéntica en todas las ingenierías.

La tabla 3 describe lo que se acaba de exponer:

Grupo A B C

Grado Ingeniería

Informática

Ingeniería

Mecánica

Ingeniería

Mecánica

Número de

matriculados 28 22 35

Metodología Flipped Classroom Clase Tradicional Flipped Classroom

Fuente: Elaboración propia

Tabla 3. Descripción de los grupos implicados

3.2. ¿Por qué Flipped Learning?

George y Bragg (1996) plantearon recomendaciones enfocadas a las

expectativas de los estudiantes de grado en ciencias, matemáticas, ingeniería y tecnología. En este documento animaban a los profesores universitarios de estas

Page 6: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

121

áreas a “creer y afirmar que todos los estudiantes pueden aprender, y adoptar buenas prácticas que incrementen el aprendizaje… y desarrollar una sensación de

asombro unida a la excitación del descubrimiento, además de habilidades de comunicación y trabajo en equipo y pensamiento crítico…”.

Gardiner (1994) enumeró una serie de “competencias críticas” para

ciudadanos, entre las que mencionó algunas de las que creemos que pueden desarrollarse y reforzarse empleando la técnica de Flippped Learning, en especial

la responsabilidad personal (porque deben rendir en grupos con alguna o bastante aportación individual), el trabajo en equipo (porque deben realizar un trabajo en grupo en un tiempo prefijado y limitado), la capacidad de desarrollar

pensamiento crítico y resolver problemas (porque son problemas lo que tienen que resolver) y la habilidad de comunicarse de forma oral y escrita.

Estamos de acuerdo con Wirth y Perkins (2015) en que “por muchas razones, el foco de la educación está cambiando hoy de enseñando a aprendiendo. Los

roles de los profesores están pasando de ser conferenciantes a llegar a ser diseñadores de métodos y entornos de aprendizaje”. Los mismos autores resumen muy bien otras referencias justificando que “la meta de la educación

pase de enfatizar el aprendizaje comprensivo a ayudar a los estudiantes a desarrollar sus propias herramientas intelectuales y estrategias de aprendizaje”.

En resumen, y citando de nuevo a Wirth y Perkins (2015),

Los profesores universitarios han expresado su frustración sobre la asistencia a las

clases, la falta de rigor y esfuerzo en la realización de los ejercicios y lecturas… Las

encuestas a los estudiantes indican que los cursos no son interesantes, que los

estudiantes no valoran lo que están aprendiendo, y que muchos profesores se

apoyan demasiado en la lecciones magistrales para transmitir la información.

El empleo de la técnica de Flipped Learning se orienta precisamente en el

sentido indicado. A primera vista, parece ser muy adecuada para reflejar el cambio que los estudiantes esperan. ¿Confirman las respuestas a las encuestas

estas premisas? Veremos que en gran medida sí.

3.3. Metodología

3.3.1. El espacio de alojamiento del material

Dado que en esta técnica se invierten los papeles en el proceso de aprendizaje, es fundamental

Desarrollar un material idóneo, enfocado y atractivo.

Tener un repositorio adecuado para el material.

Que el repositorio tenga un fácil acceso para los alumnos.

Un objetivo habitual adicional es conseguir una propaganda adecuada para la universidad. Por todo ello, en este caso, como en muchos otros, se eligió una

combinación de un canal de YouTube y el material impreso en una plataforma LMS (Learning management system), basada en este caso en la plataforma Moodle. De esta manera, los enlaces a las URL de los videos podían insertarse

fácilmente en presentaciones y publicaciones en la plataforma, además de ser accesibles por los estudiantes y cualquier clase de público. Por otro lado, aquellos

estudiantes con una cuenta de Google pueden subscribirse al canal para recibir avisos de disponibilidad de nuevo material a través del aviso de Google. Debido a

Page 7: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

122

que el administrador del canal y el profesor de la asignatura eran la misma persona, las incidencias de corte técnico podrían subsanarse rápidamente.

3.3.2. La duración de los vídeos

Una de las claves de la eficacia y atractivo del método es elegir una duración idónea para esta clase de materiales audiovisuales. Tras varias rondas de

discusión, se optó por un modelo de duración media de 4 minutos, tratando de no exceder en ningún caso los 10 minutos. Aunque se buscaron estudios de peso

al respecto, cuando el canal arrancó aún no había ninguna publicación relevante que tratase el campo de los videos académicos en esta área en particular.

Algunas fuentes relevantes y útiles son Beile y Boote (2004), Bowles-Terry,

Hensley y Hinchliffe (2010), Bury y Oud (2005) y Silver y Nickel (2005). Todos estos autores cubren en sus trabajos buenas prácticas en la creación de

tutoriales en vídeo, su pertinencia y una buena serie de recomendaciones, pero ninguno realiza un análisis de duración del tutorial en sí. Todos ellos

recomiendan duraciones lo menores posibles, sin entrar en detalle.

En noviembre de 2013, Anant Agarwal, presidente de edX y Rob Rubin vicepresidente de ingeniería de edX invitaron a Philip Guo a investigar acerca de

los comportamientos de los usuarios de la plataforma edX frente a la duración de los videos. A raíz de este estudio Guo (2013), publicó sus resultados dónde

recomienda que los videos de corte educativo sean de 6 minutos o menos tras un exhaustivo análisis de los hábitos de los usuarios de MOOCs de la plataforma edX.

Este criterio confirmaba la elección inicial por lo que se continuó con el mismo modelo sin modificaciones de calado.

3.3.3. Realización y contenido

Todos los videos utilizados para la implementación descrita se realizaron adhoc. Para su realización se utilizaron las pizarras digitales interactivas (PDI)

disponibles en todas las aulas del campus de Villaviciosa de Odón de la Universidad Europea. Estas pizarras de la línea Interwrite de la marca Artigraf,

cuentan con un software propio de captura de escritura. Gracias a esta opción se puede capturar el trazo y realizar apuntes teóricos y prácticos manuscritos o bien comentar sobre presentaciones digitales previamente preparadas. Aunque el

programa también admite la captura de sonido en paralelo, se optó por grabar el sonido por separado y editarlo a posteriori para evitar los ecos y fomentar un

discurso más fluido.

Cada video producido consistía en una píldora teórica manuscrita mediante un bolígrafo digital sobre fondo blanco seguida de un breve ejemplo teórico-práctico

dónde se dotaba de aplicación numérica a lo que se acababa de exponer. En la figura 1, puede verse un ejemplo de uno de los video tutoriales realizados,

alojado bajo el canal de youtube.com AulaUE. Aula UE alojó el total de 10 videos realizados para la mitad final de la asignatura.

Una vez generado el contenido, este se incluía en el Campus Virtual de la

asignatura junto con varios problemas resueltos asociados a cada video que se realizaban también manuscritos en pizarra digital y que luego eran exportados

en formato PDF.

Page 8: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

123

Figura 1. Ejemplo de video tutorial utilizado para Flipped Learning en la experiencia

descrita en este estudio

Los contenidos cubiertos en video corresponderían a los temas de Estadística para la ingeniería que se detallan en la tabla 4. A modo informativo, se han

incluido también cuántos problemas suplementarios en formato PDF se pusieron a disposición de los estudiantes para ampliar cada video.

Tema Video PDF

suplementarios

Modelos Introducción a la estadística de

modelos 0

Modelos de Variable

Aleatoria Discreta

Modelo Geométrico 1

Modelo Hipergeométrico 1

Modelo de Poisson 1

Modelo Binomial 1

Modelos de Variable

Aleatoria Continua

Introducción a modelos continuos 1

Modelo Normal 2

Teorema Central del Límite 2

Ajuste de Yates 2

Inferencia Estimación puntual y por intervalos 3

Tabla 4. Detalle de los videos y problemas suplementarios disponibles

para los estudiantes

Page 9: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

124

3.3.4. Uso de los videos para Flipped Learning

Las tablas 5 y 6 contienen un resumen pormenorizado de la secuenciación de

la implementación en los grupos A y C, y del desarrollo de la segunda mitad del curso en el caso del grupo B.

Debido a que los grupos A y B tomaron la asignatura durante el segundo

trimestre del curso, mientras que el grupo C lo hizo durante el tercero, el número de semanas disponibles para la implementación no es constante. Esto se debe a

que la Semana Santa, que separa estos trimestres en la Universidad Europea, varía de fechas de año a año dando lugar a estas fluctuaciones en duración trimestral.

La asignatura tenía una periodicidad de dos clases por semana, con lo que en las tablas el término interclase hace referencia al periodo de tiempo entre ambas

sesiones y el término intersemana hace referencia al periodo de tiempo entre la última clase de una semana y la primera de la siguiente.

A continuación se aclararán algunos de los términos utilizados en las tablas:

La abreviatura M. Class, significa Master Class, anglicismo que quiere decir clase magistral, o clase tradicional, donde el profesor da la clase de forma

activa y los estudiantes son agentes pasivos que la reciben.

La abreviatura FL, significa Flipped Learning, y marca la sección temporal

en la que los estudiantes debían consumir los contenidos preparados para esa lección en particular.

Trabajo Personal: Las sesiones marcadas como Trabajo Personal son

todas aquellas en las que no hay una actividad específica adscrita pero que aun así requieren que el estudiante dedique tiempo de estudio a la asignatura.

Trabajo Colaborativo: Las sesiones marcadas como trabajo colaborativo tienen una doble naturaleza dependiendo si se producen en clase o en la interclase.

o Trabajo colaborativo dentro del aula. En grupos de 3 (o hasta 4, si las necesidades del aula así lo requieren) los alumnos debían resolver una serie

de problemas planteados (con los enunciados que al comienzo de la sesión pasaban a estar disponibles en el campus virtual). Los grupos siempre habían de estar formados por estudiantes distintos, solo pudiendo repetir

compañero/s si ya se hubiese pasado por el resto de los compañeros del aula en sesiones anteriores. Los problemas resueltos eran recogidos al final

de la clase y evaluados consecuentemente. Computando en total un 30 % de la calificación final de la asignatura.

o Trabajo colaborativo en la interclase. Esta situación únicamente se da en

el grupo B y es debido a que las clases magistrales ocupan uno de los huecos disponibles para los grupos A y C. En este caso las normas aplicadas

al caso anterior eran más laxas ya que por motivos de desplazamientos y comunicación, el obligar a la aleatoriedad en grupos podría complicar en exceso la logística de los estudiantes. Aun así se recomendaba el seguir la

norma siempre que fuese posible.

Page 10: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

125

2º Trimestre del curso. Grupos A y B

Clase previa a la

semana 1

SEMANA 1

1ª Clase Interclase 2ª Clase

Grupo B Encuesta inicial M. Class: Mod. Discretos 1 Trabajo personal Trabajo Colaborativo 1

Grupo A Encuesta inicial Explicación Flipped CR FL: Modelos Discretos

1 Trabajo Colaborativo 1

Intersemana

SEMANA 2

1ª Clase Interclase 2ª Clase

Grupo B Trabajo personal M. Class: Mod. Discretos 2 Trabajo Colaborativo 2 Trabajo Colaborativo 3

Grupo A FL: Modelos Discretos 2 Trabajo Colaborativo 2 Trabajo personal Trabajo Colaborativo 3

Intersemana

SEMANA 3

1ª Clase Interclase 2ª Clase

Grupo B Trabajo personal M. Class: Mod. Continuos Trabajo Colaborativo 4 Trabajo Colaborativo 5

Grupo A FL: Modelos Continuos Trabajo Colaborativo 4 Trabajo personal Trabajo Colaborativo 5

Intersemana

SEMANA 4

1ª Clase Interclase 2ª Clase

Grupo B Trabajo personal M. Class: Inferencia 1 Trabajo Colaborativo 6 Trabajo Colaborativo 7

Grupo A FL: Inferencia 1 Trabajo Colaborativo 6 Trabajo personal Trabajo Colaborativo 7

Intersemana

SEMANA 5

1ª Clase Interclase 2ª Clase

Grupo B Trabajo personal M. Class: Inferencia 2 Trabajo Colaborativo 8 Trabajo Colaborativo 9

Grupo A FL: Inferencia 2 Trabajo Colaborativo 8 Trabajo personal Trabajo Colaborativo 9

Intersemana

SEMANA 6

1ª Clase Interclase 2ª Clase

Grupo B Trabajo personal Repaso + Encuesta final Trabajo personal Examen final

Grupo A Trabajo personal Repaso + Encuesta final Trabajo personal Examen final

Tabla 5. Distribución semanal de los contenidos y actividades realizados por los grupos A

y B en la 2ª mitad del 2º trimestre del curso

3er Trimestre del curso. Grupo C

SEMANA 1

1ª Clase 2ª Clase Interclase 3ª Clase

Encuesta inicial Explicación Flipped

CR FL: Modelos Discretos 1

Trabajo Colaborativo 1

Intersemana SEMANA 2

1ª Clase 2ª Clase Interclase 3ª Clase

FL: Modelos Discretos 2

Trabajo Colaborativo 2 Trabajo

Colaborativo 3 Trabajo personal Trabajo Colaborativo 4

Intersemana SEMANA 3

1ª Clase 2ª Clase Interclase 3ª Clase

FL: Modelos Continuos Trabajo Colaborativo 5 Trabajo

Colaborativo 6 Trabajo personal Trabajo Colaborativo 7

Intersemana SEMANA 4

1ª Clase 2ª Clase Interclase 3ª Clase

FL: Inferencia 1 Trabajo Colaborativo 8 Trabajo

Colaborativo 9 Trabajo personal

Trabajo Colaborativo 10

Intersemana SEMANA 5

1ª Clase 2ª Clase Interclase 3ª Clase

FL: Inferencia 2 Trabajo Colaborativo

11 Trabajo

Colaborativo 12 Trabajo personal

Trabajo Colaborativo 13

Intersemana SEMANA 6

1ª Clase 2ª Clase Interclase 3ª Clase

Trabajo personal Repaso + Encuesta

final Clase de repaso Trabajo personal Examen final

Tabla 6. Distribución semanal de los contenidos y actividades realizados por el grupo C

en la 2ª mitad del 3er trimestre del curso

Page 11: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

126

3.3.5. Medición y encuestas

Además de los datos de encuestas se recogieron datos de evaluación,

asistencia y retención a largo plazo de todos los grupos implicados. Se realizaron pruebas estadísticas de carácter descriptivo e inferencial, incluido un test de Análisis de la Varianza (ANOVA).

El único resultado de este análisis estadístico que es relevante para comprender el siguiente estudio de las encuestas es el del test ANOVA. Este

demostró que los grupos A y C podían considerarse a nivel de evaluación como pertenecientes a una misma población. El grupo B pertenece a una población distinta tanto de A como de C. A la luz de estos resultados y de cara a facilitar la

lectura y digestión de los datos de encuesta, se ha optado por agrupar a A y a C para analizarlos en bloque frente a B. A partir de ahora se referirá a la

agrupación de A y C como grupo A+C.

Como se ha mencionado ya, para evaluar la satisfacción de los estudiantes con

cada metodología, así como su percepción sobre su propio aprendizaje y la influencia de cada metodología en este, se elaboraron unas encuestas tipo-likert de 5 respuestas posibles a un total de 8 ítems.

Las encuestas se pasaron en dos tandas:

La primera tanda contenía únicamente los ítems del 1 al 6. Se pasó al

concluir la sección de clase tradicional de todos los grupos, antes de realizar la prueba de evaluación parcial.

La segunda tanda contenía los ítems del 1 al 8 en los grupos A y C, y los

ítems del 1 al 6 en el grupo B. Los ítems 7 y 8, como puede verse en la tabla 7, hacen referencia explícita al cambio de metodología a Flipped Learning, por lo

tanto, en el grupo B no podía preguntarse. Al finalizar la asignatura, se realizó una segunda ronda de encuestas, en la clase anterior a la prueba final de evaluación.

ID Item Descripción Abreviatura

Item 1 Satisfacción con la forma de impartir los contenidos Satisfacción

Item 2 Calidad de los contenidos Calidad

Item 3 Tiempo de trabajo autónomo en la asignatura Tiempo de trabajo

Item 4 Rendimiento percibido del tiempo dedicado Rendim. Tiempo

Item 5 Percepción de la retención de contenidos Percep. Retentiva

Item 6 Percepción del conocimiento adquirido Percep. adquis. Cono.

Item 7 Influencia del cambio de metodología en tu rendimiento Metodología en rendim.

Item 8 Influencia del cambio de metodología en tu retención de

contenidos Metodología en reten.

Fuente: Elaboración propia

Tabla 7. Descripción de los ítems de las encuestas intermedia y final

4. Presentación de resultados

Como se observa en la tabla 8, cabe destacar que la proporción de matriculados que contestaron a las encuestas nunca fue menor del 63 % del

total, por lo que las respuestas son siempre representativas de un conjunto significativo de estudiantes.

Page 12: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

127

Grupo Encuesta Nº de

matriculados Encuestados

Proporción s/ total

¿Cuándo?

A Primera Encuesta 28 23 82 % Después de clase tradicional

Segunda Encuesta 28 19 68 % Después de Flipped Learning

B Primera Encuesta 22 19 86 % Después de clase tradicional

Segunda Encuesta 22 18 82 % Después de clase tradicional

C Primera Encuesta 35 27 77 % Después de clase tradicional

Segunda Encuesta 35 22 63 % Después de Flipped Learning

Fuente: Elaboración propia

Tabla 8. Proporción de encuestados sobre el número total de matriculados

La tabla 9 desglosa ítem a ítem los resultados obtenidos en la encuesta de satisfacción del grupo B, mientras que en la tabla 10 se hace para el grupo

conjunto A+C.

Grupo B

(2ª parte de la asignatura) Grupo B

(1ª parte de la asignatura)

1+2 3 4+5 1+2 3 4+5

Desfav. Neutral Favorable Desfav. Neurtal Favorable

Satisfacción ítem 1 11 % 10 % 79 % 6 % 11 % 83 %

Calidad ítem 2 0 % 21 % 79 % 6 % 11 % 83 %

Tiempo de trabajo ítem 3 5 % 16 % 79 % 6 % 11 % 83 %

Rendim. tiempo ítem 4 5 % 21 % 74 % 6 % 11 % 83 %

Percep. retentiva ítem 5 16 % 26 % 58 % 5 % 28 % 67 %

Percep. adquis. Cono. ítem 6 16 % 31 % 53 % 17 % 22 % 61 %

Fuente: Elaboración propia

Tabla 9. Resultado de la encuesta en el grupo B, dónde no se aplicó la metodología

Flipped Learning

Grupo A+C

(2ª parte de la asignatura) Grupo A+C

(1ª parte de la asignatura)

1+2 3 4+5 1+2 3 4+5

Desfav. Neutral Favorable Desfav. Neutral Favorable

Satisfacción Item 1 12 % 20 % 68 % 7 % 24 % 68 %

Calidad Item 2 2 % 12 % 86 % 2 % 7 % 90 %

Tiempo de trabajo Item 3 2 % 16 % 82 % 5 % 29 % 66 %

Rendim. tiempo Item 4 4 % 24 % 72 % 7 % 44 % 49 %

Percep. retentiva Item 5 4 % 16 % 80 % 10 % 29 % 61 %

Percep. adquis. Cono. Item 6 0 % 12 % 88 % 10 % 20 % 71 %

Metodología en rendim. Item 7 6 % 10 % 84 % N/A N/A N/A

Metodología en reten. Item 8 2 % 14 % 84 % N/A N/A N/A

Fuente: Elaboración propia

Tabla 10. Resultado de la encuesta en el grupo A+C, dónde se aplicó la metodología

Flipped Learning

Los resultados de la encuesta demuestran claramente que los alumnos perciben esta metodología como muy ventajosa tanto en lo que respecta a su rendimiento (aprovechamiento del tiempo) como en cuanto a su retención de los

contenidos (figura 2). En ambos casos, un 84 % de los encuestados respondió favorablemente a las dos preguntas. Hay también diferencias entre los

desfavorables ya que sólo un 2 % cree que la retención de conocimientos con Flipped Learning es peor que con el método tradicional.

Page 13: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

128

Figura 2. Tartas porcentuales con los resultados de los ítems 7 y 8 en los grupos A y C

descritos de forma conjunta

Las tablas 11 y 12 recogen las diferencias entre las repuestas recogidas en las

dos encuestas, realizadas la primera a mitad del curso y la segunda a final del mismo. En este caso, para establecer la comparación se limitan los ítems a los

seis primeros, ya que el grupo B no cambió de metodología.

Puede observarse que en el grupo con enseñanza tradicional la imagen de la

asignatura empeoró ligeramente. Las respuestas favorables a fin de curso son, en general, del orden de un 5 % más reducidas en la segunda encuesta en cuanto a calidad, satisfacción y tiempo dedicado, y la reducción es más o menos

el doble (8 a 10 %) en cuanto a rendimiento, percepción de la retención y percepción de la adquisición de conocimientos. El hecho de abordar temas más

complejos se reflejó en un mayor distanciamiento de los alumnos.

Diferencia entre encuestas en B 1+2 3 4+5

Desfavorable Neutral Favorable

Item 1: Satisfacción 5 % -1 % -4 %

Item 2: Calidad -6 % 10 % -4 %

Item 3: Tiempo de trabajo 0 % 5 % -4 %

Item 4: Rendimiento del tiempo 0 % 10 % -10 %

Item 5: Percepción retentiva 10 % -1 % -9 %

Item 6: Percep. de la adquisición -1 % 9 % -8 %

Fuente: Elaboración propia

Tabla 11. Diferencias entre los resultados de la primera y segunda encuesta

en el grupo B

Diferencia entre encuestas en A+C 1+2 3 4+5

Desfavorable Neutral Favorable

Item 1: Satisfacción 5 % -4 % 0 %

Item 2: Calidad 0 % 5 % -4 %

Item 3: Tiempo de trabajo -3 % -13 % 16 %

Item 4: Rendimiento del tiempo -3 % -20 % 23 %

Item 5: Percepción retentiva -6 % -13 % 19 %

Item 6: Percep. de la adquisición -10 % -8 % 17 %

Fuente: Elaboración propia

Tabla 12. Diferencias entre los resultados de la primera y segunda encuesta en el grupo

conjunto formado por los grupos A y C

Page 14: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

129

Cabe fijarse en que en casi todos los ítems los que dejaron de percibir los aspectos favorablemente empeoraron una categoría, pasando a neutro, excepto

en el caso de la percepción de la retención de conocimientos. En este caso, los alumnos que cambiaron su opinión a peor lo hicieron de manera más radical, y casi todos pasaron su veredicto de favorable a desfavorable.

Estos resultados contrastan notablemente con los obtenidos de las encuestas a los grupos que tuvieron la segunda parte de la asignatura con Flipped Learning

(ver tabla 10). En este caso, los alumnos mejoraron apreciablemente su impresión en casi todos los conceptos referidos al trabajo de los propios alumnos y sus resultados. Destaca el cambio de neutral a favorable, más que el de

desfavorable a favorable, que también se detecta, en los aspectos de tiempo de trabajo dedicado a la asignatura, el rendimiento de ese tiempo, la percepción de

la retención de conocimientos y la propia retención de conocimientos a seis semanas vista.

El cambio radical más claro concierne a la percepción de los alumnos de la adquisición de conocimientos: un 10 % de los que opinaron desfavorablemente al final de la primera parte, y un 8 % de los que manifestaron no ser favorables

ni desfavorables (para un total próximo a una quinta parte de los alumnos, una proporción muy apreciable) pasaron a tener una opinión favorable. Por contra, a

un grupo reducido (del orden del 5 %) el método no les satisface ni les parece de calidad suficiente, muy probablemente porque no desean participar activamente en el aprendizaje, y reclaman su derecho a ser pasivos, o bien porque perciben

que el profesor puede estar “trabajando poco”. Es posible que sea fácil para los alumnos, como consumidores, no valorar adecuadamente el trabajo intenso del

profesorado en la producción de los videos, ni el trabajo del profesor en el aula durante las sesiones de resolución de problemas.

Conviene retener este dato: hay un reducido número de alumnos que, aunque

estén más contentos con el resultado final en cuanto a su desempeño, se muestran desfavorables al método en cuanto a juzgar al profesor. Los resultados

son mejores, su opinión de la asignatura no.

En resumen, una parte apreciable de los alumnos, alrededor de un quinto, consideran mejor su resultado y rendimiento con Flipped Classroom, y una

vigésima parte del total, aunque coinciden en la buena percepción de sus resultados y desempeño, empeoran su opinión de la asignatura.

A partir del análisis de estos resultados se puede establecer que las razones por las que puede funcionar Flipped Learning serían:

La metodología Flipped Learning, tal y como se ha aplicado en este caso,

obliga al estudiante a trabajar en grupo sistemáticamente durante todas las sesiones de aula.

Flipped Learning les obliga a rendir con un tiempo tasado (les reta).

Con la resolución de problemas en grupo en clase, resolver problemas se convierte en una tarea con motivación externa en lugar de ser una motivación

interna, lo que también aumenta el éxito del grupo en su conjunto.

5. Discusión, conclusiones y recomendaciones

Los resultados confirman que la metodología Flipped Learning es más adecuada a la percepción de los estudiantes, y sigue las recomendaciones hechas

Page 15: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

130

por una parte significativa de los autores que preconizan la mejora de la enseñanza de ciencias, matemáticas, ingeniería y tecnología.

Los estudiantes están más contentos con la metodología Flipped Learning, probablemente porque perciben su mayor participación como una aportación valiosa.

Los estudiantes requieren un tiempo total de dedicación a la asignatura menor con Flipped Learning, con lo que se logra una mayor eficacia y al mismo tiempo

una mejor imagen de la asignatura.

Hay que destacar que la asignatura tiene buena acogida en ambas modalidades, dónde los estudiantes valoran de forma muy positiva tanto al

profesor como la calidad de los contenidos cubiertos.

Las mejoras en la percepción de los alumnos descritas redundan en un mayor

interés por la asignatura, especialmente en un marco de opinión que actualmente juega en contra de las metodologías convencionales.

La metodología Flipped Learning permite que el estudiante aprenda los conceptos y contenidos teóricos de la asignatura de una manera más acorde con el aprendizaje cognitivo, de los jóvenes en particular (y de toda la sociedad) en

estos momentos: con materiales audiovisuales, a su propio ritmo y con todos los recursos de la web a su disposición para facilitar la comprensión de los

contenidos, al mismo tiempo que los interioriza. En la metodología convencional se favorece que los estudiantes tomen apuntes o subrayen textos, reforzando la costumbre de limitar el aprendizaje a la lectura de estos textos, antes de y

durante la resolución de los problemas y ejercicios fuera del aula.

La metodología Flipped Learning permite que los estudiantes se enfrenten a la

resolución de problemas de una entidad y complejidad mucho mayor que la de los ejercicios que un profesor resolvería en clase. Más semejantes a análisis estadísticos reales, que puedan darse en el mundo profesional, frente a los

ejercicios simples que a menudo incluyen los libros de texto y manuales de aula, que son los que suelen resolverse en la pizarra (electrónica o no).

6. Referencias bibliográficas

Bergmann, J. y Sams, A. (2012). Flip Your Classroom. Reach Every Student in Every Class Every Day. International Society For Technology In Education. ISBN-

10: 1564843157 ISBN-13: 9781564843159

Beile, P. M. y Boote, D. N. (2004). Does the medium matter? A comparison of

a webbased tutorial with face-to-face library instruction on education students' selfefficacy levels and learning outcomes. Research Strategies, 20 (1-2), 57-68.

Bowles-Terry, M., Hensley, M. K. y Hinchliffe, L. J. (2010). Best practices for

online video tutorials in academic libraries: A study of student preferences and understanding.

Bury, S. y Oud, J. (2005). Usability testing of an online information literacy tutorial. Reference Services Review, 33 (1), 54-65.

Gardiner, L. F. (1994). Redesigning Higher Education: Producing Dramatic

Gains in Student Learning. ASHE-ERIC Higher Education Report No. 7. ERIC Clearinghouse on Higher Education, One Dupont Circle, NW, Suite 630,

Washington, DC 20036-1183.

Page 16: La percepción del aprendizaje de los estudiantes de ingeniería en …refiedu.webs.uvigo.es/Refiedu/Vol9_2/REFIEDU_9_2_5_ex207.pdf · 2017-02-16 · A partir del bloque 4 se comienza

Revista de Formación e Innovación Educativa Universitaria. Vol. 9, Nº 2, 116-131 (2016)

131

George, M. D. y Bragg, S. (1996). Shaping the future: New expectations for undergraduate education in science, mathematics, engineering, and technology.

DIANE Publishing.

Guo, P. (2013). Optimal Video Length for Student Engagement. Taken on 23/08/2014, from https://www.edx.org/blog/optimal-video-length-student-

engagement

Pedró, F. (2006). Aprender en el nuevo milenio: Un desafío a nuestra visión de

las tecnologías y la enseñanza (No. 9227). Inter-American Development Bank.

Prensky, M. (2001). Digital Natives, Digital Immigrants part I. On the Horizon, 9 (5), 1-6.

Prensky, M. (2001). Digital Natives, Digital Immigrants part II: Do They Really Think Differently? On the Horizon, 9 (6), 15-24.

Silver, S. L. y Nickel, L. T. (2005). Are online tutorials effective? A comparison of online and classroom library instruction methods. Research Strategies, 20 (4),

389-396.

Wirth, K. R. y Perkins, D. (2015). Learning to Learn. http://www.macalester.edu/geology/wirth/CourseMaterials.html.