Embed Size (px)
Citation preview
Learning AnalyticsAnalíticas de aprendizaje:
tecnología, profesores, entorno, juegos
Baltasar Fernandez-Manjon
Grupo de Investigación e-UCM, www.e-ucm.es
[email protected] @BaltaFM
Universidad Autónoma de Sinaloa, Mexico, 24/02/2015
http://www.slideshare.net/BaltasarFernandezManjon/
Sobre mi y el grupo de investigación e-UCM
• Catedrático informática Univ. Complutense • Director del grupo e-UCM
• Tecnologías educativas e-UCM• 12 investigadores• Serious games
• Desarrollo de tecnología• eAdventure, GLEANER, Mokap
• Aplicaciones en el campo médico• Proyectos nacionales y europeos
• H2020 – RAGE
•www.e-ucm.es
2
www.mockap.es
Abundancia de nuevas tecnologías y entornos educativos
¿Qué pasa cuando se introduce una nueva tecnología en el aula?
Sistemas de gestión de enseñanza (LMS, e.g. Moodle)
Sistemas web (Khan Academy, Codeacademy, Duolingo, …)
Cursos masivos abiertos en internet (MOOCs, e.g. EdX, Coursera, FutureLearn, …)
Tecnología en el aula: Expectativas vs realidad
http://upload.wikimedia.org/wikipedia/commons/thumb/6/6c/PDiP.JPG/1024px-PDiP.JPG
http://ep01.epimg.net/economia/imagenes/2013/02/12/actualidad/1360659571_769199_1360662011_noticia_normal.jpg
¿Resultados?
¿El éxito es sólo responsabilidad del profesor?
Juegos educativos en el aula: juego• The Radix Endeavor (MIT)
• https://www.radixendeavor.org
• Juego MMOG orientado al aprendizaje de ciencia, tecnología, ingeniería y matemáticas (STEM)• Muchas misiones o “quests”
• Adaptado al curriculum escolar
• Incorpora funcionalidades para los profesores• Configuración de clase• Asignación de misión o tarea• Actualmente en evaluación en
entornos reales
Juegos educativos en el aula: prueba• Estudiantes de la clase de Master
en e-learning• 13 estudiantes, 8 nacionalidades
• No se les proporciona información sobre el uso del juego• Si tienen problemas pueden
preguntar al profesor o ver los videos de ayuda
• Una hora de juego libre• ¿Quién lo ha hecho mejor a la media
hora y al final?
• Tienen que publicar las capturas que demuestran lo que han hecho en el foro de Moodle de la clase
Juegos educativos en el aula: resultados• Los estudiantes se mostraron muy activos y motivados durante toda
la hora• Les gustó la experiencia• Consideraron que el juego tenía una calidad comercial• Nadie solicitó ayuda o visualizó los videos de ayuda disponibles
• Todos publicaron las capturas de pantalla en el foro Moodle de la clase
• Resultados educativos• Sólo 4 de los estudianes completaron mas de 2 tareas o misiones• La mayoría de los estudiantes simplemente se dedicaron a explorar el entorno
de juego pero sin hacer nada “útil” ni aprender nada
• Los datos reales pueden contradecir la observación simple
El profesor y las nuevas tecnologías educativas
• Exigen un esfuerzo para el que muchas veces los docentes no se sienten preparados• Dominio de la tecnología• Forma de uso efectivo
• Subversión de autoridad• Alumnos que pueden controlar mejor la tecnología que el profesor• Se pierde, al menos en parte, el control de la clase
• Evaluación del conocimiento adquirido• ¿Están aprendiendo los alumnos?• Aunque los alumnos aprendan, ¿serán capaces de hacerlo bien en el examen?
Definición informal de analíticas de aprendizaje
• Saber mas y entender mejor que es lo que sucede cuando se utiliza tecnología aplicada a la educación de modo que se pueda mejorar dicho proceso
• Cuando se introduce una nueva tecnología o una nueva aplicación se modifica el entorno educativo• Por ejemplo, los canales de comunicación, acceso al contenido, la forma de
interactuar con los estudiantes
• Consiste en usar la propia tecnología para “mejorar” el proceso educativo que usa tecnología
Learning analytics is the collection and analysis of data generated during the learning process in order to improve the quality of both learning and teaching.
http://solaresearch.org/core/improving-the-quality-and-productivity-of-the-higher-education-sector/
Learning analytics
The NMC Horizon Report: 2013 Higher Education Edition
• Tecnologías nuevas y emergentespara la enseñanza, el aprendizajey la investigación
• Horizonte de adopción: de dos a tres años
• Juegos educativos y gamificación
• Analíticas de aprendizaje(Learning Analytics)
10
http://www.nmc.org/publications/2013-horizon-report-higher-ed
Learning Analytics• Mejora de la educación basada
en el análisis de datos• Dirigido por los datos
• Educación basada en evidencias • Las teorías o enfoques educativos
se pueden contrastar con los resultados reales
• Relacionado con…• Minería de datos educativa
• Inteligencia de negocio (Business intelligence)
• Analíticas visuales
11www.ed.gov/edblogs/technology/files/2012/03/edm-la-brief.pdf
Pasos o etapas de la analítica de aprendizaje• 1. Recolectar grandes cantidades de datos de distintos canales
• Interacción con el sistema
• 2. Traducir esos datos en información, indicaciones o señales sobre lo que está realmente sucediendo • Puede no ser posible saber lo que está aprendiendo realmente un alumno en una
lección pero si se puede observar lo que hace y usarlo como un indicador de lo que está pasando
• 3. Uso de la información con distintos propósitos• Personalización y adaptación. El sistema puede usar esas señales para personalizar
el sistema para cada alumno concreto • Evaluación (Assessment). Usar la información para realizar una evaluación formativa
o sumativa• Predictivo. Si el usuario usa el sistema durante un periodo largo de tiempo, los
educadores pueden averiguar que funciona y que no funciona y ajustarlo para que funcione mejor
http://www.edudemic.com/grades-2-0-how-learning-analytics-are-changing-the-teachers-role/
Los 4 niveles del Learning Analytics
•Descriptivo• ¿Qué ha pasado?
•Diagnostico• ¿Por qué ha pasado?
•Predictivo• ¿Qué va a pasar?
•Prescriptivo• ¿Qué debería hacer?
http://www.edudemic.com/4-levels-learning-analytics-graphic/
Distintos usos
• Analíticas de aprendizaje • Análisis de datos que ayuda a los estudiantes a mejorar sus resultados de aprendizaje
• Analítica académica o de programa (Academic/program analytics)• Análisis de datos que proporciona información sobre lo que pasa en un determinado
programa y como corregir errores o ajustarlo para evitar disfunciones
• Analítica Institucional (Institutional analytics)• Análisis de datos que ayuda a tomar decisiones sobre como mejorar a un nivel
institucional o de organización
14
Learning Impact Blog, Big data: Cool; Small data: Cooler http://www.imsglobal.org/blog/?p=258
http://www.educause.edu/ero/article/penetrating-fog-analytics-learning-and-education
¿Cuándo se analizan los datos?
• Off-line• Los datos se analizan una vez que se ha acabado el uso real • Se trata de descubrir patrones de uso• Permite mejoras a futuro o en nuevas ediciones de un curso
• En tiempo real• Se analizan los datos mientras el sistema está en uso para mejorar o adaptar la
experiencia de aprendizaje de esos usuarios • Permite su uso en las clases presenciales
• Enfoque mixto• Análisis mas simple en tiempo real que permite tomar decisiones rápidas combinado
con un análisis posterior para poder descubrir problemas o identificar mejoras
16
Tipos de datos: Extensive Data
• Gran número de participantes
• Un número relativamente bajo de variables
• Normalmente poca información demográfica sobre los usuarios
• Muchos datos totales pero pocos datos por cada uno de los usuarios concretos
17
Adapted from: Learning Analytics and Educational Data Mining WorkshopNew York University – CREATE Lab April 4–5, 2013
Tipos de datos: Intensive Data
• Número relativamente pequeño de participantes • Un gran número de variables para cada participante. Por ejemplo:
• Interacciones de los usuarios• Respuestas a formularios; Mucha información demográfica• Grabaciones de video• Seguimiento de la mirada (Eye-tracking)• Datos biométricos (HR, RESP, GSR, EEG, EKG)
• Muchas medidas para cada una de las variables
• ¿Se pueden encontrar correlaciones entre distintos tipos de datos?
18Adapted from : Learning Analytics and Educational Data Mining WorkshopNew York University – CREATE Lab April 4–5, 2013
Elementos fundamentales en LA
Obtenido en http://publications.cetis.ac.uk/2012/529 y adaptado de T. H. Davenport, J. G. Harris, and R. Morison, Analytics at Work: Smarter Decisions, Better Results. Harvard Business Press, 2010
El ciclo de realimentación • No sólo es importante proporcionar realimentación si no también
cuando se proporciona
• Learning analytics puede ayudar a mejorar la realimentación
http://www.wired.com/2011/06/ff_feedbackloop/ http://safety.fhwa.dot.gov/speedmgt/ref_mats/fhwasa12004/
Ejemplos de analíticas de aprendizaje
Khan Academy: videos educativos y ejercicios
Analíticas de aprendizaje en Khan Academy
Signals – Purdue U – LMS BlackBoard
Analíticas de aprendizaje en juegos educativos
eAdventure• Desarrollo de la plataforma eAdventure• Creación sencilla de juegos y simulaciones
educativas• Características propias para educación
(evaluación, accesibilidad, despliegue, etc)• Fácil incorporar analíticas de aprendizaje
(learning analytics)• Gratis, codigo abierto
• http://e-adventure.e-ucm.es
Plataforma eAdventureEntorno de autoría para la creación de juegos de aventura gráfica y simulaciones
con estrategia de juego sin necesidad de programar
http://www.chermug.eu
CheckListhttp://first-aid-game.e-ucm.es
Trasplantes
Descarga desde www.e-ucm.es
Juegos desarrollados
Usos de analíticas de aprendizaje en juegos• Probar el juego
• ¿Fiabilidad del juego?
• ¿Cuántos estudiantes acaban el juego?
• ¿tiempo medio para completarlo?
• Evaluación del juego• De los test pre-post a una evaluación basada en analíticas de aprendizaje
• Despliegue de los juegos en la clase• Información en tiempo real para apoyo al profesor
• Evaluación “sigilosa” de los estudiantes
• Saber que es lo que pasa cuando se despliega el juego en la clase
GLEANER
• GLEANER: Game Learning Analytics for education research• Entorno de código abierto para obtener trazas de juegos
30
Modelo de referencia en la red europea GALA, http://e-ucm.github.io/gleaner/
Ángel Serrano-Laguna, Javier Torrente, Pablo Moreno-Ger, Baltasar Fernández-Manjón (2014): Application of Learning Analytics in Educational Videogames. Entertainment Computing 5 (4), 313-322.
eAdventure + Learning Analytics
Game Engine
CommunicationAPI
{
type: 'input',
timeStamp: some_timestamp,
device: 'some_device',
action: 'some_action',
target: 'target_id',
data: { key1: value, ...}
}
{
type: 'logic',
timeStamp: some_timestamp,
event: 'some_event',
target: 'some_id',
data: { key1: value, ...}
}
Learning Analytics Database
GLEANER Arquitectura
Análisis de GLEANER
• Reporter tiene acceso a la base de datoa y y presenta los datos medianteinformes• Gráficos, mapas de interacción, tablas …
• Evaluator tiene acceso a la base de datos y comprueba los objetivoseducativos en el modelo de evaluación
Analíticas de aprendizaje en juegos educativos: ejemplos
Un juego para aprender XML
http://gleaner.e-ucm.es/lostinspace/play/index.html
En qué consiste el juego …
objetivo
Nave principal
Nuevas funcionalidades o Power-ups
(nuevos elementos sintacticos)
Escribir fragmentos XML para mover la nave hacia
el objetivo
Informe de GLEANER
37
Informe de progreso
38
Sesión de usuario
Fasescompletadas
Puntuaciónactual
Objetivos de aprendizaje
Logros se actualizan y destacan en tiempo real
Trazas detalladas
39
Filtros XML fragmentos
Los fragmentos se actualizan en tiempo real cuando los envían los estudiantes. El profesor los puede filtrar para ver solo los errors o todo lo que ha enviado un alumno
concreto
LA para simplificar el despliegue en la clase
• Experimento: experiencia gamificadaObjetivos• El primero en completar el juego• Quién obtiene el mayor número de puntosPero …• Los alumnos no fueron informados de que se usaba LA‣ El profesor sabía lo que pasaba en la clase
Después de un rato de juego se les mostro en el proyector la información del Sistema de análiticas
‣ Se produjo un cambio de actitud en los alumnus cuando supieron lo de LA• Mas orientados al éxito y menos a la exploración o el juego por el juego
Ángel Serrano-Laguna, Baltasar Fernández-Manjón (2014): Applying learning analytics to simplify serious games deployment in the classroom. Proceedings of the 2014 IEEE Global Engineering Education Conference (EDUCON) Pages 872-877.
La Dama Boba : Juego educacional para promoverel interes de los jóvenes por el teatro clásico
Basado en La Dama Boba de Lope de VegaJuego disponible en http://damaboba.e-ucm.esY en el Android Market
Experimento: juego vs clase• Profesor con un contenido
estándar previamente preparado
• 757 estudianes
• De 8 colegios e institutos de la región de Madrid
• Grupo de control y grupo experimental
Evaluación formal pre-post• Learning analytics Off-line
• La evaluación formal de juegos es muy cara y compleja • Pre-test
• Post-test
• Muy pocos juegos se han evaluado formalmente
• Se pueden lograr resultados similares con la analítica de aprendizaje que con los test pre-post?
43
Resultados learning analytics : puntuaciones, tiempo, ...
Como juega el alumno?
45
Analíticas de aprendizaje: especificaciones emergentes
ADL eXperience API (xAPI)
‣ Resultado del proyecto Tin Can
‣ Traza experiencias, aprendizaje informal, experiencias en el mundo real (no solo cuando se ha completado una tarea)
‣ Permite almacenamiento de datos y acceso a los datos (estoposibilita el uso de otras herramientas de informes y de análisis)
‣ Permite la traza de experiencias moviles, juegos, tutoresinteligentes, mundos virtuales, etc
‣ Desarrollado por una comunidad de código abierto
47Adaptado de la presentación de Damon Regan (ADL) en el SINTICE2013
48
Flujos de actividad: Activity Streams
• http://activitystrea.ms
• Colaboración entre Google, Facebook, Microsoft y otros
• Permite describer experiencias y actividades y no solo cuandose ha completado alguna tarea
• Formato: <Actor> <Verbo> <Objecto> (yo hice esto):
Frase simple :yo (actor) ví (verb) un video sobre protección de dato personales (object)
Compleja: en el contexto de [information assurance certification training] con resultado [timestamp:2013-0618T18:30:32.360Z ].
Adaptado de la presentación de Damon Regan (ADL) en el SINTICE2013
Reporting
Systems
Assessme
nt Services
Semantic
Analysis
Statistical
Services
xAPI Learning Record Store (LRS)
49Adaptado de la presentación de Damon Regan (ADL) en el SINTICE2013
• Los datos de interacción pueden alimentar distintos sistemas• Un LRS• Un Sistema de analíticas de aprendizaje propio
eAdventure + LA con xAPI
Raw data
LRS
Sistema de LearningAnalytics
Analizador de expresiones
Analizador de expresiones
EXPERIENCE
API
EX
PE
RIE
NC
E
AP
I
www.mockap.es
IMS Global Learning Analytics Interoperability Framework
http://www.imsglobal.org/IMSLearningAnalyticsWP.pdf
Aspectos a tener en cuenta en analíticas de aprendizaje
• Aspectos éticos y legales sobre la información obtenida y su uso
• Modelo de seguridad para garantizar el acceso correcto a los datos
• Propiedad de la információn• Informar al usuario de que se están obteniendo datos
• Anonimización de la información
• Estos aspectos son especialmente importantes si se trabaja con menores de edad o en el entorno médico• Muy importante a la hora de diseñar experimentos
53
Conclusiones
• Consideramos que las analíticas de aprendizaje tienen un gran potencial tantodesde el punto de vista de aplicación como de investigación sobre los propiosprocesos educativos• Mejorar el uso de la tecnología educativa• Simplificar distintos procesos (e.g. evaluación, despliegue, control)
• Es crucial para apoyar al profesor en logra un uso mas efectivo de la tecnología en el aula
• Todavía es una línea de investigación a desarrollar para lograr mejores productos• Los estándares y especificaciones pueden ayudar a simplificar este proceso
54
¿Preguntas?
Proyectos en los que estamos implicados
www.mockap.es
Realising an Applied Gaming Eco-System
