D E S I G N A N D I M P L E M E N TAT I O N O F A L E A R N I N G A N A LY T I C S T O O L K I T F O R T E A C H E R S

G I LVA N R I T T E R | C I Ê N C I A D A C O M P U TA Ç Ã O | U F P E L

E L A T

L E A R N I N G A N A LY T I C SE X E M P L O D E I M P L E M E N TA Ç Ã O

M O T I VA Ç Ã O

• LVE atuais não suprem necessidades ou são difíceis de usar;

• LVE’s não respondem questões “individuais” do professor;

• LVE’s que dispõe de ferramentas de Learning Analytics são fechados e não podem ser integrados a outros LVE's;

• LVE’s atuais não representam os dados de maneira intuitiva;

• LVE’s atuais tem problemas de privacidade na coleta de dados.

E L ATE X P L O R A T O R Y L E A R N I N G A N A LY T I C S T O O L K I T

R E Q U I S I T O S ( 1 / 2 )

• Usabilidade: Preparar uma interface compreensível, métodos apropriados para visualização de dados, guiar o usuário através do processo de analítica;

• Utilidade: Prover indicadores relevantes que ajudem os professores a ter entendimento mais aprofundado do comportamento de aprendizagem dos estudantes;

• Interoperabilidade: Garantir compatibilidade para com qualquer tipo de LVE, permitindo integração através de fontes de dados diferentes.

R E Q U I S I T O S ( 2 / 2 )

• Extensibilidade: Permitir extender as funcionalidades de analítica após deploy, sem reescrever código;

• Reuso: Implementação em módulos permitindo reuso de funções para construção de funcionalidades mais complexas;

• Op. em tempo real: Garantir que o toolkit retorne dados em tempo real;

• Privacidade: Preservar dados confidenciais do usuário e proteger sua identificação, sempre.

I M P L E M E N TA Ç Ã O ( 1 / 3 )

• 2010 / 2011 - 4 classes -1370, 338, 220, 38 (estudantes);

• Metodologias e tecnologias diferentes de ensino no LVE;

• Logs de atividades de usuários, interação, e avaliação em alguns casos;

• Extração de indicadores relevantes.

P R O T Ó T I P O / D A D O S

I M P L E M E N TA Ç Ã O ( 2 / 3 )

• Estudo de layouts e apresentação de dados;

• **Euristic evaluation ( princípios e guidelines de design já usadas e conhecidas/aprovadas);

• **Cognitive walkthrough (especificação da UI, desempenhar tarefas no protótipo para avaliar usabilidade);

• **Pluralistic walkthrough (discussão formal sobre os resultados do teste de usabilidade feito pelo usuário);

• Widgets, abas, gráficos, dashboards, comp. indicadores (configurável).

P R O T Ó T I P O / D E S I G N

I N T E R FA C E

U I - P R O T Ó T I P O S

D A S H B O A R DV I S Ã O G E R A L

C O M P O R TA M E N T O N A S AT I V I D A D E SC O M P O R TA M E N T O

Q U A N T I D A D E D E C L I C K S D E U S U Á R I O S A C E S S A N D O / S E M A N A L

E S T U D A N T E S A C E S S A N D O

A R E A S D O A M B I E N T E E D U C A C I O N A L A C E S S A D A S / S E M A N A L

A R E A S A C E S S A D A S

T O P 1 0 M AT E R I A I S A C E S S A D O S , N Ú M E R O D E A C E S S O S

M A T E R I A I S A C E S S A D O S

U S O D O F Ó R U M , T H R E A D S E R E S P O S TA S

F Ó R U M

I M P L E M E N TA Ç Ã O ( 3 / 3 )

• Mining database - banco de dados;

• Indicator framework - negocia e provê serviços de avaliação e relatórios, executa calculo de indicadores;

• Visualizer - provê um layer de abstração para visualização de diferentes relatórios da maneira apropriada.

P R O T Ó T I P O / A R Q U I T E T U R A

R E S U LTA D O S

• Pequenos problemas de layout, em geral, estrutura compreensível;

• Desenvolvimento de ferramentas mais avançadas/automatização de analítica para o professor baseado na analítica do professor, definição dinâmica de indicadores;

• **Avaliar compreensibilidade dos relatórios;

• Privacidade dos dados;

• Interoperabilidade com outros LVE's - L2P, Moodle, Dynexite.

C O N S I D E R A Ç Õ E S F I N A I S

A N N A L E A D Y C K H O F F * , D E N N I S Z I E L K E , M A R E I K E BÜ LT M A N N , M O H A M E D A M I N E C H AT T I A N D U L R I K

S C H R O E D E R

Design and implementation of a learning analytics toolkit for teachers

H T T P : / / W W W. I F E T S . I N F O / J O U R N A L S / 1 5 _ 3 / 5 . P D F

Computer Supported Learning Group, RWTH Aachen University