View
4
Download
0
Category
Preview:
Citation preview
Ana Paula Galvão Damasceno Carrare
Heurísticas de Usabilidade para Sistemas Eletrônicos de
Avaliação da Aprendizagem Baseada em Casos Clínicos:
Uma Aplicação na Educação Médica
Tese apresentada ao curso de Pós-Graduação da
Faculdade de Ciências Médicas da Santa Casa de São
Paulo para obtenção do título de Doutora em Ciências da
Saúde.
São Paulo
2014
Ana Paula Galvão Damasceno Carrare
Heurísticas de Usabilidade para Sistemas Eletrônicos de
Avaliação da Aprendizagem Baseada em Casos Clínicos:
Uma Aplicação na Educação Médica
Tese apresentada ao curso de Pós-Graduação da
Faculdade de Ciências Médicas da Santa Casa de São
Paulo para obtenção do título de Doutora Ciências da
Saúde.
Área de concentração: Ciências da Saúde
Orientador: Dr. Carlos Alberto Longui
Co-orientador: Dr. Ismar Frango Silveira
Versão corrigida
São Paulo
2014
FICHA CATALOGRÁFICA
Preparada pela Biblioteca Central da Faculdade de Ciências Médicas da Santa Casa de São Paulo
Carrare, Ana Paula Galvão Damasceno Heurísticas de usabilidade para sistemas eletrônicos de avaliação da aprendizagem baseada em casos clínicos: uma aplicação na educação médica./ Ana Paula Galvão Damasceno Carrare. São Paulo, 2014.
Tese de Doutorado. Faculdade de Ciências Médicas da Santa Casa de São Paulo – Curso de Pós-Graduação em Ciências da Saúde.
Área de Concentração: Ciências da Saúde Orientador: Carlos Alberto Longui Co-Orientador: Ismar Frango Silveira 1. Interface usuário-computador 2. Sistemas de computação 3.
Educação médica 4. Avaliação educacional/métodos 5. Aprendizagem BC-FCMSCSP/21-14
Dedicatória
Aos meu filhos, Luiza e Miguel,
ao meu marido Marcelo e aos meus pais Neide e Enival.
Agradecimentos
Ao meu marido Marcelo pela compreensão e paciência, e por estar sempre ao
meu lado, me ajudando, nos momentos mais difíceis, muitas vezes suprindo minha
ausência junto aos meus filhos.
Aos meus filhos Luiza e Miguel, por serem um incentivo à minha vida, sempre
me dando forças e coragem para continuar.
Aos meus pais por me apoiarem e acreditarem em mim.
Ao meu orientador Prof. Dr. Carlos Alberto Longui, que me recebeu como
orientanda e me permitiu realizar este estudo, muitas vezes buscando comigo
soluções para problemas que eu não conseguia resolver.
Ao meu co-orientador Prof. Dr. Ismar Frango Silveira, pela maneira como me
ajudou e não me deixou desistir nos momentos de desespero.
À Faculdade de Ciências Médicas da Santa Casa de São Paulo e à
Irmandade da Santa Casa de Misericórdia de São Paulo por proporcionar a
realização deste estudo.
À pessoas que me ajudaram muito e tiveram um papel fundamental na
realização do estudo: Drª Beatriz A. Pacheco, Drª Maria Amélia Eliseo, Drª Ana
Grasielle D. Correa, Drª Valéria F. Martins, Drª Ilana S. Concilio, Dr. Juliano
Schimiguel e Dr. Vagner F. Santana.
À minha amiga Ms. Cristiane C. Hernandez, professora da Faculdade de
Ciências Médicas da Santa Casa de São Paulo, que esteve ao meu lado, durante
todo o percurso, me ajudando de inúmeras formas e nunca me deixou desistir.
Às integrantes da banca de qualificação Drª Juliana Cristina Braga, Drª
Pollyana Notargiacomo Mustaro e Drª Daniella Curcio Franco pelas suas
contribuições para o presente estudo, por meio de indicações de aspectos que
precisavam de aperfeiçoamento.
A todos que acreditaram e me apoiaram.
Abreviaturas e Símbolos
3D – 3 Dimensões ou Tridimensional
ACM – Association for Computing Machinery
AF – Antecedentes Familiares
AH – Avaliação Heurística
AP – Antecedentes Pessoais
AVA – Ambiente Virtual de Aprendizagem
BBC – British Broadcasting Corporation
CAA – Computer Assisted Assessment
CBL – Case-Based Learning
CPF – Cadastro de Pessoa Física
DI – Aplicação muito dependente de interpretação do avaliador da
interface
EF – Exame Físico
FAQ – Frequently Asked Questions
HCI – Human-Computer Interaction
HD – Hipótese diagnóstica
HDA – História da Doença Atual
HTML – HyperText Markup Language
ID – Identificação do paciente
IHC – Interação Humano-Computador
IS – Interrogatório Sintomatológico
MedCC – Medical Clinical Case
Mini-Cex – Mini-Clinical Evaluation Exercise
NIED – Núcleo de Informática Aplicada à Educação
OB – Aplicação clara e objetiva
OSE – Online Statistics Education
PBL – Problem-Based Learning
QD – Queixa principal e duração
SE – Sistema Eletrônico
TCLE – Termo de Consentimento Livre e Esclarecido
VLE – Virtual Learning Enviroment
Sumário
1. INTRODUÇÃO ............................................................................................................................... 1
1.1 REVISÃO DE LITERATURA .......................................................................................................... 4
1.1.1 Avaliação da aprendizagem .............................................................................................. 4
1.1.2 Ferramentas eletrônicas para avaliação de aprendizagem ............................................ 10
1.1.2.1 Moodle .................................................................................................................................. 13
1.1.2.2 Blackboard® Learn ............................................................................................................... 16
1.1.2.3 Medical Clinical Case (MedCC) ............................................................................................ 18
1.1.3 Conceitos de interação humano-computador (IHC) ........................................................ 19
1.1.3.1 Avaliação de interfaces ........................................................................................................ 21
1.1.3.2 Avaliação heurística ............................................................................................................. 22
1.1.3.3 Revisão de guidelines .......................................................................................................... 24
1.1.4 Trabalhos relacionados ................................................................................................... 26
1.1.5 Considerações adicionais ................................................................................................ 34
2. OBJETIVOS ................................................................................................................................. 36
3. MATERIAL E MÉTODOS............................................................................................................. 37
3.1 METODOLOGIA PARA REVISÃO DE LITERATURA ......................................................................... 37
3.2 METODOLOGIA PARA DEFINIÇÃO DAS HEURÍSTICAS ESPECIALIZADAS ......................................... 38
3.3 METODOLOGIA PARA VALIDAÇÃO DAS HEURÍSTICAS ESPECIALIZADAS......................................... 40
4. RESULTADOS ............................................................................................................................. 53
4.1 HEURÍSTICAS ESPECIALIZADAS PARA SISTEMAS ELETRÔNICOS DE AVALIAÇÃO DA APRENDIZAGEM
BASEADA EM CASOS CLÍNICOS .............................................................................................................. 53
4.1.1 Análise dos recursos avaliativos disponíveis nos sistemas Moodle e Blackboard® ...... 53
4.1.1.1 Características e recursos positivos na interface do professor ............................................. 54
4.1.1.2 Características e recursos positivos na interface do aluno ................................................... 57
4.1.1.3 Características e recursos negativos na interface do professor ........................................... 58
4.1.1.4 Características e recursos negativos na interface do aluno ................................................. 61
4.1.2 Definição das heurísticas especializadas ........................................................................ 63
4.2 VALIDAÇÃO DAS HEURÍSTICAS ................................................................................................. 80
5. DISCUSSÃO ................................................................................................................................ 87
5.1 HEURÍSTICAS ESPECIALIZADAS PARA SISTEMAS ELETRÔNICOS DE AVALIAÇÃO DA APRENDIZAGEM
BASEADA EM CASOS CLÍNICOS .............................................................................................................. 88
5.2 VALIDAÇÃO DAS HEURÍSTICAS ................................................................................................. 99
6. CONCLUSÕES .......................................................................................................................... 115
7. CONSIDERAÇÕES FINAIS ....................................................................................................... 116
8. ANEXOS ..................................................................................................................................... 118
ANEXO 1: CENÁRIOS DE INTERAÇÃO DO ALUNO ................................................................................... 118
ANEXO 2: CENÁRIOS DE INTERAÇÃO DO PROFESSOR ........................................................................... 120
ANEXO 3: FORMULÁRIO DE AVALIAÇÃO HEURÍSTICA DE USABILIDADE DA INTERFACE DO ALUNO .............. 122
ANEXO 4: FORMULÁRIO DE AVALIAÇÃO HEURÍSTICA DE USABILIDADE DA INTERFACE DO PROFESSOR ...... 123
ANEXO 5: INDICAÇÕES DOS PROBLEMAS DE USABILIDADE NO MEDCC APONTADAS DURANTE AS AVALIAÇÕES
HEURÍSTICAS REALIZADAS PARA A VALIDAÇÃO ..................................................................................... 124
9. REFERÊNCIAS BIBLIOGRÁFICAS .......................................................................................... 153
FONTES CONSULTADAS ................................................................................................................. 159
LISTAS E APÊNDICES ...................................................................................................................... 164
LISTA DE FIGURAS ............................................................................................................................. 164
LISTA DE QUADROS ............................................................................................................................ 166
LISTA DE TABELAS ............................................................................................................................. 167
APÊNDICE 1: TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO ......................................................... 168
APÊNDICE 2: PARECER DO COMITÊ DE ÉTICA EM PESQUISA ................................................................ 169
1. Introdução
O ensino e aprendizagem na área médica vem sofrendo mudanças há alguns
anos, pois acreditava-se que o conhecimento se concretizava a partir da
memorização de teorias apresentadas pelo professor (Saviani, 2006), mas com o
tempo percebeu-se que era necessário compreender estas teorias e identificar onde
aplicá-las na prática (Botti e Rego, 2010).
As mudanças que vem ocorrendo levam a valorização de processos de ensino
e aprendizagem que buscam explorar as experiências práticas, fundamentadas
pelos conceitos teóricos e científicos, isto acontece tanto na graduação como na
pós-graduação. Segundo Botti e Rego (2010) a combinação de diversas formas de
conhecimentos é fundamental para o desenvolvimento do raciocínio diagnóstico e de
atitudes profissionais, sendo mais importante do que habilidades ou tarefas mentais
isoladas.
Neste contexto surgem várias propostas metodológicas que defendem o uso
de evidências, problemas e casos clínicos como meio de levar os alunos ao universo
da prática médica, ao mesmo tempo que recebem conceitos teóricos para fomentar
seu raciocínio e remetê-los a aquisição de conhecimento. Elas permitem que em
dado momento, conforme o nível de aprendizagem do aluno, sejam apresentadas
situações (casos) propondo que ele se posicione a respeito (Goldwasser, 2006;
Savaris, 2009; Sebastiani, 2012), permitindo uma avaliação mais ampla, que mostre
os aspectos nos quais os alunos precisam melhorar, além de oferecer ao professor
um cenário para reforçar conceitos importantes e que não foram bem assimilados.
A avaliação é um dos componentes do processo, sempre discutida devido sua
importância. Desde a década de 1990 são estudadas mudanças na forma de avaliar,
propondo o abandono do método somativo, que verifica o desempenho do aluno
utilizando testes e provas, oferecendo um resultado quantitativo final, ao término do
curso (Sousa e Heinisch, 2012), para o formativo, que é definido por Perrenoud
(1999, p. 78) como “toda prática de avaliação contínua que pretenda contribuir para
melhorar as aprendizagens em curso...”, neste último o trabalho do professor precisa
ser diferenciado, requer maior dedicação às “avaliações” do que no método
somativo. Além disso, ela acontece durante todo o processo de ensino, não só ao
final. Por outro lado, ela permite acompanhar o desenvolvimento gradual do aluno,
2
ajudando a detectar dificuldades à medida em que estas vão sendo reveladas.
A avaliação sempre foi vista como uma forma de medir o quanto o aluno
aprendeu sobre um determinado conteúdo proposto no currículo acadêmico, mas ela
permite muito mais do que isso. Com metodologias e ferramentas adequadas, é
possível acompanhar continuamente o desenvolvimento do aluno, dando ao
professor condições de orientá-lo de forma adequada durante todo processo de
ensino e aprendizagem, revendo estratégias e propondo discussões e reflexões.
A maioria dos debates sobre avaliação se concentram na perspectiva do aluno,
na aquisição ou não de conhecimento, se ele sente-se inseguro ou prejudicado pela
forma como o professor avalia. Mas também é importante refletir sobre o processo
de avaliação do ponto de vista do professor, que prepara, aplica, corrige e discute os
resultados obtidos pelos alunos, precisa ser considerado que em todas as etapas ele
dispõe de tempo, normalmente superior ao previsto, e que há um desgaste
emocional durante a aplicação e correção. Assim como, independente da estratégia
de avaliação adotada, espera-se que o resultado obtido possa guiá-lo por novos
caminhos de ensino (Perrenoud, 1999).
A problemática relacionada ao processo avaliativo está presente em todos os
níveis de ensino e em todas as áreas do conhecimento. Portanto é necessário que
se busque maneiras de colaborar com esta atividade, para diminuir as dificuldades
tanto para os alunos como para os professores.
Pereira et al. (2007) afirmam que o avanço e desenvolvimento tecnológico, a
partir da segunda metade do século XX, impulsionaram e estão transformando a
maneira de ensinar e de aprender.
As ferramentas disponíveis são diversificadas, desde aplicativos que ensinam
algo específico, como formas geométricas, até sistemas mais complexos utilizados
para gerenciar cursos a distância ou apoiar o ensino presencial, tendo cada uma
suas próprias características e funcionalidades (Franciscato et al., 2008).
Neste contexto, se enquadram as ferramentas eletrônicas para avaliação, que
podem contribuir automatizando algumas etapas e oferecendo recursos
diferenciados para o processo. Elas são encontradas na forma de aplicativos
especializados na elaboração de questões e criação de provas, ou como módulos
inseridos em sistemas mais amplos.
Entre os diferentes recursos disponíveis nestes sistemas, tem maior destaque
para a avaliação formativa os fóruns e chats; e para a somativa, os questionários.
3
Embora existam estes e outros, e que tenham utilização reconhecida, é importante
analisar se atendem satisfatoriamente ao que é necessário para verificar o
aprendizado, ou seja, se estão adequados para que o professor elabore a avaliação
de forma clara e legível, resultando na apresentação de uma atividade condizente
com o que é mais apropriado para o conteúdo e entendimento do aluno. Além disso,
devem permitir a interação do usuário de forma que seu desempenho não seja
comprometido.
Na educação médica a utilização de recursos multimídia e de instrumentos
diferenciados na avaliação da aprendizagem, podem enriquecer o processo,
colaborando para o entendimento e aquisição de conhecimento por parte do aluno.
Mas isto só ocorre se forem oferecidos de forma adequada e se o professor os
aplicar de maneira estratégica.
Um dos aspectos que tem impacto sobre o sucesso na utilização de uma
ferramenta informatizada é a usabilidade da interface, ou seja, o que ela oferece
para que o usuário consiga interagir com o sistema.
Nas últimas décadas a área de Interação Humano-Computador (IHC) se
destacou por buscar soluções para as dificuldades percebidas no uso dos sistemas
eletrônicos. A necessidade do usuário interagir facilmente com eles estimulou o
desenvolvimento de pesquisas, procurando identificar modelos e métodos que
pudessem proporcionar às pessoas maior controle sobre os mesmos (Rocha e
Baranauskas, 2003). Dentro deste contexto foram iniciadas avaliações de
usabilidade dos sistemas, possibilitando diagnosticar problemas e propor soluções.
Na IHC são definidos princípios de usabilidade e guidelines para design de
interfaces, que têm como objetivo orientar o desenvolvimento e a avaliação da
usabilidade dos sistemas (Rocha e Baranauskas, 2003).
Considerando as dificuldades encontradas pelas pessoas na utilização das
ferramentas informatizadas e as características do processo de avaliação da
aprendizagem, entende-se que é importante que as interfaces de sistemas
eletrônicos destinados à esta tarefa, sejam projetadas para oferecer facilidades,
recursos diversificados e úteis e não se caracterizar como mais um elemento
complicador, principalmente em áreas como a educação em saúde, na qual há a
utilização de multimídias, bases de conhecimento, recursos automatizados, entre
outras possibilidades que podem ser oferecidas pela informática.
Portanto, este trabalho pretende estudar e propor heurísticas de usabilidade
4
que norteiem o desenvolvimento e inspeção de interfaces de sistemas eletrônicos
para avaliação da aprendizagem baseada em casos clínicos, contribuindo assim,
para minimizar a ocorrência de problemas e dificuldades no uso destas ferramentas,
e facilitar a interação com recursos que colaborem positivamente no processo de
criação e aplicação de uma atividade avaliativa, tanto do ponto de vista do aluno,
como do professor.
Assim, a seguir é apresentada a revisão da literatura realizada para o
desenvolvimento do estudo. Seguida dos objetivos; materiais e métodos para a
revisão de literatura, definição e validação das heurísticas; resultados contendo a
definição das heurísticas e a validação; discussão das heurísticas especializadas e
validação e por fim as conclusões.
1.1 Revisão de literatura
Esta revisão apresenta os principais conceitos e objetivos da avaliação da
aprendizagem, mostrando com mais detalhe a avaliação baseada em casos clínicos.
Em seguida descreve as principais características dos módulos para avaliação da
aprendizagem das ferramentas eletrônicas Moodle, Blackboard® e MedCC, que são
utilizadas neste estudo. São apresentados conceitos sobre Interação humano-
computador (IHC), buscando explicar seus objetivos, área de atuação e avaliação de
interfaces, e por fim uma revisão sistemática sobre propostas e validações de
heurísticas de usabilidade e guidelines para design em IHC.
1.1.1 Avaliação da aprendizagem
A avaliação tem um papel fundamental no processo de ensino, considerada
como um instrumento de aprendizagem, gera muitas discussões, principalmente
sobre sua finalidade e a forma como deve ser realizada para atingir os objetivos a
que se propõe (Oliveira e Santos, 2005; Zeferino e Passeri, 2007; Moraes, 2011).
O entendimento do que seja avaliar é fundamental para que o processo
aconteça satisfatoriamente. Em seu trabalho, Luckesi (p. 69, 2006) cita que a
avaliação é "... um juízo de qualidade sobre dados relevantes, tendo em vista uma
5
tomada de decisão". Para Zeferino e Passeri (p. 40, 2007) "avaliar a aprendizagem
significa determinar as competências adquiridas por meio de aspectos quantitativos
e qualitativos do comportamento humano", já Perrenoud (1999) cita que:
"Avaliar é – cedo ou tarde – criar hierarquias de excelência, em função das
quais se decidirão a progressão no curso seguido, a seleção no início do
secundário, a orientação para diversos tipos de estudos, a certificação antes
da entrada no mercado de trabalho e, frequentemente, a contratação.
Avaliar é também privilegiar um modo de estar em aula e no mundo,
valorizar formas e normas de excelência, definir um aluno modelo, aplicado
e dócil para uns, imaginativo e autônomo para outros [...]" (p. 9).
O ato de avaliar sempre esteve presente na sociedade, considerando que os
indivíduos avaliam e são avaliados frequentemente, de forma consciente ou não
(Serapompa, 1999; Oliveira e Santos, 2005).
Luckezi (2006) e Perrenoud (1999) acreditam que a prática da avaliação
normalmente se apresenta de forma autoritária, classificando os alunos a partir de
um padrão de excelência, quando deveria estar colaborando para a aprendizagem,
identificando os pontos onde são necessárias maior atenção e dedicação, tanto dos
professores como dos alunos.
A avaliação tem objetivos definidos, que podem variar conforme as
metodologias empregadas (Sordi, 2000). Entretanto pode-se afirmar que o principal
deles é verificar se houve a aquisição satisfatória de conhecimento a respeito de um
conjunto de conceitos, procedimentos e práticas. Quando aplicada durante o
andamento de um curso, a avaliação possibilita rever e alterar a forma de abordar o
conteúdo que se deseja ensinar ao aluno (Perrenoud, 1999).
Segundo Luckesi (2006) a avaliação tem como objetivo verificar se os
resultados planejados estão sendo obtidos e se necessário permear decisões que
conduzam a eles. Afirma ainda que a avaliação deve possibilitar uma qualificação da
aprendizagem do aluno e não uma simples classificação.
É necessário considerar que qualquer que seja o método de avaliação
adotado, é fundamental que ele seja aplicado adequadamente (Sordi, 2000) e que o
uso de um não exclua o outro. Para a realização de um processo avaliativo eficiente,
é importante que aluno e professor estejam comprometidos com a ação e que haja
instrumentos adequados ao conhecimento que se pretende avaliar (Sordi, 2000;
6
Punhagui e Souza, 2011).
Ao planejar a avaliação, o professor precisa identificar seus objetivos, ou seja,
quais conhecimentos deseja verificar se o aluno adquiriu. Apenas após considerá-
los, recomenda-se escolher o método a ser utilizado e definir os critérios de
avaliação (Fenili, 2002; Otsuka e Rocha, 2005; Garcia, 2009; Punhagui e Souza,
2011). Este planejamento orienta o professor no processo avaliativo e serve para
que o aluno entenda a importância do que foi ensinado e saiba como está sendo
avaliado.
A escolha do instrumento de avaliação deve ser feita em função da natureza
do que se deseja verificar: raciocínios, práticas ou atitudes; das competências
envolvidas na educação profissional: técnica, tecnológica ou gerais; e finalidade da
avaliação: diagnóstica, formativa ou somativa (Depresbiteris, 1998).
Existem diversos instrumentos avaliativos disponíveis. No Quadro 1 são
apresentados alguns deles, indicados na literatura, juntamente com o público no
qual foi utilizado pelo estudo referido.
QUADRO 1: Instrumentos de avaliação indicados na literatura
Instrumentos Público alvo
Mapa conceitual, observação, portfólio, projeto, entrevista, teste, prova, relatório, roteiro, pesquisa, dramatização e fórum (Depresbiteris,1998).
Não determinado no estudo
Prova teórica ou prática, atividade de campo, resumo, observação, trabalho, seminário, atividade teórico-prática, estudo de situação, ficha de leitura, elaboração de planejamento, relatórios de atividade prática ou não, teste teórico-prático, processo simplificado, projeto e estágio (Fenili, 2002).
Graduação em Enfermagem
Prova escrita, prova oral, portfólio, avaliações práticas, discussão de casos clínicos, Mini-Cex, observação, avaliação por pares e auto avaliação (Zeferino e Passeri, 2007).
Graduação em Medicina e Residência Médica
Teste, estudo de caso, portfólio, mapa conceitual e resolução de problemas (Garcia, 2009).
Não determinado no estudo
Prova teórica, portfólio, avaliação estruturada e conceito global itemizado (Domingues et al, 2010)
4º ano de graduação em Medicina
Tarefa complexa, observação, projeto, auto avaliação, avaliação por pares e portfólio (Punhagui e Souza, 2011).
Qualificação em ensino de língua inglesa da Universidade de Cambrigde
Além de poder contar com instrumentos avaliativos adequados o professor
7
também precisa ter meios de fornecer ao aluno o feedback sobre seu desempenho,
para que o mesmo compreenda em que aspectos precisa aprimorar seus
conhecimentos (Garcia, 2009). Segundo Zeferino e Passeri (2007) quanto antes o
aluno obtiver o feedback de sua avaliação melhor poderá ser a recuperação de suas
dificuldades.
A avaliação da aprendizagem é sem dúvida muito importante em todas as
etapas do processo de ensino, e deve ser feita de forma continua e sistematizada
para oferecer ao aluno o retorno necessário, assumindo uma função orientadora e
não seletiva (Zeferino e Passeri, 2007).
Na área da saúde a avaliação é realizada de diversas formas, conforme a
disciplina, o conteúdo e até mesmo o nível de formação que está sendo proposto.
No Quadro 1 observa-se que três dos trabalhos citados são voltados para esta área,
e é possível notar a variedade de instrumentos avaliativos adotados. Entre eles,
encontra-se a discussão de casos clínicos, utilizada também como meio de ensino,
ela é denominada como aprendizagem baseada em casos e vem sendo adotada por
muitas instituições de ensino superior, tendo sido utilizada inicialmente em Harvard
no início do século XX (Baeten et al, 2013).
Nesta metodologia de ensino e aprendizagem, os alunos são desafiados por
meio de problemas complexos envolvendo situações do mundo real, levando-os à
análise crítica e fazendo com que criem ligações entre os conceitos oferecidos e a
prática, utilizando suas capacidades cognitivas (Kim et al, 2006; Segers et al, 2008;
Nordquist et al, 2012).
A aprendizagem baseada em casos (Case-Based Learning - CBL) não deve
ser confundida com a aprendizagem baseada em problemas (Problem-Based
Learning - PBL), a primeira trabalha com um método de investigação guiada, com a
estrutura mais definida e controlada, a segunda promove uma discussão mais aberta
e pouco estruturada, deixando livre o pensamento crítico (Srinivasan, 2007).
A avaliação de aprendizagem baseada em casos clínicos adota a mesma
metodologia da CBL e segundo Segers et al (2008) tem sido adotada em programas
educacionais regulares. Contando com uma estrutura básica composta
principalmente por: materiais sobre o caso e perguntas relacionadas. Estes materiais
podem ser de qualquer tipo (texto, imagem, som, etc) e tem como finalidade oferecer
informações pertinentes ao caso, para que o aluno analise e possa tomar decisões.
As perguntas são feitas a ele para que, a partir da análise, registre suas escolhas.
8
Ambos podem ser intercalados e apresentados gradativamente (Hooper et al, 1998;
Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008; Baeten
et al, 2013). Um caso clínico é composto normalmente pelos elementos descritos no
Quadro 2 (Porto e Porto, 2013):
QUADRO 2: Composição de um caso clínico
Elemento Descrição
Identificação do paciente
(ID)
Perfil sociodemográfico do paciente, composto pelo: nome, idade,
sexo/gênero, etnia, estado civil, profissão atual e anterior, local de
trabalho, naturalidade, procedência, residência atual e anterior, nome da
mãe, nome do responsável, religião e plano de saúde.
Queixa principal e
duração (QD)
Queixa principal, ou seja, motivo que levou o paciente a procurar ajuda e
há quanto tempo está ocorrendo.
História da Doença Atual
(HDA)
Registro cronológico e detalhado de tudo que se relaciona à doença
atual: sintomatologia, época de início, evolução, entre outros.
Interrogatório
Sintomatológico (IS)
Interrogatório sobre os sistemas do paciente, que permite ao médico
levantar hipóteses de diagnósticos.
Antecedentes pessoais
(AP)
Informações sobre a vida e costumes do paciente. Por exemplo:
condições de parto, alergias, cirurgias, etc.
Antecedentes familiares
(AF)
Informações sobre a família do paciente e suas condições de trabalho e
vida. Procura-se alguma relação de hereditariedade das doenças.
Hábitos de Vida Informações sobre os hábitos e estilo de vida do paciente. É importante o
registro de uso de tabaco, bebidas alcoólicas, etc.
Exame físico (EF) Informações e estado físico do paciente (peso, estatura, pressão arterial
e temperatura). Neste exame podem ser percebidos sintomas físicos.
Exames complementares Exames necessários para colaborar ou confirmar a hipótese diagnóstica.
Hipóteses diagnósticas
(HD)
Formulações provisórias de diagnóstico que direcionam o atendimento
Diagnóstico Identificação do problema que gerou a queixa do paciente.
Conduta (terapêutica e
tratamento)
Decisões e ações adotadas para o tratamento do paciente, no momento
atual e durante todo o processo. Exemplos: opções de tratamento,
controlar da evolução, intervenção no tratamento, administração das
complicações e identificação de associações.
Desfecho/Prognóstico Como terminou o atendimento/tratamento do paciente
Alguns dos elementos apresentados no Quadro 2, são oferecidos ao aluno
durante a avaliação, mas outros devem ser decididos por ele, como por exemplo a
hipótese diagnóstica (HD). O diagrama da Figura 1 mostra processo de aplicação da
9
avaliação baseada em casos clínicos.
FIGURA 1: Exemplo de etapas de realização da avaliação baseada em casos clínicos.
Fonte: Hernadez et al (2012)
Normalmente o objetivo deste formato de avaliação é verificar se o aluno
adquiriu os conhecimentos necessários para conduzir a consulta e o tratamento de
um paciente e para tanto, ele precisa demonstrar coerência no atendimento.
O caso clínico tem uma sequência lógica, iniciando na anamnese, seguida, se
necessário, da solicitação de exames, tratamento, retorno (a partir do qual o ciclo é
reiniciado) e desfecho. Para que o aluno seja considerado proficiente, precisa ser
capaz de conduzir de forma apropriada o que está descrito acima, como por
exemplo, solicitar exames somente quando necessário e pertinentes ao caso.
Curtis et al (2012), em um estudo feito com alunos do curso de Educação
Odontológica da Universidade da Califórnia, explica que o uso da avaliação baseada
em casos clínicos requer do aluno maior preparo cognitivo, pois ele precisa do
julgamento clínico. Afirmam que este método oferece vantagens na avaliação de
10
habilidades práticas e permite que o aluno proponha soluções em domínios nos
quais ainda não tem amplo conhecimento.
Segundo Segers et al (2008) os métodos de avaliação interferem na forma
como os alunos estudam, havendo mais ou menos dedicação e aprofundamento nos
conceitos de acordo com a maneira como o professor apresenta e avalia os
conhecimentos, neste sentido o uso de casos pode levá-los a criar relações entre
diversas disciplinas da área de estudo, construindo um conhecimento mais amplo e
voltado para a prática.
Devido a importância da avaliação da aprendizagem, é fundamental que haja
recursos eficientes para colaborar com alunos e professores na realização adequada
da mesma. Neste caso, uma das possibilidades é o uso de ferramentas eletrônicas,
que podem contribuir automatizando partes do processo e permitindo a variação dos
formatos em que ela é oferecida. É importante que se destaque que o preparo do
professor e o comprometimento do aluno são essenciais para que a avaliação
cumpra seu papel, embora estes aspectos não sejam tratados neste estudo.
1.1.2 Ferramentas eletrônicas para avaliação de aprendizagem
A informática tem possibilitado o uso de ferramentas digitais para
disponibilizar conteúdos didáticos (vários formatos), facilitar a comunicação entre
alunos e professores e ampliar e diversificar recursos para avaliação da
aprendizagem (Otsuka e Rocha, 2005; Silva e Santos, 2006).
Estas ferramentas podem ser encontradas na forma de sistemas específicos,
como por exemplo o HotPotatoes1, o iTest2 e o MedCC3, ou inseridas como módulos
nos Ambientes Virtuais de Aprendizagem (AVA), exemplos: Moodle, Blackboard® e
TelEduc. Todos oferecem opções para criação de questões, havendo variação nos
formatos das mesmas. Nos AVAs, são oferecidas também, ferramentas como fóruns
de discussão, chats, blogs, portfólios, entre outras, voltadas para avaliação formativa
(Pimentel et al, 2012; Blackboard, 2013; MedCC, 2013; Moodle, 2013; NIED, 2013;
Querido, 2013; Tomlein, 2013).
1 Disponível em: http://hotpot.uvic.ca/ 2 Disponível em: http://itest.sourceforge.net/ 3 Disponível em: http://www.clinicalcaselearning.com
11 QUADRO 3: Representação dos instrumentos avaliativos em meios eletrônicos para avaliação da aprendizagem
Característica Instrumento avaliativo Recurso eletrônico
Diagramas Mapa conceitual Tarefa (envio de arquivo) e resposta
arquivo
Elaboração de documento
textual, com ou sem
ilustrações
Projeto, relatório, roteiro, pesquisa, atividade de campo, resumo, trabalho,
atividade teórico-prática, elaboração de planejamento, relatórios de atividade
prática, estudo de caso, estudo de situação e resolução de problemas
Tarefa (envio de arquivo) ou
preenchimento online
Resposta em forma de
arquivo
Prova prática4, seminário e tarefa Tarefa (envio de arquivo) e resposta
arquivo
Realizada através de
comunicação, discussão ou
exposição de opinião
Observação, entrevista, fórum, discussão de casos clínicos e estudo de caso Fórum (envio de textos e anexos) e
chat (troca de mensagens)
Realizada através de
comunicação visual ou oral
Prova oral, discussão de casos clínicos e estudo de caso Fórum e chat (somente com
comunicação por áudio ou vídeo)
Registro de atividades
desenvolvidas
Portfólio Tarefa online
Diário (não considerado avaliação)
Realizada através de
perguntas de autocorreção ou
dissertativas
Teste, prova teórica, ficha de leitura e Mini-Cex Questionário (vários tipos de
perguntas podendo inserir imagens e
links)
Pode ser em qualquer um dos
formatos anteriores, mas
quem avalia são os próprios
alunos
Avaliação por pares e auto avaliação Laboratório de avaliação (envio de
arquivo e controle das avaliações e
submissões)
4 O uso deste instrumento de avaliação em um sistema eletrônico depende da disciplina, ou seja, para avaliar se o aluno sabe realizar um procedimento cirúrgico, não é possível usar. Mas se for uma prova de programação de computador, é possível, pois o aluno pode enviar a resolução em arquivo.
12
11
Alguns recursos são encontrados na maioria dos sistemas (questionários e
fóruns), variando conforme o tamanho e complexidade destes. No Quadro 3 são
apresentados cada um deles e a forma como podem ser utilizados em um sistema
eletrônico de avaliação.
Estes instrumentos permitem a utilização de ferramentas eletrônicas para
representá-los, mas é preciso verificar se os recursos disponíveis oferecem uma
interação satisfatória, ou seja, se são adequados aos seus objetivos. O que significa,
que eles devem fornecer meios para o professor propor a avaliação de forma clara,
apresentando recursos que permitam oferecer aos alunos todas as informações
necessárias, em qualquer que seja o formato (Choules, 2007) e também facilitar o
processo de correção das atividades e feedback a ser dado ao aluno (Pimentel et al,
2012).
Por outro lado, os sistemas também devem proporcionar aos alunos uma
interação objetiva, na qual eles realizem atividades sem preocupação com a
tecnologia, se possível dispor de mecanismos que o auxiliem no processo de
realização.
Segundo Choules (2007), na educação médica, as ferramentas eletrônicas
podem contribuir aumentando os formatos nos quais as informações podem ser
oferecidas, enriquecendo topo o processo de ensino e aprendizagem.
No âmbito da aprendizagem baseada em casos (CBL), existem ferramentas
eletrônicas desenvolvidas para auxiliar esta metodologia, disponibilizando casos
clínicos que podem ser estudados por alunos em todos os níveis de ensino,
permitindo a interação com situações clínicas que não são frequentes (Losekann et
al, 2007; Pinto et al, 2010; Silva et al, 2010; Sebastiani et al, 2012). Para avaliação
baseada em casos clínicos não foram encontrados outros sistemas além do MedCC.
Neste estudo são apresentados os recursos avaliativos do Moodle,
Blackboard® e MedCC, com o objetivo de mostrar o que eles oferecem para a
avaliação e de que forma.
O primeiro sistema descrito será o Moodle, seguido do Blackboard®, ambos
desenvolvidos para permitir a utilização em qualquer área de conhecimento, não
possuindo recursos especializados.
13
1.1.2.1 Moodle
O Moodle é um sistema com recursos para criação de cursos na web, que
está atualmente na versão 2.6, ele oferece ferramentas para disponibilização de
conteúdo, comunicação e avaliação (Moodle, 2013).
O seu objetivo é oferecer aos educadores ferramentas que possam ser
utilizadas de forma variada, adequando-se às necessidades do modelo pedagógico
adotado por eles ou pela instituição de ensino. Originalmente sua proposta é
trabalhar com o modelo construtivista (Moodle, 2013).
As ferramentas de avaliação são chamadas de “Atividades”, com elas é
possível trabalhar adotando os princípios de avaliação formativa, somativa ou
diagnóstica. São identificadas como: base de dados, chat, escolha, fórum, glossário,
laboratório de avaliação, lição, tarefa, wiki e questionário (Alves et al, 2012). A seguir
serão descritas cada uma delas:
Base de dados: permite criar um repositório no qual os participantes podem
acrescentar informações e arquivos. Por exemplo, o professor pode solicitar uma
pesquisa sobre uma determinada doença, onde cada aluno deverá buscar
informações sobre um aspecto específico (por exemplo: sintomas) e inserir o que
encontrar na base de dados. Desta forma os alunos estarão contribuindo para
construção de um repositório sobre a doença, que poderá ser utilizado por eles. Por
outro lado, o professor poderá avaliar o aluno por meio de sua participação.
Chat: mecanismo de comunicação síncrona que permite criar uma sala de
“bate bapo” para troca de mensagens entre os participantes do curso. Ele pode ser
utilizado pelo professor para promover um debate, em tempo real, sobre um tópico
do curso. No decorrer do debate os alunos compartilham conhecimento, aprendem e
ao mesmo tempo o professor pode avaliar as postagens e verificar como está o
conhecimento e participação deles.
Escolha: permite criar enquetes para serem respondidas pelos participantes
do curso. O professor pode utilizá-la para avaliar o conhecimento do grupo de alunos
sobre um tópico mais específico, como por exemplo perguntar que medicamento o
aluno prescreveria no tratamento de cefaléia.
Fórum: mecanismo de comunicação assíncrona que permite criar um ou mais
tópicos de assunto para discussão entre os participantes do curso. Por exemplo, o
14
professor pode cria um fórum, iniciando-o com a descrição de um caso clínico, e
solicitar que os alunos postem as condutas que adotariam para aquela situação.
Simultaneamente o professor avalia as participações e pode postar informações
complementares sobre o paciente fictício.
Glossário: permite criar uma lista de definições e conceitos que os próprios
alunos inserem, é como um dicionário ou “perguntas mais frequentes” (FAQ). Desta
forma eles contribuem para construção de um glossário, que pode ser utilizado por
todos e por outro lado, o professor pode avaliar as participações.
Laboratório de Avaliação: propõe criar uma atividade de avaliação por
pares, como uma oficina, ou seja, os próprios participantes avaliam as atividades
uns dos outros.
Lição: permite criar uma avaliação que ofereça conteúdos explicativos
intercalados por perguntas relacionadas a eles, e o avanço do participante acontece
de acordo com suas respostas a cada grupo de perguntas.
Tarefa: permite definir uma atividade para a qual os participantes, devem
enviar a resposta em arquivo. Ela também possibilita que o professor configure para
o aluno enviar a resposta por meio de formulário online.
Wiki: permite a criação colaborativa de conteúdo usando páginas web, ou
seja, os participantes poderão contribuir na construção de um espaço onde serão
colocados conceitos e conhecimentos para eles e para outros. Por outro lado, o
professor poderá avaliar o aluno por meio de sua contribuição.
Questionário: permite a criação de uma avaliação com perguntas de
diversos tipos, 12 no total, desde questões de autocorreção até as que precisam ser
avaliadas posteriormente pelo professor. Nesta atividade, há paralelamente a
criação das questões, que pode ser feita diretamente no questionário ou no banco
de questões que o sistema oferece. No Quadro 4 são descritos, brevemente, cada
um dos tipos disponíveis.
15
QUADRO 4: Tipos de questões oferecidas pelo Moodle
Tipo Descrição/característica
Associação É pedido ao aluno que associe informações com conceitos.
Calculada Permite trabalhar com cálculos numéricos.
Calculada Simples Permite trabalhar com cálculos numéricos de forma mais simplificada.
Ensaio Permite que o aluno escreva textos mais longos. (correção manual)
Múltipla Escolha
Permite que, para uma pergunta (podendo incluir uma imagem), o aluno
escolha respostas múltiplas. Existe a possibilidade de configurar a questão
para aceitar somente uma resposta ou várias.
Calculada de
Múltipla Escolha
É como uma questão de múltipla escolha. Permite a inclusão de uma
imagem, assim como a opção de estabelecer respostas múltiplas.
Numérica Esta questão aceita somente resposta numérica e permite que seja
configurada uma margem de erro para a mesma.
Resposta Curta
Esta questão permite que o aluno escreva a resposta usando somente uma
linha. (correção manual)
Correspondência de
Resposta Curta
Randômica
A criação deste tipo de questão requer que existam no banco de questões
ao menos duas questões do tipo "Resposta Curta". Havendo, pega-se
aleatoriamente algumas delas e o conjunto é transformado em uma
questão do tipo Associação.
Resposta Embutida
Consiste em um trecho de texto contendo perguntas de resposta curta ou
de múltipla escolha embutidas nele. Se parece com preenchimento de
lacunas.
Falso/Verdadeiro Apresenta uma afirmativa e o aluno deve escolher se ela é Falsa ou
Verdadeira.
Descrição A descrição não é um tipo de pergunta, mas simplesmente um texto que
será exibido sem a necessidade de respostas, semelhante a um rótulo.
Os tipos de atividades sugerem uma ou outra modalidade de avaliação
(diagnóstica, formativa ou somativa) por suas características, mas isto não significa
que o professor, usando suas habilidades didáticas não possa combiná-las.
O sistema oferece uma área para gerenciamento de notas que mostra as
avaliações dos alunos e as pontuações obtidas, quando disponíveis. Quando não,
permite que o professor acesse a resposta do aluno, avalie e informe a nota,
podendo a qualquer momento, gerar um arquivo para uma planilha eletrônica com
as informações dos alunos.
16
1.1.2.2 Blackboard® Learn
O Blackboard® é um sistema com recursos para criação de cursos na web,
que está atualmente na versão SP10, ele dispõe de ferramentas para colocação de
conteúdo, comunicação e avaliação (Blackboard, 2013).
As ferramentas para avaliação da aprendizagem estão disponíveis em dois
locais principais: na área de conteúdo e no menu lateral esquerdo. Tais ferramentas
atendem à avaliação somativa, formativa e diagnóstica, sendo identificadas como:
chat, fórum, exercício e teste (Alves et al, 2012). A seguir são descritas cada uma
delas:
Chat: mecanismo de comunicação síncrona que permite criar uma sala de
“bate-bapo” para troca de mensagens entre os participantes do curso. Ele pode ser
utilizado pelo professor para promover um debate, em tempo real, sobre um tópico
do curso. No decorrer do debate os alunos compartilham conhecimento, aprendem e
ao mesmo tempo o professor pode avaliar as postagens e verificar como está o
conhecimento e participação.
Fórum: mecanismo de comunicação assíncrona que permite criar um ou mais
tópicos de assunto para discussão entre os alunos do curso. Por exemplo, o
professor pode cria um fórum, iniciando-o com a descrição de um caso clínico, e
solicitar que os alunos postem as condutas que adotariam para aquela situação.
Simultaneamente o professor avalia as participações e pode postar informações
complementares sobre o paciente fictício.
Exercício: permite definir uma atividade na qual os participantes enviam a
resposta em arquivo.
Teste: permite a criação de uma avaliação com perguntas de diversos tipos,
17 no total, desde questões de autocorreção até as que precisam ser avaliadas
posteriormente pelo professor. Existe a possibilidade de criação das perguntas
diretamente no teste ou no banco de questões oferecido pelo sistema. No Quadro 5
são descritos, brevemente, cada um dos tipos disponíveis.
17
QUADRO 5: Tipos de questões oferecidas pelo Blackboard®
Tipo Descrição/característica
Correspondência Solicita que os alunos relacionem itens de uma coluna aos de outra,
podendo incluir um número diferente de itens na coluna de perguntas e
de respostas para aumentar o grau de dificuldade.
E/OU Pede a escolha entre Verdadeiro/Falso ou Sim/Não.
Escala de Opinião
(ou escala likert)
Avalia atitudes ou reações usando uma escala comparável, algo como
uma pesquisa de opinião.
Fórmula Calculada Contém uma fórmula com variáveis que mudam para cada usuário.
Frase Confusa Pergunta com lacunas de múltipla escolha para as quais os alunos devem
escolher a palavra correta entre as oferecidas em um menu.
Hot Spot Pede a identificação de uma área em um arquivo de imagem. A área é
definida por coordenadas em pixels e, se os alunos clicarem na faixa de
pixels, a resposta será registrada como correta.
Múltipla Escolha Permite aos alunos escolherem uma resposta correta entre várias.
Ordenação Pede que os alunos coloquem uma série de itens na ordem correta.
Preencha os espaços
em branco
Neste tipo de questão a resposta é pontuada com base na
correspondência de texto exato. Não diferencia letras maiúsculas e
minúsculas, mas utiliza a base ortográfica.
Preencha os vários
espaços em branco
Pede preenchimento de lacunas múltiplas, usa variáveis para identificar
diversas partes do texto inserido.
Quiz Bowl Pede que a resposta seja na forma de uma pergunta.
Redação Pede uma resposta dissertativa. (correção manual)
Resposta Abreviada Pede respostas em uma ou mais caixas de texto.
Resposta do Arquivo Pede um arquivo como resposta.
Resposta Múltipla Permite a escolha de uma ou mais respostas corretas entre várias.
Valor Numérico
Calculado
Solicita que o usuário envie uma resposta numérica.
Falso/Verdadeiro Exibe duas opções de resposta: verdadeiro e falso.
As ferramentas podem ser utilizadas em um ou outro método de avaliação
(diagnóstica, formativa ou somativa), mas dependendo dos objetivos didáticos do
professor, podem ser combinadas.
O sistema oferece um centro de gerenciamento de notas que mostra as
avaliações dos alunos e as pontuações obtidas, quando disponíveis. Independente
disso, permite que o professor acesse a resposta do aluno, avalie e informe a nota,
podendo a qualquer momento gerar um arquivo para uma planilha eletrônica com as
informações dos alunos.
18
Os dois sistemas apresentados anteriormente oferecem inúmeros recursos
avaliativos, não tendo uma área de aplicação específica. Esta característica,
favorece a ampla utilização, mas pode ser um obstáculo para avaliações baseadas
em casos clínicos, pois estas têm uma estrutura mais especializada. Diante disso, é
apresentado a seguir, uma ferramenta computacional desenvolvida para este
formato específico de avaliação.
1.1.2.3 Medical Clinical Case (MedCC)
O MedCC é um sistema especializado, com recursos para criação de
avaliações baseada em casos clínicos, desenvolvido a partir da colaboração entre
um grupo de docentes. Atualmente ele está na versão 2.
A ferramenta oferece recursos que permitem a criação da avaliação em
formato de caso clínico ou teste. Para o primeiro, além das questões, haverá uma
descrição inicial sobre o paciente, para a partir dela ser possível fazer os
questionamentos referente aos diagnósticos e condutas a serem adotadas
(Hernandez et al, 2012).
No MedCC uma avaliação é chamada de prova e pode conter um ou mais
textos descritivos com informações do paciente, sendo, para cada um deles,
associado um conjunto de questões de um dos tipos oferecidos pelo sistema, 10 no
total, todas de autocorreção (MedCC, 2013). No Quadro 6 são apresentadas breves
descrições de cada tipo.
Estão disponíveis quatro relatórios: notas, evento por prova, evento por
questão e estatísticas por prova. Eles mostram as avaliações dos alunos e as notas
obtidas. No capítulo 3 serão apresentados maiores detalhes sobre eles.
19
QUADRO 6: Tipos de questões oferecidas pelo MedCC
Tipo Descrição/característica
Composta Este tipo de questão tem como resposta sim ou não e dependendo da escolha
feita pelo aluno surgirá outra pergunta, em formato de escrita livre (texto curto).
Correspondência Apresenta ao aluno duas lista de itens que devem ser relacionados.
Direta Apresenta uma pergunta e espera uma ou mais respostas em texto livre breve.
Escolha Múltipla Oferece um conjunto de itens e permite ao aluno escolher mais de um como
resposta.
Escolha Única Oferece um conjunto de itens e permite ao aluno escolher apenas um como
resposta.
Falso/Verdadeiro Apresenta a pergunta e várias afirmativas, devendo o aluno assinalar cada uma,
como falsa ou verdadeira.
Medicamento Apresenta uma pergunta referente ao tratamento de uma condição clínica e o
aluno deve indicar um ou mais medicamentos (nome, doses, protocolos, etc).
Prioridade Apresenta o enunciado e um número de respostas. É pedido ao aluno que
coloque as respostas na ordem de prioridade correta.
Sub-questões Apresenta um enunciado principal e outros secundários com itens associados,
entre os quais o aluno deve escolher a resposta correta.
Única Permite resposta sim ou não.
Considerando os recursos descritos anteriormente, espera-se que estes
sistemas tenham condições de oferecer, aos alunos e professores, meios de
realizarem uma avaliação adequada. Contudo, somente isto, pode não ser
suficiente, é necessário que seja avaliada a qualidade dos recursos, para verificar se
estão funcionando de maneira correta e oferecendo aos meios claros para a
realização das atividades.
Neste aspecto, uma das características que interfere na aceitação e uso de
um sistema pelas pessoas é sua usabilidade. Para melhor entendimento a seguir
são apresentados conceitos sobre Interação Humano-Computador (IHC), área
responsável pelo processo de definição e avaliação da usabilidade dos sistemas
eletrônicos.
1.1.3 Conceitos de interação humano-computador (IHC)
A tecnologia evoluiu aperfeiçoando interfaces onde a interação acontecia por
meio de cartões perfurados (Nielsen, 1993), chegando a sistemas que executam
20
comandos ativados pelo toque dos dedos nas telas ou pela voz.
Estes avanços ocorreram devido ao desenvolvimento de novas tecnologias de
software e hardware, fazendo com que pessoas sem conhecimento especializado
em informática e computação, passassem a utilizar computadores. Assim, a difusão
do uso destes equipamentos tornou necessário o aperfeiçoamento das interfaces
para que as pessoas consigam interagir satisfatoriamente com os sistemas (Rocha e
Baranauskas, 2003).
Neste contexto, a área de IHC tem desempenhado um papel importante, pois
ao regular os projetos de interfaces, contribui para melhorar o desempenho dos
sistemas computacionais, de forma satisfatória e eficiente, para seus usuários.
O termo IHC surgiu na década de 1980 como uma área de estudo que visa
investigar formas de criar interfaces melhores e de fácil utilização (Rocha e
Baranauskas, 2003). Simultaneamente surgiram, métodos para avaliá-las
possibilitando aos desenvolvedores o constante aperfeiçoamento da implementação
de suas soluções.
Segundo Rocha e Baranauskas (2003, p. 14) "IHC é a disciplina preocupada
com o design, avaliação e implementação de sistemas computacionais interativos
para uso humano e com o estudo dos principais fenômenos ao seu redor". Um dos
aspectos abordados por ela é a "Usabilidade", definida por Nielsen (2012) como um
atributo de qualidade que avalia quão fácil de usar são as interfaces de usuário, e
envolve métodos que podem ser aplicados durante o processo de design para
aumentar a facilidade de uso. Nielsen (1993) apresenta cinco características que
tornam ideal a usabilidade de um sistema:
Fácil de aprender: permitir que o usuário consiga realizar facilmente a atividade
que precisa;
Eficiente: uma vez que o usuário tenha aprendido como utilizá-lo, deve poder
atingir um alto nível de produtividade;
Fácil de lembrar: mesmo após um período de tempo afastado, ao voltar a
utilizar o sistema, o usuário não deve ter dificuldades para lembrar como ele
funciona, não sendo necessário aprender novamente;
Poucos erros: deve ter poucos erros, se possível nenhum e caso haja, deve
possibilitar retroceder o estado do sistema ao ponto anterior;
Satisfação subjetiva: os usuários devem ficar satisfeitos e gostar de utilizá-lo.
21
Na norma NBR-9241-11 (ABNT, 2002), usabilidade é definida como "medida
na qual um produto pode ser usado por usuários específicos para alcançar objetivos
específicos com eficácia, eficiência e satisfação em um contexto específico de uso"
(p. 3), onde:
Eficácia: é a acurácia e completude com as quais usuários alcançam objetivos
específicos;
Eficiência: são os recursos gastos em relação à acurácia e abrangência com as
quais usuários atingem os objetivos;
Satisfação: é a ausência do desconforto e presença de atitudes positivas para
com o uso de um produto.
Contexto específico de uso: são os usuários, tarefas, equipamentos (hardware,
software e materiais), e o ambiente físico e social no qual um produto é usado.
A ampla utilização das tecnologias da informação por pessoas com pouco ou
nenhum conhecimento em informática, justifica o investimento na usabilidade dos
sistemas, pois leva ao aperfeiçoamento para atender os usuários e possibilita a
criação de interfaces melhores e mais fáceis, para novas ferramentas (Goldberg et
al, 2011) de forma que mais pessoas passem a utilizar as tecnologias disponíveis
(Valiati, 2008).
Além de definir quais são os princípios de usabilidade, a área de IHC também
propõe meios para avaliar as interfaces.
1.1.3.1 Avaliação de interfaces
O processo de avaliação de interfaces tem como principais objetivos avaliar a
funcionalidade do sistema, verificando o desempenho do usuário na realização de
uma determinada tarefa; estudar o efeito da interface sobre o usuário, identificando
se é de fácil aprendizagem ou se há algo que atrapalha a utilização; e por fim visa
identificar problemas no design, apontando elementos que possam, conforme o
contexto em que são usados, deixar o usuário confuso (Rocha e Baranauskas,
2003).
A avaliação da interface deve ocorrer durante todo o ciclo de vida do software
e para cada fase há uma técnica mais indicada, sendo divididas em dois grupos: as
22
que são realizadas por usuários do sistema e as que são, normalmente, feitas por
especialistas em IHC e na área de aplicação. No primeiro caso estão os testes de
usabilidade e no segundo as inspeções de usabilidade.
Testes de Usabilidade: são métodos centrados no usuário que só podem ser
utilizados se o sistema já estiver implementado. Podem ser experimentais,
empíricos, observacionais ou técnicas de questionamento (Nielsen, 1993; Rocha e
Baranauskas, 2003).
Inspeção de Usabilidade: podem ser realizados em qualquer fase do
projeto, tendo ou não havido a implementação do sistema. Normalmente envolvem
especialistas em IHC, mas é possível realizar com especialistas na área de
aplicação do software e com usuários. Os principais são: a avaliação heurística, a
revisão de guidelines, a inspeção de consistência e o percurso cognitivo (Nielsen,
1993; Rocha e Baranauskas, 2003).
A circunstância na qual os sistemas eletrônicos para avaliação da
aprendizagem são utilizados, ou seja, o momento de resolução (aluno) da prova ou
de criação (professor), dificulta o uso dos testes de usabilidade, devido à questões
como privacidade, concentração, estresse e tempo. Além disso, a interface de
montagem da avaliação é complexa, com inúmeras configurações a serem feitas,
requerendo maior tempo de utilização. Portanto, neste estudo optou-se pela
avaliação heurística, que é apresentada abaixo, seguida da revisão de guidelines.
1.1.3.2 Avaliação heurística
Em 1993, Nielsen propôs o método de avaliação heurística buscando resolver
as dificuldades e o alto custo na realização dos testes de usabilidade. Em sua
proposta, ele a define como uma forma rápida e barata de avaliar as interfaces
(Nielsen, 1993; 1994).
Este método requer um pequeno grupo de avaliadores analisando a interface
e julgando suas características, tendo por base um conjunto de princípios de
usabilidade, chamados de heurísticas, sendo recomendada a participação entre três
e cinco pessoas. Neste processo os participantes precisam percorrer a interface pelo
23
menos duas vezes e só a partir da segunda iniciar a identificação dos erros e
apontar as heurísticas violadas para cada um deles (Nielsen, 1993; Rocha e
Baranauskas, 2003; Valiati, 2008).
As heurísticas podem ser princípios gerais de usabilidade para serem
aplicados a qualquer tipo de sistema ou mais específicos para uma determinada
categoria. Nielsen (1995) propõe o conjunto de dez heurísticas apresentadas a
seguir:
Visibilidade de Status do Sistema: o diálogo deve sempre manter os usuários
informados sobre o que está acontecendo, através de feedback apropriado e em
tempo razoável.
Relacionamento entre a interface do sistema e o mundo real: o diálogo deve
ser na linguagem dos usuários, com palavras, frases e conceitos familiares a ele,
ao invés de termos próprios de sistemas. Siga as convenções do mundo real,
fazendo com que as informações apareçam em uma ordem natural e lógica.
Liberdade e Controle do Usuário: usuários frequentemente escolhem funções
do sistema por engano e vão precisar de uma "saída de emergência" claramente
definida para sair do estado indesejado. Ofereça opções de desfazer e refazer.
Consistência e padrões: os usuários não devem ter que pensar se palavras,
situações ou ações diferentes tem o mesmo significado. Siga convenções pré-
definidas.
Prevenção de Erros: melhor do que boas mensagens de erro é um design
cuidadoso que evite a ocorrência de um problema, que elimine situações
propensas a erros ou verifique-os e apresente aos usuários a opção de
confirmação antes de se comprometer com a ação.
Reconhecimento ao invés de lembrança: minimizar a dependência da
memória do usuário. Ele não deve ter que lembrar informações de uma parte do
diálogo para outra. Instruções para uso do sistema devem estar visíveis ou
facilmente recuperáveis sempre que apropriado.
Flexibilidade e eficiência de uso: o diálogo deve ser flexível para atender o
usuário iniciante, mas permitir que o experiente interaja com ele de forma mais
rápida, sem que o primeiro perceba, atendendo a ambos satisfatoriamente. Ele
deve oferecer atalhos.
24
Estética e design minimalista: os diálogos não devem conter informações que
sejam irrelevantes ou raramente necessárias. Pois cada item extra de informação
em um diálogo compete com os mais importantes e diminui a visibilidade destes
últimos.
Ajudar os usuários a reconhecer, diagnosticar e se recuperar de erros: as
mensagens de erro devem ser expressas em linguagem simples (sem códigos),
indicar com precisão o problema e construtivamente sugerir uma solução.
Ajuda e documentação: deve ser fácil de pesquisar, direcionada à tarefa do
usuário, direta, e concisa.
Além das heurísticas, quando Nielsen (1993) propôs este método, também
definiu os níveis de gravidade a serem atribuídos aos problemas encontrados. O
objetivo desta escala é demonstrar a relevância deles para direcionar a priorização,
por parte da equipe de desenvolvimento, no ajuste dos problemas encontrados,
sendo conhecida como "Graus de Severidade".
Graus de severidade (Nielsen, 1993):
1. Isso não é um problema de usabilidade
2. Problema cosmético - corrigir se houver tempo disponível no projeto
3. Problema de usabilidade menor - tem prioridade baixa
4. Problema de usabilidade grave - tem alta prioridade
5. Catástrofe de usabilidade - a correção é imperativa antes que o produto seja
liberado para uso
O resultado da avaliação heurística é uma lista de problemas de usabilidade
com seus respectivos graus de severidade, a partir da qual os designers de
interfaces podem priorizar e efetuar as devidas correções.
1.1.3.3 Revisão de guidelines
Segundo Nielsen (1993) este método é conduzido da mesma forma que a
Avaliação Heurística, mas usa como base um conjunto de guidelines. Podem ser
gerais para qualquer tipo de sistema ou específicas para uma determinada
25
categoria.
Valiati (2008) chama este método de "Conformidade com Recomendações" e
explica que guidelines (recomendações) podem ser utilizados em forma de
afirmativas ou como uma lista de conferência (checklist), que por sua vez contêm
questionamentos.
Este método mostra-se bastante promissor para avaliar sistemas de
categorias específicas, pois as recomendações especializadas conseguem abordar
pontos que poderiam passar despercebidos aos avaliadores se fossem gerais. Além
disso, o resultado da avaliação é mais sistematizado (Cybis et al, 2007) e menos
dependente da habilidade dos avaliadores, podendo ser feita por pessoas sem
conhecimentos específicos de IHC.
A seguir, no Quadro 7, é apresentado um exemplo de guideline para entrada
de dados, adaptado do trabalho de Bastien e Scapin (2006), onde são
concretamente apontadas as características recomendadas para a interface.
QUADRO 7: Exemplo de proposta de Guideline (adaptado de Bastien e Scapin, 2006)
Guideline Em entradas de dados, informe ao usuário sobre os formatos e valores aceitos
Exemplo Datas (dd/mm/aa: ___/___/___ )
Unidades de medidas visíveis
Para cada campo de dados, mostrar um rótulo associado
Forneça indicações sobre o comprimento das entradas
Forneça um título para cada tela
Forneça ajuda online ou orientação
A definição das guidelines precisa ser feita com bastante critério, pois em
grande quantidade podem desestimular a aplicação do método, mas se foram muito
poucas podem ser incompletas e insuficientes (Valiati, 2008).
Os resultados deste método de avaliação são os mesmos da avaliação
heurística, ou seja, uma lista com os problemas encontrados na interface.
26
1.1.4 Trabalhos relacionados
Este tópico apresenta a revisão sistemática realizada para verificar o estado
da arte à respeito da proposição e validação de heurísticas de usabilidade e
guidelines para design de interação humano-computador, havendo um interesse
específico pelos estudos relacionados à sistemas eletrônicos (SE) para avaliação da
aprendizagem.
A pesquisa foi feita nas bases de dados Pubmed, Scopus e ScienceDirect,
devido ao número de periódicos relacionados à área de saúde. Esta busca
considerou os últimos cinco anos, utilizando as palavras-chaves e combinações que
são apresentadas na Tabela 1. Durante a realização foram considerados somente
os artigos que contivessem os termos no título, abstract ou palavras-chaves e que
permitissem acesso ao texto completo. Devido ao número reduzido de trabalhos
encontrados e de não ter sido feita, inicialmente, pesquisa em bases de dados
específicas da área de computação, foi realizada uma busca complementar na ACM
e Web of Science, respeitando as mesmas regras citadas acima.
Os artigos encontrados foram avaliados a partir da leitura do abstract, sendo
pré-selecionados os que propunham ou validavam heurísticas ou guidelines de
usabilidade para sistemas com aplicação educacional. Os casos nos quais não era
possível determinar se abordavam ou não o assunto de interesse sem leitura mais
detalhada foram também considerados.
Os pré-selecionados foram lidos com mais abrangência para definir os que
seriam incluídos no estudo, sendo considerados os que: (1) tratassem de público
alvo jovem, adulto ou indeterminado, (2) estivessem relacionados à interação
humano-computador em sistemas eletrônicos de ensino e aprendizagem e (3)
tratassem de heurísticas ou guidelines de usabilidade especializados nesta
aplicação.
A pesquisa foi realizada com strings de busca, utilizando inicialmente as
palavras-chaves: usability heuristics, heuristic evaluation e usability guidelines,
sendo feito refinamento para cada uma delas conforme apresentado nas próximas
tabelas.
27
TABELA 1: Resultados da pesquisa na base de dados PubMed, Scopus e ScienceDirect.
Palavras-chaves Pubmed Scopus ScienceDirect
E PS S E PS S E PS S
usability guidelines 0 0 0 951 NC NC 106 NC NC
usability guidelines AND User-Computer Interface 0 0 0 27 2 0 8 2 0
usability guidelines AND human-computer interface 0 0 0 90 NC NC 2 1 1
usability guidelines AND virtual learning environment 0 0 0 9 0 0 1 0 0
usability guidelines AND e-learning 0 0 0 32 1 1 3 0 0
usability heuristics 0 0 0 520 NC NC 51 12 0
usability heuristics AND extension 0 0 0 5 2 0 1 0 0
usability heuristics AND human-computer interface 0 0 0 60 34 0 5 2 0
heuristic evaluation 36 7 NC 4037 NC NC 467 NC NC
heuristic evaluation AND guidelines 11 1 0 127 NC NC 13 2 0
heuristic evaluation AND guidelines AND human-computer interface 0 0 0 11 0 0 0 0 0
heuristic evaluation AND guidelines AND User-Computer Interface 0 0 0 2 0 0 0 0 0
heuristic evaluation AND usability guidelines AND education 0 0 0 4 0 0 0 0 0
heuristic evaluation AND usability guidelines AND learning 1 0 0 6 0 0 0 0 0
heuristic evaluation AND interface AND systems 11 6 0 192 NC NC 13 1 0
heuristic evaluation AND human-computer interface 0 0 0 76 4 0 5 0 0
heuristic evaluation AND human-computer interface AND systems 0 0 0 45 0 0 5 0 0
heuristic evaluation AND User-Computer Interface 0 0 0 32 13 0 8 0 0
heuristic evaluation AND interface AND education 1 1 0 28 11 0 0 0 0
heuristic evaluation AND interface AND learning 2 0 0 41 10 0 1 0 0
heuristic evaluation AND virtual learning environment 0 0 0 10 0 0 1 0 0
heuristic evaluation AND e-learning 1 1 0 40 0 0 8 1 0
Total 63 16 0 6345 77 1 698 21 1
Legenda: E = encontrados; PS = pré-selecionados; S = selecionados; NC = não considerados devido ao alto número de retorno
28
27
Na Tabela 1 encontram-se os resultados da pesquisa nas base de dados
PubMed, Scopus e ScienceDirect, sendo demonstrado para cada palavra-chave a
quantidade de publicações encontradas (E), as pré-selecionadas (PS) e as
selecionadas (S) conforme os critérios descritos anteriormente. Quando houve um
número elevado de resultados obtidos na busca, eles não foram considerados (NC)
e foram adicionados termos à string de busca, por exemplo: "guidelines usability",
retornou 951 publicações no Scopus, estas não foram analisadas, ao invés disso, foi
acrescentado "AND User-Computer Interface" que retornou 27 publicações. A
Tabela 2 apresenta os resultados da pesquisa nas base de dados ACM e Web of
Science, sendo demonstrados para cada palavra-chave a quantidade de publicações
encontradas (E), as pré-selecionadas (PS) e as selecionadas (S) conforme os
critérios descritos anteriormente. Para número elevado de retornos também foram
realizados refinamentos na string de busca, como descrito para a Tabela 1.
TABELA 2: Resultados da pesquisa na base de dados da ACM e Web of Science.
Palavras-chaves ACM Web of Science
E PS I E PS I
heuristic evaluation 1349 NC NC 191 NC NC
heuristic evaluation AND e-learning 0 0 0 5 0 0
heuristic evaluation AND guidelines 33 0 0 23 0 0
heuristic evaluation AND human-computer Interaction 11 0 0 20 0 0
heuristic evaluation AND interface AND education 3 1 1 6 0 0
heuristic evaluation AND interface AND learning 13 1 0 9 0 0
heuristic evaluation AND learning 148 2 0 31 1 0
heuristic evaluation AND usability guidelines AND education 0 0 0 0 0 0
heuristic evaluation AND user-computer interaction 0 0 0 0 0 0
heuristic evaluation AND virtual learning environment 5 2 0 0 0 0
usability guidelines AND e-learning 0 0 0 0 0 0
usability guidelines AND human-computer Interaction 9 0 0 1 0 0
usability guidelines AND User-Computer Interaction 55 1 0 0 0 0
usability guidelines AND virtual learning environment 2 0 0 0 0 0
usability heuristic AND learning assesment 3 0 0 0 0 0
usability heuristic AND learning evaluation 22 0 0 0 0 0
usability heuristic AND virtual learning environment 0 0 0 0 0 0
usability heuristics 205 13 1 24 0 0
Total 1858 20 2 310 1 0
Legenda: E = encontrados; PS = pré-selecionados; I = selecionados; NC = não considerados devido
ao alto número de retorno
29
Além da pesquisa nas bases de dados também foram verificados estudos
indicados como referência de outros artigos, sendo considerados somente os que
eram provenientes de eventos científicos, como congressos e workshops, ou
estivessem vinculados à universidades e centros de pesquisa, destes somente um
foi incluído.
O primeiro estudo apresentado propõe heurísticas de usabilidade para
sistemas eletrônicos para avaliação da aprendizagem e os demais para sistemas
eletrônicos de ensino e aprendizagem. No Quadro 8 são apresentadas algumas das
características.
QUADRO 8: Síntese dos estudos encontrados na revisão sistemática
Estudo
Heurísticas de usabilidade para: Área de
Aplicação
Interações
consideradas SE de Avaliação da
Aprendizagem
SE para Ensino e
Aprendizagem
Sim et al
(2008)
Sim Não Geral Do aluno
Kemp et al
(2008)
Não Sim Aprendizagem
de idiomas
Do aluno
Minocha e
Hardy (2011)
Não Sim Geral Aluno, Professor e
Designer
Liu et al
(2011)
Não Sim Aprendizagem
de idiomas
Do aluno
Hoyle et al
(2012)
Não Sim Geral Do aluno
Legenda: SE = Sistema Eletrônico
Em seu estudo Sim et al (2008) propõem um conjunto de heurísticas de
usabilidade para a Avaliação Assistida por Computador (Computer Assisted
Assessment - CAA), abordando principalmente o formato de questionário. Eles
justificam que existem poucas pesquisas sobre a usabilidade deste tipo de
aplicação, sendo importante o desenvolvimento de estudos voltados para este
objetivo. Segundo os autores, problemas gerados pela má usabilidade de sistemas
de CAA, podem implicar em revisões de notas e processos acadêmicos, sendo
considerados graves e inaceitáveis. Considerando esta problemática, eles afirmam
que é importante a definição de heurísticas de usabilidade específicas para este tipo
de aplicação, já que as propostas por Nielsen (1995) são apontadas como
30
genéricas. Diante disso, apresentam o desenvolvimento de um conjunto de
heurísticas e graus de severidade específicos.
Para a proposição, relatam que conduziram avaliações nos sistemas WebCT,
Questionmark Perception e TRIADS, por meio de avaliação heurística (AH) e teste
de usuário (Sim et al, 2004; Sim et al, 2007) e realizaram análise da literatura. A
partir dos resultados destas duas etapas identificaram um conjunto de problemas
frequentes e graves ocorridos no uso dos sistemas, os quais juntamente com a
análise das heurísticas propostas por Nielsen (1995), permitiram o mapeamento dos
problemas em tarefas, formando agrupamentos que possibilitaram a síntese de 11
heurísticas especializadas e um novo conjunto de classificações de gravidade. Os
autores destacam que trabalhos futuros serão realizados para validar as heurísticas
e permitir ajustes na definição inicial.
Os outros estudos são voltados para ensino e aprendizagem como um todo e
não especificamente avaliação, no de Kemp et al (2008) é apresentada a realização
de avaliação heurística do sistema IMMEDIATE, desenvolvido para o ensino e
aprendizagem de idiomas, tendo uma interface idealizada para ser invisível e
ubíqua. Para tanto, os autores definiram um conjunto de heurísticas para avaliação
de interfaces de sistemas e-learning com estas características. Com este objetivo,
eles analisaram as heurísticas de usabilidade definidas por Nielsen (1995) e o
framework para avaliação de computação ubíqua proposto por Scholz e Consolvo5,
a partir desta análise, definiram um conjunto de 18 heurísticas que envolvem os
aspectos necessários ao tipo de sistema que desejam avaliar. Em seguida, eles
criaram, para cada uma, questões específicas que foram utilizadas para verificar a
usabilidade de forma mais específica, fornecendo um retorno mais preciso.
A avaliação heurística do IMMEDIATE foi realizada por um especialista no
ensino de idiomas e em IHC, foram criados cenários de tarefas correspondentes às
atividades de um aluno no primeiro ano de curso. O avaliador percorreu a interface
duas vezes, na primeira para conhecê-la e obter algumas observações e na
segunda para analisar mais detalhadamente, indicando as violações e o grau de
severidade. Ao todo foram gastas quatro horas para a avaliação.
Os resultados apresentados indicaram que o IMMEDIATE é adequado para o
uso em educação à distância, embora apresente principalmente problemas de:
5 Scholtz J, Consolvo S. Toward a Framework for Evaluating Ubiquitous Computing Applications. IEEE Pervasive Computing Magazine. Abr-Jun 2004; 3(2):82-8.
31
visibilidade e status do sistema, consistência e padrões, familiaridade e facilidade de
uso. Os autores afirmam que a definição do conjunto de heurísticas permitiu avaliar
o sistema considerando aspectos relevantes para a proposta do mesmo, e que
embora tenha sido considerado adequado para a educação à distância e os
problemas encontrados sejam pequenos, o conjunto deles pode impactar na
utilização do IMMEDIATE, justificando a priorização da adequação do sistema. A
partir dos resultados também foi feita um readequação das heurísticas e perguntas
associadas. Os autores consideraram que é necessário realizar mais avaliações,
tanto heurísticas como testes de usuário.
Um outro estudo, de Minocha e Hardy (2011) aborda a utilização de mundos
virtuais para fins educacionais, destacando que há poucos estudos publicados sobre
critérios de design, dificultando a utilização pelas instituições, pois os projetos
precisam ser desenvolvidos considerando os aspectos pedagógicos. Diante disso,
os autores definem um conjunto de heurísticas de usabilidade para esta modalidade
de sistema. Para este estudo, eles optaram pelo utilização de 11 ilhas (espaço
equivalente a um site) do sistema Second Life, realizando avaliações heurísticas
(AH), teste de usuário (protocolo think aloud) discussões pós-observação,
entrevistas estruturadas ou semi-estruturadas e análise de documentos. Foram
envolvidos três tipos de participantes na pesquisa: os designers de espaços no
Second Life, educadores e estudantes com experiência de uso do Second Life.
Inicialmente eles definiram um conjunto de dez categorias de heurísticas a
partir de bibliografias, sendo oito propostas por Nielsen (1995), uma de Sutcliffe e
Gault6 e uma de Muller et al7. As definições originais foram adaptadas para atender
o contexto de espaços de aprendizagem 3D. Depois, realizaram avaliação heurística
para identificar os aspectos de design dos espaços de aprendizagem que facilitam
ou dificultam a navegação e orientação espacial, além disso, também utilizaram a
AH para produzir o conjunto final de heurísticas. O teste de usuário, feito com dez
indivíduos, permitiu identificar problemas que os especialistas não veriam, por
estarem habituados com os espaços. Para a realização deste teste foram
preparadas atividades de aprendizagem com tempo máximo de duração de 45
minutos, após a realização das atividades, os participantes discutiram sobre sua 6 Sutcliffe A, Gault B. Heuristic Evaluation of Virtual Reality Applications'. Interacting with Computers. 2004; 16(4):831-849. 7 Muller M, Matheson L, Page C, Gallup R. Methods & Tools: Participatory Heuristic Evaluation. ACM Interactions. 1998; 5(5):13-8.
32
experiência e ajustaram comentários e apontamentos já registrados. As entrevistas,
estruturadas e semi-estruturadas, foram realizadas com o objetivo de buscar
opiniões e exemplos úteis para projetos de espaços de aprendizagem, e foram
realizadas com cinco designers e um educador.
Foi realizada análise temática dos dados para identificar os temas
emergentes a partir dos dados coletados pelos diversos instrumentos utilizados. Os
resultados apresentaram os seguintes temas: locais-chave devem ser fáceis de
encontrar e acessar; as ilhas devem ser bem estruturadas sendo fácil de encontrar,
além disso, caminhos ao redor, sinais e símbolos de navegação devem ser de fácil
compreensão; objetos semelhantes aos do mundo real devem ser identificáveis;
áudio ou feedback visual das ações do usuário precisam coincidir com o contexto e
as vias e entradas devem ser óbvias e compreensíveis. Também foram
apresentados os temas e recursos de design com seus impactos na navegação e
orientação espacial e os efeitos sobre a experiência do usuário. Estes resultados
permitiram obter 104 heurísticas e mais de 200 diretrizes para a concepção de
espaços de aprendizagem em mundos virtuais.
Os autores identificaram problemas principalmente em relação à sinalização,
redundância de informações de navegação, localização do usuário no espaço virtual
e com os marcos arquitetônicos. Eles concluíram que os usuários utilizam
mecanismos de navegação reais (por exemplo: caminhar e placas de sinalização) e
outros do ambiente 3D (exemplos: voar e tele transportar), bem como são
influenciados pela experiência de interação em websites.
Em seu estudo Liu et al. (2011) apontam a necessidade de verificar a
qualidade dos websites voltados para a aprendizagem do idioma inglês por ser
crescente a procura por este tipo de recurso na formação dos profissionais em
Taiwan. Os autores destacam ser necessária a participação ativa de alunos e
professores na definição dos critérios que este tipo de sistema deve obedecer.
O estudo foi desenvolvido em quatro fases, na primeira realizaram uma
revisão de literatura a partir da qual identificaram e analisaram cinco dimensões
(aspectos) envolvidas na aprendizagem do idioma através de ferramentas web:
usabilidade web, materiais de aprendizagem, capacidade de auxiliar a aprendizagem
de línguas, a integração da tecnologia, e as preferências do aluno; com base nesta
revisão propuseram 55 critérios preliminares.
Na segunda fase foi realizada pesquisa incluindo 160 alunos, através de um
33
questionário para saber sua opinião a respeito dos critérios definidos na fase
anterior, os dados resultantes foram processados estatisticamente e os critérios com
menos de 60% de aceitação foram eliminados.
Na terceira fase, sete especialistas, divididos em dois grupos: um com três
professores de inglês com prática em ensino com uso de computador e o outro com
quatro especialistas em tecnologias de aprendizagem, opinaram sobre os critérios,
participando em seguida de uma discussão sobre os mesmos, sendo esta gravada
para análise posterior.
Na última fase os pesquisadores transcreveram as gravações montando
tabelas com os critérios e votos classificando-os como: importante, sem importância
ou precisa de análise mais aprofundada. O resultado foi um conjunto de 17 critérios
refinados, entre os quais 13 já haviam sido propostos antes e 4 foram inseridos
pelos pesquisadores. Para validar os critérios avaliaram o site da BBC English
Learning e concluíram que o site cumpre 16 dos 17 critérios propostos, confirmando
a validade dos mesmos, tendo como base o reconhecimento anterior da qualidade
do website.
Em seu estudo Hoyle et al. (2012) relatam a ausência de guidelines para
desenvolvimento de websites educacionais e destacam que por isso um
componente importante para a aprendizagem, como o uso de conteúdo interativo,
poderia não ser considerado, já que não há recomendação formal para esta
utilização.
Diante desta problemática, conduziram um estudo no qual realizaram testes
de usuário com a participação de 26 alunos da universidade de Houston-Clear Lake,
para identificar os problemas de usabilidade e mapeá-los para guidelines. O teste foi
desenvolvido em três etapas:
Na primeira etapa foi pedido aos alunos que simulassem que estavam
estudando estatística e que utilizassem o website Online Statistics Education (OSE)
verbalizando as impressões e reações em relação à ferramenta (aplicação da
técnica think aloud), nesta fase eles exploraram a navegação do website; na
segunda etapa foi solicitado que utilizassem os recursos de simulação existentes no
website; e na terceira, os alunos puderam explorá-lo livremente.
Durante todas as etapas os participantes foram observados e suas reações
registradas, bem como os dados que pudessem gerar medidas quantitativas.
A partir dos testes realizados os pesquisadores analisaram os resultados e
34
recomendaram um conjunto de 13 guidelines para melhorar a qualidade dos
websites educacionais, divididas em Navegação (8) e Simulação Interativa (5).
Concluíram que as guidelines podem contribuir para melhorar a qualidade do
websites educacionais e que desenvolvedores e educadores devem se unir para
criar ferramentas que sejam eficazes e facilitem a aprendizagem do aluno.
1.1.5 Considerações adicionais
A tecnologia possibilitou o surgimento de muitos recursos de software,
principalmente com a web, fazendo com que mais pessoas aderissem ao uso destes
recursos. Esta inovação trouxe consigo a necessidade de aprimorar técnicas e
métodos que verificam a usabilidade destes produtos, pois esta adesão aproximou
do computador, usuários com pouco ou nenhum conhecimento sobre ele. Por isso é
importante que os softwares possibilitem o entendimento e a interação necessários
para que as pessoas desenvolvam satisfatoriamente suas atividades.
Os estudos apresentados no item 1.1.4 mostraram que há uma preocupação
crescente em propor heurísticas (diretrizes) e guidelines (critérios) de usabilidade
que orientem os projetistas de softwares no desenvolvimento de novas ferramentas
com mais qualidade, pois os sistemas estão se tornando mais complexos e
especializados.
Estes estudos tratam de sistema eletrônicos educacionais, mas são
desenvolvidos com recursos tecnológicos distintos e mostram que cada um tem suas
particularidades de utilização. Nestes casos o uso de heurísticas muito gerais não
contribuem claramente para o design e em caso de avaliação de usabilidade a partir
delas, pode resultar em uma inspeção completa e rigorosa ou ao contrário, que não
registre problemas específicos da categoria do software. Desta forma, a qualidade
de um ou outro depende muito da experiência do profissional que irá utilizá-las. Este
aspecto também está relacionado à compreensão da heurística ou guideline, ou
seja, se o profissional não consegue entender o que ela propõe, pode utilizá-la de
forma errada ou simplesmente não a considerar.
Outra questão identificada nos estudos, diz respeito às particularidades dos
sistemas, ou seja, ao pensar em heurísticas para um software educacional, é
importante considerar os processos envolvidos na aprendizagem, para que as
35
necessidades dos usuários possam ser englobadas.
Ao considerar o cenário atual, constata-se que há uma demanda por formas
de garantir a usabilidade dos sistemas existentes e dos que estão sendo
desenvolvidos, buscando atender as necessidades e dificuldades dos usuários.
Dos estudos encontrados nesta revisão apenas um trata de sistemas
eletrônicos para avaliação da aprendizagem e ainda assim aborda somente o
formato de questionário. Desta forma, considerando as características peculiares de
uma ferramenta voltada para a avaliação da aprendizagem baseada em casos
clínicos, é necessário o desenvolvimento de estudos para propor soluções para esta
modalidade de sistemas.
27
2. Objetivos
Este estudo tem como objetivo propor um conjunto de heurísticas de
usabilidade especializadas para sistemas eletrônicos de avaliação da aprendizagem
baseada em casos clínicos, e validá-las por meio da inspeção de usabilidade do
sistema web Medical Clinical Case (MedCC), buscando contribuir para a melhora na
qualidade das interações dos usuários neste tipo de ferramenta.
27
3. Material e métodos
O desenvolvimento da pesquisa foi organizado em duas fases: primeiro foram
identificadas e definidas as heurísticas de usabilidade especializadas. Depois, foi
realizada avaliação heurística, por especialistas em IHC, no sistema eletrônico para
avaliação de aprendizagem baseada em caso clínico Medical Clinical Case (MedCC)
para validar as heurísticas propostas.
A metodologia utilizada apresenta similaridades com a que é apresentada por
Jiménez et al (2012), na qual são definidas seis etapas: (1) Estágio exploratório, no
qual são recuperadas referências bibliográficas relacionadas com a área de
especialização; (2) Estágio descritivo, no qual são destacadas as informações e
características mais importantes obtidas no estágio anterior; (3) Estágio de
correlação, no qual são identificadas as características que as heurísticas de
usabilidade para aplicações especializadas devem ter, baseadas nas tradicionais ou
na análise de estudos de caso; (4) Estágio explicativo, no qual são especificadas
formalmente o conjunto de heurísticas propostas utilizando um modelo padronizado;
(5) Estágio de validação (experimental), no qual as novas heurísticas são verificadas
em relação as tradicionais, por meio de avaliação heurística e testes de usuários e
(6) Estágio de refinamento, realizado com base no retorno do estágio de validação.
3.1 Metodologia para revisão de literatura
Foi realizada uma revisão sistemática para recuperação de trabalhos
relacionados à definição de heurísticas de usabilidade ou guidelines para design de
interfaces de sistemas eletrônicos para ensino e aprendizagem, com o objetivo de
conhecer o estado da arte sobre o tema e as formas como vem sendo propostas e
validadas novas heurísticas. A forma como foi conduzida é apresentada junto com a
descrição dos artigos encontrados no tópico correspondente (1.1).
Os demais assuntos abordados na revisão foram pesquisados nas bases de
dados Scopus, ScienceDirect, Web of Science e Portal Capes, de forma não
sistemática e também foram realizadas pesquisas em bibliotecas de universidades8
8 Universidade Cruzeiro do Sul e Universidade Estadual de Campinas (UNICAMP)
38
para localização de teses e livros para o embasamento conceitual dos temas
tratados.
3.2 Metodologia para definição das heurísticas especializadas
A etapa de definição das heurísticas foi dividida em quatro fases:
Na primeira, foi realizada pesquisa sobre avaliação da aprendizagem, para
identificar e compreender como ela é conduzida, o que é necessário para realizá-la,
e os instrumentos avaliativos que tem sido utilizados (Depresbiteris, 1998;
Perrenoud, 1999; Sordi, 2000; Fenili, 2002; Zeferino e Passeri, 2007; Garcia, 2009;
Domingues et al, 2010; Punhagui e Souza, 2011), independente da tecnologia,
observando principalmente aspectos que possam sofrer interferência com o uso de
sistemas informatizados.
Na segunda, foram selecionados dois AVAs, o Blackboard® e o Moodle,
tendo como critério de escolha a frequência de utilização pelas instituições de
ensino9, o fato de um ser pago (Blackboard®) e o outro gratuito (Moodle) e a
possibilidade de acesso aos mesmos pela pesquisadora responsável. Em cada um
dos sistemas, foram analisados os recursos disponíveis para avaliação da
aprendizagem, considerando o que foi encontrado na pesquisa realizada na primeira
fase. Buscou-se a identificação de problemas e características positivas na interação
e funcionalidade. Esta análise foi feita pela pesquisadora responsável, tendo o
tempo mínimo de uma hora e máximo de quatro horas para cada sistema,
respeitando a sistemática descrita a seguir:
1. Preparação: utilização dos recursos seguindo os cenários do Anexo 1 e 2;
2. Coleta de dados e interpretação: utilização pela segunda vez,
identificando os problemas e as características positivas, descrevendo-os
em uma planilha eletrônica, na qual foram registrados: o local da interface,
a descrição do problema ou da característica positiva e a importância;
3. Associação às heurísticas de Nielsen (1995): indicação de pelo menos
uma heurística de Nielsen (1995) para cada item apontado na relação 9 O Moodle tem 68.352 sites registrados mundialmente e no Brasil são 4.661 (Moodle, 2014). O Blackboard® tem 5.000 clientes mundialmente (Blackboard, 2014) e no Brasil são 17 (Blackboard, 2014).
39
citada no item 2;
4. Consolidação e relato dos resultados: os resultados foram analisados e
agrupados de acordo com a similaridade, sendo apontadas as heurísticas
de Nielsen que eram atendidas ou violadas.
Na terceira fase, as dez heurísticas propostas por Nielsen (1995) foram
analisadas, considerando os resultados obtidos nas duas primeiras. Com exceção
da heurística "Ajudar os usuários a reconhecer, diagnosticar e se recuperar de
erros", todas tiveram especializações para representar as características pertinentes
à avaliação da aprendizagem baseada em casos clínicos utilizando sistemas
eletrônicos. Esta análise foi feita verificando se os problemas e características
positivas encontrados nos AVAs podiam ser representados por elas de forma clara
ou se era necessária a definição de especializações.
Na última fase, foi formalizada a definição das heurísticas considerando os
resultados da terceira, sendo estas nomeadas e descritas respeitando a estrutura
demonstrada no Quadro 9.
QUADRO 9: Estrutura de formalização das heurísticas especializadas
Elemento Conteúdo do elemento
Nome É composto por uma identificação única formada pela letra H
acompanhada de numeração sequencial e do nome da heurística,
representando de forma clara e sucinta seu significado.
Especialização
da Heurística
Apresenta a heurística de Nielsen (1995) a partir da qual houve
especialização, caso tenha ocorrido.
Interface de
aplicação
Indica para qual interface a heurística foi definida, aluno ou professor.
Descrição Texto que explica a heurística.
Exemplo(s) Situações nas quais a heurística é atendida.
Origem Informa o que foi considerado para sua definição, ou seja, a literatura, a
análise dos AVAs ou ambos.
O Quadro 9 apresenta os elementos que compõem a formalização de cada
uma das heurísticas especializadas acompanhados de explicação sobre o seu
conteúdo.
40
3.3 Metodologia para validação das heurísticas especializadas
A validação foi realizada por meio de avaliação heurística no sistema Medical
Clinical Case (MedCC), ferramenta especializada na criação de avaliações da
aprendizagem baseadas em casos clínicos. A opção pela inspeção de usabilidade
com especialistas, foi feita após o insucesso na realização de teste de usabilidade
devido à dificuldade em conseguir usuários (professores) que concordassem em
participar.
Para tanto, foram convidados nove especialistas, definidos pela possibilidade
de acesso à eles e a especialidade de atuação, sendo um deles na área de
ambientes virtuais de aprendizagem e os demais em interação humano-computador
e todos atuam como professores no ensino superior. Destes, sete aceitaram
participar, recebendo e assinando o TCLE (Apêndice 1). No Quadro 10 é
apresentado o perfil dos avaliadores.
QUADRO 10: Avaliadores, suas formações e áreas de atuação
Sexo Formação Área de Atuação
1 F Doutorado em
Comunicação e
Semiótica
Arquitetura e Urbanismo; Comunidades Virtuais; Comunicação
Visual; Multimídia; Realidade Virtual; Semiótica; Sistemas de
Informação e Teoria da Comunicação.
2 F Doutorado em
Engenharia Elétrica
Informática em Saúde; Processamento Gráfico;
Processamento de Imagens Médicas; Realidade Aumentada;
Realidade Virtual e Telemedicina.
3 F Doutorado em
Engenharia Eletrônica e
Computação
Interface Humano-Computador; Processamento Digital de
Imagens; Realidade Virtual e Aumentada; Sistemas Multimídia
e Hipermídia e Tecnologia Web.
4 F Doutorado em
Engenharia Elétrica
Sistemas Eletrônicos; Sistemas de Computação; Informática
na Educação; Informática em Saúde; Realidade Virtual e
Realidade Aumentada.
5 M Doutorado em Ciência
da Computação
Interface Humano-Computador; Engenharia de Software e
Ciência da Computação
6 M Doutorado em Ciência
da Computação
Interface Humano-Computador; Educação à Distância; Objetos
de Aprendizagem; Ambientes Virtuais e Colaborativos para
Ensino Aprendizagem; Engenharia de Software e Sistemas de
Informação Geográfica
7 F Doutorado em
Engenharia Elétrica
Engenharia de Software e Linguagens de Programação
41
As avaliações respeitaram os critérios descritos abaixo:
Foram realizadas no local de trabalho dos especialistas, sendo este
comum a todos.
Tempo máximo de duas horas e trinta minutos para cada avaliador;
A realização foi acompanhada pela pesquisadora responsável.
Inicialmente foram fornecidas informações à respeito do estudo e
esclarecimentos sobre a contribuição dos mesmos. Para realizar a avaliação, os
especialistas receberam os perfis dos dois tipos de usuários, dois cenários do aluno
(Anexo 1), três do professor (Anexo 2), conteúdo textual de um caso clínico, junto
com arquivos de imagens referentes ao mesmo, bem como a identificação e
descrição das heurísticas propostas.
Os avaliadores receberam o endereço do site do sistema, um usuário e senha
com nível de acesso de professor (avaliador) e foi solicitado que criassem outro, com
permissão de aluno. Em seguida, foram orientados a acessar a interface duas
vezes, na primeira somente para interagir com o sistema, entendendo a sequência
de uso, e na segunda para identificar e registrar os problemas encontrados a partir
da interação.
O registro dos problemas foi feito em dois formulários eletrônicos previamente
enviados (Anexos 3 e 4), criados no Google Docs. Os especialistas identificaram
cada problema separadamente, fornecendo o local de ocorrência, a descrição, a(s)
heurística(s) violada(s) e o grau de severidade (Nielsen, 1995) conforme o impacto
no uso do sistema. Além disso, todas as avaliações foram filmadas, para registrar
algum comentário ou apontamento não registrado através do formulário.
Depois de concluída esta etapa, os resultados das avaliações foram
organizados pela pesquisadora, considerando a heurística violada e o grau de
severidade. A partir destes dados foram computadas, tanto para as heurísticas de
Nielsen (1995) como para as especializadas, em ambas as interfaces, as
frequências de:
indicações dos graus de severidade (Nielsen, 1993);
violações de cada heurística;
violações de cada heurística, em cada grau de severidade (Nielsen, 1993).
42
A determinação da validade das heurísticas foi feita considerando a frequência
de violações, a adequação da escolha da heurística violada, ou seja, a
correspondência à sua definição; e do seu grau de severidade, as que foram
associadas a graus mais graves foram consideradas importantes.
O sistema utilizado foi o Medical Clinical Case (MedCC), especializado na
criação de avaliações baseadas em casos clínicos. A ferramenta oferece recursos
que permitem a criação de casos, contendo a descrição inicial sobre o paciente, a
partir do que é possível fazer questionamentos referentes às condutas a serem
adotadas pelo estudante que está analisando (atendendo) o caso. Os recursos
disponíveis permitem trabalhar com conteúdo complementar como arquivos de texto,
imagem e links externos (Hernandez et al, 2012).
A montagem da avaliação pode ser iniciada por dois caminhos, pela definição
das configurações da prova ou pela criação das questões.
No sistema, uma avaliação é chamada de prova, e nela são feitas as
configurações gerais e definidos um ou mais textos descritivos com informações do
paciente, sendo para cada um destes, associado um conjunto de questões de
qualquer dos tipos oferecidos pelo sistema. A seguir são apresentadas cada uma
delas, sendo todas de autocorreção (MedCC, 2013):
Composta: é formada por duas perguntas, a primeira sempre tem como
resposta “Sim” ou “Não” (Figura 2) e a segunda poderá ter várias respostas textuais
(Figura 3). Inicialmente a segunda pergunta fica oculta e só é exibida ao aluno se a
resposta que ele selecionou para a primeira for igual a uma resposta pré-definida
pelo professor.
FIGURA 2: Exemplo da primeira parte da questão composta
FIGURA 3: Exemplo da segunda parte da questão composta
43
Correspondência: apresenta ao aluno um enunciado e pede ao mesmo que
relacione dois grupos de itens (Figura 4).
FIGURA 4: Exemplo da questão correspondência
Direta: apresenta ao aluno uma pergunta e pede ao mesmo que forneça uma
ou mais respostas textuais (Figura 5).
FIGURA 5: Exemplo da questão direta
Escolha Múltipla: apresenta ao aluno uma pergunta e pede ao mesmo que
escolha uma ou mais respostas oferecidas como alternativas (Figura 6).
FIGURA 6: Exemplo da questão escolha múltipla
Escolha Única: apresenta ao aluno uma pergunta e pede ao mesmo que
escolha uma entre várias respostas oferecidas como alternativas (Figura 7).
44
FIGURA 7: Exemplo da questão escolha única
Falso/Verdadeiro: apresenta ao aluno um enunciado e um conjunto de
afirmativas e pede ao mesmo que indique quais são falsas e quais são verdadeiras
(Figura 8).
FIGURA 8: Exemplo da questão falso/verdadeiro
Medicamento: apresenta ao aluno uma pergunta e pede ao mesmo que
indique o nome de um ou mais medicamentos, e suas formas de prescrição como
dose diária, unidade de medida e quantidade de tomadas por dia (Figura 9).
FIGURA 9: Exemplo da questão medicamento
Prioridade: apresenta ao aluno uma pergunta e pede ao mesmo que escolha
entre as respostas disponíveis respeitando a ordem de prioridade que ele considere
que seja certa para a situação apresentada (Figura 10).
45
FIGURA 10: Exemplo da questão prioridade
Sub-questões: apresenta ao aluno uma pergunta com o enunciado principal,
mas além dele há um ou mais enunciados secundários acompanhados de opções
de escolha específicas destes últimos (Figura 11).
FIGURA 11: Exemplo da questão sub-questões
Única: apresenta ao aluno uma pergunta e pede ao mesmo que escolha
como resposta “Sim” ou “Não” (Figura 12).
FIGURA 12: Exemplo da questão única
A sequência de utilização do sistema pelo aluno começa com o cadastro no
site (Figura 13).
46
FIGURA 13: Acesso ao cadastro no site
Após o cadastro o aluno precisa se inscrever na prova, clicando no link
"Participe" (Figura 14).
FIGURA 14: Inscrição e acesso a prova
Depois de inscrito, ao iniciar a avaliação, será apresentado conteúdo
geralmente descritivo do caso clínico, conforme mostra a Figura 15.
47
FIGURA 15: Apresentação inicial da prova, exemplificada com caso clínico
O texto apresentado corresponde às informações iniciais sobre o paciente. No
momento em que o aluno se sentir apto, poderá clicar em "Questões" e serão
apresentadas, uma a uma, as perguntas da prova. Neste formato de avaliação o
aluno vê uma pergunta por vez (Figura 16) e ao seguir para a próxima, não pode
retornar para editar a resposta já enviada. O acesso visual ao que já respondido
aparece na parte superior da tela. Depois de concluir a prova o aluno poderá
imprimir a mesma.
FIGURA 16: Apresentação sequencial das questões durante a realização da prova, permitindo
visualização mas não edição das questões previamente respondidas
48
Para o professor a interação é diferente; seu usuário é pré-cadastrado pelo
administrador do sistema e após conectado o professor pode criar e gerenciar as
avaliações.
A criação da avaliação, como citado anteriormente, pode ser feita por dois
caminhos: definindo as configurações da prova ou criando as questões.
Considerando a primeira escolha, o professor avaliador utilizará o formulário
acessível através do link "Provas" (Figura 17), sendo solicitadas informações de
identificação, orientação, duração e disponibilidade da avaliação.
FIGURA 17: Definição da prova
Na tela exemplificada na Figura 17 o professor poderá incluir a descrição
inicial do histórico do paciente, mas isto só é possível depois de salvar as
informações descritas anteriormente, só então é será apresentado o link "Incluir
Descrição da Prova", que abrirá a tela mostrada na Figura 18.
49
FIGURA 18: Definição da descrição da prova
Depois que as informações são salvas, é oferecida a possibilidade de
escolher as questões da prova, mas para isto as mesmas já devem ter sido criadas.
Para a criação das questões é necessário clicar no link "Questões" do menu
lateral, que dá acesso a uma tela com as opções de tipos de questões que podem
ser inseridas (Figura 19).
FIGURA 19: Escolha do tipo de questão
Após escolher um tipo e clicar em "Próximo" ele abre o formulário para criar a
questão conforme a opção escolhida. Na Figura 20 é possível ver uma destas telas.
50
FIGURA 20: Criação da questão Escolha Única
Há uma variação nos elementos do formulário conforme o tipo de questão,
podendo haver mais ou menos informações solicitadas.
Conforme as questões vão sendo criadas elas ficam disponíveis em uma lista,
a partir da qual é possível editar os conteúdos ao clicar sobre o enunciado da
questão (Figura 21).
FIGURA 21: Tela do banco de questões
51
A partir do momento que já existem questões criadas, é possível associá-las a
uma prova, sendo necessário voltar à tela de descrição da prova e clicar no link
"Selecionar Questões". Na Figura 22 é apresentado um exemplo da tela de escolha.
FIGURA 22: Escolha das questões da prova
Depois de escolher as questões é necessário atribuir pontuação a cada uma
delas conforme mostra a Figura 23. A partir deste ponto a prova estará pronta para
ser aplicada.
FIGURA 23: Atribuição de pontuação às questões da prova
O ambiente oferece quatro relatórios de resultados, como descrito abaixo:
Notas (somente na tela): dá acesso às notas individuais e prova com as
52
respostas, erros, acertos e pontuação em cada pergunta para cada aluno.
Evento por prova (tela e arquivo csv10): mostra as notas obtidas pelos
alunos em uma ou mais provas aplicadas em um mesmo evento11 e a média de
todas as provas do evento para cada aluno.
Evento por questão (tela e arquivo csv): mostra as notas obtidas pelos
alunos em cada questão em uma ou mais provas aplicadas em um mesmo evento.
Estatísticas por prova (somente na tela): mostra para cada questão da
prova as respostas dadas, a quantidade total de alunos que responderam a
pergunta, e para cada resposta a quantidade e porcentagem de alunos que a
escolheram, marcando em negrito as respostas corretas (Figura 24).
FIGURA 24: Relatório Estatística por Prova
Os recursos descritos acima são parte da interface acessível aos alunos e
professores. O sistema conta com outros recursos que não serão descritos, pois
fogem do foco do estudo.
10 O CSV é um arquivo de texto, que permite guardar dados para serem lidos por planilhas eletrônicas. Os dados são separados por vírgula ou ponto e vírgula fazendo com que ao abrir o arquivo em uma planilha eletrônica eles se organizem em linhas e colunas. 11 O Evento pode ser comparado a um curso em um AVA, ou seja, assim como um curso reúne conteúdos, informações e avaliações, ele reúne uma ou mais avaliações.
4. Resultados
Os resultados do estudo foram divididos em duas partes: as heurísticas
especializadas e a validação das mesmas. Na primeira parte, são descritas as
características positivas e negativas dos recursos avaliativos dos sistemas Moodle e
Blackboard®, obtidas a partir da análise feita nas mesmas. Em seguida, são
definidas formalmente as heurísticas especializadas propostas pelo estudo.
Na segunda parte, são apresentados os resultados da inspeção de
usabilidade realizada para verificar a validade das heurísticas.
4.1 Heurísticas especializadas para sistemas eletrônicos de
avaliação da aprendizagem baseada em casos clínicos
Para a definição das heurísticas foram considerados os componentes da
avaliação da aprendizagem, geral e baseada em casos clínicos, identificados por
meio da revisão de literatura; e os resultados da análise dos recursos dos sistemas
Moodle e Blackboard®, realizada conforme descrito no item 3.2.
4.1.1 Análise dos recursos avaliativos disponíveis nos sistemas Moodle
e Blackboard®
Os sistemas foram analisados em relação a sua usabilidade, observando-se
principalmente o atendimento às necessidades das avaliações da aprendizagem
descritas pela literatura (Hooper et al, 1998; Depresbiteris, 1998; Perrenoud, 1999;
Sordi, 2000; Fenili, 2002; Schuwirth, 2005; Langendyk, 2006; Zeferino e Passeri,
2007; Segers et al, 2008; Struyven et al, 2008; Garcia, 2009; Megale et al, 2009;
Domingues et al, 2010; Punhagui e Souza, 2011; Sebastiani et al, 2012; Baeten et
al, 2013).
A partir da análise obteve-se um conjunto de características e recursos que
foram divididos em positivos e negativos, acompanhados da indicação da heurística
de Nielsen (1995) atendida ou violada, ambos para os sistemas Moodle e
Balckboard®, não sendo indicado em qual deles foi identificado, já que o objetivo
54
não foi compará-los. Elas são apresentadas a seguir divididas entre as interfaces do
aluno e do professor, tanto para os positivos como para os negativos.
4.1.1.1 Características e recursos positivos na interface do professor
As características e recursos positivos da interface do professor nos AVAs
são apresentadas abaixo:
PP1. Facilidade em localizar o instrumento avaliativo desejado
Heurística Atendida: Estética e design minimalista.
Importância: recursos que podem ser localizados rapidamente colaboram com os
professores que não tem prática no uso de computadores, assim como consomem
menos tempo para realização da tarefa.
PP2. Boa organização dos elementos de formulário
Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;
Consistência e padrões; Estética e design minimalista.
Importância: além de facilitar o preenchimento dos dados, também cria uma
seqüência na inserção das informações, orientando o professor no caminho a seguir.
PP3. Acesso rápido e fácil à ajuda
Heurística Atendida: Ajuda e documentação.
Importância: quando a ajuda pode ser consultada facilmente, a tendência é que os
professores a utilizem sempre que tiverem dúvidas, além disso, o rápido acesso
contribui para a realização da tarefa com menos comprometimento de tempo.
PP4. Possibilidade de definição e configuração da visualização do feedback
Heurísticas Atendidas: Liberdade e controle do usuário; Flexibilidade e eficiência de
uso.
Importância: possibilita ao professor definir os feedbacks que serão oferecidos aos
alunos automaticamente, no decorrer ou ao final da avaliação. Além disso, permite
que ele escolha o momento no qual deseja que os alunos os visualize. Esta é uma
etapa importante do processo de avaliação (Zeferino e Passeri, 2007; Garcia, 2009).
55
PP5. Possibilidade de avaliar também as postagens e anexos no fórum
Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;
Liberdade e controle do usuário; Flexibilidade e eficiência de uso.
Importância: oferece a possibilidade do professor realizar uma atividade de
discussão, promovendo um debate e avaliar as participações e estas ficam
registradas no centro de gerenciamento de notas. Além disso, o professor pode
receber materiais dos alunos através de arquivos anexos.
PP6. Flexibilidade na configuração da atribuição de pontuação às atividades
Heurística Atendida: Flexibilidade e eficiência de uso.
Importância: oferece ao professor maior flexibilidade na configuração da pontuação,
possibilitando a fragmentação de notas conforme as respostas dadas pelo aluno ou
o número de tentativas, diminuindo as pontuações extremas (mínima ou máxima).
PP7. Diversidade de instrumentos para avaliação
Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;
Flexibilidade e eficiência de uso.
Importância: proporciona liberdade de escolha ao professor, permitindo que ele
selecione o instrumento que melhor se adequar ao conteúdo que deseja avaliar.
PP8. Possibilidade de uso de recursos de áudio e vídeo nas atividades
Heurística Atendida: Flexibilidade e eficiência de uso.
Importância: oferece ao professor recursos diferenciados para serem utilizados na
avaliação (Choules, 2007).
PP9. Possibilidade de sorteio e embaralhamento de questões e alternativas
Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;
Flexibilidade e eficiência de uso.
Importância: esta funcionalidade oferece ao professor a possibilidade de diminuir as
chances do aluno copiar as respostas de um colega, fraudando seus resultados.
PP10. Possibilidade de visualizar questões e avaliações no formato em que o
aluno às verá
Heurística Atendida: Relacionamento entre a interface do sistema e o mundo real.
56
Importância: o professor pode conferir como será a visualização das questões
oferecidas ao aluno, isto permite verificar se a apresentação está na forma que ele
deseja e imagina.
PP11. Possibilidade de gerenciamento das avaliações
Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;
Flexibilidade e eficiência de uso.
Importância: oferece ao professor a possibilidade de avaliar ou reavaliar atividades e
acessar a entrega da tarefa do aluno, além disso permite que sejam inseridos
comentários sobre a atividade.
PP12. Possibilidade de configurar múltiplas tentativas de envio da avaliação
Heurística Atendida: Flexibilidade e eficiência de uso.
Importância: permite que sejam oferecidas várias oportunidades para o aluno
resolver a atividade, possibilitando que ele perceba, corrija seus erros e envie
novamente.
PP13. Configuração da disponibilidade e tempo de avaliação
Heurística Atendida: Flexibilidade e eficiência de uso.
Importância: oferece ao professor controle sobre o momento e tempo de realização
da atividade avaliativa.
PP14. Possibilidade de exportar notas e respostas de atividades avaliativas
Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;
Flexibilidade e eficiência de uso.
Importância: poder exportar as notas permite ao professor guardar os resultados das
avaliação em local diferente do sistema e no caso das respostas, possibilita que ele
corrija as atividades sem depender de conexão de internet, além disso poderá
guardá-las.
PP15. Possibilidade de exportação das questões criadas no sistema
Heurística Atendida: Flexibilidade e eficiência de uso.
Importância: permite que o professor reaproveite as questões disponíveis no
sistema.
57
O gráfico da Figura 25 mostrou que as heurísticas "Flexibilidade e eficiência
de uso" e "Relacionamento entre a interface do sistema e o mundo real" foram as
mais atendidas na interface do professor.
FIGURA 25: Gráfico da frequência de atendimento das heurísticas de Nielsen (1995) pelas
características e recursos positivos do AVAs
4.1.1.2 Características e recursos positivos na interface do aluno
As características e recursos positivos da interface do aluno nos AVAs são
apresentadas abaixo:
PA1. Possibilidade de uso de recursos de áudio e vídeo nas atividades
Heurística Atendida: Flexibilidade e eficiência de uso.
Importância: oferece ao aluno a visualização de informações durante a avaliação em
formatos diversificados (Choules, 2007).
PA2. Apresentação de área de navegação entre as questões durante a
avaliação
Heurísticas Atendidas: Relacionamento entre a interface do sistema e o mundo real;
Reconhecimento ao invés de lembrança; Estética e design minimalista.
Importância: ajuda o aluno a identificar em que ponto da avaliação está, o que ainda
falta e em algumas situações permite que ele volte nas perguntas já respondidas.
0 5 10 15
Visibilidade de status do sistema
Relacionamento entre a interface do sistema e o …
Liberdade e controle do usuário
Consistência e padrões
Prevenção de erros
Reconhecimento ao invés de lembrança
Flexibilidade e eficiência de uso
Estética e design minimalista
Ajudar os usuários a reconhecer, diagnosticar e …
Ajuda e documentação
58
PA3. Confirmação de salvamento de respostas e salvamento automático
periódico durante a realização da prova
Heurísticas Atendidas: Visibilidade de status do sistema.
Importância: ajuda o aluno a identificar que sua resposta foi salva, fazendo com que
ele não fique em dúvida e apreensivo sobre isso.
Na interface do aluno, as características e recursos positivos atenderam à
cinco heurísticas distintas de Nielsen (1995), conforme apresentado anteriormente.
Se forem consideradas junto com as indicações da interface do professor, a
prevalência de "Flexibilidade e eficiência de uso" e "Relacionamento entre a
interface do sistema e o mundo real" se mantém.
4.1.1.3 Características e recursos negativos na interface do professor
As características e recursos negativos da interface do professor nos AVAs
são apresentadas abaixo:
NP1. Falta de clareza no comportamento da avaliação de acordo com a
definição de sua disponibilidade
Heurística Violada: Prevenção de erros.
Importância: o professor fica sem saber como o sistema se comportará em relação
as respostas inseridas pelo aluno quando o tempo de disponibilidade se encerra,
gerando insegurança no uso desta configuração.
NP2. Visualização da ajuda do sistema na mesma janela de criação da
avaliação
Heurística Violada: Liberdade e controle do usuário.
Importância: os professores nem sempre percebem o local onde um conteúdo foi
carregado. Neste caso, ele pode fechar a guia do navegador sem perceber que é a
mesma onde estava carregada a avaliação. Outra possibilidade disponível, seria
usar o botão de voltar do navegador, mas ele pode não saber que é possível fazer
isso.
59
NP3. Campos nos formulários que não são claros quanto ao que deve ser
informado e sobre sua finalidade
Heurísticas Violadas: Relacionamento entre a interface do sistema e o mundo real;
Ajuda e documentação.
Importância: se o professor não reconhecer a finalidade do campo, não saberá se
precisa informá-lo, e isto tanto pode fazer com que ele não o preencha ou que fique
inseguro sobre o resultado de fazê-lo ou não. Além disso, em alguns casos,
dependendo de como o campo for preenchido, pode gerar um resultado contrário ao
que é desejado.
NP4. Existência de recursos e configurações importantes ocultados por botões
e ícones
Heurística Violadas: Prevenção de erros.
Importância: se o professor não perceber que um recurso importante ou necessário
está oculto por um botão ou ícone, deixará de usá-lo, podendo não configurar
alguma característica, editar ou visualizar informações.
NP5. Falta de orientação sobre os instrumentos avaliativos e de visualização
pelo professor do formato que os alunos verão
Heurísticas Violadas: Relacionamento entre a interface do sistema e o mundo real;
Consistência e padrões; Reconhecimento ao invés de lembrança; Estética e design
minimalista; Ajuda e documentação.
Importância: se o professor não consegue informação sobre como os recursos
funcionam, ele pode optar por não utilizá-lo ou caso resolva adotá-lo, irá tentar fazer
experimentos para entendê-lo, o que o faz gastar mais tempo do que seria
necessário. Além disso, ele também não consegue saber como o aluno verá o
conteúdo.
NP6. Falta de padronização na identificação de comandos e informações
Heurística Violada: Consistência e padrões.
Importância: o professor pode ficar em dúvida se os elementos realizam as mesmas
ações ou não perceber que eles representam uma funcionalidade desejada,
podendo não utilizá-los ou fazê-lo errado.
60
NP7. Navegação sem padrão e confusa (ausência de saída em algumas telas,
conteúdos que são carregados hora em janelas separadas, hora na janela principal,
acesso a recursos importantes em locais pouco prováveis, longos caminhos de
navegação e links e botões que não funcionam).
Heurísticas Violadas: Visibilidade de status do sistema; Estética e design
minimalista; Ajudar os usuários a reconhecer, diagnosticar e sanar erros.
Importância: o usuário se sente inseguro e pode escolher um caminho que gere
alguma perda, muitas vezes pode ficar sem saber o que fazer ou sem o que precisa,
principalmente quem não tem prática com este tipo de ferramenta.
NP8. Recursos incompatíveis com os conhecimentos dos usuários
Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.
Importância: a solicitação de recursos externos desconhecidos (plugings) ao usuário
ou com muitos detalhes para utilização dificultam o uso do sistema, podendo
produzir uma escolha equivocada, gerando resultado indesejado e interferindo na
avaliação. Também é possível que o usuário desista de utilizar.
NP9. Termos desconhecidos pelos usuários
Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.
Importância: o uso de termos incomuns ao usuário dificultam o uso do sistema,
podendo ser feita uma escolha errada, gerando um resultado indesejado que pode
interferir na avaliação.
NP10. Configuração de recursos em mais de um lugar e conflitantes
Heurística Violada: Flexibilidade e eficiências de uso.
Importância: a possibilidade de configurar os recursos em lugares e níveis
diferentes, em algumas situações pode ser confuso e prejudicar o entendimento e
liberdade de configuração do professor.
NP11. Recursos deficientes
Heurística Violada: Flexibilidade e eficiências de uso.
Importância: se o recurso não funciona corretamente e o professor não perceber,
poderá haver comprometimento da criação ou do resultado da avaliação.
61
NP12. Ausência de local determinado para o professor informar os critérios e
objetivos da avaliação
Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.
Importância: na área de definição da prova não é indicado explicitamente nenhum
local para serem inseridas as informações sobre o que (objetivo) e como (critério) o
professor irá avaliar.
A heurística "Relacionamento entre a interface do sistema e o mundo real" foi
a mais violada, conforme pode ser visto no gráfico da Figura 26.
FIGURA 26: Gráfico de frequência de violação das heurísticas de Nielsen (1995) pelas características
e recursos negativos do AVAs.
4.1.1.4 Características e recursos negativos na interface do aluno
As características e recursos negativos da interface do aluno nos AVAs são
apresentadas abaixo:
NA1. Baixa comunicabilidade do sistema com o aluno na realização da
avaliação
Heurística Violada: Visibilidade de status do sistema.
Importância: Não saber o que está acontecendo no sistema em situações nas quais
deveria haver retorno, gera insegurança no aluno.
0 2 4 6
Visibilidade de status do sistema
Relacionamento entre a interface do sistema e o …
Liberdade e controle do usuário
Consistência e padrões
Prevenção de erros
Reconhecimento ao invés de lembrança
Flexibilidade e eficiência de uso
Estética e design minimalista
Ajudar os usuários a reconhecer, diagnosticar e …
Ajuda e documentação
62
NA2. Baixa visibilidade dos dados de identificação do aluno e localização no
sistema
Heurística Violada: Visibilidade de status do sistema.
Importância: muitas vezes durante a realização de uma avaliação os usuários estão
com pressa ou nervosos e podem se confundir no acesso aos conteúdos, além disso
muitos costumam não desconectar seu login, nestes casos os usuários irão perceber
facilmente estas situações se os dados estiverem bem evidentes.
NA3. Ausência do critério, objetivo e pontuações da avaliação
Heurística Violada: Relacionamento entre a interface do sistema e o mundo real.
Importância: durante a realização da avaliação não estão disponíveis para o aluno
as informações sobre o que (objetivo) e como (critério) o professor irá avaliar, e nem
o valor máximo (pontuação) de cada atividade/questão.
NA4. Recursos deficientes
Heurística Violada: Flexibilidade e eficiências de uso.
Importância: se o recurso não funciona corretamente e o usuário não perceber,
poderá haver comprometimento da criação ou do resultado da avaliação.
NA5. Navegação sem padrão e confusa (elementos de navegação ocultos,
conteúdos que são carregados hora em janelas separadas, hora na janela principal).
Heurísticas Violadas: Estética e design minimalista; Ajudar os usuários a
reconhecer, diagnosticar e sanar erros.
Importância: o usuário se sente inseguro e pode escolher um caminho que gere
alguma perda, muitas vezes pode ficar sem saber o que fazer ou sem o que precisa,
principalmente quem não tem prática com este tipo de ferramenta.
Na interface do aluno, as características e recursos negativos violaram cinco
heurísticas distintas de Nielsen (1995), conforme apresentado acima. Se forem
consideradas junto com as indicações da interface do professor, a prevalência de
"Relacionamento entre a interface do sistema e o mundo real" se mantém.
63
4.1.2 Definição das heurísticas especializadas
As heurísticas especializadas são apresentadas a seguir e nos casos de
especialização de heurística de Nielsen (1995) há a indicação da correspondente (as
definições do autor citado estão disponíveis no item 1.1.3.2 deste estudo).
O diagrama da Figura 27 apresenta de forma global as heurísticas
especializadas para ambas as interfaces, aluno e professor, juntamente com as
propostas por Nielsen (1995), demonstrando suas relações, com exceção de "Ajudar
os usuários a reconhecer, diagnosticar e se recuperar de erros" pois não foi
especializada.
64
FIGURA 27: Heurísticas especializadas apresentadas junto com as de Nielsen (1995)
H2. Visualização das ações automáticas do sistema
2.Relacionamento entre a interface do
sistema e o mundo real
3 H3. Organização dos elementos da avaliação
3.Liberdade e controle do usuário
4.Consistência e padrões H6. Padronização visual e organizacional
5.Prevenção de erros H7. Minimização e prevenção de alterações
acidentais
6.Reconhecimento ao invés de
lembrança H9. Interface intuitiva
7. Flexibilidade e eficiência de uso
8.Estética e design minimalista H11. Navegação simplificada
10.Ajuda e documentação
H13. Entendimento dos elementos de formulário
H14. Identificação e orientação visíveis
H15. Localização no contexto da avaliação
H16. Liberdade de consulta
H17. Reconhecimento da finalização da avaliação
1.Visibilidade de Status do Sistema
H1. Percepção clara de mudanças na interface e
direcionamento
H4. Proximidade com o mundo real
H5. Correção e orientação de erros
H8. Condução e direcionamento
H10. Flexibilidade e controle do professor
H12. Clareza e orientação sobre os recursos de
avaliação disponíveis
H18. Facilidade na inclusão de recursos
H19. Visualização da avaliação
H20. Facilidade na atribuição da pontuação e nota
H21. Visualização de resultados
H22. Ajudar a fornecer feedback ao aluno
Legenda:
Heurísticas
Nielsen
Especializadas aplicáveis às duas
interfaces
Especializadas aplicáveis à interface
do aluno
Especializadas aplicáveis à interface
do professor
65
H1. Percepção clara de mudanças na interface e direcionamento:
Especialização da Heurística: Visibilidade de Status do Sistema
Interface de aplicação: aluno e professor
Descrição: as mudanças na interface devem ser claras para que sejam reconhecidas
e compreendidas pelos usuários, eles precisam entender por que ela aconteceu, e
caso esta mudança requeira alguma ação, é necessário que os mesmos sejam
informados e que haja uma orientação sobre o que precisam fazer.
Exemplos:
Durante a realização de uma avaliação, ao responder um questionamento e
enviá-lo, o aluno deve ser informado de que a resposta foi salva com sucesso,
está providência proporcionará segurança para que ele continue a resolver os
próximos itens.
O carregamento de conteúdo em novas janelas (popup) ou abas (guias) é uma
prática comum nos sistemas web, sendo necessário que o usuário perceba
claramente que este evento aconteceu, neste caso uma forma de colaborar para
está percepção seria alterando o tamanho da nova janela, ou no caso da
abertura em uma aba, colocando um link para retornar à tela anterior, desta
maneira o usuário tem ciência de ter saído da tela inicial e sabe como retornar à
ela.
Nos sistemas web atuais, têm sido utilizadas mudanças na aparência (cor,
intensidade, fundo, etc.) dos elementos que compõem a interface para indicar
que ocorreu uma ação do sistema, quando isto acontece o usuário deve
compreender o que representa aquela mudança, caso contrário, ela poderá não
ser percebida.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PA2.
Apresentação de área de navegação entre as questões durante a avaliação" e "PA3.
Confirmação de salvamento de respostas e salvamento automático periódico
durante a realização da prova" e o negativo, "NP2. Visualização da ajuda do sistema
na mesma janela de criação da avaliação".
H2. Visualização das ações automáticas do sistema:
Especialização da Heurística: Visibilidade de Status do Sistema
Interface de aplicação: aluno
66
Descrição: as ações do sistema que ocorrem independente da interação do aluno,
sempre devem ser informadas, para que o mesmo tenha conhecimento de sua
execução e significado.
Exemplos:
Em algumas ferramentas, durante a realização de avaliações, enquanto o aluno
está respondendo às questões, o sistema salva periodicamente, independente de
ação do mesmo. Este salvamento deve ser comunicado de alguma forma, pois
caso haja algum problema e a avaliação seja encerrada inesperadamente, o
aluno saberá que parte do que ele fez foi preservado.
Nos sistemas tem sido utilizado, em algumas situações, a atualização de
conteúdo em partes da tela, ao acontecer este evento, o aluno deve reconhecê-
lo, pois assim saberá que houve mudança no conteúdo.
Origem: dos AVAs analisados, foram considerados o item positivo, "PA3.
Confirmação de salvamento de respostas e salvamento automático periódico
durante a realização da prova" e os negativos: "NP1. Falta de clareza no
comportamento da avaliação de acordo com a definição de sua disponibilidade" e
"NA1. Baixa comunicabilidade do sistema com o aluno na realização da avaliação".
H3. Organização dos elementos da avaliação:
Especialização da Heurística: Relacionamento entre a interface do sistema e o
mundo real.
Interface de aplicação: aluno
Descrição: na criação de uma interface para um sistema de avaliação baseada em
caso clínicos é fundamental considerar que os elementos que a compõem precisam
proporcionar legibilidade e permitir traçar uma seqüência lógica para a realização da
mesma, independente de qual método é adotado (diagnóstico, formativo ou
somativo).
Exemplos:
Na avaliação, caso sejam oferecidas imagens para consulta, a exibição em um
popup ou região da tela próxima ao ponto onde está o questionamento
relacionado à imagem, ajudaria o aluno a analisar a imagem e a pergunta
simultaneamente.
O sistema pode oferecer a possibilidade de intercalar atividades avaliativas com
textos, informações adicionais, imagens, etc., permitindo ao professor fornecer
67
recursos para que os alunos analisem e elaborem melhor suas soluções,
contribuindo também para o desenvolvimento do raciocínio.
O feedback é considerado importante no processo de avaliação da
aprendizagem (Garcia, 2009), por isso é interessante que seja estrategicamente
posicionado, de forma que contribua para o entendimento do aluno acerca do
assunto abordado na avaliação e o ajude a detectar suas dificuldades.
Origem: dos AVAs analisados, foram considerados o item positivo, "PA2.
Apresentação de área de navegação entre as questões durante a avaliação" e o
negativo, "NA5. Navegação sem padrão e confusa". Em relação a avaliação da
aprendizagem, considerou-se os elementos necessários para realizá-la baseada em
casos clínicos (Hooper et al, 1998; Schuwirth, 2005; Langendyk, 2006; Segers et al,
2008; Struyven et al, 2008; Megale et al, 2009; Sebastiani et al, 2012; Baeten et al,
2013; Porto e Porto, 2013) e a recomendação de oferecer feedback ao aluno
(Zeferino e Passeri, 2007; Garcia, 2009).
H4. Proximidade com o mundo real:
Especialização da Heurística: Relacionamento entre a interface do sistema e o
mundo real
Interface de aplicação: professor
Descrição: o sistema deve oferecer ao professor a possibilidade de elaborar a
avaliação na ordem em que está habituado a fazer sem utilizá-lo, ou seja, ele deve
ter a opção de escolher por onde iniciar e terminar a criação. Além disso, deve ser
permitido que ele decida como combinar os instrumentos avaliativos.
Exemplo:
Alguns professores podem estar acostumados a iniciar a definição da avaliação
pelas informações gerais, como: nome da disciplina, curso, data e orientações
gerais, e só depois começar a criar as atividades avaliativas. Mas podem haver
professores que prefiram definir primeiro as atividades para depois complementar
com as outras informações. O sistema precisa permitir esta liberdade, não
exigindo que o professor mude sua forma de trabalhar para atendê-lo.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP2.
Facilidade em localizar o instrumento avaliativo desejado", "PP5. Possibilidade de
avaliar também as postagens e anexos no fórum", "PP6. Flexibilidade na
configuração da atribuição de pontuação às atividades", "PP7. Diversidade de
68
instrumentos para avaliação", "PP10. Possibilidade de visualizar questões e
avaliações no formato em que o aluno às verá", "PP11. Possibilidade de
gerenciamento das avaliações", "PP12. Possibilidade de configurar múltiplas
tentativas de envio da avaliação", "PP13. Configuração da disponibilidade e tempo
de avaliação", "PP14. Possibilidade de exportar notas e respostas de atividades
avaliativas" e "PP15. Possibilidade de exportação das questões criadas no sistema",
e os negativos: "NP1. Falta de clareza no comportamento da avaliação de acordo
com a definição de sua disponibilidade", "NP3. Campos nos formulários que não são
claros quanto ao que deve ser informado e sobre sua finalidade", "NP5. Falta de
orientação sobre os instrumentos avaliativos e de visualização pelo professor do
formato que os alunos verão", "NP8. Recursos incompatíveis com os conhecimentos
dos usuários", "NP9. Termos desconhecidos pelos usuários" e "NP10. Configuração
de recursos em mais de um lugar e conflitantes". Em relação à avaliação da
aprendizagem foi considerada a possibilidade de ser adotado qualquer um dos
métodos de avaliação (diagnóstico, formativo e somativo) (Depresbiteris, 1998).
H5. Correção e orientação de erros:
Especialização da Heurística: Liberdade e controle do usuário
Interface de aplicação: professor
Descrição: ao utilizar o sistema, o professor pode acidentalmente realizar ações que
provocam resultados indesejados, se isto acontece, é interessante que ele receba
um alerta sobre o que está prestes à fazer e qual a conseqüência da ação, caso já
tenha sido executada é importante que haja uma forma de desfazê-la, voltando o
sistema ao estado anterior.
Exemplos:
Na montagem de uma prova do tipo teste o professor pode desejar excluir uma
questão, das que já havia criado, e acidentalmente exclui outra próxima, é
importante que o sistema peça confirmação da ação, mas se mesmo assim ela
acontecer, que seja possível recuperar a questão sem ter que criar novamente.
Em alguma circunstância, o professor pode desejar alterar o conteúdo de uma
avaliação que já foi respondida pelos alunos, o sistema não deve permitir, e deve
avisá-lo do porquê. As atividades já utilizadas não podem ser editadas, pois
desta forma comprometeriam os resultados dos alunos.
Ao realizar uma avaliação o aluno pode esquecer de resolver algum item e tentar
69
enviá-la, se isto ocorrer o sistema deve avisá-lo e pedir que ele confirme se
deseja mesmo enviar. Esta providência evita que o aluno, acidentalmente, deixe
de responder algo.
Origem: dos AVAs analisados, foram considerados o item positivo, "PP3. Acesso
rápido e fácil à ajuda" e os negativos: "NP8. Recursos incompatíveis com os
conhecimentos dos usuários" e "NP9. Termos desconhecidos pelos usuários".
H6. Padronização visual e organizacional:
Especialização da Heurística: Consistência e padrões
Interface de aplicação: aluno e professor
Descrição: os elementos que compõem a interface do sistema devem seguir uma
padronização, principalmente na representação de ações e comandos.
Exemplos:
Formulários de inserção e edição de dados contêm comandos para gravação,
identificá-los sempre da mesma forma, ajuda no reconhecimento dos mesmos
sempre que forem oferecidos.
Na criação da interface é importante definir cores, posições, tamanhos e outras
características padronizadas para todo o sistema, pois isto ajuda o usuário a
lembrar a localização das funções oferecidas e conseqüentemente diminuí o
tempo necessário para realizar uma tarefa.
Origem: dos AVAs analisados, foram considerados o item positivo, "PP2. Boa
organização dos elementos de formulário" e os negativos: "NP6. Falta de
padronização na identificação de comandos e funções", "NP7. Navegação sem
padrão e confusa" e "NA5. Navegação sem padrão e confusa". Em relação a
avaliação da aprendizagem, considerou-se os elementos necessários para realizá-la
baseada em casos clínicos (Hooper et al, 1998; Schuwirth, 2005; Langendyk, 2006;
Segers et al, 2008; Struyven et al, 2008; Baeten et al, 2013; Porto e Porto, 2013).
H7. Minimização e prevenção de alterações acidentais:
Especialização da Heurística: Prevenção de erros
Interface de aplicação: aluno
Descrição: ao utilizar o sistema, os alunos podem fazer alterações nos dados, e
existem situações em que esta ação pode ser crítica, por isso sempre que for
executada, o sistema deve oferecer um aviso e pedir confirmação da mesma.
70
Exemplos:
Em uma avaliação configurada para permitir que o aluno modifique uma resposta
dada, o sistema deve solicitar a confirmação do mesmo para concluir a ação,
este mecanismo vai fazer com que o aluno tenha sua atenção voltada para
modificação diminuindo as chances de alteração acidental.
Há avaliação que pode ser configurada para não permitir que o aluno refaça
etapas, ou seja, após resolver uma questão e avançar ele não pode voltar, neste
caso ele precisa ser informado antes da ação ser realizada. As regras da
avaliação precisam estar claras, evitando que o aluno, por falta de entendimento,
realize uma ação que pode interferir no seu desempenho.
Origem: dos AVAs analisados, foram considerados o item positivo, "PA3.
Confirmação de salvamento de respostas e salvamento automático periódico
durante a realização da prova" e o negativo, "NA1. Baixa comunicabilidade do
sistema com o aluno na realização da avaliação".
H8. Condução e direcionamento:
Especialização da Heurística: Reconhecimento ao invés de lembrança
Interface de aplicação: professor
Descrição: o sistema deve conter elementos que auxiliem o professor na criação e
edição da avaliação. A interface deve direcioná-lo, ajudando-o a reconhecer o que
precisa ser informado e em qual sequência.
Exemplos:
Na criação de uma atividade os dados necessários podem ser agrupados por tipo
de informação e separados em mais de uma página, dispondo de botões para ir
e voltar entre as telas. Está estrutura cria uma seqüência e conduz o professor
no processo.
Um outro caso seria o uso de um mapa linear (similar a uma linha do tempo), ou
seja, em alguma parte da tela de criação da avaliação, podem ser colocados, na
seqüência em que são realizadas, as etapas de preenchimento e configuração
da avaliação.
Origem: dos AVAs analisados, foram considerados o item positivo, "PP2. Boa
organização dos elementos de formulário" e os negativos: "NP1. Falta de clareza no
comportamento da avaliação de acordo com a definição de sua disponibilidade",
"NP2. Visualização da ajuda do sistema na mesma janela de criação da avaliação",
71
"NP3. Campos nos formulários que não são claros quanto ao que deve ser
informado e sobre sua finalidade", "NP4. Existência de recursos e configurações
importantes ocultados por botões e ícones", "NP7. Navegação sem padrão e
confusa", "NP8. Recursos incompatíveis com os conhecimentos dos usuários",
"NP9. Termos desconhecidos pelos usuários", "NP10. Configuração de recursos em
mais de um lugar e conflitantes", "NP11. Recursos deficientes" e "NA5. Navegação
sem padrão e confusa".
H9. Interface intuitiva:
Especialização da Heurística: Estética e design minimalista
Interface de aplicação: aluno e professor
Descrição: a interface deve ser fácil de aprender para que alunos e professores não
precisem se preocupar com ela, mas sim com a avaliação, deve ser um elemento
neutro no que diz respeito a complexidade.
Exemplos:
As telas devem reunir somente o que é necessário para a realização da tarefa
proposta nela, não sobrecarregando os usuários com excesso de informação.
A utilização de elementos que alunos e professores conhecem ajudam no
reconhecimento e eles terão mais facilidade em entender o que é para ser feito,
tornando a criação e interação com o sistema mais rápida e fácil.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP1.
Facilidade em localizar o instrumento avaliativo desejado" e "PA2. Apresentação de
área de navegação entre as questões durante a avaliação", e os negativos: "NP1.
Falta de clareza no comportamento da avaliação de acordo com a definição de sua
disponibilidade", "NP2. Visualização da ajuda do sistema na mesma janela de
criação da avaliação", "NP4. Existência de recursos e configurações importantes
ocultados por botões e ícones", "NP6. Falta de padronização na identificação de
comandos e informações", "NP7. Navegação sem padrão e confusa", "NP8.
Recursos incompatíveis com os conhecimentos dos usuários", "NP9. Termos
desconhecidos pelos usuários", "NA1. Baixa comunicabilidade do sistema com o
aluno na realização da avaliação".
H10. Flexibilidade e controle do professor:
Especialização da Heurística: Flexibilidade e eficiência de uso
72
Interface de aplicação: professor
Descrição: o sistema deve oferecer autonomia ao professor permitindo que ele
decida o que e como utilizar de recursos e conteúdos, quando ficará disponível e
para quem serão exibidos, ou seja, permitir que ele realize a avaliação da forma que
considerar melhor, não sendo limitado por convenções do sistema.
Exemplos:
As avaliações reúnem um conjunto de informações que o professor pode desejar
que os alunos vejam ou não, neste caso o sistema deve permitir que ele escolha
o melhor momento para exibi-las, por exemplo: a nota da avaliação, as respostas
corretas, o feedback, etc.
O professor precisa ter controle sobre o momento em que a avaliação estará
disponível aos alunos, podendo configurar também o término da disponibilidade,
o prazo de entrega e o tempo de duração.
Outra situação que pode acontecer é o professor desejar que as perguntas de
um questionário apareçam misturadas, o sistema deve permitir que ele faça esta
configuração.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP4.
Possibilidade de definição e configuração de visualização do feedback", "PP5.
Possibilidade de avaliar também as postagens e anexos no fórum", "PP6.
Flexibilidade na configuração da atribuição de pontuação às atividades", "PP7.
Diversidade de instrumentos para avaliação", "PP8. Possibilidade de uso de
recursos de áudio e vídeo nas atividades", "PP9. Possibilidade de sorteio e
embaralhamento de questões e alternativas", "PP11. Possibilidade de
gerenciamento das avaliações", "PP12. Possibilidade de configurar múltiplas
tentativas de envio da avaliação", "PP13. Configuração da disponibilidade e tempo
de avaliação", "PP14. Possibilidade de exportar notas e respostas de atividades
avaliativas" e "PP15. Possibilidade de exportação das questões criadas no sistema",
e os negativos: "NP1. Falta de clareza no comportamento da avaliação de acordo
com a definição de sua disponibilidade", "NP3. Campos nos formulários que não são
claros quanto ao que deve ser informado e sobre sua finalidade", "NP4. Existência
de recursos e configurações importantes ocultados por botões e ícones", "NP8.
Recursos incompatíveis com os conhecimentos dos usuários", "NP9. Termos
desconhecidos pelos usuários", "NP10. Configuração de recursos em mais de um
lugar e conflitantes", "NP11. Recursos deficientes". Em relação a avaliação da
73
aprendizagem foi considerada a necessidade de adaptação do sistema para o que o
professor precisa para avaliar.
H11. Navegação simplificada:
Especialização da Heurística: Flexibilidade e eficiência de uso
Interface de aplicação: aluno e professor
Descrição: a interface deve ser desenvolvida de forma que sejam mínimas as
mudanças de tela e os cliques durante a interação do usuário, sendo interessante
haver elementos que facilitem a navegação e localização. Estes cuidados
contribuem para a realização das atividades com mais facilidade e em menor tempo.
Exemplo:
No relatório de notas dos alunos, onde ficam disponíveis todas as avaliações que
eles já fizeram, se o professor quiser visualizar a atividade de um aluno
específico, o sistema pode oferecer um menu popup que permita a ele escolher
diretamente a opção desejada, sendo levado à tela correta sem precisar
percorrer outras intermediárias.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP1.
Facilidade em localizar o instrumento avaliativo desejado" e "PA2. Apresentação de
área de navegação entre as questões durante a avaliação", e os negativos: "NP2.
Visualização da ajuda do sistema na mesma janela de criação da avaliação" e "NP7.
Navegação sem padrão e confusa".
H12. Clareza e orientação sobre os recursos de avaliação disponíveis:
Especialização da Heurística: Ajuda e documentação
Interface de aplicação: professor
Descrição: o sistema deve oferecer orientação sobre o funcionamento dos recursos
avaliativos, fornecendo ao professor informação para que ele compreenda como o
aluno os verá e utilizará. Além disso, ele precisa entender as partes que compõem
os recursos para saber como prepará-los. As orientações devem ser simples e
diretas, voltadas para a busca do usuário.
Exemplo:
Os sistemas de criação de avaliações contêm mais de um modelo de questão,
sendo necessário mostrar ao professor exemplos de como elas serão vistas pelo
aluno, para que ele decida sobre a adequação das mesmas ao seu objetivo. Se
74
necessário, estes exemplos podem ser acompanhados de breve explicação
sobre o funcionamento e interação com o aluno.
Alguns sistemas oferecem recursos de avaliação diferentes, como por exemplo
"avaliação por pares". Quando isto ocorre deve ser apresentado ao professor,
exemplos de como interagir e explicações de como compô-lo, pois a ausência de
entendimento de sua utilização e constituição conduz a não utilização do recurso.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP3. Acesso
rápido e fácil à ajuda" e "PP10. Possibilidade de visualizar questões e avaliações no
formato em que o aluno às verá", e os negativos: "NP1. Falta de clareza no
comportamento da avaliação de acordo com a definição de sua disponibilidade",
"NP3. Campos nos formulários que não são claros quanto ao que deve ser
informado e sobre sua finalidade", "NP5. Falta de orientação sobre os instrumentos
avaliativos e de visualização pelo professor do formato que os alunos verão", "NP8.
Recursos incompatíveis com os conhecimentos dos usuários", "NP9. Termos
desconhecidos pelos usuários" e "NP10. Configuração de recursos em mais de um
lugar e conflitantes". Em relação a avaliação da aprendizagem foram consideradas
as diversas características dos instrumentos avaliativos e a necessidade de que o
sistema ofereça orientação sobre como utilizá-los.
H13. Entendimento dos elementos de formulário:
Especialização da Heurística: Ajuda e documentação
Interface de aplicação: aluno
Descrição: nestes sistemas os elementos de formulário podem ter características
diferentes do que os usuários estão acostumados a encontrar nas interfaces mais
comuns, por isso podem haver dúvidas de como funcionam, sendo necessário que o
sistema ofereça orientações sobre eles.
Exemplos:
Existem atividades nas quais é preciso enviar arquivos, mas podem haver alunos
que não estejam familiarizados com os elementos que permitem inclusão dos
mesmos, por isso a interface deve ser simples e direta, e se possível, deve
oferecer dicas para guiar a escolha do arquivo.
Outro caso é o uso de barra de ferramentas em campos de texto, os ícones
precisam ser reconhecidos pelos usuários, caso contrário, o usuário tenderá a
não utilizá-lo. A utilização de tags (acionadas quando o mouse é colocado sobre
75
o ícone) com a descrição ou nome da ação que eles realizam é uma forma de
ajudar na identificação dos comandos.
Origem: dos AVAs analisados, foram considerados os itens negativos: "NP6. Falta
de padronização na identificação de comandos e informações" e "NP8. Recursos
incompatíveis com os conhecimentos dos usuários". Relacionado a avaliação da
aprendizagem foi considerado o estado emocional do aluno no momento em que
está sendo avaliado, não sendo recomendado que o sistema acrescente mais
ansiedade e nervosismo.
H14. Identificação e orientação visíveis:
Especialização da Heurística: nenhuma
Interface de aplicação: aluno
Descrição: as informações sobre avaliação e a identificação dos usuários devem
sempre estar disponíveis e em evidência.
Exemplo:
Durante a realização de uma atividade avaliativa a identificação do aluno, curso e
disciplina devem estar sempre visíveis, bem como o tempo máximo de realização
(caso haja) e orientações sobre a mesma. Desta forma o aluno terá acesso a
estas informações sempre que desejar.
Origem: dos AVAs analisados, foram considerados os itens negativos: "NA2. Baixa
visibilidade dos dados de identificação do usuário e localização no sistema" e "NA3.
Ausência de critério, objetivo e pontuações da avaliação". Em relação à avaliação da
aprendizagem, considerou-se que conforme o métodos e objetivo da mesma, as
informações de identificação do aluno e orientações sobre a avaliação são
importantes (Punhagui e Souza, 2011).
H15. Localização no contexto da avaliação:
Especialização da Heurística: nenhuma
Interface de aplicação: aluno
Descrição: o sistema deve oferecer ao aluno um meio de visualizar as fases que
compõem a avaliação, mostrando a ele em qual delas ele está, desta maneira ele
pode gerenciar o tempo disponível para realização da atividade.
Exemplo:
O sistema pode oferecer um mapa linear (similar a uma linha do tempo) com a
76
identificação de cada etapa e destacar o ponto no qual o aluno está na avaliação,
dependendo de como ela foi configurada, pode permitir que ele navegue por este
mapa, avançando ou retrocedendo nas atividades.
Origem: dos AVAs analisados, foi considerado o item positivo, "PA2. Apresentação
de área de navegação entre as questões durante a avaliação". Relacionado a
avaliação da aprendizagem foi considerado o estado emocional do aluno no
momento em que está sendo avaliado, e sua necessidade de administrar o tempo
disponível e as tarefas a serem realizadas.
H16. Liberdade de consulta:
Especialização da Heurística: nenhuma
Interface de aplicação: aluno
Descrição: o aluno deve ter acesso aos próprios dados e resultados, respeitando as
restrições que por ventura o professor tenha definido para a avaliação.
Exemplos:
Na realização da avaliação, deve ser possível que o aluno visualize suas
respostas e as informações que façam parte da atividade, pelo menos até a fase
na qual ele se encontra.
É interessante que seja oferecida ao aluno uma área na qual ele tenha acesso às
avaliações que já tenha realizado, bem como aos seus resultados (notas).
Origem: dos AVAs analisados, foi considerado o item positivo, "PA2. Apresentação
de área de navegação entre as questões durante a avaliação". Em relação a
avaliação da aprendizagem, foi considerado o atendimento ao direito do aluno de ter
acesso à sua avaliação, mesmo depois de concluí-la, o que caracteriza também uma
forma de feedback (Zeferino e Passeri, 2007; Garcia, 2009).
H17. Reconhecimento da finalização da avaliação:
Especialização da Heurística: nenhuma
Interface de aplicação: aluno
Descrição: o sistema deve informar ao aluno quando ele chegar ao final da
avaliação, e caso esteja disponível, mostrar a pontuação obtida. Além disso, deve
orientá-lo sobre o que e como fazer a seguir.
Exemplos:
Ao final da avaliação o sistema pode apresentar uma mensagem de que a
77
mesma acabou ou pode ser implementada a alteração da aparência da região na
tela que contenha a comunicação de finalização da atividade, chamando a
atenção do aluno.
Outro recurso seria avisar sobre o término da avaliação no momento que o aluno
vai acessar a última pergunta.
Pode ser oferecida uma área para navegação entre as questões, que destaque
as que ainda não foram respondidas.
Origem: dos AVAs analisados, foi considerado o item positivo, "PA2. Apresentação
de área de navegação entre as questões durante a avaliação". Relacionado a
avaliação da aprendizagem, foi considerado que deve estar claro para o aluno o
momento que a avaliação chegou ao final.
H18. Facilidade na inclusão de recursos:
Especialização da Heurística: nenhuma
Interface de aplicação: professor
Descrição: os sistemas para avaliação podem oferecer o uso de recursos multimídia
(imagem, som, vídeo, etc), quando isto ocorrer deve ser apresentada aos usuários,
uma interface simples e prática para inclusão e configuração dos mesmos, de forma
que seja de fácil entendimento para o ele.
Exemplos:
Na inclusão de uma imagem em uma tarefa, o sistema pode oferecer a opção de
configurá-la para ficar todo o tempo visível ou não.
As imagens e vídeos incluídos podem ser configurados para serem exibidos em
uma janela a parte, ao invés de ser mostrada sobre o conteúdo da pergunta.
Na inclusão de imagem seria interessante que fossem mostrados os arquivos já
selecionados e que não ocorressem muitas aberturas e mudanças de janelas.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP1.
Facilidade em localizar o instrumento avaliativo desejado" e "PP8. Possibilidade de
uso de recursos de áudio e vídeo nas atividades"; e os negativos: "NP10.
Configuração de recursos em mais de um lugar e conflitantes" e "NP11. Recursos
deficientes". Relacionado a avaliação da aprendizagem foi considerada a variedade
de instrumentos avaliativos que podem ser utilizados pelo professor (Depresbiteris,
1998; Perrenoud, 1999; Sordi, 2000; Fenili, 2002; Zeferino e Passeri, 2007; Garcia,
78
2009; Domingues et al, 2010; Punhagui e Souza, 2011).
H19. Visualização da avaliação:
Especialização da Heurística: nenhuma
Interface de aplicação: professor
Descrição: o sistema deve oferecer ao professor a possibilidade de visualizar os
recursos da forma como os alunos verão, isto ajuda o mesmo a saber se a avaliação
está mostrando as informações da maneira que ele idealizou.
Exemplos:
Durante a criação da avaliação deve ser oferecida ao professor a possibilidade
de visualizar o conteúdo da avaliação já definido até aquele momento.
Na definição de questões ou atividades, pode ser apresentada, em uma área
lateral da tela, a visualização do que está sendo criado, como por exemplo uma
pergunta.
Origem: dos AVAs analisados, foi considerado o item positivo: "PP10. Possibilidade
de visualizar questões e avaliações no formato em que o aluno às verá". Em relação
a avaliação da aprendizagem foi considerado que os instrumentos avaliativos tem
formatos diferentes uns dos outros e o professor precisa ver como ele será
apresento ao aluno.
H20. Facilidade na atribuição da pontuação e nota:
Especialização da Heurística: nenhuma
Interface de aplicação: professor
Descrição: todo sistema de avaliação precisa oferecer um meio do professor definir
as pontuações das avaliações e atribuir notas às atividades dos alunos, sendo
recomendado que a interface seja simples e objetiva.
Exemplos:
Suponha que o professor precise anular uma questão e queira que a nota total
da avaliação seja redistribuída para as outras questões, o sistema deve conter
um mecanismo que facilite este processo, se possível que seja automático.
Na criação da avaliação o professor define a pontuação das perguntas, se a
interface apresentar a totalização dos pontos enquanto eles estão sendo
definidos, ajudará o usuário na conferência do total definido para aquela
avaliação.
79
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP5.
Possibilidade de avaliar também as postagens e anexos no fórum", "PP6.
Flexibilidade na configuração da atribuição de pontuação às atividades" e "PP11.
Possibilidade de gerenciamento das avaliações". Em relação ao processo de
avaliação da aprendizagem considerou-se o volume de trabalho que o professor tem
nesta tarefa, pensando em uma maneira de otimizá-la.
H21. Visualização de resultados:
Especialização da Heurística: nenhuma
Interface de aplicação: professor
Descrição: os sistemas de avaliação devem possibilitar ao professor visualizar os
resultados individuais e gerais dos alunos, ou seja, dispor de relatórios que permitam
a ele conferir o desempenho individual ou do grupo de alunos.
Exemplos:
Pode ser oferecido um relatório que mostre as notas dos alunos em uma
avaliação específica.
Um outro relatório poderia ser oferecido para mostrar o desempenho geral dos
alunos em várias avaliações.
Pode ser apresentado um relatório em forma de gráfico que compare o
desempenho entre os alunos.
O sistema pode mostrar, para uma avaliação, quais foram as respostas dadas e
entre elas as corretas, apresentando para cada uma a porcentagem de alunos
que a respondeu.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP11.
Possibilidade de gerenciamento das avaliações" e "PP14. Possibilidade de exportar
notas e respostas de atividades avaliativas". Em relação ao processo de avaliação
da aprendizagem, foi considerada a necessidade do professor ter acesso ao
desempenho dos alunos, individual ou coletivamente (Perrenoud, 1999; Zeferino e
Passeri, 2007; Garcia, 2009).
H22. Ajudar a fornecer feedback ao aluno:
Especialização da Heurística: nenhuma
Interface de aplicação: professor
Descrição: o sistema deve possibilitar ao professor fornecer retorno (feedback) aos
80
alunos sobre os resultados nas avaliações,não só a nota, mas também comentários,
respostas corretas, orientações para estudo, etc.
Exemplos:
Durante a criação da avaliação o sistema pode oferecer campos em posições
estratégicas que permitam ao professor escrever comentários sobre as respostas
fornecidas pelos alunos.
O sistema pode oferecer uma ferramenta para criação de fórum de discussão,
podendo ser utilizada para debate sobre os resultados de uma avaliação.
Origem: dos AVAs analisados, foram considerados os itens positivos: "PP4.
Possibilidade de definição e configuração da visualização do feedback" e "PP11.
Possibilidade de gerenciamento das avaliações". Em relação à avaliação da
aprendizagem, foi considerada a necessidade do professor oferecer, aos alunos,
retorno sobre seus desempenhos, individual ou em grupo (Perrenoud, 1999;
Zeferino e Passeri, 2007; Garcia, 2009; Megale et al, 2009; Punhagui e Souza,
2011).
As heurísticas propostas tem como objetivo indicar aspectos dos sistemas
eletrônicos para avaliação da aprendizagem baseada em casos clínicos que
precisam de atenção, pois podem interferir tanto na atividade do professor no
momento de criá-la, como quando os alunos a estão realizando, podendo
comprometer os resultados.
4.2 Validação das heurísticas
A avaliação heurística foi realizada por sete especialistas e estes encontraram
194 problemas de usabilidade, sendo 64 na interface dos alunos e 135 na dos
professores. Em alguns casos os problemas são relatados por mais de um avaliador
e podem estar relacionados à violação de mais de uma heurística. Os graus de
severidade são considerados de 1 a 5, sendo 1 o menor impacto e 5 o maior, esta
escala segue a definição de Nielsen (1995) apresentada no item 1.1.3.2 deste
estudo. Os problemas apontados na avaliação são apresentados integralmente no
Anexo 5.
Nos resultados as atribuições de grau de severidade às violações indicadas
81
para a interface do professor, mostraram que as heurísticas especializadas
aparecem mais vezes associadas aos níveis mais graves de severidade do que as
de Nielsen (1995), como pode ser observado no gráfico da Figura 28.
FIGURA 28: Gráfico dos graus de severidade associados às heurística de Nielsen (1995) e às
especializadas na interface do professor
Na interface do aluno, os resultados mostraram que as atribuições de grau de
severidade às violações indicadas, apresentam as heurísticas de Nielsen (1995)
associadas com mais frequência aos níveis mais graves de severidade do que as
especializadas, como pode ser observado no gráfico da Figura 29. Contudo, pode
ser constatado que o maior número de indicações das heurísticas especializadas
está relacionado ao grau 4.
FIGURA 29: Gráfico dos graus de severidade associados às heurística de Nielsen (1995) e às
especializadas na interface do aluno
0
5
10
15
20
25
30
35
1 2 3 4 5
Nú
me
ro d
e in
dic
açõ
es
Grau de severidade
Nielsen (1995)
Especializadas
0
2
4
6
8
10
12
14
16
1 2 3 4 5
Nú
me
ro d
e in
dic
açõ
es
Grau de severidade
Nielsen (1995)
Especializadas
82
Os avaliadores indicaram 135 violações para a interface do professor, das
heurísticas de Nielsen (1995) foram 56 no total, sendo "Consistência e padrões" a
mais violada, conforme mostra o gráfico da Figura 30.
FIGURA 30: Gráfico da frequência de violação, na interface do professor, das heurísticas
de Nielsen (1995)
O gráfico da Figura 31, mostra que a heurística "Consistência e padrões", foi
associada mais vezes que as outras ao grau 3, acompanhada de "Liberdade e
controle do usuário", que foi mais indicada no 4.
FIGURA 31: Gráfico da frequência de violação, na interface do professor, das heurísticas
de Nielsen (1995) em cada grau de severidade
0 2 4 6 8 10 12 14 16 18 20
1. Visibilidade de Status do Sistema
2. Relacionamento entre a interface do sistema …
3. Liberdade e controle do usuário
4. Consistência e padrões
5. Prevenção de Erros
6. Reconhecimento ao invés de lembrança
7. Flexibilidade e eficiência de uso
8. Estética e design minimalista
9. Ajudar os usuários a reconhecer, diagnosticar …
10. Ajuda e documentação
0
2
4
6
8
10
12
14
1 2 3 4 5
1. Visibilidade de Status do Sistema
2. Relacionamento entre a interface do sistema e o mundo real 3. Liberdade e controle do usuário
4. Consistência e padrões
5. Prevenção de Erros
6. Reconhecimento ao invés de lembrança 7. Flexibilidade e eficiência de uso
8. Estética e design minimalista
9. Ajudar os usuários a reconhecer, diagnosticar e sanar erros 10. Ajuda e documentação
83
Das heurísticas especializadas foram feitas 74 indicações, sendo a mais
violada a "Interface Intuitiva", conforme é apresentado no gráfico da Figura 32.
FIGURA 32: Gráfico da frequência de violação, na interface do professor, das heurísticas
especializadas
O gráfico da Figura 33, mostra que a heurística "Interface Intuitiva", foi
associada mais vezes que as outras aos graus 2, 3 e 4, acompanhada de
"Condução e direcionamento", que também foi indicada no grau 3.
0 5 10 15 20 25
H1. Percepção clara de mudanças na interface e …
H4. Proximidade com o mundo real
H5 Correção e orientação de erros
H6. Padronização visual e organizacional
H8. Condução e direcionamento
H9. Interface intuitiva
H10. Flexibilidade e controle pelo professor
H11. Navegação simplificada
H12. Clareza e orientação sobre os recursos de …
H15. Localização no contexto da avaliação
H18. Facilidade na inclusão de recursos
H19. Visualização da avaliação
H20. Facilidade na atribuição da pontuação/nota
H21. Visualização de resultados
H22. Ajudar a fornecer feedback ao aluno
84
FIGURA 33: Gráfico da frequência de violação, na interface do professor, das heurísticas
especializadas em cada grau de severidade
Na interface do aluno os avaliadores indicaram 64 violações, das heurísticas
de Nielsen (1995) foram 37 no total, sendo "Prevenção de erros" e "Flexibilidade e
eficiência de uso" as mais violadas, conforme mostra o gráfico da Figura 34.
FIGURA 34: Gráfico da frequência de violação, na interface do aluno, das heurísticas
de Nielsen (1995)
0
2
4
6
8
10
1 2 3 4 5
Grau de severidade
H1. Percepção clara de mudanças na interface e direcionamento H4. Proximidade com o mundo real H5 Correção e orientação de erros H6. Padronização visual e organizacional H8. Condução e direcionamento H9. Interface intuitiva H10. Flexibilidade e controle pelo professor H11. Navegação simplificada H12. Clareza e orientação sobre os recursos de avaliação disponíveis H15. Localização no contexto da avaliação H18. Facilidade na inclusão de recursos H19. Visualização da avaliação H20. Facilidade na atribuição da pontuação/nota H21. Visualização de resultados H22. Ajudar a fornecer feedback ao aluno
0 2 4 6 8 10 12
1. Visibilidade de Status do Sistema
2. Relacionamento entre a interface do sistema …
3. Liberdade e controle do usuário
4. Consistência e padrões
5. Prevenção de erros
6. Reconhecimento ao invés de lembrança
7. Flexibilidade e eficiência de uso
8. Estática e design minimalista
9. Ajude os usuários a reconhecer, diagnosticar e …
10. Ajuda e documentação
85
A heurística "Prevenção de erros" tem mais indicações no grau 5 de
severidade, sendo indicada também no 3 e 4. A "Flexibilidade e eficiência de uso" é
a mais associada ao grau 3, conforme mostra o gráfico da Figura 35.
FIGURA 35: Gráfico da frequência de violação, na interface do aluno, das heurísticas de Nielsen
(1995) em cada grau de severidade
Das heurísticas especializadas foram 27 indicações, sendo a mais violada a
"Minimização e prevenção de alterações acidentais", conforme é apresentado no
gráfico da Figura 36.
FIGURA 36: Gráfico da frequência de violação, na interface do aluno,
das heurísticas especializadas
0
1
2
3
4
5
6
7
1 2 3 4 5
1. Visibilidade de Status do Sistema
2. Relacionamento entre a interface do sistema e o mundo real 3. Liberdade e controle do usuário
4. Consistência e padrões
5. Prevenção de Erros
6. Reconhecimento ao invés de lembrança
7. Flexibilidade e eficiência de uso
8. Estética e design minimalista
9. Ajudar os usuários a reconhecer, diagnosticar e sanar erros 10. Ajuda e documentação
0 1 2 3 4 5 6 7 8
H1. Percepção clara de mudanças na interface e …
H2. Visualização das ações automáticas do sistema
H3. Organização dos elementos da avaliação
H6. Padronização visual e organizacional
H7. Minimização e prevenção de alterações …
H9. Interface intuitiva
H11. Navegação simplificada
H13. Entendimento dos elementos de formulário
H14. Identificação e orientação visíveis
H15. Localização no contexto da avaliação
H16. Liberdade de consulta
H17. Reconhecimento da finalização da avaliação
86
O gráfico da Figura 37, mostra que a heurística "Minimização e prevenção de
alterações acidentais" foi a mais associada ao grau 5, sendo acompanhada por
"Padronização visual e organizacional", que foi a mais indicada no grau 3 de
severidade.
FIGURA 37: Gráfico da frequência de violação, na interface do aluno, das heurísticas especializadas
em cada grau de severidade
0
2
4
6
1 2 3 4 5
Grau de severidade
H1. Percepção clara de mudanças na interface e direcionamento
H2. Visualização das ações automáticas do sistema
H3. Organização dos elementos da avaliação
H6. Padronização visual e organizacional
H7. Minimização e prevenção de alterações acidentais
H9. Interface intuitiva
H11. Navegação simplificada
H13. Entendimento dos elementos de formulário
H14. Identificação e orientação visíveis
H15. Localização no contexto da avaliação
H16. Liberdade de consulta
H17. Reconhecimento da finalização da avaliação
5. Discussão
O processo de avaliação deve ser continuo para ser eficiente e cumprir seu
papel, e é necessário que haja meios de auxiliar tanto o aluno como o professor,
com recursos de avaliação mais dinâmicos e de fácil utilização. Neste sentido, os
sistemas eletrônicos de avaliação apresentam funcionalidades que podem colaborar,
mas é necessário que os usuários consigam utilizá-los satisfatoriamente, e neste
caso, um aspecto que tem grande importância é a usabilidade. Por isso, é proposto
neste estudo, um conjunto de heurísticas especializadas para interfaces de sistemas
eletrônicos de avaliação da aprendizagem baseada em casos clínicos, podendo ser
utilizadas para orientar o desenvolvimento dos mesmos ou como base à avaliação
heurística de usabilidade, na literatura foi encontrado um estudo de Sim et al (2008)
que propôs heurísticas para Avaliação Assistida por Computador (CAA).
O presente estudo considera a interação do sistema com o aluno e com o
professor, pois ambos tem um papel importante no processo (Punhagui e Souza,
2011) e precisam de boas ferramentas, diferente do que é encontrado em outros
estudos (Sim et al, 2008; Kemp et al, 2008, Liu et al, 2011; Hoyle et al, 2012) que
propuseram heurísticas de usabilidade somente para as interações do aluno. Uma
exceção é encontrada em Minocha e Hardy (2011) que consideraram também os
papéis do professor e o do designer, sendo este último porque a proposta foi para a
criação de ilhas em mundos virtuais voltadas para o ensino e aprendizagem.
QUADRO 11: Comparação entre as abordagem dos estudos
Estudo Especialização Tecnologia Interações Área de aplicação
Presente estudo
SE para Avaliação da Aprendizagem
Sistema Web Aluno e professor
Ensino e aprendizagem em saúde
Sim et al (2008)
SE para Avaliação da Aprendizagem
Sistema Web (AVAs)
Aluno Ensino e aprendizagem geral
Kemp et al (2008)
SE para Ensino e Aprendizagem
Computação ubíqua
Aluno Ensino e aprendizagem de idiomas
Minocha e Hardy (2011)
SE para Ensino e Aprendizagem
Mundo virtual Aluno, professor e designer
Ensino e aprendizagem geral
Liu et al (2011)
SE para Ensino e Aprendizagem
Website Aluno Ensino e aprendizagem de idiomas
Hoyle et al (2012)
SE para Ensino e Aprendizagem
Website Aluno Ensino e aprendizagem geral
Legenda: SE = Sistema Eletrônico
88
Nas publicações encontradas observou-se que, com exceção de Sim et al
(2008), os demais pesquisadores trataram de sistemas eletrônicos para ensino e
aprendizagem no todo (Quadro 11) e não especificamente da parte de avaliação da
aprendizagem como é o caso deste estudo.
No Quadro 11 são apresentadas as abordagens dos estudos em relação à
para qual tipo de sistema foi feita a especialização das heurística, a tecnologia, as
interações consideradas e para qual área de aplicação foram desenvolvidas.
5.1 Heurísticas especializadas para sistemas eletrônicos de
avaliação da aprendizagem baseada em casos clínicos
Por meio de revisão da literatura foram identificados os elementos que
compõem a avaliação da aprendizagem, seus métodos, objetivos e principais
instrumentos, conforme apresentado no item 1.1.1. Considerou-se importante
conhecer a forma como o processo acontece e seus objetivos. O estudo de Sim et al
(2008) relata que realizou revisão sobre avaliação da aprendizagem e a utilizou para
a proposição das heurísticas, assim como Liu et al (2011) o fez sobre aprendizagem
de idiomas através de ferramentas web.
A aquisição deste conhecimento deu suporte à análise dos AVAs,
apresentada no item 4.1.1, a partir da qual foi possível obter, a respeito dos
mesmos, uma relação de características e recursos, tanto positivos como negativos,
para identificar o que deve ser adotado ou evitado na interface de sistemas
eletrônicos para avaliação da aprendizagem baseada em casos. Após esta etapa, a
cada item da relação buscou-se associar pelo menos uma heurística de Nielsen
(1995), para verificar a objetividade de representação que ela tinha para ele, ou seja,
se ao considerá-lo era fácil apontar qual havia sido atendida ou violada. No Quadro
12 elas são apresentadas, para cada item positivo, associadas a objetividade de
representação.
89
QUADRO 12: Objetividade das Heurísticas de Nielsen (1995) para os recursos e características
positivas identificadas na análise dos AVAs.
Indicação Heurística de Nielsen (1995) Objetividade da
heurística
PP1 Estética e design minimalista DI
PP2
Relacionamento entre a interface do sistema e o mundo real DI
Consistência e padrões OB
Estética e design minimalista DI
PP3 Ajuda e documentação OB
PP4 Liberdade e controle do usuário OB1
Flexibilidade e eficiência de uso OB
PP5
Relacionamento entre a interface do sistema e o mundo real DI
Liberdade e controle do usuário OB1
Flexibilidade e eficiência de uso OB1
PP6 Flexibilidade e eficiência de uso OB1
PP7 Relacionamento entre a interface do sistema e o mundo real DI
Flexibilidade e eficiência de uso DI
PP8 Flexibilidade e eficiência de uso OB1
PP9 Relacionamento entre a interface do sistema e o mundo real DI
Flexibilidade e eficiência de uso OB1
PP10 Relacionamento entre a interface do sistema e o mundo real OB
PP11 Relacionamento entre a interface do sistema e o mundo real DI
Flexibilidade e eficiência de uso OB1
PP12 Flexibilidade e eficiência de uso OB1
PP13 Flexibilidade e eficiência de uso OB1
PP14 Relacionamento entre a interface do sistema e o mundo real DI
Flexibilidade e eficiência de uso OB1
PP15 Flexibilidade e eficiência de uso DI
PA1 Flexibilidade e eficiência de uso OB1
PA2
Relacionamento entre a interface do sistema e o mundo real DI
Reconhecimento ao invés de lembrança DI
Estética e design minimalista OB
PA3 Visibilidade de status do sistema OB
Legenda: OB = Aplicação clara e objetiva; DI = Aplicação muito dependente de interpretação do
avaliador da interface.
Nota: (1) Foi marcada como objetiva por causa do texto do nome, mas se for considerado o texto de
sua definição, ela não é apropriada.
90
As heurísticas de Nielsen (1995) são apresentadas no Quadro 13, para cada
item negativo, associadas a objetividade de representação.
QUADRO 13: Objetividade das Heurísticas de Nielsen (1995) para as característica e recursos
negativos identificados na análise dos AVAs.
Indicação Heurística de Nielsen (1995) Objetividade
da heurística
NP1 Prevenção de erros DI
NP2 Liberdade e controle do usuário OB
NP3 Relacionamento entre a interface do sistema e o mundo real OB
Ajuda e documentação OB
NP4 Prevenção de erros DI
NP5
Relacionamento entre a interface do sistema e o mundo real OB
Consistência e padrões DI
Reconhecimento ao invés de lembrança DI
Estética e design minimalista DI
Ajuda e documentação OB
NP6 Consistência e padrões OB
NP7
Visibilidade de status do sistema DI
Estética e design minimalista OB
Ajudar os usuários a reconhecer, diagnosticar e sanar erros DI
NP8 Relacionamento entre a interface do sistema e o mundo real OB
NP9 Relacionamento entre a interface do sistema e o mundo real OB
NP10 Flexibilidade e eficiência de uso OB
NP11 Flexibilidade e eficiência de uso OB
NP12 Relacionamento entre a interface do sistema e o mundo real DI
NA1 Visibilidade de status do sistema OB
NA2 Visibilidade de status do sistema DI
NA3 Relacionamento entre a interface do sistema e o mundo real DI
NA4 Flexibilidade e eficiência de uso DI
NA5 Visibilidade de status do sistema DI
Estética e design minimalista OB
Ajudar os usuários a reconhecer, diagnosticar e sanar erros DI
Legenda: OB = Aplicação clara e objetiva; DI = Aplicação muito dependente de interpretação do
avaliador da interface.
91
Os Quadros 12 e 13, mostram a associação de uma ou mais heurísticas para
cada indicação positiva ou negativa, em alguns casos esta relação é subjetiva, ou
seja, baseada na interpretação do avaliador, possivelmente se fosse outro individuo
avaliando, a heurística poderia não ser indicada. Nestes casos, na coluna referente
a objetividade contém a sigla "DI", descrita na legenda do quadro.
Alguns casos foram indicados pelo nome da heurística, que sugeria uma
determinada interpretação, mas considerando sua descrição completa (Nielsen,
1995), ela não seria representativa. Houveram situações nas quais as indicações
das heurísticas foram bastante objetivas e pertinentes, sendo possível identificar
rapidamente a associação, nestes casos elas foram indicadas com a sigla "OB".
As heurísticas de Nielsen (1995) mais atendidas foram "Flexibilidade e
eficiência de uso" e "Relacionamento entre a interface do sistema e o mundo real",
levando a considerar que os sistemas tenham bem desenvolvidas as formas de
representação dos dados e ações, oferecendo ao usuário elementos que estão
próximos do que ele costuma utilizar. Além disso, que há o oferecimento de recursos
e configurações variadas que permitem a liberdade de escolher como e quando
fazer. A heurística "Ajudar os usuários a reconhecer, diagnosticar e sanar erros" foi
a mais violada, sugerindo que faltam nos sistemas meios de orientar eficientemente
o usuário.
Para completar o processo foram analisadas as heurísticas de Nielsen (1995)
em relação ao que havia sido obtido nas fases anteriores para identificar quais
precisavam de especialização para terem sua aplicação mais objetiva em relação a
sistemas eletrônicos para avaliação da aprendizagem baseada em casos. As que
eram objetivas foram consideradas na forma proposta pelo autor. Dois dos estudos
encontrados adotaram heurísticas do Nielsen (1995) como base para suas
propostas. No trabalho de Kemp et al (2008) também foi considerado um framework
para computação ubíqua (Quadro 14), já no de Minocha e Hardy (2011) foram
considerados mais dois estudos voltados para mundos virtuais (Quadro 14).
A partir das informações geradas nestes processos, 22 novas heurísticas
especializadas foram propostas, entre elas, 13 definidas a partir das propostas por
Nielsen (1995) e 9 de forma independente. Os estudos encontrados que utilizaram
heurísticas de Nielsen (1995) fizeram uma combinação de algumas delas com
outras propostas por outros autores (Kemp et al, 2008; Minocha e Hardy, 2011) ou
criadas a partir do estudo que estão apresentando (Sim et al, 2008).
92
QUADRO 14: Comparação entre as metodologias utilizadas pelos estudos para obtenção de heurísticas e guidelines
Estudo
Metodologia para obtenção de heurísticas e guidelines
Revisão de literatura sobre Considerou
Propostas existentes
Avaliação de
usabilidade
Discussão Outros
Presente
estudo
Avaliação da Aprendizagem geral e
baseada em casos clínicos,
Composição de Caso Clínico e
Ferramentas eletrônicas para avaliação
da Aprendizagem
Nielsen (1995) Não Não Análise da interface de
dois AVAs
Sim et al
(2008)
Normas ISO e Avaliação da
Aprendizagem
Não Avaliação heurística
e Teste de usuário
Não Não
Kemp et al
(2008)
Não Nielsen (1995) e
Scholz e Consolvo12
Não Não Não
Minocha e
Hardy (2011)
Não Nielsen (1995),
Sutcliffe e Gault13 e
Muller et al14
Avaliação heurística
e Teste de usuário
Pós-observação
com usuários
Entrevista estruturada e
semi-estruturada com
especialistas
Liu et al (2011) Aprendizagem de idiomas através de
ferramentas web
Não Não Com especialistas Aplicação de questionário
em alunos e opinião de
especialistas
Hoyle et al
(2012)
Não Não Teste de usuário Não Não
12 Scholtz J, Consolvo S. Toward a Framework for Evaluating Ubiquitous Computing Applications. IEEE Pervasive Computing Magazine. Abr-Jun 2004; 3(2):82-8. 13 Sutcliffe A, Gault B. Heuristic Evaluation of Virtual Reality Applications'. Interacting with Computers. 2004; 16(4):831-849. 14 Muller M, Matheson L, Page C, Gallup R. Methods & Tools: Participatory Heuristic Evaluation. ACM Interactions. 1998; 5(5):13-8.
93
93
As heurísticas de usabilidade de um modo geral são propostas visando
colaborar para a diminuição do impacto negativo que os sistemas podem gerar
durante sua utilização, tanto em relação a satisfação do usuário como em relação a
realização de uma tarefa, considerando que conforme a área de aplicação este
impacto pode ser mais ou menos grave. Por isso cada heurística tem um importância
associada, ou seja, uma justificativa para defini-la. Desta forma, são discutidas a
seguir sua importância no uso do sistema e principalmente na realização da tarefa a
qual ele se propõe.
Na definição da heurística "H1. Percepção clara de mudanças na interface
e direcionamento", os elementos que deram origem a ela, implicam no que o
usuário consegue perceber das ações do sistema e no que ele acredita que deva ser
feito a partir dali. Durante uma avaliação, se está heurística é atendida pelo sistema,
pode contribuir oferecendo maior tranquilidade ao usuário (o aluno por exemplo),
pois ele sabe o que o sistema está fazendo e tem uma preocupação a menos,
principalmente se for a primeira vez que ele o utiliza. Por outro lado, se ela não for
atendida, poderá ocorrer o inverso ou o usuário pode não perceber que houve uma
mudança e escolher uma ação que o leve ao erro ou gere um problema. Estas
situações geram insatisfação e nervosismo.
No caso da heurística "H2. Visualização das ações automáticas do
sistema", os elementos que deram origem a ela, implicam na forma como o sistema
mostra ao usuário que foi realizada uma ação automática. A conformidade com esta
heurística é importante para que o usuário possa reconhecer o estado dos dados no
sistema. A não percepção das ações automáticas, deixa o aluno desinformado, se
isto for na realização de uma avaliação, ele poderá não notar que sua resposta foi
salva e ficar inseguro, principalmente se não houver outra forma de acionar a
gravação da informação. Estas situações geram insegurança e nervosismo.
Na definição da heurística "H3. Organização dos elementos da avaliação",
os elementos que deram origem a ela, mostram situações que envolvem a forma
como os componentes da avaliação são organizados e acessados. No caso das
funcionalidades positivas, identifica-se o atendimento de premissas da avaliação da
aprendizagem, como a oferta de feedback em momentos apropriados (Zeferino e
Passeri, 2007; Garcia, 2009), ou a disposição e acesso à questões. O atendimento
desta heurística colabora para que o usuário trace um caminho lógico e racional na
94
resolução de uma avaliação, isto permite a análise de informações na sequência
adequada à solução. Quando de trata de avaliação baseada em casos clínicos, a
forma como os componentes dela são organizados interfere nas decisões do aluno,
podendo colaborar ou prejudicar seu desempenho (Hooper et al, 1998; Schuwirth,
2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008; Baeten et al,
2013).
Em relação a definição da heurística "H4. Proximidade com o mundo real",
os elementos que deram origem a ela, mostram situações relacionadas a
possibilidade do usuário realizar suas tarefas de maneira próxima ou igual ao que
costuma fazer sem o uso do sistema. O atendimento desta heurística gera conforto e
aceitação por parte do usuário, além de ajudar a diminuir erros, pois cria uma
ambientação familiar. Por outro lado, se ela for violada, pode desestimular o usuário
na utilização, porque ele poderá ter mais dificuldades ou não ter a funcionalidade da
forma que necessita. Ela colabora para que o professor relacione práticas e métodos
do mundo real com os do sistema, facilitando e flexibilizando tanto a criação como a
realização da avaliação (diagnóstica, formativa e somativa) (Depresbiteris, 1998),
proporcionando sentimento de segurança e satisfação no usuário.
Na definição da heurística "H5. Correção e orientação de erros", os
elementos que deram origem a ela, mostram situações relacionadas a preservação
dos dados que o usuário está inserindo ou manipulando, durante a realização de
suas tarefas, contra desligamentos inesperados do sistema ou ações equivocadas
por parte do usuário. O atendimento desta heurística gera satisfação e ajuda o
usuário a desfazer ou prevenir eventuais alterações de informações acidentalmente,
proporcionando a ele maior confiabilidade e otimizando seu tempo na realização da
tarefa. Por outro lado, se ela for violada, podem ocorrer danos e perdas de dados
armazenados ou atraso na realização da tarefa.
No caso da definição da heurística "H6. Padronização organizacional e
visual", os elementos que deram origem a ela, mostram situações relacionadas com
a organização visual dos elementos do layout. Se for atendida colabora para que o
usuário aprenda a utilizar o sistema e não se esqueça de suas funcionalidades
diminuindo gradativamente o tempo necessário para realizar a tarefa. Em
contrapartida, se for violada, dificultará a utilização do sistema e pode levar o usuário
para telas diferentes do que ele deseja, desestimulando o uso. Considerando a
avaliação baseada em casos clínicos ela tem um papel importante, pois tem impacto
95
na forma como as informações serão mostradas aos alunos (Hooper et al, 1998;
Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008; Baeten
et al, 2013).
Na definição da heurística "H7. Minimização e prevenção de alterações
acidentais", os elementos que deram origem a ela, mostram situações relacionadas
ao uso de recursos no sistema que minimizam e previnem alterações acidentais dos
dados que estão sendo inseridos ou já estão armazenados. O atendimento desta
heurística ajuda a diminuir a realização de ações indesejadas e seus efeitos e está
providência gera satisfação e pode preservar a integridade do resultado da
avaliação. Por outro lado, se for violada, podem ocorrer danos e perdas de dados
armazenados ou atraso na realização da tarefa.
Na definição da heurística "H8. Condução e Direcionamento", os elementos
que deram origem a ela mostram situações relacionadas a orientação do usuário a
partir da oferta de elementos que o ajudam a identificar o caminho correto para
realizar a tarefa. O atendimento desta heurística colabora para oferecer ao professor
uma interface que o auxilie e oriente na realização da tarefa, proporcionando
satisfação e economia de tempo. Por outro lado, se for violada, o usuário pode se
perder na tarefa e desistir do uso ou escolher a forma errada.
Na definição da heurística "H9. Interface intuitiva", os elementos que deram
origem a ela estão relacionados a quão fácil a interface é de aprender, ou seja, para
utilizá-la não deve ser necessário o uso de manual, e caso precise, que seja para
situações extremas. O atendimento desta heurística ajuda o usuário a aprender
rapidamente o sistema e caso fique algum tempo sem utilizá-lo, não terá dificuldades
ao fazê-lo. Considerando uma avaliação, pode contribuir para o professor prepará-la
mais rapidamente e no caso do aluno, para que ele forneça suas respostas sem
precisar se preocupar com o sistema. O não atendimento, compromete o uso
podendo levar os usuários a não utilização. Em uma avaliação gera ansiedade e
insegurança no aluno e dificulta o trabalho do professor.
No caso da definição da heurística "H10. Flexibilidade e controle do
professor", os elementos que deram origem a ela estão relacionados ao que o
sistema oferece de recurso ao professor para a realização de suas tarefas e como
eles funcionam e são apresentados. O atendimento desta heurística colabora com o
aproveitamento que o professor terá do sistema, pois a capacidade de
gerenciamento que é oferecida a ele determina o nível de controle sobre as
96
avaliações e a variedade de formas que elas podem assumir, tanto em relação as
metodologias adotadas como aos instrumentos (Depresbiteris, 1998; Hooper et al,
1998; Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al, 2008;
Baeten et al, 2013). Assim, se ela for violada, as possibilidades oferecidas ao
professor ficam mais limitadas, podendo interferir em como o professor irá avaliar.
Em relação a definição da heurística "H11. Navegação simplificada", os
elementos que deram origem a ela estão relacionados ao quão fácil é acessar as
partes do sistema e ir de uma à outra. O atendimento desta heurística facilita o
acesso aos recursos do sistema, estimulando seu uso e contribuindo para que
menos tempo seja necessário para realizar uma atividade. Por outro lado, se ela for
violada, os problemas são bem variados, podendo não ser possível acessar alguma
área de interesse ou perder alguma informação por ter escolhido uma forma de
saída errada e assim por diante.
Na definição da heurística "H12. Clareza e orientação sobre os recursos de
avaliação disponíveis", os elementos que deram origem a ela estão associados à
situações em que é necessário orientar o professor de como ele deve interagir com
os recursos disponíveis. O atendimento desta heurística colabora para o
entendimento dos instrumentos avaliativos que o sistema oferece. Por outro lado, se
for violada, o professor não terá orientação sobre o recurso que deseja usar e terá
que fazer uma adaptação para outro sobre o qual tem conhecimento ou pode desistir
de usar o sistema se o problema se apresentar com frequência. Considerando a
diversidade de instrumentos avaliativos que podem ser oferecidos pelos sistemas, e
as particularidades de um método e outro é importante que haja o atendimento desta
heurística.
Na definição da heurística "H13. Entendimento dos elementos de
formulário", os elementos que deram origem a ela, estão associados a clareza de
como devem ser utilizados os elementos dos formulário, ou seja, o que deve e de
que forma deve ser preenchido. O atendimento desta heurística é importante para o
bom funcionamento da avaliação, pois são através dos elementos de formulário que
elas são realizadas. Se ela for violada, dependendo da situação, pode comprometer
os resultados. Durante a avaliação o aluno já sofre alteração emocional natural para
a situação, se ele não souber como utilizar o sistema para registrar suas respostas,
haverá um acréscimo de ansiedade e nervosismo.
No caso da definição da heurística "H14. Identificação e orientação
97
visíveis", os elementos que deram origem a ela dizem respeito às informações
referentes ao próprio usuário e a outras relacionadas à avaliação, como por exemplo
os critérios e objetivos. O atendimento desta heurística é importante para que seja
garantido que as informações do usuário e da avaliação estejam disponíveis e
visíveis, atendendo a composição da avaliação da aprendizagem (Punhagui e
Souza, 2011). Portanto, se a heurística é violada, estas informações não serão
apresentadas ou serão com restrições.
Em relação a definição da heurística "H15. Localização no contexto da
avaliação", os elementos que deram origem a ela dizem respeito a situações em
que o usuário consegue saber facilmente em que ponto da avaliação ele está, sendo
informado sobre o que já fez e o que ainda não. O atendimento desta heurística é
importante para a administração do tempo disponível na realização da avaliação.
Portanto, se a heurística é violada, esta administração de tempo não acontece e
gera nervosismo no aluno.
Na definição da heurística "H16. Liberdade de consulta", os elementos que
deram origem a ela estão relacionados a situações nas quais o usuário tem
liberdade para consultar partes ou o todo da avaliação. O atendimento desta
heurística possibilita acesso aos conteúdos das avaliações pelos alunos que tem
autorização para isto. Se for violada, dependendo da proposta da avaliação, é ferido
o direito do aluno de ter acesso à sua avaliação. Além disso, está é uma forma de
feedback (Zeferino e Passeri, 2007; Garcia, 2009) que estará sendo subtraída do
aluno.
Na definição da heurística "H17. Reconhecimento da finalização da
avaliação", os elementos que deram origem a ela estão relacionados a percepção
por parte do aluno do término da avaliação. O atendimento desta heurística traz ao
aluno mais tranquilidade para finalizar a avaliação, pois reconhecerá claramente que
ela chegou ao fim. Se for violada, pode gerar ansiedade e nervosismo,
principalmente se o encerramento for abrupto.
No caso da definição da heurística "H18. Facilidade na inclusão de
recursos", os elementos que deram origem a ela se referem a quão fácil é inserir
um recurso no sistema e configurá-lo, sendo também consideradas as inclusões de
instrumentos avaliativos (Depresbiteris, 1998; Perrenoud, 1999; Sordi, 2000; Fenili,
2002; Zeferino e Passeri, 2007; Garcia, 2009; Domingues et al, 2010; Punhagui e
Souza, 2011). O atendimento desta heurística tem muita importância para situações
98
em que são necessários recursos diferenciados no momento da avaliação, pois
oferecerão flexibilidade de escolha. Por outro lado, se ela for violada, irá dificultar o
uso dos recursos, levando o professor a ignorá-los e usar de artifícios para substituí-
los, o que, além aumentar o trabalho, pode não produzir o resultado desejado.
Na definição da heurística "H19. Visualização da avaliação", os elementos
que deram origem a ela estão relacionados à possibilidade do professor conseguir
visualizar a avaliação no mesmo formato que o aluno a verá quando for resolvê-la. O
atendimento desta heurística permite que o professor confira o que colocou na
avaliação para verificar se está como idealizou. Quando ela é violada, ele não terá
está visão, dificultando seu trabalho, pois terá que supor que está como queria. No
caso do uso de recursos avaliativos desconhecidos a ele, a tendência é que não
utilize, pois o mesmo não sabe como será visto pelo aluno. Esta violação dificulta a
diversificação no uso de instrumentos avaliativos.
Na definição da heurística "H20. Facilidade na atribuição de pontuação e
nota", os elementos que deram origem a ela estão relacionados à possibilidade do
professor configurar pontuações e notas com pesos diferentes, podendo trabalhar
com porcentagens. O atendimento desta heurística permite o gerenciamento das
pontuações nas avaliações da forma que for mais adequada para o método que o
professor está utilizando. Quando ela é violada, ele perde esta flexibilidade, ficando
restrito ao que o sistema oferecer ou tendo que fazer o gerenciamento
manualmente, aumentando sua carga de trabalho, portanto atendê-la otimiza este
processo.
Na caso da definição da heurística "H21. Visualização de resultados", os
elementos que deram origem a ela estão relacionados aos recursos do sistema
disponíveis para que o professor veja os resultados dos alunos. O atendimento
desta heurística permite que o professor confira como está o desempenho deles
individualmente ou em grupo. Quando violada, ele tem esta visualização
comprometida, o que tem impacto em parte do processo de avaliação, pois é
importante que o professor consiga acompanhar o desempenho dos alunos,
individual ou coletivamente (Perrenoud, 1999; Zeferino e Passeri, 2007; Garcia,
2009).
Em relação à definição da heurística "H22. Ajudar a fornecer feedback ao
aluno", os elementos que deram origem a ela estão relacionados aos recursos do
sistema que possibilitam ao professor oferecer feedback das avaliações aos alunos.
99
O atendimento desta heurística ajuda o professor a fornecer retorno sobre as
avaliações, podendo oferecer informações explicativas complementares. Quando ela
é violada, este tipo de retorno fica mais difícil e pode ter que ser oferecido fora do
sistema. Considerando que o feedback é parte fundamental do processo de
avaliação (Perrenoud, 1999; Zeferino e Passeri, 2007; Garcia, 2009; Megale et al,
2009; Punhagui e Souza, 2011) o atendimento desta heurística faz-se necessário.
5.2 Validação das heurísticas
Após a definição das heurísticas especializadas, foi realizada avaliação
heurística, como descrito no item 3.3, para verificar sua validade, ou seja, se elas
podem ser utilizadas para colaborar no desenvolvimento e avaliação de interfaces
de sistemas eletrônicos para avaliação da aprendizagem baseada em casos
clínicos. Entres os estudos encontrados, dois relatam a realização da validação,
ambos utilizam o mesmo método. Kemp et al (2008) conduziram avaliação heurística
no sistema IMMEDIATE (usado para o ensino de idiomas), mas somente um
especialista participou, no estudo de Liu et al (2011) a validação foi realizada por
meio de avaliação heurística do website da BBC English Learning, mas não é
informado pelos autores o número de especialistas que participaram.
No presente estudo os especialistas indicaram o total de 194 problemas de
usabilidade, havendo violação de todas as heurísticas do Nielsen (1995) e da
maioria das especializadas, não sendo indicadas para nenhum problema a "H3.
Organização dos elementos da avaliação" e a "H13. Entendimento dos
elementos do formulário".
O gráfico da Figura 38 mostra que a interface do professor teve mais
indicações de violações associadas às heurísticas especializadas, em contrapartida,
a do aluno foi mais violada em relação às de Nielsen (1995), acredita-se que isto
esteja relacionado ao tipo de interface, ou seja, a do aluno é mais comum e com
recursos mais simples, já a do professor possui maior complexidade pelo volume e
tipo de informações e configurações que precisam ser definidas para a avaliação da
aprendizagem.
100
FIGURA 38: Gráfico de violações das heurísticas especializadas comparadas às de Nielsen (1995)
Foram analisadas as heurísticas indicadas durante a inspeção de usabilidade
e os problemas aos quais elas foram associadas, sendo verificado que muitos
violam heurísticas especializadas, não consideradas pelos avaliadores. A seguir
estas situações são apresentadas. As descrições dos problemas encontram-se no
Anexo 5.
Para a heurística "Visibilidade de status do sistema", na interface do aluno,
foram identificados os problemas "a" e "b" e estes também violam:
"Organização dos elementos da avaliação" para o "a", pois trata da falta de
clareza na sequência de avaliação;
"Localização no contexto da avaliação" para o "a", porque não facilita a
identificação do ponto atual em que se está na avaliação;
"Reconhecimento da finalização da avaliação" para o "b", porque não há
diferenciação na mensagem de encerramento da mesma em relação as
outras oferecidas pelo sistema.
Para a heurística "Relacionamento entre a interface do sistema e o
mundo real", na interface do professor, foram identificados problemas que também
violam:
"Condução e direcionamento" para o "a", "b" e "c", porque os campos não são
claros e dificultam a realização da tarefa pelo professor, podendo gerar
confusão e configurações indesejadas;
"Interface intuitiva" para o "a", "b" e "d", porque não é fácil de entender a
0
10
20
30
40
50
60
70
80
Aluno Professor
Nielsen
Especializadas
101
finalidade dos elementos e qual será o resultado depois de pronto, que é uma
informação importante para o professor.
"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "a"
e "d", porque não há ajuda para entender o objetivo do campo e no caso do
"d", não há explicação sobre a visualização final;
"Visualização da avaliação" para o "d", pois a visualização é insuficiente e
para o professor é fundamental saber como os alunos verão a prova.
Para a heurística "Liberdade e controle do usuário", na interface do
professor, foram identificados problemas que também violam:
"Proximidade com o mundo real" para o "a", "b", "c" e "d', pois não é
respeitada a forma como o professor trabalha e o que ele conhece;
"Condução e direcionamento" para o "a" e "d", porque a interface não
contribui para a realização da tarefa, pois confunde o professor;
"Interface intuitiva" para o "a" e "d", por não ser fácil de entender e de
perceber sua finalidade e como funciona;
"Flexibilidade e controle do professor" para o "b" e "c", porque compromete a
liberdade de escolha do professor e no segundo caso ele é impedido de
visualizar a avaliação;
"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "a",
pois falta explicação sobre a questão;
"Navegação simplificada" para o "f", "g" e "h", porque dificulta a navegação
obrigando o professor a procurar meios alternativos de sair da página;
"Visualização da avaliação" para o "c", porque não permite que a avaliação
seja vista pelo professor durante sua elaboração;
Em relação a interface do aluno, os problemas, exceto o "a", violam:
"Organização dos elementos da avaliação" para o "d", porque a forma de
visualização dificulta a realização da avaliação, pois não é possível comparar
os conteúdos;
"Minimização e prevenção de alterações acidentais" para o "c" e "e", porque
pode ocorrer alteração de dados sem que o aluno perceba;
"Interface Intuitiva" para o "b", porque não é um recurso que um aluno com
pouca experiência saberá como finalizar;
"Navegação simplificada" para o "d" e "f", porque dificulta a navegação
102
obrigando o aluno a procurar meios alternativos para voltar para a prova;
"Liberdade de consulta" para o "d", porque afeta liberdade de visualização
que o aluno tem da avaliação.
Para a heurística "Consistência e padrões", na interface do professor, foram
identificados os problemas "c" a "g", "i", "j", "m" a "p", "r" que também violam:
"Correção e orientação de erros" para o "e", porque os avisos de erro não
estão devidamente identificados, dificultando a percepção do professor;
"Minimização e prevenção de alterações acidentais" para o "g", porque o
problema pode provocar uma alteração de dados indesejada e o professor
não perceber, comprometendo a validade da questão na prova;
"Condução e direcionamento" para o "c", "m", "o", "p" e "r", porque a interface
dos formulários não guia o professor na montagem da avaliação e em alguns
casos até dificulta;
"Interface intuitiva" para o "c", "e", "i", "j", "m", "o", "p" e "r", porque os
problemas indicam dificuldade de compreender e identificar os elementos da
interface;
"Facilidade na inclusão de recursos" para o "o" e "r", porque os problemas
apresentados dificultam a inserção de imagens.
Em relação a interface do aluno, o problema descrito no item "a" viola
"Condução e direcionamento", porque pode atrapalhar a inclusão de respostas,
interferindo na realização da atividade do aluno.
Para a heurística "Prevenção de erros", na interface do professor, foram
identificados problemas que também violam:
"Proximidade com o mundo real" para o "b", porque não é permitido que o
professor veja a prova da forma que conseguiria em outro tipo de recurso,
como o papel por exemplo;
"Correção e orientação de erros" para o "h", porque não há nenhuma ajuda
para o professor resolver o problema;
"Condução e direcionamento" para o "a", "d", "e", "f" e "h", porque há
comprometimento do direcionamento do professor para realizar a tarefa de
maneira satisfatória e rápida;
"Interface intuitiva" para o "d", "f" e "h", no primeiro caso, porque devido a
forma como o comando é apresentado, ele não será percebido facilmente; no
103
segundo, o elemento confunde; e no terceiro é difícil de compreender e pode
levar o professor a desistir da utilização;
"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "c" e
"g", porque não é explicado como as questões funcionam e devem ser
criadas;
"Entendimento dos elementos do formulário" para o "h", porque os elementos
são confusos e difíceis para o professor utilizar;
"Facilidade na inclusão de recursos" para o "h", porque o recurso é muito
complexo e confuso para o tipo de usuário ao qual se destina;
"Visualização da avaliação" para o "b", porque o professor não consegue ver
como a avaliação está ficando sem inserir questões.
Em relação a interface do aluno, os problemas, com exceção do "g" e "i",
também violam:
"Percepção clara de mudanças na interface e direcionamento" para o "c",
porque ocorre o carregamento de outra janela e não há orientação de como o
aluno deve fazer para sair dela;
"Visualização das ações automáticas do sistema" para o "e", porque há
demora de resposta do sistema sem qualquer aviso e o aluno pode ficar
confuso achando que fez algo errado;
"Organização dos elementos da avaliação" para o "a" e "d", porque a forma
como os elementos estão dispostos e configurados compromete os
resultados da avaliação;
"Correção e orientação de erros" para o "a", "b" e "j", porque não há aviso
prevenindo a ocorrência do erro e quando há, não informa o aluno
adequadamente, e os erros podem comprometer a nota;
"Condução e direcionamento" para o "a", "b", "d" e "e", porque a interface não
ajuda o usuário a interagir de forma correta;
"Interface intuitiva" para o "f" e "h", porque, no primeiro caso o botão não é
percebido e entendido automaticamente pelo aluno e no segundo, o nome do
campo sugere preenchimento diferente do que é o correto, dificultando o uso;
"Navegação simplificada" para o "c" e "d", porque abre outra janela sem aviso
e não é oferecido nenhum elemento de navegação que permita o retorno a
tela anterior;
104
"Entendimento dos elementos do formulário" para o "b" e "e", porque não está
claro como os elementos funcionam, deixando o aluno confuso e inseguro.
Para a heurística "Reconhecimento ao invés de lembrança", na interface
do professor, foram identificados problemas que também violam:
"Condução e direcionamento" para o "c", porque a imagem gera confusão
atrapalhando a realização da tarefa ao invés de ajudar;
"Interface intuitiva" para o "b" e "c", porque as metáforas estão confundindo o
usuário e gerando dificuldade.
"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "a",
porque o exemplo é apresentado só no começo da criação da questão,
quando deveria ser possível consultá-lo sempre que desejado;
"Entendimento dos elementos do formulário" para o "d", porque os ícones da
barra de ferramentas são de difícil compreensão.
Em relação a interface do aluno, o problema também viola "Interface intuitiva"
e "Navegação simplificada", porque não é um percurso de fácil percepção e pede
mais cliques do que o necessário.
Para a heurística "Flexibilidade e eficiência de uso", o problema indicado
na interface do professor, já foi tratado na "Consistência e padrões".
Em relação a interface do aluno, os problemas identificados, com exceção do
"d", "e" e "j", também violam:
"Organização dos elementos da avaliação" para o "c" e "f", porque a
visibilidade das questões não está adequada, hora em posição ruim, hora
ocultas;
"Padronização visual e organizacional" para o "a", porque não é respeitado o
padrão de identificação de mensagens de erro, podendo levar o aluno a
entender que todas as caixas de diálogo sejam erros e fechar alguma que
seja importante para ele antes de ler;
"Minimização e prevenção de alterações acidentais" para o "f" e "g", porque
como as questões precisam ser percorridas novamente, o aluno pode
modificar a resposta, o que neste formato de prova não pode ser permitido;
"Condução e direcionamento" para o "c", porque se a questão ocupasse a
área mais visível da tela, contribuiria para facilitar a interação do aluno, pois
ele reconheceria rapidamente a questão que precisa responder;
105
"Navegação simplificada" para o "b", "f", "h" e "i", porque a interface não está
oferecendo elementos que facilitem a navegação.
Para a heurística "Estética e design minimalista", na interface do professor,
foram identificados problemas que também violam:
"Padronização visual e organizacional" para os três, porque não são
atendidos padrões internos e externos;
"Condução e direcionamento" para o "a", porque ao invés de direcionar o
professor na tarefa, a interface atrapalha;
"Interface intuitiva" para os três, porque o desrespeito aos padrões dificulta o
entendimento dos componentes da interface;
"Facilidade na inclusão de recursos" para o "a", porque a minimização da
janela, pode dificultar a inserção de imagens, dependendo do nível de
conhecimento do professor.
Para a heurística "Ajudar os usuários a reconhecer, diagnosticar e sanar
erros", na interface do professor, foram identificados problemas que também violam:
"Correção e orientação de erros" para o "a", "b" e "c", porque os erros não são
informados adequadamente, ou seja, não apresentam explicações claras e
não dão orientações precisas;
"Condução e direcionamento" para o "a", "b" e "d", pois o professor não
consegue saber o que o sistema fez e não é direcionado para o próximo
passo;
"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "c" e
"e", porque não há orientação de como as questões funcionam e de como
devem ser preenchidas.
Em relação a interface do aluno, o problema também viola "Correção e
orientação de erros", porque não auxilia o usuário na detecção do erro e não permite
que ele desfaça a ação.
Para a heurística "Ajuda e documentação", na interface do professor, os
problemas violam:
"Percepção clara de mudanças na interface e direcionamento" para o "h",
porque a abertura da janela pode não ser percebida pelo professor e neste
caso ele fica sem saber o que fazer, podendo cometer um erro;
"Padronização visual e organizacional" para o "d", porque a interface de
106
criação da questão está diferente do padrão existente para as outras, o que
pode dificultar a utilização;
"Condução e direcionamento" para o "b", "c", "d" e "e", porque a organização
da interface está comprometendo a lógica de realização da tarefa e
confundindo o professor;
"Interface intuitiva" para o "c", "d", "e" e "g", porque as interfaces não se
apresentam claras o suficiente para que o professor saiba como utilizá-las;
"Navegação simplificada" para o "h", porque não é oferecido um meio de
retornar para a tela anterior sem ter que fechar a aba do navegador.
Em relação a interface do aluno, o problema também viola:
"Identificação e orientação visíveis", porque as informações de orientação
sobre a prova estão escondidas, podendo não ser notadas pelo aluno;
"Liberdade de consulta", porque não estão constantemente visíveis e fáceis
para o aluno visualizar sempre que quiser.
Para a heurística "Percepção clara de mudanças na interface e
direcionamento" (H1), na interface do professor, foram identificados os problemas
"b", "d", "e" e "f" que também violam:
"Visualização das ações automáticas do sistema" para o "b", porque o
professor não percebe que a pontuação da questão foi salva;
"Condução e direcionamento" para o "d" e "e", porque o usuário não é
conduzido pela interface para a realização da tarefa, pelo contrário ela o
atrapalha por causa de sua organização;
"Interface intuitiva" para o "f", porque não é perceptível que trata-se de uma
imagem, confundindo o professor;
"Facilidade na inclusão de recursos" para o "d", porque a falta de
direcionamento dificulta a inserção da imagem;
Para a heurística "Proximidade com o mundo real" (H4), o problema
também viola "Flexibilidade e controle do professor", porque a sequência de
inserção de avaliações interfere na liberdade de escolha do professor em relação a
como ele vai montar a mesma.
Para a heurística "Correção e orientação de erros" (H5), na interface do
professor, o problema do item "b" também viola:
"Padronização visual e organizacional", porque não está respeitando o padrão
107
do sistema;
"Condução e direcionamento", porque a falta de padrão compromete o
direcionamento do professor na realização da tarefa;
"Interface intuitiva", porque não é fácil para o professor entendê-la;
"Facilidade na inclusão de recursos", porque dificulta o uso de recursos
externos.
Para a heurística "Padronização visual e organizacional" (H6), na interface
do professor, os problemas também violam:
"Interface intuitiva" para o "a", "b", "c" e "d", porque há elementos na interface
que estão com pouca visibilidade o que dificulta a localização e
reconhecimento dos mesmos pelo professor;
"Navegação simplificada" para o "e" e "f", porque a falta de elementos de
navegação a dificultam.
Em relação a interface do aluno, os problemas também violam:
"Interface intuitiva" para o "b", "c" e "d", porque a ausência de padrão na
representação visual dificulta o reconhecimento dos elementos da interface;
"Navegação simplificada" para o "a", porque falta elementos que permitam a
navegação com o teclado entre os componentes do formulário.
Para a heurística "Minimização e prevenção de alterações acidentais"
(H7), na interface do aluno, os problemas, com exceção do item "b", também violam:
"Organização dos elementos da avaliação" para o "a", porque a forma como
está sendo apresentada a imagem atrapalha sua visualização pelo aluno
durante a realização da prova;
"Correção e orientação de erros" para o "d" e "e", porque o sistema não avisa
o aluno sobre o envio da resposta vazia;
"Padronização visual e organizacional" para o "f", porque o botão não é um
elemento padronizado e não será reconhecido, podendo fazer com que o
aluno fique sem responder a questão;
"Condução e direcionamento" para o "a", porque a ausência de um
mecanismo de retorno para a página anterior atrapalha o direcionamento;
"Interface intuitiva" para o "c", porque o botão não tem sua função
reconhecida, podendo levar o aluno ao erro;
"Navegação simplificada" para o "a", porque não tem elemento de navegação
108
o que a dificulta.
Para a heurística "Condução e direcionamento" (H8), na interface do
professor, os problemas, com exceção do "g", também violam:
"Percepção clara de mudanças na interface e direcionamento" para o "j" e "k",
porque o professor não consegue perceber o que o sistema fez e fica confuso
sem saber o que fazer;
"Proximidade com o mundo real" para o "i", porque se a avaliação fosse feita
utilizando outro recurso, o papel por exemplo, seria possível a visualização;
"Flexibilidade e controle do professor" para o "a" e "i", porque o professor não
tem como controlar algo que não conhece o comportamento e no segundo
caso é impedido de visualizar a prova parcialmente;
"Navegação simplificada" para o "e", porque falta uma opção de navegação
que proporcionaria mais facilidade de acesso;
"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "c",
porque falta orientação em relação ao formato das questões;
"Entendimento dos elementos de formulário" para o "a" e "h", porque os
elementos são confusos e não ajudam no entendimento do professor;
"Facilidade na inclusão de recursos" para o "j", porque o professor fica
confuso sem saber se o arquivo foi carregado, dificultando a inclusão da
imagem;
"Visualização da avaliação" para o "i", porque não está sendo permitido que o
professor visualize o que o aluno verá quando for realizar a prova.
Para a heurística "Interface intuitiva" (H9), na interface do professor, os
problemas, com exceção do "g" e "l", também violam:
"Padronização visual e organizacional" para o "h", porque não atende o
padrão de links;
"Condução e direcionamento" para o "a", "d", "e", "f", "i", "j", "k", "m", "n", "o" e
"p", porque não há ajuda da interface para guiar o professor na realização da
tarefa e em alguns casos ela até o atrapalha;
"Flexibilidade e controle do professor" para o "f", porque o professor pode
deixar de colocar mais alternativas devido a não percepção de que era
possível;
"Navegação simplificada" para o "t", porque não dispõe de elemento de
109
navegação, por isso a dificulta;
"Clareza e orientação sobre os recursos de avaliação disponíveis" para o "b",
"d", "e", "j", "k", "m", "o" e "p", porque falta orientação sobre o que deve ser
preenchido nos campos e qual sua finalidade;
"Visualização da avaliação" para o "c" e "q", porque o professor não consegue
visualizar exatamente o que o aluno vai ver e o que há disponível está
inadequado;
"Visualização de resultados" para o "h", porque se o usuário não perceber que
o nome é o link de acesso a nota, ficará sem visualizá-la.
Em relação a interface do aluno, o problema do item "a" também viola
"Navegação simplificada", pois não oferece elemento para fechar a nova janela que
foi aberta.
Para a heurística "Flexibilidade e controle do professor" (H10), na
interface do professor, os problemas também violam:
"Proximidade com o mundo real" para o "b", "c" e "d", porque o professor não
consegue montar a avaliação da forma como está acostumado a fazer fora do
sistema;
"Correção e orientação de erros" para o "a", porque o sistema não está
emitindo avisos sempre que o erro acontece;
"Visualização da avaliação" para o "d", porque o professor não consegue
visualizar a questão da forma como ela será apresentada ao aluno.
Para a heurística "Navegação simplificada" (H11), na interface do professor,
o problema do item "b" também violam:
"Visualização da resultados", porque a forma como estão sendo apresentados
os resultados, torna mais difícil a conferência e análise pelo professor.
Em relação a interface do aluno, o problema também viola "Minimização e
prevenção de alterações acidentais", porque não há nenhum mecanismo que
impeça o aluno de responder novamente as questões ao retornar da visualização.
Para a heurística "Clareza e orientação sobre recursos de avaliação
disponíveis" (H12), na interface do professor, o problema do item "c" também viola
"Entendimento dos elementos do formulário" pois não está clara a utilização de parte
do formulário.
Para a heurística "Identificação e orientação visíveis" (H14), na interface
110
do professor, os problemas também violam:
"Correção e orientação de erros" para o item "b", pois as mensagens de erro
estão com problema não deixando o professor concluir a tarefa;
"Percepção clara de mudanças na interface e direcionamento" para o "a",
porque o sistema não informa se concluiu ou não o carregamento do arquivo;
"Facilidade na inclusão de recursos" para o "a", porque o fato de o usuário
não saber o que está acontecendo dificulta a realização da tarefa.
Na interface do aluno, os problemas também violam:
"Padronização visual e organizacional" para o "a", "b" e "c", porque não é
respeitado o padrão dos elementos e por isso eles não são reconhecidos e
compreendidos;
"Interface intuitiva" para o "d", porque o acesso é confuso para o aluno com
pouca experiência;
"Navegação simplificada" para o "d", porque há muitos cliques para chegar
até a prova.
Para a heurística "Localização no contexto da avaliação" (H15), na
interface do professor, os problemas também violam:
"Proximidade com o mundo real" para o "a", pois utilizando um documento
convencional para criar a avaliação o professor saberia quantas questões
tem;
"Navegação simplificada" para o "b", porque o menu esconde a opção
acessada e o professor perde a referência.
Para a heurística "Liberdade de consulta" (H16), na interface do aluno o
problema também viola:
"Organização dos elementos da avaliação", porque a forma como a figura é
exibida, impede que o aluno a análise e compare com os textos da questão;
"Navegação simplificada", porque não há recurso de navegação para sair da
tela.
Para a heurística "Facilidade na inclusão de recursos" (H18), na interface
do professor, os problemas também violam:
"Navegação simplificada" para o "b", porque o sistema, após uma ação,
apresenta uma região de tela diferente do que é esperado;
"Condução e direcionamento" para o "a", porque o professor fica sem retorno
111
do sistema e sem saber o que fazer.
Para a heurística "Visualização da avaliação" (H19), na interface do
professor, o problema também viola "Clareza e orientação sobre os recursos de
avaliação disponíveis", porque a forma que o professor vê não corresponde ao que o
aluno verá.
Para a heurística "Facilidade na atribuição da pontuação/nota" (H20), na
interface do professor, os problemas também violam "Visualização das ações
automáticas do sistema", porque o salvamento da pontuação não é perceptível ao
professor, podendo deixá-lo confuso e levá-lo ao erro.
Para a heurística "Visualização dos resultados" (H21), na interface do
professor, os problemas também violam:
"Percepção clara de mudanças na interface e direcionamento" para o "e", porque
é aberta uma nova janela sem que o professor perceba ou seja avisado;
"Interface intuitiva" para o "a" e "d", porque os nomes dos links no menu estão
gerando confusão de entendimento;
"Flexibilidade e controle do professor" para "b", porque o professor não pode ter
os resultados dos alunos em um arquivo se desejar;
"Facilidade na atribuição de pontuação e nota" para o "c", porque não há
totalização de valores, tendo que ser feito cálculo a parte.
Para a heurística "Ajudar a fornecer feedback ao aluno" (H22), na interface
do professor, o problema também viola:
"Percepção clara de mudanças na interface e direcionamento", porque o
professor não percebe o salvamento, pois o sistema não sinaliza em nenhum
momento;
"Condução e direcionamento", pois o professor fica perdido sem saber se
houve ou não o salvamento.
A partir da análise de cada um dos problemas indicados e as heurísticas
atribuídas como violadas, notou-se que as interfaces foram examinadas, quase
sempre, sem considerar os aspectos específicos da tarefa para a qual foram
desenvolvidas, supõe-se que isto tenha ocorrido devido a não especialização dos
avaliadores na área de avaliação da aprendizagem baseada em casos clínicos.
No gráfico da Figura 30 observa-se, para a interface do professor, que a
112
heurística de Nielsen mais violada foi "Consistência e padrões" e o gráfico da Figura
32 mostra que a mais violada entre as especializadas foi "Interface intuitiva", tendo
mais indicações de grau de severidade 3 e 4 respectivamente (Figuras 31 e 33),
ambas se preocupam em garantir a facilidade em compreender a interface, e de
acordo com a abstração dos problemas podem ou não ser relacionadas a situações
específicas da avaliação da aprendizagem.
Entre as violações de "Consistência e padrões", duas tem relação direta com
o entendimento do professor sobre o instrumento avaliativo, no caso de "Interface
intuitiva", sete indicações estão relacionadas ao entendimento dos componentes do
instrumento, os outros relatam dificuldade em saber como interagir com a sistema.
Estes problemas interferem no tempo que o professor precisa para criar a avaliação.
Quando ela é baseada em casos clínicos é importante que a interface ajude o
professor a reconhecer a forma de construção do caso, para que este seja
elaborado corretamente, respeitando a dinâmica própria deste modelo.
O gráfico da Figura 34 trata da interface do aluno e mostra que as heurísticas
de Nielsen mais violadas foram "Prevenção de erros" e "Flexibilidade e eficiência de
uso", tendo mais indicações de grau de severidade 5, 3 e 4 respectivamente (Figura
35), já o gráfico da Figura 36, mostra a mais violada entre as especializadas como
sendo a "Minimização e prevenção de alterações acidentais", tendo mais indicações
de grau de severidade 5 (Figura 37), está última foi bem aplicada, pois os problemas
apontados estão relacionados com a confiança do aluno durante a realização da
avaliação e com o controle do professor em relação às tentativas dos alunos de
fraudar os resultados, sendo estes problemas graves. Nas violações de "Prevenção
de erros" e "Flexibilidade e eficiência de uso" seis dos problemas se referem a
situações que podem fazer com que o aluno não consiga salvar a resposta desejada
e dois estão relacionados a momentos que o aluno consegue alterar indevidamente
as respostas dadas. As indicações de "Minimização e prevenção de alterações
acidentais" se referem aos mesmos problemas indicados acima. Considerando que
a sequência da avaliação baseada em um caso clínico, é normalmente linear, ou
seja, o aluno não pode retroceder, os tipos de problemas apontados tem um impacto
importante na utilização do sistema.
As heurísticas especializadas "Identificação e orientação visíveis",
"Localização no contexto da avaliação", "Facilidade na inclusão de recursos" e
"Ajudar a fornecer feedback ao aluno", foram interpretadas de maneira equivocada,
113
pois a maioria dos problemas aos quais elas foram associadas, não tinham
nenhuma relação com as definições das mesmas. Elas são direcionadas para as
necessidades existentes à realização da avaliação da aprendizagem
especificamente. A "Identificação e orientação visíveis" é relativa as informações que
o professor deve definir e fornecer ao aluno na realização da avaliação (Fenili, 2002;
Otsuka e Rocha, 2005, Garcia, 2009; Punhagui e Souza, 2011), a "Localização no
contexto da avaliação" é importante para que o aluno saiba o quanto da tarefa ainda
tem para resolver e gerencie seu tempo, a "Facilidade na inclusão de recursos" trata
da qualidade da interface para inserção de recursos externos (arquivos de imagem,
som, vídeo, animações, etc), sendo estes um diferencial importante dos sistemas
eletrônicos e que podem colaborar no processo avaliativo utilizando casos clínicos
(Hooper et al, 1998; Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven
et al, 2008; Baeten et al, 2013), por fim a "Ajudar a fornecer feedback ao aluno" é
relativa ao fornecimento de retorno ao aluno sobre seu desempenho na avaliação,
que é uma prática importante no processo (Perrenoud, 1999, Zeferino e Passeri,
2007, Garcia, 2009).
A heurística "Organização dos elementos da avaliação", trata da forma como
os componentes da avaliação estão organizados para fornecer melhor legibilidade e
sequência lógica na resolução da avaliação baseada em casos clínicos (Hooper et
al, 1998; Schuwirth, 2005; Langendyk, 2006; Segers et al, 2008; Struyven et al,
2008; Baeten et al, 2013), mas não foi indicada para nenhum problema, e ela tem
grande importância para o entendimento do aluno no momento de resolver a prova,
pois se não for atendida pode atrapalhar ou não colaborar para o raciocínio do
mesmo.
A heurística "Entendimento dos elementos de formulário", também não foi
indicada e ela interfere no sucesso da realização de atividades, pois se o aluno não
compreender o funcionamento de um componente de formulário poderá utilizá-lo
errado ou ignorá-lo e a consequência pode ser a perda de pontuação na avaliação.
Embora não tenham sido indicadas nas avaliações, as duas heurísticas anteriores
são violadas pelo MedCC.
Após a realização da avaliação, ficou mais evidente a necessidade de
especialização de heurísticas para a inspeção deste tipo de interface, pois muitas
características importantes podem ser ignoradas se não forem verificadas com
direcionamento para a área de aplicação do sistema.
114
Os resultados fizeram perceber que as heurísticas especializadas
"Proximidade com o mundo real" e "Correção e orientação de erros" podem ser
excluídas, pois as de Nielsen (1995) "Relacionamento entre a interface do sistema e
o mundo real" e "Prevenção de erros" são suficientes para o que é tratado nelas.
93
6. Conclusões
O estudo propõe um conjunto de 22 heurísticas de usabilidade especializadas
para sistemas eletrônicos para avaliação da aprendizagem baseada em casos
clínicos, contribuindo para a melhora das interações dos usuários com estas
ferramentas, por meio da definição de diretrizes que norteiem o desenvolvimento e
avaliação da qualidade.
Para atingir este objetivo foram considerados as características da avaliação
da aprendizagem, em especial a utilização de casos clínicos. Analisou-se as
interfaces dos recursos de avaliação da aprendizagem de dois AVAs e as
heurísticas de Nielsen (1995) a partir das quais foram feitas especializações.
As heurísticas especializadas foram validadas por meio da realização de
avaliações heurísticas no sistema web Medical Clinical Case (MedCC), sendo as
mesmas indicadas pelos especialistas durante a inspeção conforme demonstrado
nos resultados.
93
7. Considerações finais
O desenvolvimento tecnológico proporcionou a inclusão de sistemas
eletrônicos no ambiente educacional, entre eles estão os destinados a avaliação da
aprendizagem, que oferecem recursos diferentes dos encontrados fora do meio
digital, apresentando-se como uma ferramenta que pode contribuir para otimizar o
processo e torná-lo mais atrativo tanto para o aluno como para o professor. Mas
para isso, faz-se necessária a oferta de interfaces que sejam fáceis de usar e que
disponibilizem recursos adequados para o processo.
Na educação em saúde, tem sido utilizados casos clínicos para avaliar os
conhecimentos dos alunos, este formato permite verificar o desenvolvimento de
forma multidisciplinar, sendo considerado um recurso importante nesta área. Embora
seja um instrumento interessante, tanto o processo de preparação como a
realização da avaliação, é trabalhoso e requer bastante dedicação e tempo dos
professores. O uso de sistemas eletrônicos para avaliação da aprendizagem
baseado em casos clínicos, pode ser uma forma de diminuir este trabalho,
otimizando etapas e tornando o processo mais dinâmico, mas para que isto
aconteça eles precisam ser fáceis de usar e eficientes.
Por isso este estudo propõe heurísticas especializadas, para colaborar para
que professores e alunos com pouca experiência no uso de computadores também
passem a utilizá-los, podendo usufruir de recursos que colaborem para o bom
desenvolvimento da avaliação.
Durante a realização da avaliação heurística verificou-se que é interessante
que os especialistas tenham conhecimento da área de aplicação do sistema, pois
notou-se que em várias situações eles se ativeram às características gerais e não às
necessárias para avaliação da aprendizagem baseada em casos clínicos. Mas
devido à dificuldade em encontrar especialistas em três áreas, IHC, avaliação da
aprendizagem e medicina, acredita-se que o uso das heurísticas especializadas é
uma alternativa, podendo ser complementadas com critérios (guidelines) mais
específicos.
Entre os estudos encontrados na revisão sistemática, somente um propunha
heurísticas para avaliação da aprendizagem (Sim et al, 2008), mas eram voltadas
117
para provas em forma de questionários e abordavam somente a interação do aluno,
não sendo tratada a parte do professor. Portanto o presente estudo apresenta uma
contribuição inédita, definindo heurísticas especializadas para sistemas eletrônicos
de avaliação da aprendizagem baseada em casos clínicos, considerando a interação
dos dois agentes envolvidos no processo, aluno e professor.
A partir deste estudo outros trabalhos podem ser realizados futuramente,
como:
A melhora do sistema web Medical Clinical Case (MedCC) a partir do
resultado obtido com a avaliação heurística;
A realização de mais inspeções de usabilidade para aprimoramento das
heurísticas aqui propostas;
E a definição de guidelines para serem utilizados com as heurísticas em
testes de usuário e inspeções de usabilidade.
93
8. Anexos
Anexo 1: Cenários de interação do aluno
Cenário 1: Realização da prova
Descrição:
Hoje, na sua aula da residência médica, haverá uma avaliação, seu preceptor avisou
antecipadamente que ela será aplicada em um laboratório de informática.
Ao entrar na sala ele pede que todos acessem o site disponível no endereço
http://www.clinicalcaselearning.com/teste e informa que vocês irão fazer a avaliação em
formato eletrônico e que precisam fazer inscrição na mesma. Para isso, pede que vocês
localizem no site a prova com nome“Avaliação do Grupo I”.
Depois de se inscrever você começa a prova. Ao acessá-la é possível visualizar a descrição
do caso, nela encontram-se as informações iniciais sobre o paciente. Após fazer uma análise
dos dados disponíveis, você começa a responder as questões.
Na questão 1, antes de responder,você resolve visualizar a figura disponível, a analisa e só
então responde.
Em seguida continua aresponder as questões.
Agora você vai responder a questão 4 e deseja olhar as informações já existentes do paciente,
inclusive as respostas que você forneceu em questões anteriores, para isso você tenta
localizá-las.
Você continuou respondendo as questões seguintes e logo após a de número 7, percebeu que
forneceu uma resposta errada, então pensou em voltar até ela para modificá-la.
Durante a solução da questão 8, acidentalmente você fechou a janela do navegador,
imediatamente você resolveu acessá-la novamente para terminar de respondê-la.
Depois disso continuou aresponder as questões até o final.
Após a conclusão saiu da prova.
Materiais necessários:
119
Cenário 2: Edição de informações e consulta de resultados
Descrição:
Você mudou seu endereço de e-mail e por isso deseja atualiza-lo no sistema de avaliação,
com está intenção você acessa o site do mesmo, fazlogine procura uma forma de editar seu
cadastro.
Aproveitando que já está acessando o site, você resolve olhar os resultados de uma prova
feita dias antes.
Materiais necessários:
120
Anexo 2: Cenários de interação do professor
Cenário 1: Criação das Questões
Descrição:
Você deseja criar, no sistema, as questões de uma prova sobre um caso clínico. Ela
já esta pronta em um documento do Word e os arquivos das imagens necessárias
também estão disponíveis.
Você acessa o site que lhe foi informado, digita seu usuário e senha e assim que o
login é concluído procura onde inserir as questões. Depois de achar, começa a
inserção: Para a questão 1,você escolhe o modelo “Escolha Única” e no enunciado dela cria o link
para a Figura 2.
Para a questão 2,você escolhe o modelo “Prioridade”, depois de inserir as opções de
respostas, você percebe que a ordem está errada e a altera.
Para a questão 3,você escolhe o modelo “Composta”, nela você coloca dados adicionas
para serem exibidos para os alunos antes do enunciado da pergunta.
Para a questão 4,você escolhe o modelo “Escolha Múltipla” e acrescenta o link para uma
imagem que você obteve de um equipamento de radiografia digital e está em formato
DICOM.
Para a questão 5,você escolhe o modelo “Direta”.
Para a questão 6,você escolhe o modelo “Falso/Verdadeiro”, durante a criação das
afirmativas você escolheu uma das respostas erradas, ao invés de “F“ (falso) deveria ser
“V” (verdadeiro), então você faz a correção.
Para a questão 7,você escolhe o modelo “Sub-questões”,quando está inserindo as opções
de respostas e marcando qual delas é a correta, você percebe que assinalou como correta
a opção errada e então faz a correção.
Para a questão 7,você escolhe o modelo “Correspondência”.
Para a questão 8, você escolhe o modelo “Medicamento”
Materiais necessários:
Caso clinico modelo.doc
Figura1 a 6
121
Cenário 2: Criação da descrição da prova e configuração de disponibilidade
Descrição:
Você já tem as questões criadas no sistema e agora vai criar a descrição da mesma e
configurá-la.Para isso você seleciona a opção que permite criar uma prova e começa
a preencher as informações pedidas. No tipo de prova você marca “caso clínico”.
Depois de “Salvar” você pede a inserção da descrição da prova e preenche com o
texto inicial do caso clínico, em alguma palavra deste texto você insere um vídeo do
"Youtube" que oferece uma explicação que você quer que os alunos vejam para
realizar a prova, e então salva a descrição.
Agora você escolhe as questões que deseja para esta avaliação e atribui pontuação a
cada uma delas,durante este processo você percebe que tem uma questão a mais,
então você a desassocia da prova.
Você visualiza a prova para ver como ficou.
Materiais necessários:
Caso clinico modelo.doc
Cenário 3: Visualização de Resultados do Grupo
Descrição:
Depois de seus alunos terem feito a avaliação você deseja ver os resultados do
grupo, então percorre um por um dos relatórios para ver qual mostra os dados da
forma como você quer.
Você encontra um relatório que mostra a nota de cada aluno, então você abre a prova
de um aluno específico para ver as respostas dele.
Depois você visualiza outro relatório que mostra todos os alunos com as notas em
cada uma das questões. Você o salva em arquivo para abrir posteriormente no Excel.
Finalmente você encontra um relatório que mostra as respostas dadas em cada uma
das questões junto com a porcentagem de alunos que a responderam.
Materiais necessários:
122
Anexo 3: Formulário de avaliação heurística de usabilidade da
interface do aluno
123
Anexo 4: Formulário de avaliação heurística de usabilidade da
interface do professor
124
Anexo 5: Indicações dos problemas de usabilidade no MedCC
apontadas durante as avaliações heurísticas realizadas para a
validação
Os problemas apontados na avaliação são apresentados organizados por
heurística, e dentro destas separados em interface do professor e do aluno. A
descrição inicia pelas de Nielsen (1995).
1. Visibilidade de status do sistema: foram 4 indicações na interface do professor
e 3 na do aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 7: "Posição da janela de mensagem de erro está fora do campo de
visão do usuário".
Situação: Janela de mensagem.
Grau de severidade: 3.
b) Avaliador 6: "Não é perceptível que o enunciado da questão é um link, só quando
o mouse é posicionado sobre o texto é possível perceber".
Situação: Lista de questões inseridas.
Grau de severidade: 3.
c) Avaliador 6: "Não está claro que para editar a questão tem clicar sobre o
enunciado da mesma e então o sistema abre o formulário correspondente".
Situação: Lista de questões inseridas.
Grau de severidade: 3.
d) Avaliador 6: "O ícone para relacionar os itens é inexpressivo. Não é perceptível
que é necessário clicar nele para criar a relação".
Situação: Questão Correspondência.
Grau de severidade: 4.
Interface do Aluno:
a) Avaliador 3: "O sistema poderia informar qual questão estou respondendo dentro
do conjunto. Exemplo: questão 1 de 10".
Situação: Durante realização da prova.
Grau de severidade: 3.
b) Avaliador 5: "Após várias mensagens de erro via alert(), a mensagem de
125
finalização tem grande potencial de ser ignorada.
Situação: Alerta de finalização da prova.
Grau de severidade: 4.
c) Avaliador 5: "Vários links não têm nenhuma funcionalidade associada".
Situação: Funcionalidades faltantes.
Grau de severidade: 5.
2. Relacionamento entre a interface do sistema e o mundo real: foram 4
indicações na interface do professor e 1 na do aluno, as quais são apresentadas
abaixo:
Interface do Professor:
a) Avaliador 6: "Não fica claro o que é a categoria que pode ser escolhida para a
resposta da questão".
Situação: Categoria na resposta correta.
Grau de severidade: 2.
b) Avaliador 6: "Os nomes dos tipos de questão não são muito significativos, não
representando adequadamente como elas são".
Situação: Identificação dos tipos de questão.
Grau de severidade:2.
c) Avaliador 6: "A opção de discussão online dá a entender que será feito um fórum
de discussão online após a resolução da prova, o que não é real".
Situação: Opção discussão online no formulário de criação da prova.
Grau de severidade: 3.
d) Avaliador 6: "Não fica clara a proposta do tipo de questão, ou seja, como o aluno
deverá responder".
Situação: Questão Prioridade.
Grau de severidade: 3.
Interface do Aluno:
a) Avaliador 7: "A opção "saiba mais" deveria estar desabilitada se o professor não
digitou nada neste campo".
Situação: A opção "saiba mais".
Grau de severidade: 3.
3. Liberdade e controle do usuário: foram 8 indicações na interface do professor
126
e 6 na do aluno, as quais são apresentadas a seguir:
Interface do Professor:
a) Avaliador 3: "Em questões diretas o sistema não é claro e nem orienta como
inserir as respostas".
Situação: Inserção de respostas.
Grau de severidade: 4.
b) Avaliador 3: "Se estou criando uma prova, primeiro faço uma descrição e a seguir
vou criar as questões. O modelo apresentado não dá a liberdade de seguir estes
passos. Primeiro tenho que criar o banco de questões para depois criar a prova".
Situação: Descrição da prova.
Grau de severidade: 4.
c) Avaliador 3: "O sistema não informa que não posso visualizar uma prova
somente com a descrição, se a inclusão de alguma questão".
Situação: Visualizar prova.
Grau de severidade: 4.
d) Avaliador 6: "O botão "Salvar" passa a impressão de que se for clicado salva as
sub-questões, mesmo que elas não tenham sido adicionadas com o botão "Incluir
Sub-questão". Sugestão: deixar o botão "Salvar" desabilitado até ter as sub-
questões inseridas".
Situação: Questão Sub-questão.
Grau de severidade: 4.
e) Avaliador 2: "Quando é inserida apenas imagem no enunciado da questão, não
aparece o link para acesso à mesma".
Situação: Link da questão.
Grau de severidade: 4.
f) Avaliador 3: "Telas de visualização não possuem o botão voltar".
Situação: Voltar.
Grau de severidade: 4.
g) Avaliador 7: "Falta de botão de Voltar/avançar".
Situação: Voltar/avançar.
Grau de severidade: 4.
h) Avaliador 7: "Falta do botão "home"."
Situação: Botão "home".
Grau de severidade: 4.
127
Interface do Aluno:
a) Avaliador 7: "Na hora de me cadastrar como aluno, telefone não é dado essencial
e está marcado como obrigatório".
Situação: Telefone marcado como obrigatório.
Grau de severidade: 3.
b) Avaliador 4: "Na descrição da prova, abre um javascript15 mas não tem o botão
com a opção de fechar. Tem que clicar novamente no link descrição... isso não é
intuitivo para todos os usuários".
Situação: Fechar Janela.
Grau de severidade: 4.
c) Avaliador 2: "Ao clicar no link para visualizar imagens, o usuário é direcionado
para a tela inicial e precisa enviar todas as questões novamente para voltar onde
estava".
Situação: Visualizar imagens.
Grau de severidade: 5.
d) Avaliador 3: "Ao visualizar a figura indicada nas questões não há como voltar
para a questão".
Situação: Visualizar figura.
Grau de severidade: 5.
e) Avaliador 3: "Se esquecer de responder a questão ou clicar acidentalmente no
botão enviar, o usuário não tem a opção de voltar".
Situação: Questão medicamentos.
Grau de severidade: 5.
f) Avaliador 7: "Na opção de abrir Figura (na prova), depois tem que voltar pelo
browser".
Situação: Visualização de figura na prova.
Grau de severidade: 5.
4. Consistência e padrões: foram 18 indicações na interface do professor e 4 na
do aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 7: "O campo de Hora/minuto está em linhas diferentes".
15 Linguagem de programação para internet
128
Situação: Campo de Hora/minuto.
Grau de severidade: 2.
b) Avaliador 1: "O exemplo da múltipla escolha tem formato diferente dos demais
exemplos. A escolha única não tem exemplo. (Viola consistência e prevenção de
erros)".
Situação: Exemplos de questão.
Grau de severidade: 2.
c) Avaliador 1: "O botão de inclusão de novas alternativas não está claro (com cara
de botão). Nos sistemas normalmente você clica em inserir e depois digita a
resposta, aqui acontece o contrário... (consistência externa)".
Situação: Botão para incluir alternativas na questão não está claro.
Grau de severidade: 3.
d) Avaliador 6: "No formulário de criação da prova, nos campos com barra de
ferramenta não é possível colar textos copiados do editor Word, pois a
formatação vem junto".
Situação: Uso do copiar e colar no formulário da prova.
Grau de severidade: 3.
e) Avaliador 7: "As janelas de erro deveriam ter um símbolo para dizer que é
"ERRO"".
Situação: Janelas de erro.
Grau de severidade: 3.
f) Avaliador 3: "A inserção de questões em Correspondência, não segue a mesma
forma que em outras questões. Por exemplo no quadro que insere uma questão
nos outros modos já podemos atribuir a resposta o que não ocorre em
Correspondência".
Situação: Formas de inserção de texto.
Grau de severidade: 3.
g) Avaliador 1: "A edição está intuitiva, mas assim como há ícone para exclusão, um
ícone de edição diminuiria a possibilidade de erros".
Situação: Edição F/V
Grau de severidade: 3.
h) Avaliador 1: "Na questão de escolha única tive problemas com o ícone de incluir
alternativas. Talvez fosse interessante trabalhar a consistência interna entre os
"incluir"".
129
Situação: Incluir questão vs incluir alternativa
Grau de severidade: 3.
i) Avaliador 4: "Os links, exemplo Incluir Questão, estão difíceis de identificar, pois
estão pequenos e com a cor muito fraca. Sugiro usar botão com metáfora e texto
talvez. Aumentar o tamanho e deixar mais em destaque na tela".
Situação: Links.
Grau de severidade: 3.
j) Avaliador 6: "Ele não está representando satisfatoriamente o objetivo que é a
duplicação da questão e parece com um elemento desabilitado por causa da cor
cinza".
Situação: Ícone de duplicação da questão.
Grau de severidade: 3.
k) Avaliador 6: "No menu lateral o link de acesso às provas é "Provas" e no superior
é "Lista de Provas", o ideal é que sejam iguais".
Situação: Nome de links diferentes.
Grau de severidade: 3.
l) Avaliador 7: "Botões de "incluir" e "+" fazem a mesma coisa".
Situação: botões com mesma função.
Grau de severidade: 3.
m) Avaliador 6: "Os nomes utilizados para identificar os blocos de opções que serão
relacionados, "itens com numeração romana" e "itens com numeração
alfabética", não ajuda no reconhecimento do que eles são".
Situação: Questão Correspondência.
Grau de severidade: 3.
n) Avaliador 1: "Não percebi o salvamento da pontuação e fiquei com medo de
salvar a prova sem os pesos das questões, como aconteceu no caso das sub-
questões".
Situação: salvamento pontuação prova.
Grau de severidade: 3.
o) Avaliador 2: "Tela de inserção de imagens um pouco confusa e fora do padrão do
sistema".
Situação: Inserção de Imagens.
Grau de severidade: 4.
p) Avaliador 1: "Acrescentar sub-questão tem que ser clicado no final do processo,
130
quando o usual é que seja no início".
Situação: Sub-questão
Grau de severidade: 4.
q) Avaliador 6: "Não há opção de cancelar o preenchimento do formulário em
nenhum dos cadastros. Sugestão: colocar o botão Cancelar".
Situação: Botão Cancelar.
Grau de severidade: 4.
r) Avaliador 4: "Em algumas situações (upload de imagens e inserção de links) o
popup abre muito pequeno e as informações ficam ocultas... o usuário precisa
dimensionar manualmente... não são todos os usuários que são capazes de
fazer esse dimensionamento”.
Situação: PopUp pequenos.
Grau de severidade: 5.
Interface do Aluno:
a) Avaliador 3: "O botão "incluir" que não foi utilizado em outras situações pode
passar imperceptível e não há mensagens a respeito".
Situação: Questão medicamentos.
Grau de severidade: 3.
b) Avaliador 5: "Na página de contato o link "saiba mais" fica quebrado. Basta usar
o 16 ou adaptar as margens e posicionamento para a largura disponível".
Situação: Saiba mais quebrado na página de contato.
Grau de severidade: 3.
c) Avaliador 4: "O link de alterar cadastro não está funcionando e leva o usuário ao
erro".
Situação: Link não funciona.
Grau de severidade: 4.
d) Avaliador 7: "Salvou cadastro mesmo com senha com 5 caracteres ao invés de
6".
Situação: Cadastro de usuário.
Grau de severidade: 4.
5. Prevenção de erros: foram 8 indicações na interface do professor e 10 na do
16 Representação de espaço na linguagem HTML
131
aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 3: "Ao fazer a descrição da prova o sistema não avisa a inserção do
observador e responsável. As informações aparecem listadas na tela, mas seria
interessante apresentar um diálogo, pois esta lista pode passar despercebida".
Situação: Escolha de observador e responsável.
Grau de severidade: 3.
b) Avaliador 6: "No formulário da descrição da prova há o botão "Visualizar Prova",
mas ao clicar não aparece conteúdo. Isto acontece quando ainda não há
questões na prova, mas está condição não é informada ao usuário".
Situação: Visualização da prova.
Grau de severidade: 3.
c) Avaliador 1: "Mesmo sem eu ter assinalado nenhuma correspondência para
determinado item, a mensagem foi de sucesso. Pode ficar item sem
correspondência?"
Situação: Sucesso a itens não assinalados em correspondência.
Grau de severidade: 3.
d) Avaliador 2: "Não fica claro como alterar a resposta correta em questões de sub-
questões".
Situação: Alteração da resposta correta.
Grau de severidade: 4.
e) Avaliador 7: "Deveria desabilitar o botão de salvar até que as respostas fossem
inseridas. Sugestão é de perguntar ao usuário quantas respostas possíveis. Gera
problema se eu resolver salvar antes de inserir todas as respostas possíveis."
Situação: Deveria desabilitar o botão.
Grau de severidade: 4.
f) Avaliador 1: "O botão de incluir sub-questão "pede" para ser clicado quando
vamos adicionar alternativas á ela".
Situação: Sub-questão.
Grau de severidade: 4.
g) Avaliador 1: "Falta explicação sobre as categorias de questões. Escolha única é
uma múltipla escolha com apenas uma alternativa certa ou uma questão que só
tem uma resposta?"
Situação: Falta de ajuda na escolha única.
132
Grau de severidade: 4.
h) Avaliador 4: "Não foi possível fazer upload de arquivos na extensão jpeg. Tentei
fazer várias vezes na questão 1. Tinha uma questão (4) que pedia para incluir
imagem... não foi possível realizar".
Situação: Upload de arquivos.
Grau de severidade: 5.
Interface do Aluno:
a) Avaliador 1: "Não cliquei e fiquei sem resposta..."
Situação: Ícone verdinho na questão 11.
Grau de severidade: 3.
b) Avaliador 3: "Geralmente o usuário não sabe a diferença de "bolinhas" e
"quadradinhos". Sugestão ao clicar numa "bolinha" ou "quadradinho" poderia
aparecer um alerta com opção de desabilitar este alerta nas próximas questões".
Situação: Formulários.
Grau de severidade: 3.
c) Avaliador 3: "Ao entrar na tela imprimir acidentalmente não há como voltar para a
tela anterior, sem usar os recursos do browser".
Situação: Imprimir.
Grau de severidade: 3.
d) Avaliador 4: "Caso o professor não tenha configurado pra abrir imagem no
popup, então colocar isso como padrão... ou rever o link de retornar colocando
um botão na interface que retorna para a questão".
Situação: Erro para visualizar imagem.
Grau de severidade: 4.
e) Avaliador 3: "Ao inserir um texto, às vezes o sistema demora a responder.
Interessante informar o usuário que o problema é do sistema e não dele. Caso
contrário ele ficará tentando digitar indiscriminadamente".
Situação: Entrada de textos.
Grau de severidade: 4.
f) Avaliador 5: "Em vez de usuário como rótulo, o campo deveria estar com CPF".
Situação: Campo de login.
Grau de severidade: 4.
g) Avaliador 2: "Links para dados cadastrais, contato e resultados quebrados".
Situação: Ícone links quebrados.
133
Grau de severidade: 5.
h) Avaliador 2: "Não ficou claro que precisava clicar no botão para enviar".
Situação: Questão Medicamento.
Grau de severidade: 5.
i) Avaliador 5: "Ao acessar o link "saiba mais" de alguns eventos, o popup aparece
sem conteúdo".
Situação: Conteúdo faltante.
Grau de severidade: 5.
j) Avaliador 5: "Durante o preenchimento da prova, em questões com vários
campos, faltou indicar qual faltava responder".
Situação: Preenchimento de questões com vários campos.
Grau de severidade: 5.
6. Reconhecimento ao invés de lembrança: foram 3 indicações na interface do
professor e 1 na do aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 4: "Os exemplos de questões prontas ficam disponíveis apenas no
início, quando o usuário seleciona o tipo de questão, sugiro colocar uma opção
para visualizar novamente, no formulário de edição da questão".
Situação: Visualização dos Exemplos de Questões.
Grau de severidade: 3.
b) Avaliador 42: "Não ficou clara a diferença entre os ícone do link e âncora".
Situação: Link.
Grau de severidade: 3.
c) Avaliador 7: "No modelo de provas, aparece uma tela que confunde o usuário,
deveria ter um título de "EXEMPLO"".
Situação: Modelo de prova.
Grau de severidade: 4.
Interface do Aluno:
a) Avaliador 34: O usuário precisa lembrar-se da sequência de passos para acessar
a aplicação.
Situação: Participar na primeira tela.
Grau de severidade: 4.
134
7. Flexibilidade e eficiência de uso: foram 1 indicações na interface do professor
e 10 na do aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 4: "Em algumas situações (upload de imagens e inserção de links) o
popup abre muito pequeno e as informações ficam ocultas... o usuário precisa
dimensionar manualmente... não são todos os usuários que são capazes de
fazer esse dimensionamento".
Situação: PopUp pequenos.
Grau de severidade: 5.
Interface do Aluno:
a) Avaliador 5: "As mensagens de erro atrapalham e dificultam o uso. Ao final, o
usuário acaba querendo sempre fechar os alerts() sem ler o mensagem".
Situação: Mensagens de erro em popups.
Grau de severidade: 3.
b) Avaliador 5: "Os campos nas respostas não contam com tags <label>17, que
facilitam o uso e possibilitam que os usuários acionem os campos clicando nos
rótulos".
Situação: Formulários com HTML inadequado.
Grau de severidade: 3.
c) Avaliador 5: "Ao finalizar uma questão e apresentar uma nova, foi necessário
usar a barra de rolagem para visualizar a nova questão. O site poderia deixar a
questão visível".
Situação: Apresentação de novas questões.
Grau de severidade: 3.
d) Avaliador 5: "Para quem tem um cliente de email configurado, será necessário
copiar e colar o endereço de email na página de contato".
Situação: Email sem link de e-mail.
Grau de severidade: 3.
e) Avaliador 5: "O formulário poderia gravar um cookie18 com o CPF e preencher
automaticamente para facilitar o login".
Situação: Auto preenchimento do CPF.
Grau de severidade: 3.
17 Marcadores de formatação da linguagem HTML que definem um rótulo de formulário. 18 Recurso de linguagem de programação que armazena informações no navegador do usuário.
135
f) Avaliador 6: "Depois de visualizar uma figura e voltar para a prova é necessário
clicar novamente no botão questões, pois as questões já exibidas desaparecem".
Situação: Visualização de figura na prova.
Grau de severidade: 3.
g) Avaliador 7: "Quando volta pelo browser vai para o começo da prova. Permite
que possa voltar e modificar a resposta".
Situação: Retorno a prova após ver figura.
Grau de severidade: 4.
h) Avaliador 5: "Não é possível navegar usando apenas o teclado".
Situação: Não é possível navegar usando apenas o teclado.
Grau de severidade: 4.
i) Avaliador 3: "Ao acessar a Figura a partir de uma questão, o usuário não
consegue voltar para a questão".
Situação: Figura.
Grau de severidade: 5.
j) Avaliador 5: "Manipulação automática durante o preenchimento de CPF dificulta
a edição de erros".
Situação: Erro na manipulação de eventos no campo CPF.
Grau de severidade: 5.
8. Estética e design minimalista: não houve indicação na interface do aluno e na
do professor foram 3, as quais são apresentadas abaixo:
a) Avaliador 2: "A janela abre quase minimizada".
Situação: Inserção de imagens.
Grau de severidade: 3.
b) Avaliador 4: "Os botões salvar e visualizar a prova devem estar no rodapé da
página... as demais informações devem, caso sejam relevantes, vir antes ou
aparecer como opção na interface".
Situação: Na página de Definição da Prova.
Grau de severidade: 3.
c) Avaliador 7: "inserir uma alternativa e clicar em "+" torna-se cansativo".
Situação: Inserir uma alternativa.
Grau de severidade: 3.
136
9. Ajudar os usuários a reconhecer, diagnosticar e sanar erros: foram 5
indicações na interface do professor e 1 na do aluno, as quais são apresentadas
abaixo:
Interface do Professor:
a) Avaliador 7: "Na hora de inserir (insert) aparece uma tela de erro em inglês sem
muita explicação".
Situação: Tela de erro em inglês sem muita explicação.
Grau de severidade: 3.
b) Avaliador 3: "Ao salvar uma questão acidentalmente, o sistema não informa ou
não pergunta se é o momento de salvar".
Situação: Inserção de questões.
Grau de severidade: 3.
c) Avaliador 7: "Em criação de questões. Se eu digitar apenas uma alternativa e
quiser salvar, a mensagem que aparece não é clara e gera confusão".
Situação: Em criação de questões.
Grau de severidade: 3.
d) Avaliador 3: "O sistema não informa se a figura foi inserida".
Situação: Inserção de figuras.
Grau de severidade: 4.
e) Avaliador 4: "Os exemplos de questões prontas ficam disponíveis apenas no
início, quando o usuário seleciona o tipo de questão, sugiro colocar uma opção
para visualizar novamente, no formulário de edição da questão".
Situação: Visualização dos Exemplos de Questões.
Grau de severidade: 4.
Interface do Aluno:
a) Avaliador 3: "O sistema não mostra quando o usuário esquece de responder
questões texto".
Situação: Entrada de textos.
Grau de severidade: 5.
10. Ajuda e documentação: foram 8 indicações na interface do professor e 1 na do
aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 6: "Não fica claro como este do tipo de questão funciona. É importante
137
ter uma orientação acompanhando".
Situação: Questão composta.
Grau de severidade: 2.
b) Avaliador 3: "Ao inserir um arquivo, o sistema não informa se o mesmo foi
inserido corretamente".
Situação: Inserção de arquivos.
Grau de severidade: 3.
c) Avaliador 6: "A escolha da categoria de resposta, da maneira como está
agrupada com o Situação onde devem ser inseridas as respostas corretas
parece que é de escolha obrigatória. Seria importante ter uma orientação junto
ao campo".
Situação: Categoria na resposta correta.
Grau de severidade: 3.
d) Avaliador 6: "Não está claro como fazer para mudar a resposta correta de cada
afirmativa. Seria interessante se fosse parecida com a de escolha única".
Situação: Questão Falso/Verdadeiro.
Grau de severidade: 3.
e) Avaliador 6: "Não está claro que é para inserir somente as respostas corretas, ela
confunde com as de escolha única e múltipla. Seria interessante ter uma
orientação".
Situação: Questão direta.
Grau de severidade: 3.
f) Avaliador 3: "O sistema não informa como inserir uma figura".
Situação: Inserção de figuras.
Grau de severidade: 4.
g) Avaliador 6: "Não é clara a forma como as questões devem ser associadas a
prova, ou seja, na interface não há orientação de como deve ser feito o
processo".
Situação: Incluir as questões na prova.
Grau de severidade: 4.
h) Avaliador 3: "O sistema não informa que uma nova janela foi aberta para
visualizar os resultados e nem mostra uma forma de fechar esta janela".
Situação: visualizar resultados.
Grau de severidade: 4.
138
Interface do Aluno:
a) Avaliador 3: "Apesar de existir não fica claro para o usuário".
Situação: Orientação.
Grau de severidade: 4.
As violações apresentadas na sequência são agrupadas por heurística
especializada.
H1. Percepção clara de mudanças na interface e direcionamento: foram 6
indicações na interface do professor e 2 na do aluno, as quais são apresentadas
abaixo:
Interface do Professor:
a) Avaliador 2: "Quando você acessa uma questão pela lista, só sai desta tela
salvando novamente".
Situação: Lista de Questões.
Grau de severidade: 3.
b) Avaliador 3: "Na atribuição de pontos, ao inserir uma pontuação o campo do
formulário fica verde quando a informação é salva. Mas, essa mudança de cor
não fica claro para o usuário. Qual o significado desta mudança de cor?"
Situação: Salvar pontuação.
Grau de severidade: 3.
c) Avaliador 2: "Não fica claro que a prova esta sendo visualizada em uma nova
página".
Situação: Visualização da Prova.
Grau de severidade: 4.
d) Avaliador 2: "Ao escolher arquivo, depois de clicar em Upload, não mostra o
próximo passo".
Situação: Inserção de Imagens.
Grau de severidade: 5.
e) Avaliador 2: "Ao clicar no botão salvar, a pagina direciona o professor para o
inicio da pagina, mas existem outras informações que são inseridas na página
(no final) após clicar neste botão (Não fica claro isso)".
Situação: Botão salvar prova.
Grau de severidade: 5.
139
f) Avaliador 3: "O exemplo que aparece na seleção do tipo de questão é muito
parecido com uma tela real induzindo o usuário erros ao clicar num botão que
não é real".
Situação: Imagens que confundem.
Grau de severidade: 5.
Interface do Aluno:
a) Avaliador 6: "O link "Dados cadastrais" não leva a lugar nenhum e não dá
nenhum tipo de aviso ao usuário".
Situação: Alteração de dados pessoais.
Grau de severidade: 4.
b) Avaliador 6: "O link "Resultados" não leva a lugar nenhum e não dá nenhum tipo
de aviso ao usuário".
Situação: Visualização de resultados.
Grau de severidade: 4.
H2. Visualização das ações automáticas do sistema: não houve indicação para a
interface do professor, para a do aluno houve uma, a qual é apresentada abaixo.
a) Avaliador 3: "Ao inserir um texto, às vezes o sistema demora a responder.
Interessante informar o usuário que o problema é do sistema e não dele".
Situação: Entrada de textos.
Grau de severidade: 4.
H3. Organização dos elementos da avaliação: não houveram indicações.
H4. Proximidade com o mundo real: não houve indicação para a interface do
aluno, para a do professor houve uma, a qual é apresentada abaixo.
a) Avaliador 3: "Se estou criando uma prova, primeiro faço uma descrição e a seguir
vou criar as questões. O modelo apresentado não dá a liberdade de seguir estes
passos. Primeiro tenho que criar o banco de questões para depois criar a prova".
Situação: Inserção de questões.
Grau de severidade: 4.
H5. Correção e orientação de erros: não houve indicação para a interface do
aluno, para a do professor houveram 6, as quais são apresentadas abaixo.
140
a) Avaliador 1: "Usuário loga pelo CPF e há dificuldade na correção de dados. o
"ponto" não permite limpeza do campo com backspace".
Situação: Login.
Grau de severidade: 3.
b) Avaliador 2: "Tela de inserção de imagens um pouco confusa e fora do padrão do
sistema".
Situação: Inserção de Imagens.
Grau de severidade: 4.
c) Avaliador 6: "Não estão explicando o local do problema, só informam que ocorreu
e indicam que tipo de problema foi".
Situação: Mensagens de erro/problemas.
Grau de severidade: 4.
d) Avaliador 1: "O sistema me pede para preencher campos obrigatórios mas não
visualizo qual campo deixei de preencher..."
Situação: Segunda alternativa questão escolha única.
Grau de severidade: 4.
e) Avaliador 3: "Nem sempre o sistema avisa que faltou preencher mais itens em
questões de múltipla alternativas".
Situação: Inclusão de questões.
Grau de severidade: 4.
f) Avaliador 1: Não consigo procurar imagem para inserir no enunciado".
Situação: Inserção de imagem.
Grau de severidade: 5.
H6. Padronização visual e organizacional: foram 6 indicações na interface do
professor e 5 na do aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 6: "Na tela de acesso à criação das questões, o link "Inserir Questão"
está com pouco destaque, a lista de filtragem (combobox) está chamando mais
atenção. Ele poderia ser um botão".
Situação: Criação da questões.
Grau de severidade: 2.
b) Avaliador 6: "O link está muito escondido, passa despercebido".
Situação: Link "Incluir Descrição da Prova".
141
Grau de severidade: 2.
c) Avaliador 6: "A posição dos botões deveria ser no final, é mais lógico".
Situação: Formulário de descrição da prova.
Grau de severidade: 3.
d) Avaliador 6: "O link para escolha das questões que farão parte da prova, tem
pouca visibilidade. A sugestão é usar um botão ao invés de link".
Situação: Selecionar as questões.
Grau de severidade: 3.
e) Avaliador 7: "A tela está com distribuição ruim dos elementos. Falta botões de
voltar, home, mapa. O design não está visualmente bom".
Situação: O design não está visualmente bom.
Grau de severidade: 3.
f) Avaliador 3: "Não tem botão de fechar, tem que fechar a aba do navegador".
Situação: Visualização da prova.
Grau de severidade: 4.
Interface do Aluno:
a) Avaliador 5: "Os campos nas respostas não contam com tags <label>, que
facilitam o uso e possibilitam que os usuários acionem os campos clicando nos
rótulos".
Situação: Formulários com HTML inadequado.
Grau de severidade: 3.
b) Avaliador 5: "Os links tem cores específicas, mas o link sair não é sublinhado e
está na mesma cor que o texto".
Situação: Link sair não parece com um link.
Grau de severidade: 3.
c) Avaliador 5: "Na homepage, antes de logar, os links 'saiba mais' estão com a
mesma cor que o eventos atuais".
Situação: Consistência de cores do saiba mais e eventos atuais.
Grau de severidade: 3.
d) Avaliador 6: "Na opção de menu "Meus Dados" o link Contato fica confuso, não
está claro que é contato com o administrador do sistema".
Situação: Item "Contato".
Grau de severidade: 3.
e) Avaliador 5: "Os eventos atuais vão para a parte esquerda da tela e o fundo fica
142
bom baixo contraste, inconsistente com o restante do site".
Situação: Falta de consistência na página de contato.
Grau de severidade: 4.
H7. Minimização e prevenção de alterações acidentais: não houve indicação
para a interface do professor, para a do aluno houveram 6, as quais são
apresentadas abaixo:
a) Avaliador 4: "Caso o professor não tenha configurado pra abrir imagem no
popup, então colocar isso como padrão... ou rever o link de retornar colocando
um botão na interface que retorna para a questão".
Situação: Erro para visualizar imagem.
Grau de severidade: 4.
b) Avaliador 2: "O usuário consegue alterar sua resposta anterior após visualizar
uma imagem e a tela voltar para a inicial".
Situação: Alteração da resposta.
Grau de severidade: 5.
c) Avaliador 2: "Não ficou claro que precisava clicar no botão para enviar".
Situação: Questão Medicamento.
Grau de severidade: 5.
d) Avaliador 3: "Se o usuário enviar sem querer uma questão escrita vazia o
sistema não informa que não tem resposta, como acontece com as questões
teste. Poderia ser acidental o envio".
Situação: Entrada de textos.
Grau de severidade: 5.
e) Avaliador 3: "Se esquecer de responder a questão ou clicar acidentalmente no
botão enviar, o usuário não tem a opção de voltar".
Situação: Questão medicamentos.
Grau de severidade: 5.
f) Avaliador 3: "O botão "incluir" que não foi utilizado em outras situações pode
passar imperceptível e não há mensagens a respeito. Depois de enviar esta
questão o sistema se encerra".
Situação: Questão medicamentos.
Grau de severidade: 5.
143
H8. Condução e direcionamento: não houve indicação para a interface do aluno,
para a do professor houveram 11, as quais são apresentadas abaixo:
a) Avaliador 3: "Da forma como o texto é apresentado não fica claro se a prova
ficará disponível no horário programado ou a partir do momento que é criada".
Situação: "Disponibilidade da prova".
Grau de severidade: 3.
b) Avaliador 6: "A descrição da prova fica separada da configuração, seria
interessante que fosse na mesma tela, fica confuso separado".
Situação: Separação da configuração e da descrição da prova.
Grau de severidade: 3.
c) Avaliador 4: "Os exemplos de questões prontas ficam disponíveis apenas no
início, quando o usuário seleciona o tipo de questão, sugiro colocar uma opção
para visualizar novamente, no formulário de edição da questão".
Situação: Visualização dos Exemplos de Questões.
Grau de severidade: 3.
d) Avaliador 6: "A localização da descrição da prova, com a qual devem ser
associadas as questões não é fácil de encontrar".
Situação: Incluir as questões na prova.
Grau de severidade: 3.
e) Avaliador 6: "Estando na descrição da prova, seria interessante ter um link no
menu lateral para voltar ao formulário da prova".
Situação: Acesso ao formulário de prova já cadastrada.
Grau de severidade: 3.
f) Avaliador 2: "O botão salvar não ficou muito visível para salvar uma prova".
Situação: Botão salvar prova.
Grau de severidade: 4.
g) Avaliador 7: "A área de edição poderia ser melhor mapeada. Desabitar o botão
de "+" até o usuário digitar a resposta".
Situação: A área de edição.
Grau de severidade: 4.
h) Avaliador 2: "Não está claro onde se deve clicar para adicionar URL da imagem".
Situação: Inserção de imagens.
Grau de severidade: 4.
i) Avaliador 3: "O sistema não informa que não posso visualizar uma prova
144
somente com a descrição, se a inclusão de alguma questão".
Situação: Visualizar prova.
Grau de severidade: 4.
j) Avaliador 2: "Ao escolher arquivo, depois de clicar em Upload, não mostra que a
imagens já foi inserida".
Situação: Inserção de Imagens.
Grau de severidade: 5.
k) Avaliador 2: "Ao visualizar uma prova, fica confuso o que o usuário deve fazer,
pois não fica claro a abertura em nova página".
Situação: Visualização da Prova.
Grau de severidade: 5.
H9. Interface intuitiva: foram 20 indicações na interface do professor e 3 na do
aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 6: "Na inclusão da sub-questão não está claro se o botão "Incluir sub-
questão" deve ser clicado para guardar o que já está digitado ou se para limpar
os campos para inserir mais uma sub-questão".
Situação: Questão Sub-questão.
Grau de severidade: 2.
b) Avaliador 6: "Não fica claro o que é o texto adicional, seria interessante ter uma
orientação ao usuário".
Situação: Texto adicional na questão.
Grau de severidade: 2.
c) Avaliador 6: "Não fica claro que aquela é uma visualização parecida com a que o
aluno irá ter da prova".
Situação: Visualização da prova.
Grau de severidade: 2.
d) Avaliador 6: "Não há explicação sobre o que é a descrição da prova, portanto não
se sabe para o que serve este campo".
Situação: Finalidade da Descrição da Prova.
Grau de severidade: 2.
e) Avaliador 6: "No formulário de criação da questão, não fica claro que não é
necessário atribuir numeração à questão. Seria interessante ter uma orientação
145
para o usuário".
Situação: Numeração das questões.
Grau de severidade: 2.
f) Avaliador 6: "Na hora de inserir as alternativas de respostas a interface não deixa
claro que é possível inserir várias".
Situação: Questão Escolha Única.
Grau de severidade: 3.
g) Avaliador 7: "Em "Escolha única" não consegui visualizar o modelo".
Situação: Escolha única - modelo.
Grau de severidade: 3.
h) Avaliador 7: "Quando o professor quer visualizar a nota de um aluno, tem que
clicar em cima do nome".
Situação: Link para notas.
Grau de severidade: 3.
i) Avaliador 6: "Na tela de acesso à criação das questões, não fica claro que não é
necessário fazer filtragem usando o campo "Filtrar por" para incluir uma questão.
Talvez ele devesse aparecer só quando já houvessem questões cadastradas".
Situação: Criação da questões.
Grau de severidade: 3.
j) Avaliador 6: "No formulário de criação da prova não está claro que já há um
responsável pré-definido, dá a impressão de que é necessário selecionar na lista
de opções".
Situação: Definição do responsável.
Grau de severidade: 3.
k) Avaliador 6: "No formulário de criação da prova não fica claro qual é o papel do
observador, o nome do campo não ajuda a saber para o que serve".
Situação: Observador.
Grau de severidade: 3.
l) Avaliador 2: "Muito complicado alterar a resposta correta em questões sub-
questões".
Situação: Alteração da resposta correta.
Grau de severidade: 4.
m) Avaliador 2: "Não está claro o que são estas categorias".
Situação: Escolha da categoria.
146
Grau de severidade: 4.
n) Avaliador 6: "A organização dos campos no formulário de criação deste tipo de
questão gera bastante confusão por se tratar de duas questões inseridas em
uma só. Os agrupamentos não estão claros, não dá para perceber onde colocar
a resposta correta da primeira pergunta".
Situação: Questão composta.
Grau de severidade: 4.
o) Avaliador 6: "No formulário de criação da prova não está claro para o que serve o
campo orientação".
Situação: Texto de orientação inicial.
Grau de severidade: 4.
p) Avaliador 6: "No formulário de criação da prova não está claro para o que serve o
campo texto final. Sugestão de colocar o rótulo do campo como "Texto que
aparece no final da prova"".
Situação: Texto final.
Grau de severidade: 4.
q) Avaliador 1: "Item do menu não funciona... tenho que entrar na prova para
visualizá-la".
Situação: Visualização da prova.
Grau de severidade: 4.
r) Avaliador 3: "O uso do ícone "incluir" não fica claro".
Situação: Ícones.
Grau de severidade: 4.
s) Avaliador 1: "Link em azul claro no meio de um monte de textos em vermelho -
não há visibilidade".
Situação: incluir descrição da prova.
Grau de severidade: 4.
t) Avaliador 3: "Telas de visualização não possuem o botão voltar".
Situação: Voltar.
Grau de severidade: 4.
Interface do Aluno:
a) Avaliador 1: "Depois de visualizar figura da questão 1 falta botão de fechar (o
ideal seria abrir em uma camada na mesma página ou em uma nova aba)".
Situação: Figura questão 1.
147
Grau de severidade: 3.
b) Avaliador 4: "Na descrição da prova, abre um javascript mas não tem o botão
com a opção de fechar. Tem que clicar novamente no link descrição... isso não é
intuitivo para todos os usuários".
Situação: Fechar Janela.
Grau de severidade: 4.
c) Avaliador 4: "O link de alterar cadastro não está funcionando e leva o usuário ao
erro".
Situação: Link não funciona.
Grau de severidade: 4.
H10. Flexibilidade e controle do professor: não houve indicação para a interface
do aluno, para a do professor houveram 4, as quais são apresentadas abaixo.
a) Avaliador 3: "Nem sempre o sistema avisa que faltou preencher mais itens em
questões de múltipla alternativas".
Situação: Inclusão de questões.
Grau de severidade: 4.
b) Avaliador 3: "O sistema não dá a possibilidade do professor criar questões
enquanto insere questões na prova".
Situação: Inserção de questões.
Grau de severidade: 4.
c) Avaliador 3: "O sistema não dá a possibilidade do professor editar questões e
corrigir eventuais erros enquanto insere questões na prova".
Situação: Edição de questões.
Grau de severidade: 4.
d) Avaliador 3: "O sistema não permite visualizar questões (a mesma visão do
aluno) enquanto as questões estão sendo elaboradas no banco de questões".
Situação: visualizar questões.
Grau de severidade: 4.
H11. Navegação simplificada: foram 4 indicações na interface do professor e 1 na
do aluno, as quais são apresentadas abaixo:
Interface do Professor:
a) Avaliador 3: "Algumas tabelas de resultados são muito longas o que gera barras
148
de rolagem horizontais e verticais, dificultando a navegação. Sugestão: dar a
alternativa de salvar o arquivo para ser visualizado em outra plataforma".
Situação: Visualizar resultados.
Grau de severidade: 3.
b) Avaliador 6: "Uso excessivo de cliques para fazer a relação entre os itens".
Situação: Questão Correspondência.
Grau de severidade: 3.
c) Avaliador 2: "Ao acessar uma questão da lista, após salvá-la, não volta para a
mesma lista".
Situação: Lista de questões.
Grau de severidade: 4.
d) Avaliador 3: "Botão voltar nas telas de visualização de resultados, figuras, etc".
Situação: Voltar.
Grau de severidade: 4.
Interface do Aluno:
e) Avaliador 2: "Ao clicar no link para visualizar imagens, o usuário é direcionado
para a tela inicial e precisa enviar todas as questões novamente para voltar onde
estava".
Situação: Visualizar imagens.
Grau de severidade: 5.
H12. Clareza e orientação sobre os recursos de avaliação disponíveis: não
houve indicação para a interface do aluno, para a do professor houveram 3, as quais
são apresentadas a seguir:
a) Avaliador 3: "Em questões diretas o sistema não é claro e nem orienta como
inserir as resposta".
Situação: Inserção de respostas.
Grau de severidade: 4.
b) Avaliador 3: "O sistema não auxilia o usuário a inserir um link".
Situação: Criação de links.
Grau de severidade: 4.
c) Avaliador 2: "Não fica muito claro como devem ser inseridas as respostas".
Situação: Inserção das respostas das questões.
Grau de severidade: 5.
149
H13. Entendimento dos elementos do formulário: não houve nenhuma indicação.
H14. Identificação e orientação visíveis: foram 2 indicações na interface do
professor e 4 na do aluno, as quais são apresentadas a seguir:
Interface do Professor:
a) Avaliador 7: "Quando tento carregar uma imagem para formar a questão, não há
um feedback dizendo se a imagem foi carregada".
Situação: Falta de informação se a imagem foi ou não carregada.
Grau de severidade: 3.
b) Avaliador 7: "Não está deixando salvar questões com sub-questão. Diz para
preencher os campos obrigatórios".
Situação: Questão sub-questão.
Grau de severidade: 5.
Interface do Aluno:
a) Avaliador 5: "As mensagens de erro atrapalham e dificultam o uso. Ao final, o
usuário acaba querendo sempre fechar os alerts() sem ler o mensagem".
Situação: Mensagens de erro em popups.
Grau de severidade: 3.
b) Avaliador 5: "Na página de contato o link saiba mais fica quebrado. Basta usar o
ou adaptar as margens e posicionamento para a largura disponível".
Situação: Saiba mais quebrado na página de contato .
Grau de severidade: 3.
c) Avaliador 3: "Não fica claro que Orientação é um link".
Situação: Orientação.
Grau de severidade: 4.
d) Avaliador 3: "O participar para entrar a primeira vez no sistema, ok, mas na
segunda tela depois do cadastro/login fica confuso, pois o usuário já escolheu
participar. Sugestão: poderia ser um texto como "Iniciar a prova"".
Situação: Participar na primeira tela.
Grau de severidade: 4.
H15. Localização no contexto da avaliação: não houve indicação na interface do
aluno, na do professor houveram 2, que são apresentadas abaixo:
150
a) Avaliador 3: "O sistema informa o passo a passo para a inserção da questão,
mostra uma listagem de questões inseridas, mas não me informa quantas
questões já existem".
Situação: Montagem da prova.
Grau de severidade: 2.
b) Avaliador 7: "O menu lateral não se mantém no contexto que estou".
Situação: Menu lateral.
Grau de severidade: 4.
H16. Liberdade de consulta: não houve indicação na interface do professor, na do
aluno houve uma, que é apresentada abaixo:
a) Avaliador 3: "O usuário visualiza a figura e depois não consegue retornar para a
questão".
Situação: Figuras.
Grau de severidade: 5.
H17. Reconhecimento da finalização da avaliação: não houve indicação na
interface do professor, na do aluno houveram 2, que são apresentadas abaixo:
a) Avaliador 3: "A aplicação mostra um alerta de finalização, mas ele fica muito
tímido, pode passar desapercebido por alguém mais distraído".
Situação: Finalização.
Grau de severidade: 1.
b) Avaliador 5: "Após várias mensagens de erro via alert(), a mensagem de
finalização tem grande potencial de ser ignorada".
Situação: Alerta de finalização da prova.
Grau de severidade: 4.
H18. Facilidade na inclusão de recursos: não houve indicação na interface do
aluno, na do professor houveram 2, que são apresentadas abaixo:
a) Avaliador 3: "O sistema não informa se um arquivo foi incluído corretamente".
Situação: Inclusão de arquivos.
Grau de severidade: 4.
b) Avaliador 2: "Ao acessar uma questão da lista, após salvá-la, não volta para a
mesma lista".
151
Situação: Lista de Questões.
Grau de severidade: 4.
H19. Visualização da avaliação: não houve indicação na interface do aluno, na do
professor houve uma, que é apresentada abaixo:
a) Avaliador 6: "Parece que o aluno verá a prova toda e não fica claro que só
aparecerá uma questão por vez e também que ele não poderá mudar as
respostas já enviadas".
Situação: Visualização da prova.
Grau de severidade: 2.
H20. Facilidade na atribuição da pontuação e nota: não houve indicação na
interface do aluno, na do professor houveram 2, que são apresentadas abaixo:
a) Avaliador 3: "É fácil atribuir pontuação, mas difícil perceber quando esta
informação foi salva no sistema".
Situação: Salvar pontuação.
Grau de severidade: 4.
b) Avaliador 6: "Não fica claro que quando o fundo do campo onde é digitado os
pontos da questão muda para verde é porque ele foi salvo, caso contrário não.
Sugestões: colocar orientação e colocar um botão para salvar todos os pontos".
Situação: Atribuição de pontuação das questões.
Grau de severidade: 5.
H21. Visualização dos resultados: não houve indicação na interface do aluno, na
do professor houveram 6, que são apresentadas abaixo:
a) Avaliador 6: "A opção de menu "Conferir" pode gerar confusão levando a
entender que seja conferir os resultados dos alunos".
Situação: Conferir.
Grau de severidade: 2.
b) Avaliador 6: "No relatório "Notas" não dá para exportar os resultados para
arquivo".
Situação: Relatório Notas.
Grau de severidade: 2.
c) Avaliador 6: "Na atribuição de pontos às questões não aparece a somatória dos
152
mesmos".
Situação: Totalização de pontuação da prova.
Grau de severidade: 3.
d) Avaliador 6: "Não dá para saber que os resultados dos alunos está em relatórios,
a tendência é procurar na opção provas. Talvez ficasse mais fácil se o menu
lateral ficasse aberto e não recolhido".
Situação: Visualização dos resultados dos aluno.
Grau de severidade: 3.
e) Avaliador 3: "O sistema não informa que uma nova janela foi aberta para
visualizar os resultados e nem mostra uma forma de fechar esta janela".
Situação: Visualizar resultados.
Grau de severidade: 4.
f) Avaliador 6: "Neste relatório não mostra a nota na prova como um todo, só os
valores individuais nas questões, o professor teria que fazer a soma".
Situação: Relatório Evento por Questões.
Grau de severidade: 5.
H22. Ajudar a fornecer feedback ao aluno: não houve indicação na interface do
aluno, na do professor houve uma, que é apresentada abaixo:
a) Avaliador 6: "Ao clicar no botão "Salvar" do formulário da prova o sistema salva
os dados e volta ao mesmo formulário, mas não sinaliza que já salvou, gerando
dúvidas sobre estar ou não salvo".
Situação: Retorno ao formulário da prova após salvamento.
Grau de severidade: 2.
93
9. Referências bibliográficas
ABNT - Associação Brasileira de Normas e Técnicas. NBR 9241-11: Requisitos ergonômicos para trabalhos de escritório com computadores - Parte 11: Orientações sobre usabilidade. 2002; 21 p. Alves ED, Ribeiro LSN, Guimarães DCSM, Costa CMA, Peixoto HM, Martins EF, et al. Moodle-fólio para o ensino em saúde e enfermagem: avaliação do processo educacional. Rev Eletr Enf. [periódico online] 2012; [citado em 02 mai 2013]; 14(3):473-82. Disponível em: http://www.fen.ufg.br/revista/v14/n3/v14n3a03.htm. Baeten M, Dochy F, Struyven K. The effects of different learning environments on students’ motivation for learning and their achievement. Br J Educ Psychol. 2013; 83:484–501. Bastien JMC, Scapin DL. Ergonomic criteria for the evaluation of human-computer interfaces. Relatório Técnico. Institut National de Recherche en Informatique et en Automatique; Mai 2006. Nº Relatório: 0156. Blackboard. [online]. Overview. [citado em 22 abr 2013]. Disponível em: http://www. blackboard.com/platforms/learn/overview.aspx. Blackboard. [online]. About Bb. [citado em 13 fev 2014]. Disponível em: http://www.blackboard.com/About-Bb/Our-Story.aspx. Blackboard. [online]. Clientes. [citado em 13 fev 2014]. Disponível em: http://blackboard.grupoa.com.br/clientes/. Botti SHO, Rego S. Processo ensino-aprendizagem na residência. Rev Bras Edu Med. 2010;34:132-140. Choules AP. The use of elearning in medical education: a review of the current situation. Postgrad Med J. 2007; 83:212-16. Curtis DA, Lind SL, Dellinges M, Schroeder K. Identifying Student Misconceptions in Biomedical Course Assessments in Dental Education. Journal of Dental Education. Set 2012; 76(9):1183-94. Cybis W, Betiol AH, Faust R. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec; 2007, 344 p. Depresbiteris L. Avaliação da aprendizagem do ponto de vista técnico-científico e filosófico-político. Série Idéias; (8). São Paulo: FDE; 1998, p. 161-172. Depresbiteris L. Confissões de uma Educadora - o longo caminho de um aprendizado de avaliação. Est Aval Educ. jul/dez 1998; 18:33-68.
154
Domingues RCL, Amaral E, Zeferino AMB, Antonio MAGM, Nadruz W. Competência clínica de alunos de Medicina em estágio clínico: comparação entre métodos de avaliação. Rev Bras Edu Med. 2010; 34(1):124-131. Fenili RM, Oliveira ME, Santos MB, Eckert ER. Repensando a avaliação da aprendizagem. [citado em 13 nov 2013]. Rev Eletr Enf. [periódico online]. 2002; 4(2):42-48. Disponível em http://revistas.ufg.br/index.php/fen/article/view/757. Franciscato F, Ribeiro OS, Mozzaquatro PM, Medina RD. Avaliação dos ambientes virtuais de aprendizagem Moodle, TelEduc e Tidia-Ae: um estudo comparativo. [citado em 03 mai 2013]. Revista Novas Tecnologias na Educação. dez 2008; 6(2). Disponível em:http://seer.ufrgs.br/renote/article/view/14509.pdf. Garcia J. Avaliação e aprendizagem na educação superior. Est Aval Educ. Mai/ago 2009; 20(43). Goldberg L, Lide B, Lowry S, Massett HA, O’Connell T, Preece J, et al. Usability and accessibility in consumer health informatics current trends and future challenges. Am J Prev Med. 2011; 40(5S2):S187-S197. Goldwasser RS. A prova prática no processo de seleção do concurso de residência médica. Rev Bras Edu Med. 2006; 30:115-124. Hernandez CC, Carrare APGD, Silveira IF, Longui CA, Kochi C. Avaliação da aprendizagem em medicina baseada em casos clínicos: proposta de um ambiente dedicado. In: Anais do Congresso Brasileiro de Informática na Educação – Workshop sobre Avaliação e Acompanhamento da Aprendizagem em Ambientes Virtuais. 2012; Rio de Janeiro. Disponível em: http://www.br-ie.org/pub/index.php/ wcbie/article/view/1948. Hooper RJL, O’Connor J, Cheesmar R. Clinical case-based multimedia tutorials as a solution to some problems facing medical education. Clin Chim Acta. 1998; 270:65-74. Hoyle S, Peres SC, Bruton K, Gutierrez T. Usability of an interactive educational website for statistics. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Dez 2012; 56:1827-1831. Jiménez C, Rusu C, Rusu V, Roncagliolo S, Inostroza R. Formal Specification of Usability Heuristics: How Convenient It Is?. In: Proceedings of the 2nd international workshop on Evidential assessment of software technologies (EAST'12). Set 2012; 55-60, New York. Kemp EA, Thompson AJ, Johnson RS. Interface evaluation for invisibility and ubiquity: an example from e-learning. In: Proceedings of the 9th ACM SIGCHI New Zealand Chapter's International Conference on Human-Computer Interaction: Design Centered HCI (CHINZ '08). 2008; 31-38, New York. Kim S, Phillips WR, Pinsky L, Brock D, Phillips K, Keary J. A conceptual framework for developing teaching cases: a review and synthesis of the literature across
155
disciplines. Med Educ. 2006; 40(9):867-76. Langendyk V. Not knowing that they do not know: self-assessment accuracy of third-year medical students. Med Educ. Fev 2006; 40(2):173-9. Liu G-Z, Liu Z-H, Hwang G-J. Developing multi-dimensional evaluation criteria for English learning websites with university students and professors. Computers & Education. Jan 2011; 56:65–79. Losekann A, Hertzog HM, Basso LO, Cardoso M, Bitencourt R, Camozzato Filho P, et al. MedCase – uma ferramenta online para estudo de casos clínicos. Rev Scientia Medica. Out/dez 2007; 17(4):184-191. Luckesi CC. Avaliação da aprendizagem escolar. São Paulo: Cortez. 2006. p. 60-84. MedCC. [online]. Tutorial para criação da prova. [citado em 22 abr 2013]. Disponível em: http://www.clinicalcaselearning.com/tutorial.pdf. Megale L, Gontijo ED, Motta JAC. Avaliação de Competência Clínica em Estudantes de Medicina pelo Miniexercício Clínico Avaliativo (Miniex). Revista Brasileira de Educação Médica, 2009; 33(2):166–175. Minocha S, Hardy CL. Designing navigation and wayfinding in 3D virtual learning spaces. In: Proceedings of the 23rd Australian Computer-Human Interaction Conference (OzCHI '11). 2011; 211-220, New York. Moodle. [online]. Filosofia do Moodle. [Citado em 22 abr 2013]. Disponível em: http://docs.moodle.org/all/pt_br/Filosofia_do_Moodle. Moodle. [online]. Sobre o Moodle. [Citado em 22 abr 2013]. Disponível em: http://moodle.org/about/. Moodle. [online]. Estatísticas Moodle. [Citado em 13 fev 2014]. Disponível em: https://moodle.org/stats/. Moraes DAF. Prova: instrumento avaliativo a serviço da regulação do ensino e da aprendizagem. Est Aval Educ. Mai/ago 2011; 22(49):233-58. NIED. [online]. TelEduc. [Citado em 16 out 2013]. Universidade Estadual de Campinas. Disponível em: http://fenix.nied.unicamp.br/~teleduc4/pagina_inicial/ estrutura.php. Nielsen J. Usability engineering. San Francisco: Morgan Kaufmann; 1993, 362p. Nielsen J. Usability inspection methods. In: Proceeding CHI '94 Conference Companion on Human Factors in Computing Systems, 24-28 abr 1994; Boston. Nielsen J. 10 Usability heuristics for user interface design. 1995. [Citado em 23 set 2013]. Disponível em: http://www.nngroup.com/articles/ten-usability-heuristics/.
156
Nielsen J. Usability 101: introduction to usability. 2012. [Citado em 19 set 2013]. Disponível em: http://www.nngroup.com/articles/usability-101-introduction-to-usability/. Nordquist J, Sundberg K, Johansson L, Sandelin K, Nordenström J. Case-based learning in surgery: lessons learned. World J Surg. 2012; 36:945–55. Oliveira KL, Santos AAA. Avaliação da aprendizagem na universidade. Psicol Esc Educ. 2005; 9:37-46. Otsuka JL, Rocha HV. Avaliação formativa em ambientes de EAD uma proposta de suporte tecnológico e conceitual. Rev Bras Inf Educ. Mai/ago 2005; 13(2):33-41. Pereira ATC, Schmitt V, Dias MRAC. Ambientes virtuais de aprendizagem. In: Pereira ATC. Ambientes virtuais de aprendizagem em diferentes contextos. Rio de Janeiro: Ciência Moderna, 2007. p. 2-22. Perrenoud P. Avaliação: da excelência a regulação das aprendizagens – entre duas lógicas. Tradução de Patrícia Chittoni Ramos. Porto Alegre: Artes Médicas Sul, 1999. p. 65-85. Pimentel EP, Braga JC, Omar N. Analysis of Tools for Learning Assessment and Tracking in Distance Education. In: Proceeding of Informing Science & IT Education Conference (InSITE), 493-504 jun 2012; Montréal. Disponível em: http:// proceedings.informingscience.org/InSITE2012/InSITE12p493-504Pimentel0134.pdf. Pinto VC, Costa TM, Grottone GT, Schor P, Pisa IT. Avaliação de um programa para computador de mão no auxílio ao ensino de oftalmologia para estudantes de medicina. Rev bras oftalmol. [periódico online]. Dez 2010; [Citado em 07 ago 2013]. 69(6):352-60. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttex t&pid= S0034-72802010000600002&lng=en.http://dx.doi.org/10.1590/S0034-728020 10000600002. Porto CC, Porto AL. Exame clínico. Rio de Janeiro: Guanabara Koogan, 2013. p. 36-48. Punhagui GC, Souza NA. Avaliar para aprender: a construção de uma realidade. Est Aval Educ. Mai/ago 2011; 22(49):209-32. Querido G. Tutorial do Hot Potatoes 6. [Citado em 16 out 2013]. Disponível em: http://guida.querido.net/ hotpot/tutorial-pt.htm. Rocha HV, Baranauskas MCC. Design e avaliação de interfaces humano-computador. Campinas: NIED/UNICAMP, 2003. 244 p. Savaris RF. Avaliação formativa entre alunos de medicina do quarto ano: relato de experiência. Rev Bras Educ Med. 2009; 33:111-15. Saviani D. As concepções pedagógicas na história da educação brasileira. In: Lombardi JC, Saviani D, Nascimento MIM. Navegando pela História da Educação
157
Brasileira. [CD-ROM online]. [Citado em 08 mai. 2013]. Campinas: UNICAMP/HISTEDBR, 2006. Disponível em: http://www.histedbr.fae.unicamp.br/ navegando/artigos_frames/artigo_036.html. Sebastiani RL, Zago MK, Mantovani A, Bez MR, Bruno R, Dahmer A, et al. Ferramenta de autoria para construção de casos clínicos Interativos para educação médica. In: Anais do XXXII Congresso da Sociedade Brasileira de Computação – XII Workshop de Informática Médica. 2012; Curitiba. Serapompa MT. Avaliação da aprendizagem escolar. Rev CEFAC. 1999; 1(2):86-91. Segers M, Martens R, Van den Bossche P. Understanding how a case-based assessment instrument influences student teachers learning approaches. Teach Teach Educ. 2008; 24:1751–64. Silva M, Santos E. Avaliação da aprendizagem em educação online. São Paulo: Loyola, 2006, 537 p. Silva NK, Dietrich JE, Young AE. Pediatric and adolescent gynecology learned via a web-based computerized case series. J Pediatr Adolesc Gynecol. Abr 2010; 23(2):111-5. Sim G, Horton M, Strong S. Interfaces for online assessment: friend or foe?. In: 7th HCI Educators Workshop. 2004; Preston. Sim G, Read JC, Holifield P, Brown M. Heuristic Evaluations of Computer Assisted Assessment Environments. In: World Conference on Educational Multimedia, Hypermedia and Telecommunications. 2007; Vancouver. Sim G, Read JC, Holifield P. Heuristics for evaluating the usability of CAA applications. In: Khandia, F. (ed.). 12th CAA International Computer Assisted Assessment Conference: Proceedings of the Conference on 8th and 9th July 2008 at Loughborough University. Loughborough: Loughborough University, 2008; 283-294. Sordi MRL. Problematizando o papel da avaliação de aprendizagem. Revista de Educação PUC-Campinas. 2000; (9):52-61. Sousa AP, Heinisch RH. Estudo sobre a avaliação aplicada no internato em clínica médica da Unisul. Rev Bras Educ Med. 2012; 36(1):68-76. Srinivasan M, Wilkes M, Stevenson F, Nguyen T, Slavin S. Comparing problem-based learning with case-based learning: effects of a major curricular shift at two institutions. Acad Med. Jan 2007; 82(1):74-82. Struyven K, Dochy F, Janssens S, Gielen S. Students’ experiences with contrasting learning environments: The added value of students’ perceptions. Learning Environ Res. 2008; 11:83-109. Schuwirth L, Gorter S, Van Der Heijde D, Rethans JJ, Brauer J, Houben H, et al. The role of a computerised case-based testing procedure in practice performance
158
assessment. Adv Health Sci Edu. 2005; 10:145-55. Tomlein M. [online]. iTest documentation. [Citado em 16 out 2013]. Disponível em: http://itest.sourceforge.net/documentation/index.shtml. Valiati ERA. Avaliação de usabilidade de técnicas de visualização de informações multidimensionais. Tese (doutorado). Porto Alegre: Universidade Federal do Rio Grande do Sul; 2008. Zeferino AMB, Passeri SMRR. Avaliação da aprendizagem do estudante. Cadernos ABEM. out 2007; 3:39-43.
159
Fontes Consultadas
Faculdade de Ciências Médicas da Santa Casa de São Paulo. Normalização para Apresentação de Dissertações e Teses. São Paulo, 2004.
160
Resumo
A avaliação é parte importante do processo de ensino e aprendizagem, pois
permite acompanhar como está o desenvolvimento do aluno, independente do nível
de ensino. Na educação em saúde um dos métodos que vem sendo utilizado é a
avaliação baseada em casos clínicos, que permite verificar o desenvolvimento do
aluno de maneira mais ampla, mas o processo de elaboração e realização da
avaliação neste formato é oneroso tanto para o aluno como para o professor. Neste
sentido, o uso de sistemas eletrônicos para avaliação da aprendizagem baseada em
casos clínicos podem colaborar para otimizar esta tarefa, mais para isso eles
precisam atender ao usuário satisfatoriamente, oferecendo uma interação fácil e
eficiente. Estes aspectos do sistema estão associados a interface que determina
como acontece a comunicação entre eles. Portanto o objetivo deste estudo foi
propor um conjunto de heurísticas de usabilidade especializadas para os sistemas
eletrônicos de avaliação da aprendizagem baseada em casos clínicos e validá-la por
meio de avaliação heurística do sistema Medical Clinical Case (MedCC). Para tanto,
(1) foi realizada revisão de literatura sobre avaliação da aprendizagem, tratando
mais especificamente da baseada em casos clínicos e revisão sistemática para
conhecer o estado da arte em definição de heurísticas para avaliação da
aprendizagem; (2) foram analisados os recursos avaliativos de dois AVAs (Moodle e
Blackboard) para identificar características positivas e negativas relacionadas à
usabilidade; (3) foram analisadas as heurísticas de Nielsen (1995) considerando as
necessidades da avaliação da aprendizagem. A partir de análise dos resultados das
etapas anteriores foram definidas 22 heurísticas especializadas, as quais foram
validadas através da realização de avaliação heurística por sete especialistas em
IHC no sistema Medical Clinical Case (MedCC), eles apontaram 194 problemas,
sendo 135 na interface do professor e 64 na do aluno. Os resultados mostraram que
a interface do aluno teve mais indicações de heurísticas do Nielsen, considera-se
que este resultado se deve ao fato delas tratarem de aspectos mais generalizados
nos sistemas e os grau de severidade mais indicado foi o 3, em contrapartida na
interface do professor, que é mais especializada, as indicações tenderam mais para
as heurísticas propostas e os graus de severidade mais associados foram o 4 e 5,
sendo os mais graves. Este estudo definiu 22 heurísticas especializadas e realizou
161
avaliação heurística no sistema MedCC utilizando-as, identificando no mesmo,
graves problemas de usabilidade. Além disso, concluiu que pela dificuldade em
encontrar especialistas em IHC que tenham conhecimento do domínio de aplicação
dos sistemas, é importante a definição de heurísticas especializada para direcionar a
avaliação de usabilidade.
Palavras-chaves: Interface usuário-computador, Sistemas de computação,
Educação médica, Avaliação educacional/métodos; Aprendizagem.
162
Abstract
The assessment is important portion in the teaching and learning process, it
allows to follow the development of the student, regardless of education level. In
health education, one method that has been used is the clinical case-based
assessment, which allows to check the student's development more broadly, but the
process of elaboration and implementation of the assessment in this format is costly
for both, student and teacher. In this case, the use of electronic systems for the
clinical case-based learning assessment can collaborate to optimize this task, but for
this they need to meet the user well, providing an easy and efficient interaction.
These aspects of the system are associated with the interface, because it determines
how communication happens between them. Therefore the aim of this study was to
propose a set of heuristics for the usability of specialized clinical case-based learning
assessment electronic systems and validate it through heuristic evaluation in system
Medical Clinical Case (MedCC). For this purpose, (1) review the literature on learning
assessment was performed, treating more specifically the clinical case-based and
systematic review to know the state of the art in defining heuristics for learning
assessment; (2) the evaluative resources of two VLEs (Moodle and Blackboard) were
analyzed to identify positive and negative characteristics related to usability; (3) the
heuristics of Nielsen (1995) considering the needs of the learning assessment were
analyzed. From analysis of the results of the previous steps 22 specialized heuristics
have been defined, which were validated by performing heuristic evaluation for seven
experts in the HCI in system Medical Clinical Case (MedCC), they pointed out the
total of 194 problems, 135 in the teacher's interface and 64 in the student. The
results showed that the interface of the student had more indications of Nielsen's
heuristics, it is considered that this result is due to the fact that they treat more
general aspects of the systems and the degree of severity was the most suitable 3.
However in the interface teacher who is more specialized, the indications were more
likely to heuristics and degrees of severity were associated more 4 and 5 being the
most severe. This study defined 22 specialized heuristics and heuristic evaluation
conducted on the MedCC system using them, identifying the same, serious usability
problems. Moreover, it concluded that the difficulty in finding experts who have
knowledge of HCI scope of the systems, it is important to define specialized
163
heuristics to direct the usability evaluation.
Keywords: User-computer interface; Computer systems; Education, medical;
Educational measurement/methods; Learning.
164
Listas e Apêndices
Lista de figuras
FIGURA 1: EXEMPLO DE ETAPAS DE REALIZAÇÃO DA AVALIAÇÃO BASEADA EM CASOS CLÍNICOS. ................... 9
FIGURA 2: EXEMPLO DA PRIMEIRA PARTE DA QUESTÃO COMPOSTA ........................................................... 42
FIGURA 3: EXEMPLO DA SEGUNDA PARTE DA QUESTÃO COMPOSTA ......................................................... 42
FIGURA 4: EXEMPLO DA QUESTÃO CORRESPONDÊNCIA ........................................................................... 43
FIGURA 5: EXEMPLO DA QUESTÃO DIRETA .............................................................................................. 43
FIGURA 6: EXEMPLO DA QUESTÃO ESCOLHA MÚLTIPLA ............................................................................ 43
FIGURA 7: EXEMPLO DA QUESTÃO ESCOLHA ÚNICA ................................................................................. 44
FIGURA 8: EXEMPLO DA QUESTÃO FALSO/VERDADEIRO ........................................................................... 44
FIGURA 9: EXEMPLO DA QUESTÃO MEDICAMENTO ................................................................................... 44
FIGURA 10: EXEMPLO DA QUESTÃO PRIORIDADE .................................................................................... 45
FIGURA 11: EXEMPLO DA QUESTÃO SUB-QUESTÕES ............................................................................... 45
FIGURA 12: EXEMPLO DA QUESTÃO ÚNICA ............................................................................................. 45
FIGURA 13: ACESSO AO CADASTRO NO SITE ........................................................................................... 46
FIGURA 14: INSCRIÇÃO E ACESSO A PROVA ............................................................................................. 46
FIGURA 15: APRESENTAÇÃO INICIAL DA PROVA, EXEMPLIFICADA COM CASO CLÍNICO ................................. 47
FIGURA 16: APRESENTAÇÃO SEQUENCIAL DAS QUESTÕES DURANTE A REALIZAÇÃO DA PROVA, PERMITINDO
VISUALIZAÇÃO MAS NÃO EDIÇÃO DAS QUESTÕES PREVIAMENTE RESPONDIDAS .................................... 47
FIGURA 17: DEFINIÇÃO DA PROVA .......................................................................................................... 48
FIGURA 18: DEFINIÇÃO DA DESCRIÇÃO DA PROVA ................................................................................... 49
FIGURA 19: ESCOLHA DO TIPO DE QUESTÃO ........................................................................................... 49
FIGURA 20: CRIAÇÃO DA QUESTÃO ESCOLHA ÚNICA ............................................................................... 50
FIGURA 21: TELA DO BANCO DE QUESTÕES ............................................................................................. 50
FIGURA 22: ESCOLHA DAS QUESTÕES DA PROVA..................................................................................... 51
FIGURA 23: ATRIBUIÇÃO DE PONTUAÇÃO ÀS QUESTÕES DA PROVA ........................................................... 51
FIGURA 24: RELATÓRIO ESTATÍSTICA POR PROVA ................................................................................... 52
FIGURA 25: GRÁFICO DA FREQUÊNCIA DE ATENDIMENTO DAS HEURÍSTICAS DE NIELSEN (1995) PELAS
CARACTERÍSTICAS E RECURSOS POSITIVOS DO AVAS ....................................................................... 57
FIGURA 26: GRÁFICO DE FREQUÊNCIA DE VIOLAÇÃO DAS HEURÍSTICAS DE NIELSEN (1995) PELAS
CARACTERÍSTICAS E RECURSOS NEGATIVOS DO AVAS. ..................................................................... 61
FIGURA 27: HEURÍSTICAS ESPECIALIZADAS APRESENTADAS JUNTO COM AS DE NIELSEN (1995) ................ 64
FIGURA 28: GRÁFICO DOS GRAUS DE SEVERIDADE ASSOCIADOS ÀS HEURÍSTICA DE NIELSEN (1995) E ÀS
ESPECIALIZADAS NA INTERFACE DO PROFESSOR ............................................................................... 81
FIGURA 29: GRÁFICO DOS GRAUS DE SEVERIDADE ASSOCIADOS ÀS HEURÍSTICA DE NIELSEN (1995) E ÀS
165
ESPECIALIZADAS NA INTERFACE DO ALUNO ....................................................................................... 81
FIGURA 30: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, INTERFACE DO PROFESSOR, DAS HEURÍSTICAS ......... 82
FIGURA 31: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO PROFESSOR, DAS HEURÍSTICAS .... 82
FIGURA 32: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO PROFESSOR, DAS HEURÍSTICAS
ESPECIALIZADAS ............................................................................................................................. 83
FIGURA 33: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO PROFESSOR, DAS HEURÍSTICAS
ESPECIALIZADAS EM CADA GRAU DE SEVERIDADE .............................................................................. 84
FIGURA 34: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, DAS HEURÍSTICAS ............ 84
FIGURA 35: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, DAS HEURÍSTICAS DE
NIELSEN (1995) EM CADA GRAU DE SEVERIDADE .............................................................................. 85
FIGURA 36: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, ....................................... 85
FIGURA 37: GRÁFICO DA FREQUÊNCIA DE VIOLAÇÃO, NA INTERFACE DO ALUNO, DAS HEURÍSTICAS
ESPECIALIZADAS EM CADA GRAU DE SEVERIDADE .............................................................................. 86
FIGURA 38: GRÁFICO DE VIOLAÇÕES DAS HEURÍSTICAS ESPECIALIZADAS COMPARADAS ÀS DE NIELSEN
(1995).......................................................................................................................................... 100
166
Lista de quadros
QUADRO 1: INSTRUMENTOS DE AVALIAÇÃO INDICADOS NA LITERATURA ...................................................... 6
QUADRO 2: COMPOSIÇÃO DE UM CASO CLÍNICO ........................................................................................ 8
QUADRO 3: REPRESENTAÇÃO DOS INSTRUMENTOS AVALIATIVOS EM MEIOS ELETRÔNICOS PARA AVALIAÇÃO
DA APRENDIZAGEM .......................................................................................................................... 11
QUADRO 4: TIPOS DE QUESTÕES OFERECIDAS PELO MOODLE ................................................................. 15
QUADRO 5: TIPOS DE QUESTÕES OFERECIDAS PELO BLACKBOARD® ....................................................... 17
QUADRO 6: TIPOS DE QUESTÕES OFERECIDAS PELO MEDCC .................................................................. 19
QUADRO 7: EXEMPLO DE PROPOSTA DE GUIDELINE (ADAPTADO DE BASTIEN E SCAPIN, 2006) .................. 25
QUADRO 8: SÍNTESE DOS ESTUDOS ENCONTRADOS NA REVISÃO SISTEMÁTICA ......................................... 29
QUADRO 9: ESTRUTURA DE FORMALIZAÇÃO DAS HEURÍSTICAS ESPECIALIZADAS ....................................... 39
QUADRO 10: AVALIADORES, SUAS FORMAÇÕES E ÁREAS DE ATUAÇÃO ..................................................... 40
QUADRO 11: COMPARAÇÃO ENTRE AS ABORDAGEM DOS ESTUDOS .......................................................... 87
QUADRO 12: OBJETIVIDADE DAS HEURÍSTICAS DE NIELSEN (1995) PARA OS RECURSOS E CARACTERÍSTICAS
POSITIVAS IDENTIFICADAS NA ANÁLISE DOS AVAS. ............................................................................ 89
QUADRO 13: OBJETIVIDADE DAS HEURÍSTICAS DE NIELSEN (1995) PARA AS CARACTERÍSTICA E RECURSOS
NEGATIVOS IDENTIFICADOS NA ANÁLISE DOS AVAS. .......................................................................... 90
QUADRO 14: COMPARAÇÃO ENTRE AS METODOLOGIAS UTILIZADAS PELOS ESTUDOS PARA OBTENÇÃO DE
HEURÍSTICAS E GUIDELINES ............................................................................................................. 92
167
Lista de tabelas
TABELA 1: RESULTADOS DA PESQUISA NA BASE DE DADOS PUBMED, SCOPUS E SCIENCEDIRECT. ............ 27
TABELA 2: RESULTADOS DA PESQUISA NA BASE DE DADOS DA ACM E WEB OF SCIENCE. .......................... 28
168
Apêndice 1: Termo de consentimento livre e esclarecido
169
Apêndice 2: Parecer do Comitê de Ética em Pesquisa
Recommended