Evaluación (Preece et al 2002, Rubin 1994)

Evaluación (Preece et al 2002, Rubin 1994)

¿Qué es la evaluación?

Paradigmas de evaluación

El proceso de evaluación

Ejemplos de evaluación

¿Qué es la evaluación?(1/7)

El uso de guías de diseño no garantiza la obtención de un producto usable

Sin hacer ningún tipo de evaluación es imposible conocer o no si un diseño o un sistema cumple las expectativas de los usuarios y si se adapta a su contexto social, físico y organizativo.

La evaluación es el proceso de recogida sistemática de datos sobre como un usuario o grupo de usuarios usan un producto para una tarea concreta en un determinado entorno

Ejemplo: en un procesador de textos

Caso 1: un usuario usa el correo electrónico

Caso 2: un grupo de usuarios crea un archivo (CSCW)


El objetivo de la evaluación es establecer si un

sistema cumple las necesidades del usuario y si

éste está satisfecho con el sistema

Otro objetivo es recoger información para futuros

desarrollos y mejoras del producto.


Se puede evaluar cualquiera de los aspectos relativos al producto Las tareas

El entorno

La satisfacción del usuario…

La evaluación permite comprobar si los usuarios pueden utilizar el producto para realizar las tareas para las que fue diseñado y cómo lo hacen (en relación con ISO 9241 e ISO 98b)


¿Por qué es bueno evaluar?

Los errores detectados en esta etapa son fácilmente resolubles.

El equipo de desarrollo se puede centrar en problemas reales para cumplir los objetivos prefijados.

Se realiza un proceso de ingeniería en vez de debates.

El tiempo para salir al mercado se reduce.

El departamento de ventas lo puede ofrecer como si fuera la versión 2.0.

Se comparan diferentes opciones

Se asegura conformidad con estándares

Los problemas se definen antes de que el producto salga a la calle.

¿Qué es la evaluación?(5/7)Plataforma : restricciones

características

Ppos. grales.

de diseño

Objetivos deusabilidad

Análisis conceptualde tareas

Perfilusuario

Guíaestilo

ANÁLISIS DE REQUISITOS

DiseñoPantallasEstándar

PrototipadoDPE

EvaluaciónIterativa

DPE

NIVEL 2

¿Alcanzadosobjetivos

usabilidad?NO SI

Guíaestilo

Reingeniería

Diseño delModelo

Conceptual

Maquetasdel MC

EvaluaciónIterativadel MC

NIVEL 1

¿Eliminadosppales.

problemas?NO SI

Guíaestilo

Respuestadel

usuario

Diseño Detallado de la IU

EvaluaciónIterativadel DDIU

NIVEL 3

¿Conseguidatoda

funcionalidad?

NO

SI

¿Alcanzadosobjetivos

usabilidad?

Guíaestilo

Prueba de unidad/sistemaOOSE: Prueba del modelo

NO

SI

¿Todoresuelto?

Instalación

NO

Mejoras

¡HECHO!

SI

DISEÑO, EVALUACIÓN Y DESARROLLO

INSTALACIÓN

Tareas Ing. Usabilidad

Tareas de desarrolloT

Punto de decisión

Documentación

Aplicación compleja

Aplicación simple (e.g. sitio web)

Fuente (traducido): Mayhew, D. 1999, The usability engineeering

lifecycle : a practitioner's handbook for user interface design


Diseño iterativo Evaluación en distintas etapas, se puede evaluar en cualquier momento del diseño

Evaluaciones formativas: sirven para comprobar que las necesidades de los usuarios se recogen.

Evaluaciones finales: aquellas que se hacen para asegurar el éxito de un producto acabado.


Estudios piloto: consistente en un estudio a pequeña escala para comprobar los procedimientos a llevar a cabo en un estudio de mayor envergadura

Muchas técnicas similares a las usadas en la fase de análisis de requisitos se usan para discutir con los usuarios en el proceso de evaluación.

Ejercicio: ¿cuales? ¿por qué?

Paradigmas de evaluación (1/5)

Cualquier tipo de evaluación se guía por un conjunto de

creencias, explícitas o implícitas, que pueden ser

también secundadas por la teoría

Estas creencias y sus prácticas son los paradigmas de

evaluación


Quick and dirty

Los diseñadores, informalmente, consiguen información de los usuarios o participantes para confirmar que sus ideas están de acuerdo con las necesidades de los usuarios y lo que les gusta

Se puede aplicar en todas las fases del desarrollo


Usability testing Analiza el uso que hacen los potenciales usuarios en tareas

típicas.

Se suele medir tiempo de realización y el número de errores.

El experimento es controlado por el evaluador.

Uso de laboratorios de usabilidad.


Estudios de campo

Se realizan en condiciones reales, con el objetivo de

incrementar la comprensión sobre lo que los usuarios hacen

habitualmente y cómo la tecnología impacta en ellos.


Evaluación predictiva

Los expertos aplican su conocimiento de usuarios

típicos , a menudo guiados por heurísticas, para

predecir problemas de usabilidad.

Se pueden usar modelos psicológicos que revisan

el diseño y predicen los problemas que podrían

encontrar los usuarios

El proceso de evaluación (1/29)


•Comparar con otros

productos similares

•Comparar con métodos

manuales o tradicionales

•Análisis de un único

producto.


•Experimentación (Testing)•Inspección (Inspection)•Investigación (Inquiry)


Experimentación•Instrucción o entrenamiento•Aprendizaje por descubrimiento colaborativo•Medida de prestaciones•Protocolo pregunta-respuesta•Experimentación remota•Experimentación retrospectiva•Método “en la sombra”•Método “de enseñanza”•Protocolo de “pensamiento en voz alta”


Inspección•Recorridos cognitivos detallados•Evaluación heurística•Recorridos plurales•Inspección basada en la perspectiva y estándares


Investigación•Observación de campo

•Grupos de discusión focalizados

•Entrevistas

•Grabación del uso (logging)

•Estudios de campo proactivos

•Cuestionarios


Definir el objetivo El primer paso de una evaluación es definir un objetivo

claro, preciso y cuantificable: disminuir el número de errores

Un objetivo genérico de cualquier evaluación será analizar la utilidad del sistema y proporcionar medios para subsanar deficiencias.

Hay objetivos más específicos que dependen de las metas de la aplicación, de sus usuarios y de sus expectativas.


Definir el objetivo

Aproximaciones:

comparar con otros productos similares,

comparar con métodos manuales o tradicionales,

análisis de un único producto.

Dificultad: formular sub-objetivos claros y prácticos, así

como un procedimiento para demostrarlos


Seleccionar la técnica de evaluación Las técnicas son prácticas que se basan en unas

determinadas creencias

La elección de una técnica concreta depende de: la etapa de desarrollo del sistema,

la extensión y el tipo de participación del usuario,

el tipo de datos esperados (cuantitativos ó cualitativos) y

las limitaciones externas (tales como restricciones de coste y de disponibilidad de equipos, etc.)


Tres tipos de métodos de evaluación de usabilidad:

Experimentación (Testing): Los evaluadores emplean los resultados obtenidos con usuarios representativos utilizando el sistema (o prototipo) en tareas típicas

Inspección (Inspection): Expertos en usabilidad, Sw, usuarios y otros profesionales evalúan la usabilidad

Investigación (Inquiry):los evaluadores obtienen datos de conversaciones con los usuarios, o con entrevistas orales o

escritas


Experimentación

Se mide la eficiencia conseguida por los usuarios comparando dos o más versiones del diseño (evaluación comparativa)

Se conducen estas pruebas en laboratorios, recogiendo datos que posteriormente serán analizados

Se suele medir el tiempo necesario para realizar una tarea, el número de errores y el camino seguido, como elementos para estudiar los resultados

Experimental setting

Fuente: Harms, I. y

Schweibenz, W.

2001, Evaluating

The Usability Of A

Museum Web Site


Métodos de

experimentación:

*Protocolo de “pensamiento

en voz alta”

*Medida de prestaciones

Instrucción o

entrenamiento

Aprendizaje por

descubrimiento

colaborativo

Protocolo pregunta-

respuesta

Experimentación remota

Experimentación

retrospectiva

Método “en la sombra”

Método “de enseñanza

* Detallados posteriormente


Pensando en Voz Alta

A los usuarios del test se les pide que expresen en voz alta sus pensamientos, sentimientos y opiniones mientras interaccionan con el sistema.

Es muy útil en la captura de un amplio rango de actividades cognitivas.

Se proporciona a los usuarios el producto que tienen que probar (o un prototipo de la interfaz ) y un conjunto de tareas a realizar.

Se les pide que realicen las tareas y que expliquen qué es lo que piensan al respecto mientras están trabajando con la interfaz.


Medida de Prestaciones:

Se emplea para obtener datos cuantitativos

Los participantes (entre 5 y 8) han de ser usuarios reales y realizar tareas reales

Hay que registrar y observar la actividad de los participantes en laboratorios reales

Procedimiento: Definir objetivos (tiempo empleado, número de errores, número de comandos

…)

Realizar el test (sin interrupciones y comprobando que las herramientas funcionan bien

Analizar los datos para obtener conclusiones. Uso de técnicas estadísticas

Requisitos Diseño Codificación Test Desarrollo Coste

X X X Alto


Algunas medidas a realizarse (ISO 9241):

Tiempo para completar una tarea

Número de tareas de diversos tipos para

completar una tarea

Proporción entre número de tareas

realizadas con éxitos y número de errores

Tiempo consumido en menús de

navegación

Tiempo en buscar información en un

manual

Tiempo consumido en ayuda en línea

Tiempo invertido en recuperarse de

errores

Número de comandos o característica

son usada

Número de opciones de menú erróneos

Número de opciones incorrectas en cajas

de dialogo

Número de selección de iconos

incorrectos

Número de teclas de función mal

seleccionadas

Número de llamadas a la ayuda

Número de pantallas de ayuda en línea

Número de veces que se consulta el

manual

Observaciones de frustración

Observaciones de confusión

Observaciones de satisfacción


Medidas subjetivas de prestaciones (1/2):

Pueden ser cuantitativas o cualitativas.

Ejemplos típicos en tests de usabilidad:Relaciones de:

Facilidad de uso del producto

Facilidad de aprender el producto

Facilidad de hacer una determinada tarea

Facilidad de instalar el producto

Facilidad de encontrar información en el manual

Facilidad de comprender la información

Utilidad de los ejemplos de ayuda


Medidas subjetivas de prestaciones (2/2):Preferencias o razones de la preferencia

de una versión previa

sobre un producto de la competencia

de la manera en que se están haciendo las tareas ahora

Predicciones de comportamiento

¿comprará el producto?

Comentarios espontáneos

estoy totalmente perdido

ha sido fácil

no comprendo el mensaje

Esto no me gusta


Criterios para medidas de prestaciones:

Excelente

Aceptable

Inaceptable

Tarea 1 Excelente Aceptable Inaceptable

Tiempo para la tarea <3 min 3-5 min > 5 min

Recuperación de un error 0 <1 min > 1 min

Ayuda en línea 1 2-3 min > 3 min


Laboratorio de usabilidad fijo


Laboratorio de usabilidad móvil

Fuente: http://www.rerc-

ami.org/ami/projects/d/1/manual/Fuente: http://www.hillaryelmore.com/aollab.html

http://www.rerc-ami.org/ami/projects/d/1/manual/



http://www.hillaryelmore.com/aollab.html


Inspección

Los expertos (en usabilidad, en Sw, usuarios expertos y otros especialistas) asumen el papel de usuarios, realizando tareas específicas e identificando problemas en base a criterios y normas de usabilidad

Barata comparada con técnicas que involucran a los usuarios

Los expertos suelen proponer soluciones útiles los problemas

Modelando las tareas del usuario Se basa en un paradigma predictivo

No se definen prototipos si no que se predice la eficiencia y los problemas asociados previamente


Métodos de Inspección

*Recorridos cognitivos detallados

*Evaluación heurística

*Inspección basada en la perspectiva y estándares

*Recorridos plurales


Recorrido cognitivo

El recorrido cognitivo a un grupo de evaluadores (1-4) y desarrolladores de SW (0-2)

Han de examinar la interfaz de usuario pasando a través de un conjunto de tareas y evaluando su comprensión y facilidad de aprendizaje.

Es análogo a los recorridos estructurales tradicionales a los que se usan en la ingeniería de software.


X X X X Medio


Recorrido cognitivo

Antes de empezar el análisis del recorrido, se debe estar de acuerdo en estos cuatro aspectos: ¿Quiénes serán los usuarios del sistema?

¿Qué tarea(s) será(n) analizada(s)?

¿Cuál es la secuencia correcta de acciones para cada tarea?

¿Cómo se define la interfaz?

Durante el recorrido los evaluadores hacen las cuatro preguntas siguientes: ¿Los usuarios intentarán alcanzar el objetivo correcto?

¿El usuario se dará cuenta de que la acción correcta está disponible?

¿El usuario asociará la acción correcta al efecto que se alcanzará?

Si se realiza la acción correcta, ¿el usuario verá que se está progresando hacia la solución de la tarea?


Evaluación heurística

Un conjunto reducido de evaluadores (de 4 a 6) evalúan independientemente la interfaz teniendo en cuenta principios reconocidos de usabilidad (“la heurística”)

Se le explica al experto como funciona el sistema y se le entrena en las funciones principales. Es informado acerca del dominio de aplicación y este revisa el sistema de acuerdo con guías de diseño

Los expertos identifican ciertos problemas que requerirían gran número de test de usabilidad para ser correctamente identificados y solucionados


Evaluación heurística

Los resultados de la evaluación se pueden registrar con informes escritos o haciendo que los evaluadores comuniquen verbalmente sus comentarios a un observador mientras realizan la evaluación

Al terminar las evaluaciones se permite a los evaluadores comunicarse entre sí los resultados y sintetizarlos.


10 Reglas Heurísticas

El estado del sistema es siempre visible.

Se utiliza el lenguaje de los usuarios.

El usuario tiene control y libertad.

Hay consistencia y se siguen estándares.

Existe prevención de errores.

Reconocimiento mejor que recuerdo.

Existe flexibilidad y eficiencia de uso.

Los diálogos son estéticos y el diseño minimalista.

Al utilizar la ayuda, los usuarios reconocen, diagnostican y se recuperan de los errores.

Existe ayuda y documentación.


X X X X Bajo


Inspección de estándares.

Para evaluar este método se precisa de un

evaluador que sea un experto en el o en los

estándares a evaluar. El experto realiza una

inspección minuciosa a la interfaz para

comprobar que cumple en todo momento y

globalmente todos los puntos definidos en

el/los estándar/es establecido.

El proceso de evaluación (5/29)Recorrido de la Usabilidad Plural (1/3)

Método desarrollado en los laboratorios IBM:

1. Este método se realiza con tres tipos de participantes, usuarios representativos, desarrolladores y expertos en usabilidad, que conforman todos los actores implicados en el producto.

2. Las pruebas se realizan con prototipos de papel u otros materiales utilizados en escenarios. Cada participante dispone de una copia del escenario de la tarea con datos que se puedan manipular.

3. Todos los participantes han de asumir el papel de los usuarios, por tanto, aparte de los usuarios representativos que ya lo son, los desarrolladores y los expertos en usabilidad también lo han de asumir.


Recorrido de la Usabilidad Plural (2/3)

4. Los participantes han de escribir en cada panel del prototipo la acción que tomarán para seguir la tarea que están realizando, escribiendo las respuestas lo más detalladamente posibles.

5. Una vez que todos los participantes han escrito las acciones que tomarían cuando interactuaban con cada panel, comienza el debate. En primer lugar, deben hablar los usuarios representativos y una vez éstos han expuesto completamente sus opiniones, hablan los desarrolladores y después los expertos en usabilidad.


Recorrido de la Usabilidad Plural (3/3)

El principal beneficio de esta técnica radica en el fuerte enfoque hacia las tareas de los usuarios [PRE02]. Siendo otra importante característica la gran aceptación del método por los equipos multidisciplinares. En cuanto a las desventajas, la principal de ellas es lo difícil que suele resultar agrupar tanta gente en una sola sesión.


Investigación:

Observando a los usuarios (no con los objetivos de la experimentación)

Ayudan a identificar las necesidades de nuevos tipos de productos y ayudan a evaluar prototipos

Formas de grabación: notas, vídeo, sonido y sw de registro.

Se pregunta a los usuarios qué piensan sobre un determinado producto

Entrevistas y cuestionarios es la forma habitual de hacerlo


Métodos de investigación

*Observación de campo

*Grupos de discusión focalizados

*Grabación del uso (logging)

*Técnicas de interrogación

Entrevistas

Cuestionarios

Estudios de campo proactivos


Observación de Campo

Se realiza en el lugar de trabajo de los usuarios representativos.

Se les observa trabajando para entender cómo están utilizando el sistema para lograr sus tareas y qué clase de modelo mental tienen sobre el sistema.

Este método se puede utilizar en las etapas de prueba y desarrollo

Métodos

Preguntando: entrevistar a los usuarios sobre su trabajo y la manera de utilizar el producto.

Observando a las personas cómo utilizan el producto en la manera en que lo hacen normalmente en el día a día.

Una manera de asegurar los datos adecuados es identificar loss artefactos y afloramientos como sea posible.


Observación de Campo

Artefactos Objetos físicos en uso en el sitio (blocs de notas,

formularios, informes, espacios, paredes...)

Afloramientos Rasgos físicamente identificables que marcan o

caracterizan el sitio (tamaño de los cubículos, tamaño de las pizarras y qué es lo que está escrito en ellas, tipos de uniformes...)

Ambos términos provienen de la antropología ( Observación Etnográfica)


Grupo de Discusión

El focus group o grupo de discusión dirigido es una técnica de recolección de datos en la que se reúnen de 6 a 9 usuarios para discutir aspectos relacionados con el sistema.

Un ingeniero de factores humanos hace las veces de moderador, cuya función es preparar la lista de aspectos a discutir y recoger la información que se necesita de la discusión.

Permitir capturar reacciones espontáneas del usuario e ideas que evolucionan en el proceso dinámico del grupo.


Grabación del Uso

Implica disponer en el ordenador de una ampliación del

sistema que recoja automáticamente estadísticas sobre

el uso detallado del sistema.

El registro se realiza generalmente modificando los

drivers del sistema, por ejemplo del ratón o del teclado

u otras partes del sistema, de manera que permitan el

registro de las acciones del usuario, o modificando la

aplicación que estamos probando.


Técnicas de Interrogación

Las técnicas de interrogación se basan en que la mejor manera de saber si un sistema se adapta a los requisitos es interrogar al usuario.

Ventaja: Tener directamente el punto de vista del usuario y encontrar opciones no contempladas en el diseño.

Uno de los posibles problemas es la subjetividad de la información y puede ser difícil conseguir respuestas a posibles alternativas en el diseño, porque el usuario no tiene experiencia.

Los dos tipos más importantes son: Entrevistas Cuestionarios


Entrevistas

Entrevistar a los usuarios respecto de su experiencia en un sistema interactivo resulta una manera directa y estructurada de recoger información.

Las cuestiones pueden variar con tal de adaptarlas al contexto.

Normalmente, en una entrevista se sigue una aproximación arriba-abajo.

Las entrevistas pueden ser efectivas para una evaluación de alto nivel, particularmente para extraer información sobre las preferencias del usuario, impresiones y actitudes.


Entrevistas

Pueden ayudar a encontrar problemas no previstos en el diseño.

Para que la entrevista sea lo más efectiva posible, ha de ser preparada con antelación, con todo un conjunto de preguntas básicas.

El revisor puede adaptar la entrevista al entrevistado y obtener el máximo beneficio.


Cuestionarios

Es una técnica menos flexible que la entrevista, pero puede llegar a un grupo más numeroso.

Se pueden analizar con más rigor.

Se pueden realizar diferentes tipos de preguntas

Tipos: Pre-test

Información y perfil de los participantes

Post-tarea Recoger opiniones y valoraciones de cada tarea

Post-test Recoger opiniones y valoraciones después de que los participantes completen las

tareas


Cuestionarios

Tipos de preguntas

General Preguntas que ayudan a establecer el perfil de usuario y su puesto dentro de la

población en estudio. Incluye cuestiones como edad, sexo, ocupación, lugar de residencia y otras

Abierta Preguntas útiles para recoger información general subjetiva

Pueden dar sugerencias interesantes y encontrar errores no previstos

Escalar Permite preguntar al usuario sobre un punto específico en una escala numérica

Por ejemplo:

El diseño de los iconos es comprensible poco 1 2 3 4 5 mucho


Cuestionarios

Opción múltiple En este caso se ofrecen una serie de respuestas y se pide responder a

una de las opciones o a varias. Ejemplo:

¿Qué tipo de software has de utilizar?Tratamiento de texto [ ]Hoja de cálculo [ ]Bases de datos [ ]Contabilidad [ ]

Ordenadas Se presentan una serie de opciones que hay que ordenar. E jemplo:

Ordena la utilidad de cómo ejecutar una acción:(3 la más útil, 1 si no es útil, 0 si no se utiliza)Por iconos [ ]Selección de menú [ ]Doble clic [ ]


Preparar la evaluación Selección de los evaluadores

Selección de las tareas

Selección de datos cualitativos y cuantitativos

Preparación de los mecanismos de registro


Selección de los evaluadores

Los evaluadores pueden ser expertos y/o usuarios, potenciales o reales.

Los evaluadores deben tener espíritu crítico

La participación debe ser voluntaria y los evaluadores deben ser conscientes de que se está juzgando al sistema no a ellos.


Selección de los evaluadores

Si se incluyen usuarios potenciales, debería formarse un

grupo que represente a los distintos tipos de usuarios

finales.

Si se invita a evaluadores expertos, éstos deben:

proceder de diversos campos,

conocer las tareas que ejecuta el sistema y

poder asumir el papel de los usuarios.


Selección de las tareas Es preciso definir de forma clara qué tareas van

a llevar a cabo los evaluadores para juzgar el sistema:

tareas que dependen de la aplicación: ayudan al usuario a conseguir un objetivo y no pueden generalizarse porque dependen de la aplicación concreta

tareas que dependen del hecho de haber empleado un sistema interactivo


Selección de las tareas Tareas dependientes de la aplicación: Ejemplo: en una guía turística localizar un determinado

cine, hacer un análisis de la infraestructura hotelera de una zona, ...

Tareas dependientes del sistema interactivo: Navegación: facilidad para moverse por el sistema y

acceder a las distintas partes del sistema

Búsqueda: por contenidos, por estructura, por temas relacionados…

Personalización: gestión de notas o enlaces personales, simplificar las tareas más repetidas ...

Edición del material: facilidad para modificar el contenido y estructura, ...


Selección de datos cualitativos y cuantitativos Es preciso decidir qué datos se van a recoger y

tratar para extraer conclusiones

Datos cuantitativos: medidas de la ejecución o la frecuencia de uso de determinadas herramientas.

Datos cualitativos: opiniones que resulten de utilidad para mejorar el sistema.



Se puede obtener información valiosa de los cuestionarios y entrevistas

Hay que diseñarlos de forma precisa y teniendo en cuenta los objetivos del sistema y de la evaluación, así como el tipo de usuarios.



Entrevistas: Individuales o en grupo.

Consumen muchos recursos pero se pueden obtener resultados interesantes.

Requieren de un entrevistador que sepa “extraer” información

Pueden ser estructuradas, flexibles o semi-estructuradas





Cuestionarios

Son poco costosos y suelen producir resultados bastante

aceptables.

Es difícil llevarlos a cabo.

Preguntas abiertas: opiniones, posibles mejoras...

Preguntas cerradas: estimación del usuario sobre un aspecto

concreto


Preparación de los mecanismos de registro Cuestionarios con preguntas cerradas


Preparación de los mecanismos de registro Cuestionarios con preguntas cerradas


El entorno debe ser real.

Los evaluadores deben ser conscientes de qué se está

evaluando.

Se pueden hacer evaluaciones individuales o en grupo. Individual: si hay que estar con el evaluador para recoger

datos. Grupo: si se quieren extraer conclusiones y comparar y

discutir respuestas

Se dividirá en varias sesiones para no cansar a los evaluadores

Conviene realizar una experiencia piloto para refinar detalles.


Hay que conseguir que los resultados:

Sean fiables

Sean válidos

No estén distorsionados

Ámbito de los resultados (¿son generalizables?)

Validez ambiental


Los resultados deben servir para extraer una serie de conclusiones en términos de:

deficiencias detectadas y

mejoras propuestas

que permitan revisar el producto para incrementar su utilidad.


Proceso a seguir:

1.Recopilar los datos recogidos

2.Crear resúmenes

3.Reunir los datos relativos al tiempo de ejecución de las tareas, que suelen analizarse utilizando métodos estadísticos

Por ejemplo: presencia, moda, rango, valor medio, mínimo, máximo, desviación típica, frecuencia, hipótesis nula, test-T, función chi …


4.Analizar la precisión de la ejecución de las tareas porcentaje de usuarios que realizan una tarea en

un t. concreto

porcentaje de usuarios que realizan una tarea con éxito, independientemente del tiempo.

porcentaje de usuarios que realizan una tarea con éxito, independientemente del tiempo y con ayuda


5.Resumir los datos sobre preferencias Preguntas cerradas

Preguntas abiertas y comentarios

Sesiones de debate

6.Recopilar y resumir otros datos Número de veces que se accede a la ayuda

Número de veces que se accede al índice del manual

Número de veces que se ha utilizado una herramienta/tarea auxiliar


7.Agrupar puntuaciones por grupos/versiones

8.Analizar los datos para extraer conclusiones Centrarse en las tareas evaluadas negativamente

Identificar errores y dificultades del usuario

Analizar la fuente de cada error

Ordenar los problemas por severidad y probabilidad de ocurrencia

Analizar diferencias entre grupos/versiones

¿Es posible sugerir cambios y/o confirmar buenas prácticas?

Documents

Evaluación (Preece et al 2002, Rubin 1994)