17
Interazione Uomo-Macchina Esperimento con gli utenti Corsi di Laurea Magistrale in: Ingegneria Informatica Università degli Studi di Brescia Docente: Daniela Fogli Daniela Fogli – Interazione Uomo-Macchina 2 Esperimento controllato (in laboratorio) si pone un problema si adotta un modello si fissano certe variabili (variabili di controllo stabilizzando lambiente) si manipolano certe variabili secondo strategie predefinite (variabili indipendenti) si osservano (misurano) certe altre variabili (variabili dipendenti) si valutano i risultati Nel senso delle scienze tradizionali: si fissa un protocollo sperimentale : Daniela Fogli – Interazione Uomo-Macchina 3 Il nostro osservato: lutente umano che interagisce con un artefatto per compiere unattività in un ambiente simile a quello in cui opera realmente (ricostruito in laboratorio) Considerazioni generali sullesperimento con gli utenti Daniela Fogli – Interazione Uomo-Macchina 4 Validità: il protocollo sperimentale è adeguato alle necessità; si misura qualche cosa di effettivamente rilevante rispetto allo scopo dellesperimento Affidabilità: lesperimento è ripetibile: dà lo stesso risultato se ripetuto avendo fissato le stesse variabili di controllo agli stessi valori e ripetendo le stesse strategie di manipolazione delle variabili indipendenti Caratteristiche dellesperimento

13 Esperimento Con Utenti

  • Upload
    tankre

  • View
    223

  • Download
    1

Embed Size (px)

DESCRIPTION

interazione uomo-macchina

Citation preview

Page 1: 13 Esperimento Con Utenti

Interazione Uomo-Macchina

Esperimento con gli utenti

Corsi di Laurea Magistrale in:

Ingegneria Informatica

Università degli Studi di Brescia

Docente: Daniela Fogli

Daniela Fogli – Interazione Uomo-Macchina 2

Esperimento controllato (in laboratorio)

si pone un problema

si adotta un modello si fissano certe variabili (variabili di controllo stabilizzando l’ambiente) si manipolano certe variabili secondo strategie predefinite (variabili indipendenti) si osservano (misurano) certe altre variabili (variabili dipendenti)

si valutano i risultati

Nel senso delle scienze tradizionali: si fissa un protocollo sperimentale:

Daniela Fogli – Interazione Uomo-Macchina 3

Il nostro osservato: l’utente umano che interagisce con un artefatto

per compiere un’attività in un ambiente �simile�

a quello in cui opera realmente

(ricostruito in laboratorio)

Considerazioni generali sull�esperimento con gli utenti

Daniela Fogli – Interazione Uomo-Macchina 4

Validità: il protocollo sperimentale è adeguato alle necessità; si misura qualche cosa di effettivamente rilevante rispetto allo scopo dell’esperimento Affidabilità: l’esperimento è ripetibile: dà lo stesso risultato se ripetuto avendo fissato le stesse variabili di controllo agli stessi valori e ripetendo le stesse strategie di manipolazione delle variabili indipendenti

Caratteristiche dell’esperimento

Page 2: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 5

Validità

Il risultato può non essere significativo a causa

1) della scelta di utenti non rappresentativi

(provare un sistema destinato a manager con studenti di chimica; meglio con studenti gestionali)

2) della scelta di un compito sbagliato (provare su pochi dati un programma destinato a gestire grandi moli di dati)

3) della mancata inclusione di adeguati vincoli di tempo o derivati dalle influenze sociali

Daniela Fogli – Interazione Uomo-Macchina 6

Affidabilità

Causa principale della scarsa affidabilità: la variabilità dell’utente

In certe situazioni, la capacità dell’utente migliore è 10 volte quella del peggiore. Nella velocità di battitura: il 25% dei migliori è 2 volte più veloce del 25% dei peggiori.

Dire: l’utente A con la macchina X esegue il compito meglio dell’utente B con la macchina Y non permette di giudicare quale macchina è migliore. E� un dato non affidabile.

Comunque: un’indicazione è meglio di nessuna indicazione (decisioni in presenza di incertezza)

Daniela Fogli – Interazione Uomo-Macchina 7

Si raggiungono buoni livelli di osservazione

indirizzando aspetti specifici del processo di interazione

con obiettivi ben limitati

L’organizzazione dell’esperimento può servire per organizzare altri tipi di osservazione - valutazione, capendo dove ci si discosta dal modello ideale e le conseguenze dello scostamento

Validità e Affidabilità

Daniela Fogli – Interazione Uomo-Macchina 8

Pianificare e progettare l’esperimento

Si pone il problema chiarire lo scopo dell’esperimento

Si pianifica l’attività sperimentale tenendo conto del budget

incluse: scelta utenti, scelta sperimentatori, scelta compiti, formulazione del modello

Si esegue l’esperimento 4 fasi: preparazione, introduzione, il test, debriefing

Si analizzano e sintetizzano i risultati quali statistiche utilizzare

Page 3: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 9

Quando e dove si terrà il test? Quanto tempo dovrà durare ogni sessione? Quali tipi di supporto (hardware/software) sono necessari per condurre il test? In che stato deve trovarsi il sistema per iniziare il test? Quali devono essere i tempi di risposta e/o i tempi della rete? Chi saranno gli sperimentatori? Chi saranno gli utenti test, come li troviamo, e quanti dovranno essere? Quali compiti faremo svolgere? Quali criteri adottiamo per decidere quando l’utente ha finito un task correttamente? Quali aiuti diamo agli utenti (manuali, etc.)? Fino a che punto lo sperimentatore può aiutare l’utente durante il test? Quali dati si vogliono raccogliere e come li analizzeremo? Quale sarà il criterio per dichiarare il successo o l’insuccesso del sistema?

dobbiamo porci qualche domanda…

Pianificare l’attività sperimentale

Daniela Fogli – Interazione Uomo-Macchina 10

E� l’incaricato di gestire l’esperimento Più il metodo è �scientifico� meno è influente

Deve avere esperienza

- del metodo sperimentale adottato - dell’applicazione

Non è necessario conosca i dettagli dell’implementazione, ma è utile se il sistema va in crisi (soprattutto se il sistema è prototipale… è bene avere vicino allora il programmatore) I progettisti come sperimentatori? Meglio 2 sperimentatori: 1 facilitatore e 1 osservatore

Scegliere lo sperimentatore

Daniela Fogli – Interazione Uomo-Macchina 11

Scegliere gli utenti test

Il tipo di popolazione destinataria influenza la scelta

Sistema destinato ad un singolo (difficoltà di accesso)

Sistema destinato a popolazione ben identificata (il personale amministrativo di una azienda; gli infermieri di un ospedale; etc. rappresentanti della popolazione sono raggiungibili magari a pagamento)

Sistema destinato a popolazione generica (facile reclutare, non facile avere un insieme rappresentativo: e.g. gli studenti sono una sottopopolazione)

Daniela Fogli – Interazione Uomo-Macchina 12

Scegliere gli utenti test (2)

Regola: l’insieme delle persone (campione) su cui eseguire l’esperimento deve rappresentare la popolazione cui è destinato il sistema (ricordare la validità)

Problemi: evitare polarizzazioni a seconda di quante persone posso coinvolgere (budget) per l’esperimento cambia il criterio

Page 4: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 13

Scegliere gli utenti test (3)

Esperti o non esperti eseguire l’esperimento sempre con utenti non esperti del sistema se si fa anche con esperti organizzare due gruppi, possibilmente test separati

A volte necessario prevedere addestramento a un nuovo strumento (e.g. touch screen, SO):

gli effetti associati all’uso di un nuovo strumento mascherano gli effetti dovuti alla bassa usabilità dell’intero sistema

Daniela Fogli – Interazione Uomo-Macchina 14

Quanti utenti?

Dipende da ragioni pragmatiche (fondi, disponibilità) ma il campione deve essere abbastanza grande da essere rappresentativo della popolazione (almeno 10)

con 5 utenti si scopre l’85% dei problemi di usabilità

con 15 utenti li si scopre tutti

www.useit.com

Daniela Fogli – Interazione Uomo-Macchina 15

Nell’esperimento si debbono considerare almeno due condizioni: - la condizione di controllo (stabilizzazione dell’ambiente, non viene manipolata) - la condizione sperimentale (la variabile indipendente che viene manipolata)

Between groups vs. Within groups

Nel progetto between groups ogni soggetto prova una sola condizione sperimentale Nel progetto within groups ogni soggetto prova tutte le condizioni

Confrontare l’usabilità di due o più sistemi

Daniela Fogli – Interazione Uomo-Macchina 16

Vantaggio: ogni effetto dovuto all’apprendimento viene evitato Problema: variabilità degli utenti. Per controllare:

- Esaminare molti utenti (costo) - Diverse tecniche:

a) creare gruppi a caso b) classificare gli utenti e mettere rappresentanti di ogni classe in ogni gruppo

Ogni soggetto prova una sola condizione sperimentale

Between groups

Page 5: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 17

Vantaggio: meno costoso, richiede meno utenti. Efficace quando sono ridotti i problemi di apprendimento. Meno problemi legati alla variabilità degli utenti Problema: gli utenti imparano. Sono inesperti solo alla prima esperienza Per controllare:

- dividere gli utenti in gruppi e far eseguire ad ogni gruppo una sequenza di compiti diversa - oppure far provare un gruppo prima con la condizione A poi con la condizione B, e l’altro gruppo prima con la condizione B e poi con la condizione A

Within groups

Ogni soggetto prova tutte le condizioni sperimentali

Daniela Fogli – Interazione Uomo-Macchina 18

Aspetti etici degli esperimenti con esseri umani

I test vanno condotti avendo rispetto degli utenti e delle loro emozioni Esempio, se è fatto dal progettista, non può trattar male gli utenti perché mostrano di non gradire il suo �amato� software Gli utenti sentono comunque una certa pressione anche se viene spiegato loro che lo scopo del test non è testare gli utenti ma il sistema Gli utenti faranno errori (soprattutto se il sistema è prototipale) e si sentiranno inadeguati o stupidi Sapere che sono osservati o addirittura ripresi può renderli ancora più a disagio

Daniela Fogli – Interazione Uomo-Macchina 19

Aspetti etici degli esperimenti con esseri umani (2)

Agli utenti deve essere detto chiaramente che nessuna informazione sulle loro prestazioni sarà rivelata (specialmente ai loro capi) Esperimento condotto in un’atmosfera rilassata Per mettere all’inizio a proprio agio l’utente, il primo compito deve essere talmente facile da garantire un sicuro successo Lo sperimentatore, prima di iniziare il test, deve assicurarsi che la stanza, il computer, il software siano pronti, assieme ad altro materiale necessario per condurre il test I risultati devono essere mantenuti confidenziali e i rapporti devono essere tali per cui gli utenti non possano essere identificati

Daniela Fogli – Interazione Uomo-Macchina 20

Aspetti etici degli esperimenti con esseri umani (3)

Fare in modo che ci siano meno osservatori possibili Le eventuali registrazioni non vanno diffuse se non c’è il consenso dell’utente Lo sperimentatore non deve interferire durante il test… a meno che l’utente non sia in evidente difficoltà e non riesca ad andare avanti Dopo il test si parla con l’utente, gli si chiede di commentare il sistema, si risponde a tutte le sue domande, lo si ringrazia e gli si ribadisce la sua utilità per risolvere i problemi del sistema Una buona idea è che lo sperimentatore provi a fare l’utente test anche una sola volta nella vita…

Page 6: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 21

Prima Dare garanzia sulla privatezza degli esperimenti e dei risultati Dire che è il sistema che viene testato non l’utente Verificare gli strumenti e la documentazione prima della prova Spiegare come verrà fatta l’osservazione e condotto l’esperimento

Durante Non intervenire se non in casi estremi Rispettare l’utente Prevenire interruzioni esterne

Dopo Ringraziare e spiegare perché sono stati utili Ascoltare commenti e rispondere ai dubbi Prevedere remunerazione Non rendere gli utenti identificabili nei rapporti

Rapporto con gli utenti test: in sintesi

Daniela Fogli – Interazione Uomo-Macchina 22

Come scegliere i compiti da eseguire

Devono essere rappresentativi dei compiti che dovranno essere svolti nel mondo reale (in base all’analisi dei compiti o alle specifiche di progetto)

Devono essere limitati in modo da essere fattibili nel tempo previsto ma complessi abbastanza da essere rappresentativi

Deve essere specificato prima dell’esperimento cosa l’utente deve produrre e ogni task definito in dettaglio

Deve essere dato all’utente per iscritto (parità di condizione; può chiedere cosa non ha capito prima di eseguire)

Daniela Fogli – Interazione Uomo-Macchina 23

Come scegliere i compiti da eseguire (2)

Non devono essere umoristici, offensivi o frivoli

Devono anzi essere il più realistici possibile

Possono essere inquadrati in uno scenario più ampio, per dare realismo alla prova e una miglior comprensione dell’esercizio da svolgere (si complica il laboratorio)

Devono essere di difficoltà incrementale, l’ultimo task deve dare idea all’utente che ha fatto qualcosa

Daniela Fogli – Interazione Uomo-Macchina 24

Test di compito e Test di scenario

I test di usabilità possono essere suddivisi in test di compito e test di scenario Nel test di compito viene chiesto di svolgere compiti specifici che permettano di esercitare le funzionalità principali dell’applicazione Ad es. per un sito web: registrarsi, ricercare un prodotto, acquistarlo, etc. Esempio di test di compito per un sito di un’agenzia viaggi

Compito 1: registrati sul sito, inserendo tutti i dati anagrafici richiesti Compito 2: ricerca nel catalogo dei viaggi proposti sul sito un viaggio a Cuba, della durata di circa una settimana, con partenza il giorno 24 del prossimo mese di dicembre Compito 3: trovato il viaggio desiderato, scegli l’albergo che costa di meno e richiedi preventivo per due persone adulte e disponibilità all’agenzia, utilizzando l’apposita funzione del sito Compito 4: accedi alla tua scheda personale e modifica il tuo indirizzo, inserendo un indirizzo di fantasia di un’altra città

Page 7: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 25

Test di scenario

Viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari, senza indicarli esplicitamente

L’utente dovrà impostare una propria strategia di azione

Lo scenario deve essere realistico

Esempio di test di scenario per un sito di un’agenzia viaggi Desideri organizzare una vacanza di circa una settimana al mare, per te e un amico, in una località tropicale, durante le vacanze di Natale di quest’anno. Siete liberi di partire in qualsiasi giorno successivo al 22 dicembre e dovete essere di ritorno entro il 10 gennaio. Il vostro budget è di 3000 euro, comprensivo di viaggio e albergo in pensione completa. Desiderate trovare un villaggio vacanze non lontano da un centro abitato abbastanza grande. Trova sul sito una proposta soddisfacente, con disponibilità di posti liberi.

Daniela Fogli – Interazione Uomo-Macchina 26

Esempio tratto da elaborato di:

Barbeno, Bombardieri, Panni, Pedretti

Daniela Fogli – Interazione Uomo-Macchina 27

Esempio tratto da elaborato di:

Barbeno, Bombardieri, Panni, Pedretti

Daniela Fogli – Interazione Uomo-Macchina 28

Esempio tratto da elaborato di:

Barbeno, Bombardieri, Panni, Pedretti

Test di Scenario: Esempio

Page 8: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 29

Le fasi di un esperimento

Tipicamente 4 fasi: 1.  Preparazione: prima che arrivino gli utenti lo sperimentatore

controlla che tutto funzioni 2.  Introduzione: lo sperimentatore accoglie gli utenti e spiega lo

scopo del test, come eseguirlo, garantisce la privatezza, si accerta che gli strumenti siano adatti agli utenti, distribuisce le istruzioni scritte su come eseguire l’esperimento, fa eseguire eventualmente una fase di addestramento

3.  Esecuzione: lo sperimentatore non esprime opinioni o interviene, solo uno degli sperimentatori può aiutare (solo in casi estremi)

4.  Debriefing: solitamente mediante questionari per raccogliere pareri degli utenti dopo il test. Appena possibile lo sperimentatore scriverà un breve rapporto sull’esperimento svolto (sistemando le note)

Daniela Fogli – Interazione Uomo-Macchina 30

Esempio da elaborato di:

De Rose, Giorgi, Girardi, Marranzino, Venturini

E� bene preparare una checklist con tutto quello che c�è da dire e da fare

Se sperimentatori inesperti…

Daniela Fogli – Interazione Uomo-Macchina 31

L’esecuzione dell’esperimento

Si misurano una o più variabili (dipendenti) facendo eseguire a un gruppo di utenti un insieme predefinito di compiti

Un possibile errore: misurare qualcosa che non è strettamente collegato con la proprietà a cui si è interessati

Necessario un modello di misura dell’usabilità

Daniela Fogli – Interazione Uomo-Macchina 32

Modello di misura di usabilità

Goal: usabilità

Componente Apprendibilità

Componente Efficienza d�uso

Variabile misurabile Tempo medio necessario per eseguire 5 compiti

Metodo di misura Gli utenti portati in lab. forniti della lista dei compiti Li eseguono senza aiuto

Tecnica di raccolta dati con cronometro (fissare prima quando far partire e fermare il cronometro)

Metodi di analisi Metodi statistici

Page 9: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 33

Esempio da elaborato di:

De Rose, Giorgi, Girardi, Marranzino, Venturini

Esempio: misura successi e tempo

Modulo per lo sperimentatore

Daniela Fogli – Interazione Uomo-Macchina 34

Esempio tratto da elaborato di:

Barbeno, Bombardieri, Panni, Pedretti

Variabili misurate

Modulo per lo sperimentatore

Daniela Fogli – Interazione Uomo-Macchina 35

Analisi statistiche

Innanzitutto due regole: 1) �guardare i dati�: si può notare ad esempio tramite un grafico che ci sono degli outliers, generalmente da eliminare per non polarizzare i risultati 2) �salvare i dati�: per analisi future (all’inizio lo sperimentatore calcolerà medie o poco più) Test parametrici: assumono i dati (misure della var. dipendente) distribuiti secondo la normale (e.g. t test) Test non parametrici: non assumono particolari distribuzioni (e.g. Wilcoxon test) La scelta delle analisi statistiche dipende dal tipo di dati e dalle domande a cui si vuol rispondere

Daniela Fogli – Interazione Uomo-Macchina 36

Analisi statistiche (2)

Esempio di domanda a cui i test statistici (parametrici e non) possono rispondere:

C’è differenza? Ad es. un sistema è meglio dell’altro?

Le tecniche rispondono a una ipotesi (da verificare)

La risposta sarà del tipo “siamo certi al 99% che la selezione da un pie menu di 7 oggetti è più veloce che la selezione da un pull-down menu con 7 oggetti”

Page 10: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 37

Debriefing con gli utenti

Domande d’esempio da fare dopo la sessione: Qual è stata la parte migliore/peggiore del sistema? Qual è l’aspetto che va maggiormente cambiato? Quanto semplici erano i compiti? Quanto realistici erano i compiti? …

Daniela Fogli – Interazione Uomo-Macchina 38

Esempio tratto da elaborato di:

Barbeno, Bombardieri, Panni, Pedretti

Esempio di Post-Questionario

Daniela Fogli – Interazione Uomo-Macchina 39

L’esperimento di usabilità

Aspetti scientifici

Revisione critica dei risultati valore assoluto dell’effetto osservato rispetto allo scopo del test spiegazioni alternative: gli effetti osservati sono causati da variazione delle variabili indipendenti?

consistenza delle variabili dipendenti generalizzazione dei risultati: ad altre macchine, altri ambienti, altri compiti

Daniela Fogli – Interazione Uomo-Macchina 40

Esempio: un test poco utile

Era da poco uscito il primo iPhone (2007)

Test sulla funzionalità di immissione testi

20 partecipanti con il loro telefono: 10 con tastiera (fisica) QWERTY 10 con tastiera numerica (multi-tap)

12 messaggi da inserire 6 con il loro telefono 6 con iPhone

Ordine controbilanciato

Risultati su errori e tempo: “Participants made significantly more errors on the iPhone than they did on their own phones” “Participants took longer to type text messages in on the iPhone than on their own phones”

Page 11: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 41

Percezione

Goal

Intenzione

Azione

Esecuzione

Interpretazione

Valutazione

Interfaccia

Esecuzione Valutazione Utente

Esperimenti utili anche per valutare gli aspetti �articolatori� dell’interazione umana

Gol

fo d

ell�

esec

uzio

ne

Distanza Semantica

Distanza Articolatoria

Distanza Semantica

Distanza Articolatoria

Golfo della Valutazione

Daniela Fogli – Interazione Uomo-Macchina 42

Esempio: la scelta di una tecnica per touch screen

Uso il pollice anziché stilo:

Direct Touch

Offset cursor (Potter et al. 88)

Thumbspace

Shift

Tecniche di selezione su dispositivi mobili con touch screen

Daniela Fogli – Interazione Uomo-Macchina 43

Thumbspace (Karlson & Bederson, Interact �07)

(Vogel & Baudisch, CHI 2007)

Shift

Questa tecnica mostra il contenuto della parte occlusa dello schermo in un callout sopra il dito. Aggiustando la posizione relativa del callout, si possono gestire tutti i target sullo schermo…

Si può attivare una �radar view� al centro dello schermo e interagire con essa per raggiungere tutte le locazioni (funziona come un touchpad superimposto sul touch screen)

Daniela Fogli – Interazione Uomo-Macchina 44

Problemi

Morfologia di mano e pollice non permettono di raggiungere facilmente i bordi e gli angoli

Il pollice può occludere la parte dello schermo che contiene il target

La selezione può essere ambigua se la zona di contatto è più ampia rispetto agli oggetti selezionabili

Nonostante ciò la tecnica Direct Touch è quella più usata

Page 12: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 45

Due nuove tecniche di selezione

Roudaut A., Huot, S. and Lecolinet E. (2008). TapTap and MagStick: Improving One-Handed Target Acquisition on Small Touch-screens. Proc. AVI '08. ACM, New York. 146-153. Video scaricato da http://www.anneroudaut.fr/

MagStick

TapTap

Daniela Fogli – Interazione Uomo-Macchina 46

Confronto qualitativo

(Roudaut et al. - AVI 2008)

Daniela Fogli – Interazione Uomo-Macchina 47

Esperimento

Condotto esperimento per confrontare TapTap e MagStick con Direct Touch, Offset Cursor, Thumbspace e Shift

Ipotesi da testare: H1: TapTap e MagStick sono le tecniche più veloci dopo Direct Touch H2: TapTap e MagStick sono le tecniche con minor tasso di errore

Daniela Fogli – Interazione Uomo-Macchina 48

Metodologia

Utenti: 12 volontari (1 donna, 11 uomini) età: 23-47 tutti novizi rispetto a dispositivo mobile con touch screen 2 mancini

Tecnica within-groups (ogni utente prova tutte le condizioni sperimentali)

10 prove come addestramento

Il compito consisteva nel fare una serie di selezioni di target in una mappa di una città con le 6 diverse tecniche

Page 13: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 49

Variabili

Variabili di controllo: ai partecipanti era richiesto di tenere il dispositivo con la mano dominante e di usare il pollice per le selezioni

Variabile indipendente: La tecnica utilizzata (6 valori)

Prove sulle 8 aree target con within-groups cambiando l’ordine di esecuzione riguardo alle tecniche e facendo fare due selezioni in tutte le 8 aree (ordinate in maniera circolare)

Variabili (dipendenti) misurate: Tempo di esecuzione del compito Numero errori commessi

Daniela Fogli – Interazione Uomo-Macchina 50

Risultati

(Roudaut et al. 2008)

Tempo

Tasso d’errore

Daniela Fogli – Interazione Uomo-Macchina 51

Il test pilota

E� bene sempre eseguire il test su alcuni soggetti prima di eseguirlo estesamente à fare una prova generale Con 1-2 soggetti fra persone facilmente raggiungibili Non ha valore di raccolta dati ma

Si scoprono ambiguità e oscurità nelle istruzioni su come condurre il test Si scopre se i compiti sono difficili e i tempi stretti Si scopre se le richieste all’utente sono chiare o di difficile comprensione

Serve per rifinire la procedura sperimentale e chiarire le definizione delle variabili che si vanno a misurare

Daniela Fogli – Interazione Uomo-Macchina 52

(Nielsen, 1993)

Il laboratorio di Usabilità

Page 14: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 53

Esempi di Laboratori di Usabilità

http://www.designperspectives.com/usability.html

http://iat.ubalt.edu/index.php/graduate-programs/usability-lab/

Daniela Fogli – Interazione Uomo-Macchina 54

Multiple-User Simultaneous Test

�Testing 5-10 users at once lets you conduct large-scale usability testing and still meet your deadlines� (Nielsen)

Playtest lab at Microsoft Games Studios. Headsets are helpful when many people in the same room are playing audio-intensive games www.useit.com

Daniela Fogli – Interazione Uomo-Macchina 55

In HCI gli esperimenti in laboratorio hanno valore limitato perché:

Il laboratorio è differente dal posto di lavoro Non è possibile controllare tutte le variabili ambientali (alcune ignote) I compiti eseguiti sono resi artificiali dai vincoli sperimentali (ad esempio di tempo) Non si presta attenzione alle idee ed alle motivazioni del soggetto

Limiti dell’esperimento nel senso tradizionale

Daniela Fogli – Interazione Uomo-Macchina 56

Pro e contro delle registrazioni video

CONTRO Normalmente non c’è bisogno di rivedere l’esperimento perché con esso si intendono rilevare principalmente le �catastrofi di usabilità�, cosa che si rileva al momento Il tempo per analizzare un video è circa 3-10 volte la durata dell’esperimento

PRO In molti casi servono per fare una analisi formale dell’impatto che hanno i problemi di usabilità: prima si individuano i problemi e poi si va sulle registrazioni dei vari utenti ad analizzare chi li ha avuti e cosa li ha provocati Servono anche come mezzo di comunicazione fra gli esperti di usabilità, gli sviluppatori e i manager

Page 15: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 57

Registrazioni senza telecamere

Si possono usare programmi che registrano ciò che succede sul video (e.g. CamStudio)

Lo svantaggio: l’utente non è incluso nelle immagini, non si possono fare zoom su parti interessanti dello schermo o sulla pagina del manuale che l’utente invano sta studiando

Daniela Fogli – Interazione Uomo-Macchina 58

Laboratori �portatili� e Chioschi

Invece di avere un laboratorio permanente, avere un laboratorio �portatile� per esperimenti sul campo (con laptop, webcam, microfono e software di registrazione video)

Un chiosco di usabilità è un laboratorio self-service: si mette il sistema in vista in un’area di passaggio del pubblico allo scopo di raccogliere commenti, esegue un �esperimento automatico� (suggerisce certi compiti agli utenti e memorizza tempi e commenti)

Daniela Fogli – Interazione Uomo-Macchina 59

… e per dispositivi mobili

Mobile Device Camera Strumento di osservazione di utenti che interagiscono con dispositivi mobili (Noldus Information Technology – www.noldus.com )

Daniela Fogli – Interazione Uomo-Macchina 60

Remote Usability Testing

Permette di condurre l’esperimento con partecipanti che rimangono nel loro ambiente naturale

Si usano software di condivisione dello schermo o piattaforme online specifiche per questo scopo

Solitamente gli esperimenti consistono in pochi compiti (3-5 compiti) per una durata globale limitata (15-30 minuti)

Esempi di tool: Loop11, OpenHallway, TryMyUI, UserLytics, UserZoom, …

Page 16: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 61

Due tipologie

Remote Usability Testing

Moderated

Unmoderated

•  Sincrono •  Un utente alla volta •  Tecnologia condivisa

•  Asincrono •  Più utenti alla volta •  Auto-gestito •  Tool specifici per

memorizzazione e feedback

Daniela Fogli – Interazione Uomo-Macchina 62

Quando?

Tempi ristretti per condurre gli esperimenti

I partecipanti (utenti target) sono geograficamente distribuiti (le spese di viaggio hanno un costo)

I partecipanti devono usare una certa macchina per questioni tecniche o di sicurezza

I partecipanti hanno problemi di accessibilità e devono usare la loro macchina con tecnologie assistive

Si vogliono lanciare più test contemporaneamente

Daniela Fogli – Interazione Uomo-Macchina 63

Pro e Contro

Pro Ambiente reale (… ed elimina il bisogno di un laboratorio) Costi ridotti Organizzazione Più utenti

Contro Sicurezza Non si vede l’utente nella sua interezza Difficoltà tecniche (connessione lenta, software che va in conflitto, …)

Daniela Fogli – Interazione Uomo-Macchina 64

Potenti se applicati correttamente

Richiedono molte risorse (tempo/denaro)

Molto intrusivi (effetto Hawthorne)

Valore limitato

Utili quando si richiedono informazioni specifiche su nuove tecnologie di interazione

Pro e contro degli esperimenti in generale

Page 17: 13 Esperimento Con Utenti

Daniela Fogli – Interazione Uomo-Macchina 65

Mantiene alcuni aspetti della sperimentazione scientifica: §  prove in laboratorio (eventualmente portabile o chiosco) §  la progettazione dell’esperimento in anticipo §  stabilisce in anticipo i goal di usabilità da valutare e tende ad

esprimerli secondo metriche quantitative Ma accetta l’impossibilità di controllare tutte le variabili non di interesse e ammette maggior interazione con l’utente (durante l’esperimento e nel debriefing finale)

L’esperimento secondo l’ingegneria dell’usabilità

Daniela Fogli – Interazione Uomo-Macchina 66

Il Rapporto di valutazione

Deve contenere: Nomi degli sperimentatori, data, descrizione oggetto dell’analisi Obiettivi della valutazione (se specifici) Metodologia: quanti utenti, loro caratteristiche, compiti/scenari, il contesto, gli strumenti utilizzati, come è stato condotto il test, quanto tempo è durato, quali variabili misurate, come sono stati analizzati i risultati, i moduli utilizzati Tabella di sintesi delle misure raccolte Analisi dei risultati, commentando le misure raccolte e descrivendo i problemi incontrati dagli utenti (per lo meno quelli più significativi) Sintesi delle interviste/questionari sottomessi agli utenti Descrizione di interventi migliorativi Allegati