Human Computer Interaction - Goethe University Frankfurt...‣ Papierprototyp ‣ Prototypische Implementierung der Benutzungsschnittstelle (Mockup) ‣ Vorteile ‣ Fehler/Probleme

Hier wird Wissen Wirklichkeit

Human Computer Interaction

Experten-Reviews, Usability Testing, Untersuchungen und kontinuierliche Bewertung

Prof. Dr. Detlef Krömker Institut für Informatik Johann Wolfgang Goethe-Universität

Prof. Dr. Detlef Krömker Institut für Informatik

2 Hier wird Wissen Wirklichkeit B-HCI – V05 Experten Reviews – Usability Testing

Die drei Säulen des Designs (I)

Akademische Forschung

Theorien und Modelle

Algorithmen und Prototypen

Kontrollierte Experimente

Erfolgreiche Benutzungsschnittstellen

Richtlinien und

Prozesse

UI Software

Tools

Experten- Reviews

und Usability Testing



Übersicht

‣  Einführung

‣  UI-Experten-Reviews / Interviews

‣  Usability Testing

‣  Anwenderbefragungen / -Interviews

‣  Akzeptanztests

‣  Kontinuierliche Evaluierung während der Nutzung

‣  Subjektive Tests



Einführung

‣  Häufiges Problem bei der Gestaltung von Benutzungsschnittstellen ‣  Betriebsblindheit ‣  Adäquate Evaluierung / Kritik eigener Kreationen wird “vergessen”

‣  Vermeidung dieses Problems ‣  Umfangreiche Tests und Evaluierungen

‣  Grundlage: Evaluierungsplan ‣  kurzfristige Tests über einige Tage bis zu ambitionierte

mehrjährigen Tests ‣  Kostenrahmen von 1% bis 10% der Gesamtprojektkosten



Determinanten eines Evaluierungsplans ‣  Stadium des Designs (früh, mittel, spät)

‣  Neuheit des Projektes (wohl definiert vs. explorativ)

‣  Anzahl der erwarteten Benutzer

‣  Bedeutung der Schnittstelle (lebensbedrohend – Leitsystem – selten genutzt)

‣  Kosten und verfügbare Mittel für Tests

‣  Verfügbare Zeit

‣  Erfahrung des Design- und Evaluierungsteams



Prototypen und häufiges Testen

‣  Usability-Tests sind nicht notwendigerweise teuer ‣  Früh testen ‣  Häufig testen ‣  Einfache Tests

‣  Prototypen ‣  Konzept auf Papier ‣  Papierprototyp ‣  Prototypische Implementierung der Benutzungsschnittstelle

(Mockup) ‣  Vorteile

‣  Fehler/Probleme können früh gefunden und behoben werden ‣  Jeder kann als Tester fungieren: Mitarbeiter, Freunde, Studenten,

etc. Kosten minimal!



Techniken zur Evaluierung ‣  (Informelle Demonstrationen mit Kollegen und Kunden)

‣  Lautes Denken

‣  Experten-Reviews

‣  Usability Tests

‣  … eine gute Übersicht und viele Anleitungen, Beispiele finden Sie unter http://www.stcsig.org/usability/topics/ und http://www.stcsig.org/usability/resources/toolkit/toolkit.html (forms, checklists and other useful documents for conducting usability tests and user interviews) siehe auch http://www.infodesign.com.au/usabilityresources



Lautes Denken ‣  Technik des lauten Denkens (Thinking Aloud)

‣  „Discount Usability Test“

‣  Vorgehen ‣  (Beliebige) Testperson ‣  3-5 Tests/Personen ‣  Testpersonen bearbeiten Aufgaben und sprechen dabei laut die

jeweiligen Gedankengänge aus ‣  Protokollierung von Gedanken und Aktionen, ggf.

Verständnisfragen

‣  Kosten/Nutzen ‣  Minimale Kosten, viele Probleme/Fehler werden schnell gefunden



Experten-Reviews (I) HCI - Experten-Reviews (Expert Reviews)

Vorgehen

‣  (Externe) Experten evaluieren Anwendung ‣  3-5 Experten (verschiedene Experten finden i.A. unterschiedliche

Probleme)

Aufwand: halber Tag bis eine Woche ‣  Ggf. auch längere vorbereitende Trainingsperiode ‣  Kurzfristig und schnell einsetzbar

Ergebnis: Bericht über potentielle Probleme



Experten-Reviews (II)

Review-Reports enthalten typischerweise:

‣  Management Summary ‣  Bezeichnung, was und wie untersucht wurde ‣  Liste der Probleme (einzeln, zu jedem Punkt): ‣  ein Kommentar ‣  eine Klassfizierung (harmlos .. gravierend) ‣  eine Prognose bezüglich erwartetem Korrekturaufwand ‣  mögliche Maßnahmen

‣  Schlussbemerkung



Experten-Reviews (III)

Verschiedene Formen von Experten-Reviews

‣  Heuristische Evaluation ‣  Richtlinien-Review ‣  Konsistenz-Inspektion ‣  Kognitiver Durchgang (Cognitive Walkthrough) ‣  Formale Usability-Inspektion



Heuristische Evaluierung Heuristische Evaluation

(Heuristic Evaluation) ‣  Nielsen und Molich 1990

‣  Vorgehensweise ‣  Kleine Anzahl von Experten, die

eine Anwendung gegen akzeptierte, heuristische Usability-Prinzipien prüfen

‣  Usability-Prinzipien: z.B. 10 Usability Heuristics nach Nielsen

‣  Typische Dauer: 1-2 Stunden???

Evaluatoren vs. Gefundene Probleme (Nielsen 1994)

Siehe auch: http://www.useit.com/papers/heuristic/



Kognitiver Durchgang ‣  Kognitiver Durchgang (Cognitive Walkthrough) ‣  Ausgangspunkt

‣  Systembeschreibung ‣  Prototypen ‣  Szenario, Zerlegung in Aktionsfolgen ‣  Benutzer-Analyse

‣  Durchspielen des Prozesses mit Fragestellungen ‣  Welches Ziel soll erreicht werden? ‣  Was soll die nächste korrekte Aktion sein? ‣  Wie wird die nächste korrekte Aktion ausgeführt? ‣  Was bedeutet das Feedback des Systems?

‣  Resultate ‣  Analyse „Gulf of Execution/Evaluation“ ‣  Liste von Problemen mit potentiellen Lösungsansätzen



Mögliche Probleme bei Experten-Reviews

‣  Experte kennt zwar die Anwendung, aber besitzt kein adäquates Hintergrundwissen zum Aufgabengebiet und User Communities

‣  Selbst erfahrene Experten können große Schwierigkeiten haben sich vorzustellen, wie typische Anwender (insbesondere First Time Users) sich verhalten

‣  Kein Ersatz für Tests mit realen Benutzern: Verlässliche Antworten, wie Benutzer letztlich reagieren werden, liefern nur Usability Tests

‣  Anzahl der Experten?



Usability Testing und Labore



Usability-Tests ‣  Ziel

‣  Praxis: Fehler und Probleme feststellen ‣  Theorien: Bestätigung oder Falsifizierung

‣  Grundlage ‣  Usability-Labor ‣  Testpersonen: unvoreingenommene, motivierte Benutzer aus der

anvisierten Nutzergruppe ‣  Moderator ‣  Beobachter ‣  Typisch: 2 bis 4 Testzyklen mit je 3-5 Testpersonen ‣  1-2 Stunden pro Testperson, max. 3 Tests pro Tag



Usability-Tests

Vorgehensweise ‣  Wohldefinierte Vorgehensweise (Vorbereitung,

Durchführung, Auswertung) ‣  Klare Rollenverteilung, Skript, Aufgabenstellung, Review-

Dokumente

Aspekte ‣  Es ist besser mit nur einem User zu testen, als überhaupt

nicht zu testen (Nielsen) ‣  Usability Testing mit 5 Usern offenbart bereits bis zu 70%

der größten Usability Probleme (Nielsen/Landauer 1993)



Usability-Labor: Typische Ausstattung ‣  Ausstattungsmerkmale

‣  Testraum und davon getrennter Kontrollraum zur Beobachtung der Versuche

‣  Rechner ‣  Audio- und Videoaufzeichnungs-

geräte ‣  Technologien zur Aufzeichnung

von Benutzerinteraktionen ‣  Z.B. Eyetracker zur

Blickverfolgung ‣  Auswertungssoftware ‣  Etc.



Usability Testing und Labore

Videoaufzeichnung des Tests oft sehr wertvoll ‣  Erleichterung späterer Auswertung und Reviews ‣  Präsentation der Probleme für Gestalter und Manager

Verschiedene Varianten von Usability Tests ‣  Paper Mockups ‣  Discount Usability Testing ‣  Competitive Usability Testing ‣  Universal Usability testing ‣  Feldtests und portable Labore ‣  Remote Usability Testing ‣  Can-you-break-this Tests



Usability-Tests ‣  Teilnehmende Testpersonen: Freiwillige

‣  Grundlage für Tests: Einverständniserklärung der Testpersonen

‣  Beispiel einer Einverständniserklärung „Ich habe mich freiwillig bereit erklärt an diesem Experiment teilzunehmen. Ich wurde darüber vorab informiert, was meine Aufgaben sind und wie der

Ablauf sein wird.. Ich hatte Gelegenheit Fragen zu stellen und diese wurden zu meiner

Zufriedenheit beantwortet. Mir ist bewusst, das ich den Ablauf jederzeit ohne Angabe von Gründen

abbrechen kann. Dies bescheinige ich vor Durchführung der Tests durch meine Unterschrift.“ .



Anwenderbefragungen (I)

‣  Anwenderbefragungen (Surveys) ‣  Schriftliche Befragungen als preiswerte und nützliche Ergänzung

zu Experten-Reviews und Usability Tests

‣  Voraussetzungen für erfolgreiche Anwenderbefragungen ‣  Klar definierte Ziele vor der Durchführung ‣  Entwicklung unterstützender, fokussierender Elemente

‣  Vorgehensweise ‣  (Papier-) Fragebogen ‣  Online-Surveys



Anwenderbefragungen (II) ‣  Mögliche Ziele einer Anwenderbefragung

‣  Verifizierung der Annahmen über Benutzergruppe ‣  Anwenderhintergrund (Alter, Geschlecht, Ausbildung, Einkommen,

etc.) ‣  Erfahrungsstand (Systeme, Anwendungen, Zeitraum, Tiefe,

Anwendungsfeatures) ‣  Job: Position und Aufgaben (Entscheidungsprozesse, Anteil

organisatorischer Arbeiten, Motivation) ‣  Persönlichkeitsbild (introvertiert vs. extrovertiert, Risikobereitschaft,

Early vs. Late Adopter, Systematisch vs. Opportunistisch) ‣  Ggf. Gründe für Nicht-Nutzung von Informationstechnologien

‣  Bewertung des User-Interfaces (Repräsentationsformen für Objekte und Aktionen, Syntax, allgemeines Design, Zufriedenheit)



Anwenderbefragungen (III)

Aspekte der Fragebogengestaltung ‣  Grundanforderung: Standardisierung ‣  Sprachliche Gestaltung: einfach, verständlich ‣  Frageformen ‣  Offen (Vorteil: mehr Antwortmöglichkeiten) ‣  Geschlossen (Vorteil: Einfacher auszuwerten) ‣  Positiv vs. Negativ: positive Antworten werden allgemein

bevorzugt ‣  Bewertungsskalen: gerade vs. Ungerader Anzahl von

Bewertungsalternativen ‣  Harte vs. Weiche Antwortalternativen

‣  Zeitaufwand zur Beantwortung



Akzeptanz-Tests (I)

‣  Akzeptanz-Test (Acceptance Tests) ‣  Vorgehensweise

‣  (Formale) Überprüfung der laut Pflichtenheft vorgegebene Ziele ‣  Beispiel: Time-to-Learn, Durchlaufzeiten, Szenarien,

Fehlerrate, Subjektive Zufriedenheit der Nutzer ‣  Nicht: User Friendliness (Benutzerfreundlichkeit)….!!!

‣  Projekt-/Produkt-Abnahme nur bei Einhaltung der Vorgaben ‣  Formale Integration in Entwicklungsprozess

‣  Vorteile ‣  Klar messbare Ziele ‣  Integration in den Entwicklungsprozess



Akzeptanz-Tests (II)

‣  Akzeptanz-Tests in der Praxis ‣  Bei großen Systemen typischerweise jeweils 8-10 Tests an

verschiedenen Komponenten der Benutzungsschnittstelle und mit unterschiedlichen Benutzergruppen

‣  Feldtests nach erfolgreichem Akzeptanz-Test und vor nationaler oder internationaler Auslieferung



Evaluierung während der Nutzung (I) ‣  Evaluierung während der Nutzung - Kontinuierliche Bewertung ‣  Gründe

‣  Viele Probleme zeigen sich erst in der Anwendung ‣  Speziell: selten verwendete, aber kritische Funktionen (z.B. Backup,

Recovery) ‣  Anwendungsszenario kann sich ändern ‣  Anforderungen der User können sich ändern

‣  Perfektion kaum zu erreichen, aber prozentuelle Verbesserungen möglich ‣  Formen

‣  Interviews und Fokusgruppen-Diskussionen ‣  User Performance Data Logging ‣  Konsultationen (Online, Telephon) ‣  Online Suggestion Boxes und Email Trouble Reporting ‣  Online-Diskussionsgruppen und Email-Foren



Evaluierung während der Nutzung (II)

‣  Interviews und Fokusgruppen-Diskussionen ‣  Interview bzw. Diskussionsgruppen-Treffen mit ausgewählten

Anwendern ‣  Vorteile

‣  Interviewer bzw. Moderator kann gezielt nach spezifischen Aspekten fragen

‣  Gruppendiskussionen können den allgemeinen Wert einzelner Aussagen sicherstellen



Evaluierung während der Nutzung (III)

‣  Continuous User-performance Data Logging ‣  Vorgehensweise

‣  Sammeln von Daten über die Nutzung mit dem Anwendungssystem, z.B. ‣  Anwendungsmuster (Patterns of Usage) ‣  Speed of User Performance ‣  Fehlerrate ‣  Häufigkeit des Bedarfs an Unterstützung (Hilfe, Trouble Desk)

‣  Vorteile ‣  Umfangreiche, objektive Daten

‣  Problem ‣  Unspezifisch: Was ist ein Problemfall? Was war ein Fehlerfall?



Evaluierung während der Nutzung (IV) ‣  Online- oder Telefon-Konsultationen

‣  Vorgehensweise ‣  Nutzung von Informationen spezifischer Nutzungs-Probleme aus

Konsultationen und Online-Hilfe ‣  In manchen Systemen auch: Monitoring von Anwendermonitoren

durch Consultants

‣  Vorteile ‣  Spezifische Informationen über Problemfälle

‣  Problem ‣  Aufwand



Evaluierung während der Nutzung (IV) ‣  Online Suggestion Box und Email Trouble Reporting

‣  Elektronische Mail mit Schilderungen von Problemen an Systemadminstratoren, Entwickler oder Gestalter

‣  Vorteile ‣  Spezifische Problemberichte

‣  Problem ‣  Für manche Anwender ist diese Art des Feedbacks bereits zuviel

Arbeit



Evaluierung während der Nutzung (V) ‣  Diskussiongruppen und Newsgroups ‣  Vorgehensweise

‣  Installation von Diskussiongruppen und Newsgroups zur Diskussion der Nutzung von Anwendungen ‣  Z.B. auch in unabhängiger Form über America Online and

Yahoo! ‣  Permit postings of open messages and questions ‣  Topic List ‣  Z.T. moderiert

‣  Vorteile ‣  Soziales System, das auch verschiedene andere Vorteile mit sich

bringt ‣  Ermutigung zum Posting von Kommentaren und

Verbesserungsvorschlägen



Subjektive Tests Kontrollierte, psychologisch orientierte Experimente ‣  Ziel: Präzise Modelle und Maße für Aspekte der Nutzung einer

Benutzungsschnittstelle

‣  Vorgehensweise ‣  Analyse der praktischen Problems und des theoretischen Hintergrunds ‣  Formulierung einer klaren und testbaren Hypothese ‣  Identifizierung einer kleinen Anzahl unabhängiger Variablen, die verändert

werden sollen ‣  Sorgfältige Wahl der abhängigen Variablen, die gemessen werden sollen ‣  Überprüfung der Versuchsanordnung in Vortests ‣  Auswahl der Testpersonen und zufällige Zuweisung zu Gruppen ‣  Beachtung verfälschender Faktoren (Nicht-repräsentative Auswahl von

Testpersonen oder Aufgaben, inkosistente Testdurchführung ‣  Statistische Auswertung ‣  Lösung des praktischen Problems, Verfeinerung der Theorie, Hinweise für

andere Forscher und Entwickler



Fragen - Diskussion

Hier wird Wissen Wirklichkeit

Schluss

Und vielen Dank.

Documents

Human Computer Interaction - Goethe University Frankfurt...‣ Papierprototyp ‣ Prototypische Implementierung der Benutzungsschnittstelle (Mockup) ‣ Vorteile ‣ Fehler/Probleme