Usability & usefulness in digital libraries

  • View
    44

  • Download
    0

Embed Size (px)

DESCRIPTION

Usability & usefulness in digital libraries. Summer School Digital Libraries. 20.-24. September 2010. Bozen-Bolzano. Prof. Dr. Ren Schneider, Haute Ecole de Gestion, Genf. Warum dieses Modul?. Aktuelle Trends in der Evaluation kennenlernen. - PowerPoint PPT Presentation

Transcript

  • Usability & usefulness in digital librariesSummer School Digital Libraries20.-24. September 2010Prof. Dr. Ren Schneider, Haute Ecole de Gestion, GenfBozen-Bolzano

  • Warum dieses Modul?Usability und Usefulness sind essentiell fr die Kundenarbeit2. Grundkenntnisse vermeiden Fehler in der Konzeption von DL3. Lernen, selbst zu evaluieren oder Evaluationen zu beauftragenAktuelle Trends in der Evaluation kennenlernen

  • ZieleGrundkenntnisse ber das Themenspektrum erwerben2. Das Verhltnis zwischen Usability & Usefulness verstehen3. Modelle und Methoden kennenlernenKonkrete und aktuelle Forschungsergebnisse prsentieren

  • berblick1. Begriffe & Definitionen2. Usability (in Digital Libraries)3. Usefulness (in Digital Libraries)4. Forschungsprojekt ACCEPT

  • 1. Begriffe & Definitionen

  • Definition: Digital Libraries"Digital libraries are organized collections of digital information. They combine the structuring and gathering of information, which libraries and archives have always done, with the digital representation that computers have made possible."Practical Digital Libraries. Michael Lesk. Morgan Kaufmann. 1997.

  • Beispielhttp://sunsite.berkeley.edu

  • FrageWelcher Prozess steckt hinter diesen Begriffen?

  • Enwicklungsprozesshttp://www.slideshare.net/UIEpreviews/search-discovery-patterns-a-uie-virtual-seminar

  • Definition: EvaluationEvaluation (Evaluierung) ist in der allgemeinsten Bedeutung die Bewertung von Organisationseinheiten, Prozessen und Ergebnissen dieser Prozesse gemeint.Darunter fllt auch Software bzw. besondere Bestandteile dieser Software, also Benutzerschnittstellen und Inhalte.

  • Evaluation: PrinzipienRegardless of methodology, evaluation is a social activity. Hirschman/Mani 2003http://findability.org/images/uxpeople.png

  • FrageWelche Eigenschaften sollte eine benutzerfreundliche digitale Bibliothek besitzen ?

  • Eigenschaftenhttp://semanticstudios.com/publications/semantics/images/honeycombbig.jpg

  • Barrierefreiheit & Universal Design

  • Evaluation: MotivationWie knnen diese unterschiedlichen Eigenschaften whrendder Entwicklung (development)des Testens (testing)der Auslieferung (deployment)in objektive Qualittskriterien gefasst werden?Zielgruppen / InteressentenGeldgeber,Projektmanager,Entwickler, Benutzer.

  • Zeitpunkt: immer!

  • EvaluationstypenBewertende Evaluation: How good?Hier wird eine bestimmte gewnschte oder geforderte Systemeigenschaft geprft.Analysierende Evaluation: Why bad?Ziel dieser Evaluation ist es, Hinweise auf Schwachstellen zu erhalten, um direkte Gestaltungsvorschlge zu liefern.Vergleichende Evaluation: Which is better?Zwei oder mehr Systeme werden miteinander verglichen

  • objektive Methodenversucht, die subjektiven Einflsse weitgehend auszuschalten. Objektive Methoden ermitteln harte Daten, beispielsweise przise Angaben ber Bearbeitungszeiten und Fehlerzahlen. Ziel der objektiven Methoden ist die Beobachtung der tatschlichen Benutzung der Anwendung. Die Beobachtung ohne technische Untersttzung erfolgt mit Hilfe von Beobachtungsprotokollen, die in der Regel in strukturierter Form vorliegen und die zu beobachteten Sachverhalte vorgeben.

    Objektive vs. subjektive Methoden(1)Beispiel: Logfile-Analyse

  • Objektive vs. subjektive Methoden(2)subjektive MethodenBei subjektiven Methoden steht die Bewertung der Benutzungsschnittstelle durch den Benutzer im Vordergrund. Es werden hier sogenannte weiche Daten ermittelt, beispielsweise ob die Benutzung des Systems einfach, angenehm und verstndlich ist. Vorwiegend werden hier Befragungen der Benutzer eingesetzt. Dabei knnen die Befragungen per Fragebogen oder als Interview erfolgen. Beispiel: Usability-Test

  • Kriterien fr die Wahl einer MethodeWas ist das Ziel der Evaluation?Geht es um einen abschlieenden Test des Gesamtsystems, oder sollen bestimmte Aspekte berprft werden?Wer soll die Evaluation durchfhren?Ist es besser, dass ein Experte das System inspiziert, oder sollten auch Benutzer die Evaluation durchfhren?Wo soll die Evaluation durchgefhrt werden?Soll sie in einem Labor oder einem Arbeitsplatz durchgefhrt werden?

  • Kriterien fr die Wahl einer MethodeWelche Informationen werden gesammelt?Was soll gemessen werden, welche Daten sind von Bedeutung?Wie gro sind die Ressourcen?Wieviel Geld und Zeit stehen fr die Evaluation zur Verfgung?

  • VorgehenFr die Durchfhrung einer gelungenen Evaluation geht es also darum, eine Vielzahl von Parameter a priori abzuschtzen.

    Dabei kann es hilfreich sein, diese Parameter als Online-Beratungshilfe zur Verfgung zu stellen, um die Entscheidungsfindung zu erleichtern.

    Evaluierungsplattform CHEVAL der HTW Chur: http://www.cheval-lab.ch/online-beratungskomponente

  • Das LHC-ProblemFr fast alle Evaluationsmethoden muss beachtet werden, dass ein erheblicher Arbeitsaufwand fr die Auswertung entsteht, der Tage, in vielen Fllen Wochen beansprucht.

  • Definition: UsabilityIn design, Usability is the study of the ease with which people can employ a particular tool or other human-made object in order to achieve a particular goal. en.wikipedia.org/wiki/Usability

    The state or condition of being usable; The degree to which an object, device, software application, etc. is easy to use with no specific training.en.wiktionary.org/wiki/usability

  • Usability: Charakterisika (Nielsen)Effizienz (efficient to use)Zufriedenheit (subjective satisfaction)Erlernbarkeit (easy to learn)Merkbarkeit (easy to remember)Fehlertoleranz (few errors)

  • Usability: MethodenExpertenorientierte MethodenCognitive WalkthroughHeuristische EvaluationBenutzerorientierte MethodenFokusgruppenBenutzerbefragungUsability-Tests. Schweibenz/Thissen: Qualitt im Web

  • Qualitt - QuantittJakob Nielsen, alertbox, 19 Mrz 2010

  • Mythen zur Software-EvaluierungFnf Testteilnehmer reichen aus.Das Hauptziel eines Usability Tests ist es, Usability Probleme zu finden.Ein Usability Test wird sehr viel besser, wenn er in einem Usability Lab durchgefhrt wird.Usability Tests sind besser als Experten-Reviews.Gefundene Probleme sind einfach zu korrigieren.Rolf Molichhttp://www.slideshare.net/uxhh/5-mythen-ber-usability-testing

  • Definition: Usefulnessutility: the quality of being of practical usewordnetweb.princeton.edu/perl/webwn

    the quality of having utility and especially practical worth or applicabilityMerriam Webster Online Dictionary

  • Definition: UsefulnessThe content and services offered by a system, and how closely they meet user requirements, are considered key aspects of system usefulness.

    (Hartmann, 2006; Savolainen, 2008, Buchanan, 2009)The concept of usefulness defines whether DLs constitute valuable tools for the completion of users tasks. Usefulness answers the questions if DLs support users information needs and work completion.(Tsakonas et Papatheodorou, 2008, p. 1237)

  • 2. / 3. Usability & Usefulness in DL

  • Frage

    Wie verhalten sich

    Usability & Usefulness

    zueinander?

  • Usability & Usefulness

    Etwas kann leicht zu bedienen, aber vllig nutzlos sein:Usability ist unabhngig von Usefulness.

    Hingegen kann nicht ntzlich sein, was schwer zu bedienen ist: Usefulness ist abhngig von Usability.

  • Usability & Usefulness in DL

    Bei Usability (in digitalen Bibliotheken) geht es um die Schnittstelle zum System, genauer um die Beziehung zwischen System und Benutzer.

    Bei der Usefulness (in digitalen Bibliotheken) geht es um den Inhalt, genauer um die Beziehung zwischen Inhalt und Benutzer.

  • The Elements of User Experience

    http://www.jjg.net/elements/pdf/elements.pdf

  • Usability & Usefulness

    In beiden Fllen geht es bei der Evaluation der Usability und der Usefulness um die Feststellung qualitativer Merkmale und deren Beurteilung durch den Benutzer.

  • Interaction triptych framework

    http://www.is.informatik.uni-duisburg.de/wiki/index.php/JPA_2_-_WP7

  • FrageWelche Merkmale kennzeichnen die Relationen zwischen Benutzer, Inhalt und System in einer digitalen Bibliothek?

  • Interaction triptych framework

    Tsakonas, Papatheodorou, 2008, Exploring usefulness and usability in the evaluation of open access digital libraries

  • Usefulness in DL: AusgangspunktDie Evaluation der Usefulness ist fr Bibliotheken von besonderem Interesse, da diese Evaluation hufig intern (in house), d.h. durch den Bibliothekar geschehen kann.

    Allerdings existieren im Gegensatz zur Evaluation der Usability wenige ausgereifte Methoden, sondern eher eine Vielzahl von Modellen zur Bestimmung der Ntzlichkeit.

  • Usefulness in DL: ProblematikDer Grund scheint in einem prinzipiellen Antagonismus zwischen den Bibliothekaren, die die Systeme erstellen und betreuen, sowie den Nutzern, die die Inhalte konsultieren zu liegen. Bibliothekare und Nutzer haben hufig unterschiedliche Sichtweisen bzgl. der Ntzlichkeit einer Ressource.

  • Usefulness in DL: P3 ModellDillon & Morris, 1999,Power, Perception and Performance: From Usability Engineering to Technology Acceptance with the P3 Model of User Response

  • Usefulness: ModelleFuhr et al., 2001, Digital libraries: a generic classification scheme

  • Usefulness in DL: Evaluationskriterien Fuhr et al., 2001, S. 193

  • Usefulness in DL: Voraussetzungen Khani-Zabihi, Ghinea & Chen, 2006, Digital libraries: what do users want?

  • Usefulness in DL: Verbesserungsvorschlge Khani-Zabihi, Ghinea & Chen, 2006, Digital libraries: what do u