Usability & usefulness in digital libraries

  • Published on
    21-Jan-2016

  • View
    44

  • Download
    0

DESCRIPTION

Usability & usefulness in digital libraries. Summer School Digital Libraries. 20.-24. September 2010. Bozen-Bolzano. Prof. Dr. Ren Schneider, Haute Ecole de Gestion, Genf. Warum dieses Modul?. Aktuelle Trends in der Evaluation kennenlernen. - PowerPoint PPT Presentation

Transcript

  • Usability & usefulness in digital librariesSummer School Digital Libraries20.-24. September 2010Prof. Dr. Ren Schneider, Haute Ecole de Gestion, GenfBozen-Bolzano

  • Warum dieses Modul?Usability und Usefulness sind essentiell fr die Kundenarbeit2. Grundkenntnisse vermeiden Fehler in der Konzeption von DL3. Lernen, selbst zu evaluieren oder Evaluationen zu beauftragenAktuelle Trends in der Evaluation kennenlernen

  • ZieleGrundkenntnisse ber das Themenspektrum erwerben2. Das Verhltnis zwischen Usability & Usefulness verstehen3. Modelle und Methoden kennenlernenKonkrete und aktuelle Forschungsergebnisse prsentieren

  • berblick1. Begriffe & Definitionen2. Usability (in Digital Libraries)3. Usefulness (in Digital Libraries)4. Forschungsprojekt ACCEPT

  • 1. Begriffe & Definitionen

  • Definition: Digital Libraries"Digital libraries are organized collections of digital information. They combine the structuring and gathering of information, which libraries and archives have always done, with the digital representation that computers have made possible."Practical Digital Libraries. Michael Lesk. Morgan Kaufmann. 1997.

  • Beispielhttp://sunsite.berkeley.edu

  • FrageWelcher Prozess steckt hinter diesen Begriffen?

  • Enwicklungsprozesshttp://www.slideshare.net/UIEpreviews/search-discovery-patterns-a-uie-virtual-seminar

  • Definition: EvaluationEvaluation (Evaluierung) ist in der allgemeinsten Bedeutung die Bewertung von Organisationseinheiten, Prozessen und Ergebnissen dieser Prozesse gemeint.Darunter fllt auch Software bzw. besondere Bestandteile dieser Software, also Benutzerschnittstellen und Inhalte.

  • Evaluation: PrinzipienRegardless of methodology, evaluation is a social activity. Hirschman/Mani 2003http://findability.org/images/uxpeople.png

  • FrageWelche Eigenschaften sollte eine benutzerfreundliche digitale Bibliothek besitzen ?

  • Eigenschaftenhttp://semanticstudios.com/publications/semantics/images/honeycombbig.jpg

  • Barrierefreiheit & Universal Design

  • Evaluation: MotivationWie knnen diese unterschiedlichen Eigenschaften whrendder Entwicklung (development)des Testens (testing)der Auslieferung (deployment)in objektive Qualittskriterien gefasst werden?Zielgruppen / InteressentenGeldgeber,Projektmanager,Entwickler, Benutzer.

  • Zeitpunkt: immer!

  • EvaluationstypenBewertende Evaluation: How good?Hier wird eine bestimmte gewnschte oder geforderte Systemeigenschaft geprft.Analysierende Evaluation: Why bad?Ziel dieser Evaluation ist es, Hinweise auf Schwachstellen zu erhalten, um direkte Gestaltungsvorschlge zu liefern.Vergleichende Evaluation: Which is better?Zwei oder mehr Systeme werden miteinander verglichen

  • objektive Methodenversucht, die subjektiven Einflsse weitgehend auszuschalten. Objektive Methoden ermitteln harte Daten, beispielsweise przise Angaben ber Bearbeitungszeiten und Fehlerzahlen. Ziel der objektiven Methoden ist die Beobachtung der tatschlichen Benutzung der Anwendung. Die Beobachtung ohne technische Untersttzung erfolgt mit Hilfe von Beobachtungsprotokollen, die in der Regel in strukturierter Form vorliegen und die zu beobachteten Sachverhalte vorgeben.

    Objektive vs. subjektive Methoden(1)Beispiel: Logfile-Analyse

  • Objektive vs. subjektive Methoden(2)subjektive MethodenBei subjektiven Methoden steht die Bewertung der Benutzungsschnittstelle durch den Benutzer im Vordergrund. Es werden hier sogenannte weiche Daten ermittelt, beispielsweise ob die Benutzung des Systems einfach, angenehm und verstndlich ist. Vorwiegend werden hier Befragungen der Benutzer eingesetzt. Dabei knnen die Befragungen per Fragebogen oder als Interview erfolgen. Beispiel: Usability-Test

  • Kriterien fr die Wahl einer MethodeWas ist das Ziel der Evaluation?Geht es um einen abschlieenden Test des Gesamtsystems, oder sollen bestimmte Aspekte berprft werden?Wer soll die Evaluation durchfhren?Ist es besser, dass ein Experte das System inspiziert, oder sollten auch Benutzer die Evaluation durchfhren?Wo soll die Evaluation durchgefhrt werden?Soll sie in einem Labor oder einem Arbeitsplatz durchgefhrt werden?

  • Kriterien fr die Wahl einer MethodeWelche Informationen werden gesammelt?Was soll gemessen werden, welche Daten sind von Bedeutung?Wie gro sind die Ressourcen?Wieviel Geld und Zeit stehen fr die Evaluation zur Verfgung?

  • VorgehenFr die Durchfhrung einer gelungenen Evaluation geht es also darum, eine Vielzahl von Parameter a priori abzuschtzen.

    Dabei kann es hilfreich sein, diese Parameter als Online-Beratungshilfe zur Verfgung zu stellen, um die Entscheidungsfindung zu erleichtern.

    Evaluierungsplattform CHEVAL der HTW Chur: http://www.cheval-lab.ch/online-beratungskomponente

  • Das LHC-ProblemFr fast alle Evaluationsmethoden muss beachtet werden, dass ein erheblicher Arbeitsaufwand fr die Auswertung entsteht, der Tage, in vielen Fllen Wochen beansprucht.

  • Definition: UsabilityIn design, Usability is the study of the ease with which people can employ a particular tool or other human-made object in order to achieve a particular goal. en.wikipedia.org/wiki/Usability

    The state or condition of being usable; The degree to which an object, device, software application, etc. is easy to use with no specific training.en.wiktionary.org/wiki/usability

  • Usability: Charakterisika (Nielsen)Effizienz (efficient to use)Zufriedenheit (subjective satisfaction)Erlernbarkeit (easy to learn)Merkbarkeit (easy to remember)Fehlertoleranz (few errors)

  • Usability: MethodenExpertenorientierte MethodenCognitive WalkthroughHeuristische EvaluationBenutzerorientierte MethodenFokusgruppenBenutzerbefragungUsability-Tests. Schweibenz/Thissen: Qualitt im Web

  • Qualitt - QuantittJakob Nielsen, alertbox, 19 Mrz 2010

  • Mythen zur Software-EvaluierungFnf Testteilnehmer reichen aus.Das Hauptziel eines Usability Tests ist es, Usability Probleme zu finden.Ein Usability Test wird sehr viel besser, wenn er in einem Usability Lab durchgefhrt wird.Usability Tests sind besser als Experten-Reviews.Gefundene Probleme sind einfach zu korrigieren.Rolf Molichhttp://www.slideshare.net/uxhh/5-mythen-ber-usability-testing

  • Definition: Usefulnessutility: the quality of being of practical usewordnetweb.princeton.edu/perl/webwn

    the quality of having utility and especially practical worth or applicabilityMerriam Webster Online Dictionary

  • Definition: UsefulnessThe content and services offered by a system, and how closely they meet user requirements, are considered key aspects of system usefulness.

    (Hartmann, 2006; Savolainen, 2008, Buchanan, 2009)The concept of usefulness defines whether DLs constitute valuable tools for the completion of users tasks. Usefulness answers the questions if DLs support users information needs and work completion.(Tsakonas et Papatheodorou, 2008, p. 1237)

  • 2. / 3. Usability & Usefulness in DL

  • Frage

    Wie verhalten sich

    Usability & Usefulness

    zueinander?

  • Usability & Usefulness

    Etwas kann leicht zu bedienen, aber vllig nutzlos sein:Usability ist unabhngig von Usefulness.

    Hingegen kann nicht ntzlich sein, was schwer zu bedienen ist: Usefulness ist abhngig von Usability.

  • Usability & Usefulness in DL

    Bei Usability (in digitalen Bibliotheken) geht es um die Schnittstelle zum System, genauer um die Beziehung zwischen System und Benutzer.

    Bei der Usefulness (in digitalen Bibliotheken) geht es um den Inhalt, genauer um die Beziehung zwischen Inhalt und Benutzer.

  • The Elements of User Experience

    http://www.jjg.net/elements/pdf/elements.pdf

  • Usability & Usefulness

    In beiden Fllen geht es bei der Evaluation der Usability und der Usefulness um die Feststellung qualitativer Merkmale und deren Beurteilung durch den Benutzer.

  • Interaction triptych framework

    http://www.is.informatik.uni-duisburg.de/wiki/index.php/JPA_2_-_WP7

  • FrageWelche Merkmale kennzeichnen die Relationen zwischen Benutzer, Inhalt und System in einer digitalen Bibliothek?

  • Interaction triptych framework

    Tsakonas, Papatheodorou, 2008, Exploring usefulness and usability in the evaluation of open access digital libraries

  • Usefulness in DL: AusgangspunktDie Evaluation der Usefulness ist fr Bibliotheken von besonderem Interesse, da diese Evaluation hufig intern (in house), d.h. durch den Bibliothekar geschehen kann.

    Allerdings existieren im Gegensatz zur Evaluation der Usability wenige ausgereifte Methoden, sondern eher eine Vielzahl von Modellen zur Bestimmung der Ntzlichkeit.

  • Usefulness in DL: ProblematikDer Grund scheint in einem prinzipiellen Antagonismus zwischen den Bibliothekaren, die die Systeme erstellen und betreuen, sowie den Nutzern, die die Inhalte konsultieren zu liegen. Bibliothekare und Nutzer haben hufig unterschiedliche Sichtweisen bzgl. der Ntzlichkeit einer Ressource.

  • Usefulness in DL: P3 ModellDillon & Morris, 1999,Power, Perception and Performance: From Usability Engineering to Technology Acceptance with the P3 Model of User Response

  • Usefulness: ModelleFuhr et al., 2001, Digital libraries: a generic classification scheme

  • Usefulness in DL: Evaluationskriterien Fuhr et al., 2001, S. 193

  • Usefulness in DL: Voraussetzungen Khani-Zabihi, Ghinea & Chen, 2006, Digital libraries: what do users want?

  • Usefulness in DL: Verbesserungsvorschlge Khani-Zabihi, Ghinea & Chen, 2006, Digital libraries: what do users want?

  • Usefulness in DL: Verbesserungsvorschlge Khani-Zabihi, Ghinea & Chen, 2006, Digital libraries: what do users want?

  • Usefulness in DL: Verbesserungsvorschlge Khani-Zabihi, Ghinea & Chen. 2006, Digital libraries: what do users want?

  • Usefulness in DL: Verbesserungsvorschlge Khani-Zabihi, Ghinea & Chen. 2006, Digital libraries: what do users want?

  • Das erste Mittel der Wahl bleibt der Fragebogen,

    dessen Zusammenstellung und Auswertung alles andere als trivial ist.

  • berblick4. Forschungsprojekt ACCEPT

  • 4. Forschungsprojekt ACCEPT

  • E-lib.chStrategisches Ziel ist es, E-lib.ch als das fhrende und zentrale nationale Portal im Sinne eines "Single-Point-of-Access" fr die wissenschaftliche Informationsrecherche und Bereitstellung in der Schweiz aufzubauen und nachhaltig zu etablieren.

  • ACCEPTDas Projekt ACCEPT untersucht die Faktoren und Hindernisse, die eine Relevanz fr die Bereitstellung digitaler Angebote im Kontext wissenschaftlicher Bibliotheken besitzen. Dabei soll berprft werden, welche konkrete Wirkung die Bereitstellung elektronischer Ressourcen in digitalen Bibliotheken hat und wie die Erfahrungswerte der Nutzerseite auf die Gestaltung benutzerfreundlicher Schnittstellen zu bertragen sind. Aufbauend auf diesen Ergebnissen zum Thema "usefulness" wird die Benutzerfreundlichkeit der Benutzerschnittstellen von E-lib.ch mit dem Ziel getestet, eine maximale Nutzungsbreite sowie einen maximalen Nutzungsgrad von digitalen Ressourcen in wissenschaftlichen Bibliotheken zu erreichen.

  • In der ersten Projektphase wurde ein Verfahren zur berprfung der Ntzlichkeit der Online-Ressourcen in Zusammenarbeit mit der Universittsbibliothek Genf durchgefhrt.

    Fokus der Umfrage: - Format: Prferenz Papier Digitale Ressource- Datentrger Kommunikationsmittel (Laptop, Smartphone, )- Zugriff: Uni Zuhause - Wichtigkeit von Volltextzugriff- Verhalten bei Nichtvorhandensein einer Ressource- Zeitaufwand fr Suche

    PERSONAS-Studie: Universitt Genf

  • a) Erstellung eines Online Fragebogens und statistische Auswertung der Umfrage

    b) Analyse von Gruppen und Profilen der Studenten, wissenschaftlichen Mitarbeiter und Professoren der Universtt Genf: Extraktion von authentischen Persnlichkeitsmerkmalen

    c) Download von Public Domain Photos

    d) Erstellung von PERSONAS-Profilen fr charakteristische Benutzergruppen der einzelnen FakulttenVorgehen:

  • PERSONAS-Studie (fr die Universitt Genf)1. Umfrage2. Soziale Netzwerke3. Publ. Dom. Photos4. Personas-Profile

  • PERSONA: Sophie

  • PERSONA: Philippe

  • FrageWas sind Vor- und Nachteile des Personas-Verfahrens?

  • Vorteile des Personas-VerfahrensSie helfen dem Team, sich an die Stelle des Benutzers zu setzen.Benutzer werden fassbar: Entwickler fragen sich nicht Wie wrde ich diese Aufgabe erledigen? sondern Wie wrde John diese Aufgabe erfllen?. Grssere Identifizierung mit dem Benutzer: Personae erhhen die Empathie der Entwickler fr den Benutzer.konomisches Werkzeug: Personae knnen schnell und unkompliziert erstellt werden. (Zeitaufwand etwa ein bis zwei Wochen.)

  • Nachteile des Personas-VerfahrensEs besteht die Gefahr der Knstlichkeit der Personen.Der direkte Kundenkontakt kann verloren gehen. Probleme bei heterogenen Benutzergruppen.Jedes Projekt braucht eigene Personae.Personen wandeln sich, (auch im Umgang mit Systemen).

  • PERSONAS-Studie: Universitt GenfUm auf den Kontext von digitalen Bibliotheken zurckzukommen: es geht nicht darum, was Bibliothekare von einer Ressource oder einer Dienstleistung wollen oder halten.Es geht um die Bedrfnisse und Erwartungen der Kunden. Personae sind eine einfache und effiziente Methode, diese Bedrfnisse zu illustrieren.

  • Usability-Tests: E-codicesZu Beginn der zweiten Projektphase wurden zwei Testserien zur Evaluation der Benutzerfreundlichkeit von E-codices.ch (www.e-codices.ch), einer virtuellen Bibliothek fr mittelalterliche Handschriften der Schweiz. Die Testserien beschftigten sich mit der Suche nach Dokumenten, insb. der fassettierten Suche sowie der Arbeit mit dem Manuskript. In beiden Fllen wurden vergleichende Studien durchgefhrt, d.h. E-codices wurde direkt mit jeweils einem anderen System verglichen.

  • FrageWelchen Verlauf und welche Aufgaben knnte ein solcher Test haben?

  • Testablauf: Fassettiertes BrowsenBisherige Erfahrungen / Freies SurfenSuchstrategie erluternDokumente suchenDokument mit Fassette suchen(Wechsel zur anderen Plattform)Direkter Vergleich des look&feelGleiches Dokument suchenWissensgebiet mit Fassetten einschrnkenPost-hoc Interview zu Fassettierung

  • Testablauf: Arbeiten mit dem DokumentBisherige Erfahrungen / Freies SurfenSuchstrategie erluternDokumente suchenArbeiten mit dem Faksimile: Funktionen erlutern(Wechsel zur anderen Plattform)Direkter Vergleich des look&feelArbeiten mit dem Faksimile: Funktionen erluternGesonderte Funktionen: RSS / Material / DFG-ViewerPost-hoc Interview zur Arbeit mit dem Dokument

  • Analyse

  • Ergebnisse

  • Ergebnisse

  • Verbesserungsvorschlge

  • Verbesserungsvorschlge: Fassettierung

  • Suche mit Suchfenster

  • Verbesserungsvorschlge: Faksimile

  • LiteraturSchweibenz, Thissen, 2003, Qualitt im Web, Springer. Krug, 2005, Dont make me think. New Riders.www.useit.comACCEPT Forschungsberichte: http://campus.hesge.ch/id_bilingue/projekte_partner/projekte/accept/kontext.asp

    Hegner, Methoden zur Evaluation von Software, IZ-Arbeitsbericht Nr. 29, 2003 Kani-Zabihi, Ghinea & Chen, 2006, Digital Libraries: what do users want?, Online Information Review, vol. 30, no. 4, pp. 395-412.Tsakonas, Papatheodoru (ed.), 2009, Evaluation of Digital Libraries: An Insight into Useful Applications and Methods, Chandos.

  • Fragen?Danke fr Ihre Aufmerksamkeit!

    ********************************************************************************

Recommended

View more >