Embed Size (px)
Citation preview
Evaluering vol. 1Plenum IN1050 Uke 11
Maria og Helle
Hva skjer i dag?
EVALUERING- Hva og hvorfor- Viktige begreper
TILNÆRMINGER OG TILHØRENDE METODER- Kontrollerte omgivelser- Naturlige omgivelser- Uten brukere
EVALUERING
Aktivitet
EVALUERING
Hvorfor?- Evaluering er en av de mest sentrale aktivitetene i UCD. - Dersom man ikke evaluerer, hvordan skal man ellers vite at man har
laget et system brukeren vil ha (validere), og at man har laget det slik brukeren vil ha det (verifisere)?
- Evaluering er også datainnsamling, men har et annet fokus: å på en eller annen måte undersøke et konsept eller en prototypes egnethet/kvalitet.
EVALUERING
Hvordan?- Når man velger metode for evaluering bør man begynne med å svare
på disse spørsmålene: - Hva ønsker jeg å finne ut om systemet? - Hvilken metode gir meg den dataen jeg er ute etter? - Hvilken metode vil gi meg svar på mine spørsmål?
EVALUERING
Ting å tenke påHva vil man finne ut av?
- Bestemme konsept?- Store eller små designvalg?- Finne designproblemer?- Brukbarhet eller brukeropplevelser?
Hvordan skal man finne ut av det?- Vise skisser/storyboards til brukere?- Teste interaktiv prototype med brukere i lab?- Bruke eksperter innen HCI eller domenet?- Teste prototype i naturlig miljø?
Praktiske ting- Hvor, når, hvem, metrikker, måling, utstyr?
EVALUERING
Formativ vs. summativFormativ
- Utføres tidlig i prosessen, ofte med lavoppløselige prototyper- Store endringer kan skje raskt- Eksempel: evaluere ulike konsept eller hvilket ikon man skal bruke
Summativ- Utføres senere i prosessen hvor mer detaljert designvalg er tatt- Måle påvirkningen systemet/designvalget har på brukergruppe- Eksempel: evaluere hvor effektiv en funksjon er
TILNÆRMINGER
EVALUERING
Tilnærminger→ Naturlige omgivelser
→ Kontrollerte omgivelser→ Uten brukere (analytisk evaluering)
EVALUERING
Naturlige omgivelser
EVALUERING
Kontrollerte omgivelser
EVALUERING - KONTROLLERTE OMGIVELSER
Brukbarhetstesting- Når vi brukbarhetstester, tester vi opp mot brukbarhetsmål:
- Effektivitet: hvor godt vi klarer å løse oppgaver (effectiveness)
- Flittighet: hvor raskt vi klarer å løse oppgaver (efficiency)
- Tilfredshet: hvor tilfreds vi er med å løse oppgaver (satisfaction)
- Lærbarhet: hvor lett kan vi lære oss å løse oppgaver (learnability)
- Memorerbarhet: hvor mye som huskes hvis vi etter stund skal løse de
samme oppgavene (memorability)
EVALUERING - KONTROLLERTE OMGIVELSER
Brukbarhetstesting- Det er også viktig å tenke ut hvilke metrikker du ønsker å måle:
- Tid (feks. på én oppgave, effektivitet)
- Fullføringsrate (oppgavesuksess)
- Antall feil
- Antall forsøk
- Lærbarhet (hvordan forbedres feil og effektivitet over tid)
Metrics is a system or standard of measurement.
EVALUERING
Uten brukere
EVALUERING - UTEN BRUKER
Heuristisk evaluering- Heuristikk: bygger på (nedfelte) erfaringer og prinsipper- Designere og domeneeksperter er evaluatorene- Plukker ut heuristikker man skal se etter
- Eksempelvis: 10 usability Heuristics for User Interface Design- Nielsen: kan avdekke opptil 80% ved 3 - 5 deltakere
https://www.nngroup.com/articles/ten-usability-heuristics/
EVALUERING - UTEN BRUKERE
Cognitive walkthrough - Designet evalueres av eksperter - Fokus på om designet støtter brukeren i oppgaveløsning - Bruker psykologiske prinsipper
- For hvert steg: - Hvilken påvirkning vil interaksjonen ha? - Hvilke kognitive prosesser kreves fra brukeren? - Hvilke læringsproblemer kan oppstå?
“MIN ONKEL BLE FRISK AV KIROPRAKTIKK”
Kiropraktorbehandling
Ny sengNy pute
Tid
Trening
Stress
Mat
Vær
Ferie
Nye sko
EVALUERING
Metoder og teknikker for evaluering
Kontrollerte omgivelser Naturlige omgivelser Uten brukere
- Observasjon- A/B-testing- Presentere
storyboards/skisser- Intervju og diskusjon- Brukbarhetstesting
- Feltstudier (etnografiske metoder)
- Observasjon- Gruppeintervju- Systemlogg- Brukerdagbok- Contextual inquiry
- Cognitive walkthrough- Heuristisk evaluering- Modellering
EVALUERING
Metoder og teknikker for evaluering
Kontrollerte omgivelser Naturlige omgivelser Uten brukere
- Observasjon- Presentere
storyboards/skisser- Intervju og diskusjon- Brukbarhetstesting
- Feltstudier (etnografiske metoder)
- Observasjon- Gruppeintervju- Systemlogg- Brukerdagbok- Contextual inquiry
- Ekspertevaluering- Cognitive walkthrough- Heuristisk evaluering- Modellering
Tilnærming
Metode Teknikk
PRAKTISK OPPGAVE
Praktisk oppgave
Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen.
Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.
Praktisk oppgave
Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen.
Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.
EVALUERING
EksamensoppgaverDefinisjonsteori
- Hva er de tre hovedtilnærmingene til evaluering?- Gi et eksempel på en måte å gjøre indirekte observasjon.- Hva ligger i begrepene pålitelighet (reliability), gyldighet (validity) og økologisk gyldighet (ecological validity)?
OBS! Kommer neste uke
Begrepsteori- Hvilke fordeler har man ved å gjennomføre en evaluering i kontrollerte omgivelser kontra naturlige omgivelser?- I noen situasjoner er det ikke hensiktsmessig å involvere brukere ved evaluering. Diskuter hva en slik situasjon kan
være og gi eksempler på metoder eller teknikker man kan bruke.- Hva vil du si er fordelen med en ekspert- (analytisk) evaluering?- Har du noen eksempler på evalueringsformer hvor observasjon kan inngå? Hvorfor tror du observasjon kan være et
nyttig verktøy her?- Hva går brukbarhetstesting (usability testing) ut på og hvilke fordeler har denne typen testing?
Diskusjonsoppgaver- Hvilke fordeler oppnår man ved analytisk evaluering sammenliknet med andre tilnærminger?
OBLIG 4
Spørsmål?
Takk for i dag Neste uke: Evaluering vol. 2
Lurer du på noe? Send oss en mail!Maria: [email protected]: [email protected]
