Upload
milek
View
26
Download
0
Tags:
Embed Size (px)
DESCRIPTION
Retail Reinvented college week 5, 14 okt Fons van Kesteren. Testen. Testen. Drie oude chinezen. Zhuang Zi Han Fei Confucius. HVA=University of Applied Sciences. testverslag. - PowerPoint PPT Presentation
Citation preview
Retail Reinventedcollege week 5, 14 okt
Fons van Kesteren
Testen
Testen
Drie oude chinezen
Zhuang Zi Han Fei Confucius
HVA=University of Applied Sciences
testverslag
• %$(**^$^%@*%$^%$#()^%##%!%$#W%^$^%&^#%#^%$@#^%$#^%$*$^%%^#%$&^%(^%#%^%$@!)(&^$^$#)&^@(_*&$#$#!^%%@&(*^*^%#&^_)(&(*%^#W%$#@&)_*(%$%@#*&+_()*^&%^#@^&_)(*^*^%@^%#%^$&)&^^&$%@*&)_)(*%@%$*&$%$^@^%$*^%$&#^%@%$!^$^%)*(^_(*&(^$#@&%^$(*&^(&%&$%@&)&%)(*&)*%%@^%*&_(&(*%%$@%$#@*^(*^&$@%$$&*%#^%$#%$(*&^(_^%$%@^%^_*^&$#^&(&)&^)(*&%#^$$%#@^(&%&$%#*^%)^
testverslag
Redenen voor het schrijven van een testverslag
• De resultaten en conclusies overdraagbaar naar anderen
collega’s, opdrachtgever, docenten
• Structuur in je eigen denkproces
Hst 1: Inleiding
• Waarom ? Om de lezer en jezelf inzicht te verschaffen in het doel van de test en de vragen die je wilt beantwoorden.
Hst 1: Inleiding §1 Aanleiding
Briefing/Debriefing, user requirements list, concept resentatie:
Wensen en eisen met betrekking tot je product.
• Experience goals
• End goals
• Live goals
Opdracht: schrijf op: drie eisen mbt jou product
• “Alleen de allerslimsten en de allerdomsten veranderen nooit van mening.”
Hst 1: Inleiding §2 Testvragen/testdoelen
• Wensen en eisen met betrekking tot je product In vraagvorm:
1. Is mijn applicatie ‘leuk’ om te gebruiken?
2. Is mijn applicatie gebruiksvriendelijk?
3.Past mijn applicatie bij de doelgroep ‘jongeren 20-30’?
4.Geeft mijn adviesmodule een goed wijn advies?
Hst 2: methode
• Om duidelijk te maken hoe je de vragen gaat beantwoorden.
Hst 2: Methode
Hst 2: Methode
§1 keuze testmethode en technieken
§2 beschrijving van het prototype
§3 hoe het resultaat gemeten wordt
§4 gewenste resultaten/voorspellingen
§5 selectie van testpersonen
§6 testprocedure
Hst 2: Methode§1 keuze testmethode en technieken
Kwalitatief:
• Key-path scenario test
• Video/audio opname
• Hardop denken
• Eye tracking
• Interview
• Expert review
• …
Kwantitatief:
• A/B tests
• Google analytics
• Enquetes
• …
Hst 2: Methode§1 keuze testmethode en technieken
Test vragen:
1. Is mijn applicatie ‘’stimulerend’
om te gebruiken? (verhoogt het
conversie)
2. Is mijn applicatie
gebruiksvriendelijk?
3. Past mijn applicatie bij de
doelgroep ‘jongeren 20-30’?
4. Geeft mijn adviesmodule een
goed wijn advies?
Test Technieken
1. A/B test
Video observatie
2. Key-path scenario test
video observatie
interview
3. Snelle enquete onder
doelgroep
4. Domein expert review
Hst 2: Methode§2 beschrijving van het prototype
Wetenschappelijk: “operationalisatie van onafhankelijke variabelen”
Waar moet het prototype aan voldoen?
- Papieren prototype?
- Wireframes?
- Met of zonder vormgeving?
- Echt werkend of een simulatie?
=>
Wat wil je testen?
Hst 2: Methode§2 beschrijving van het prototype
Test vragen:
1. Is mijn applicatie ‘leuk’ om
te gebruiken?
2. Is mijn applicatie
gebruiksvriendelijk?
3. Past mijn applicatie bij de
doelgroep ‘jongeren 20-30’?
4. Geeft mijn adviesmodule
een goed wijn advies?
Kernmerken prototype
1. Werkend prototype
Vormgegeven
2. Wireframes, papieren
prototype,
werkend prototype zonder
vormgeving
3. Alleen vormgeving,
uitstraling
4. Papieren prototype
Beslisboo
NB: voor volledige documentatie of
prototype
verwijs naar bijlage
Hst 2: Methode§3 hoe het resultaat gemeten wordt
Wetenschappelijk: “operationalisatie van afhankelijke varabelen”
• Emotie -> beoordeling van gezichtuitdrukking
• Gebruiksvriendelijkheid -> aantal kliks, snelheid
• Inhoudelijke correctheid ->expert beoordeling, cijfer
Hst 2: Methode§3 hoe het resultaat gemeten wordt
Test vragen:
1. Is mijn applicatie ‘leuk’ om
te gebruiken?
2. Is mijn applicatie
gebruiksvriendelijk?
3. Past mijn applicatie bij de
doelgroep ‘jongeren 20-30’?
4. Geeft mijn adviesmodule
een goed wijn advies?
Operationalisatie
1. - Subjectieve beoordeling
video
door twee personen
- analytics van A/B test
2. - Het aantal keer dat
gebruiker van pad afwijkt,
en tijd tot einde van taak
- beoordeling
gezichtuitdrukking
3. Snelle enquetevraag: “voor
welke leeftijdsgroep denk je
dat dit is?”
4. Experts beoordelen de
kwaliteit van de adviezen
en geven een cijfer.
Hst 2: Methode§3 hoe het resultaat gemeten wordt
Kwaliteit van de meting:
• Validiteit
• Betrouwbaarheid
Hst 2: Methode[ §4 gewenste resultaten/voorspellingen ]
Niet noodzakelijk bij eerste tests
• Emotie -> beoordeling van gezichtuitdrukking -> postieve emoties af te lezen
• Gebruiksvriendelijkheid -> aantal kliks, snelheid-> maximaal drie kliks bij iedere taak
• Inhoudelijke correctheid ->expert beoordeling, cijfer-> minimaal een 8
Hst 2: Methode§5 selectie van testpersonen
Aantal testpersonen:
Kwalitatieve test : (keypathscenario/expertinterview/videoopbservatie)richtlijn: 2 - 5 testpersonen
Kwantitatieve test: ( A/B test, enquete)richtlijn 20+ ( van veel afhankelijk, statistiek )
Hst 2: Methode§5 selectie van testpersonen
!!!!!!!!!!!!!! De manier van selecteren doet er toe !!!!!!!!!!!!!
• Vrienden hebben vaak overeenkomstige meningen
• Studenten zijn hoog opgeleid
• Op zaterdag tref je vaker fun shoppers
Hst 2: Methode§6 testprocedure
• Waar wordt de test gedaan?
• Wanneer wordt de test gedaan?
• Welke vragen stel je de gebruiker?
• Hoe lang gaat de test duren?
• ….
Alles wat van invloed kan zijn op de interpretatie van de resultaten.
Hst 2: Methode
Alles wordt systematisch overdacht:
§1 keuze testmethode en technieken
§2 beschrijving van het prototype
§3 hoe het resultaat gemeten wordt
§4 gewenste resultaten/voorspellingen
§5 selectie van testpersonen
§6 testprocedure
Hst 2: Methode
• Wetenschappelijke methode?
• Nooit van gehoord.
Hst 3: Resultaten
Samenvatting van de feitelijke resultaten
Per onderszoeksmethode
Geen meningen of interpretaties
Zijn de voorspellingen uitgekomen
Kwalitatieve resultaten: belangrijke fragmenten, stills
Kwantitatieve resultaten: grafieken en tabellen
Hst 4: Resultaten
• Kwalitatieve resultaten: belangrijke fragmenten, stills
Is de app leuk
om te gebruiken?
Hst 4: Resultaten
• Kwantitatieve resultaten: grafieken en statistieken
[ Hst 4: Discussie ]*
[ Hst 4: Discussie ]*
• Verschillende interpretaties van de gevonden resultaten.
• “Waar mensen discussiëren,wordt iets over het hoofd gezien.”
Hst 5: Conclusies
Geef antwoord op de in de inleiding gestelde vragen !
o Eén voor één per vraag
Suggesties voor verder onderzoek
Consequenties voor ontwerp van het product
Han Fei ( 250 BC )
• Uitvinder van bureaucratie
• Iedereen is voor de wet gelijk
• Transparantie van bestuur
• Besturen door te straffen
en te belonen
Daarom
1.heeft het verslag de standaard hoofdstuk indeling?(inleiding, methode, resultaten, [discussie,] conclusie)
2.Worden er in de inleiding relevante vragen gesteld?
3.Worden in de conclusies de gestelde vragen beantwoord?(voor zover mogelijk)
==================================
Beloning: het testverslag kan inhoudelijk besproken worden.