User Experience Over TimeAn Initial Framework

Evangelos Karapanos,  John Zimmerman,  Jodi Forlizzi,  Jean‐Bernard Martens

Orientation Incorporation Identification

User Experience: Beyond usability

• Stimulation & Identification– Hassenzahl (‘04)

• Symbolism – Tractinsky & Zmiri ‘06, Forlizzi ’07

• Visual aesthetics– Tractinsky ’04, Mahlke ’06

• Aesthetics in interaction– de Angeli ’06, Frens ’06

User Experience

How do users form overall evaluative judgments 

about interactive products?

Hassenzahl, 2004

Are these relations stable over time?

An exploratory study

10 subjects received an innovative pointing device for 4 weeks

and rated it using Hassenzahl’s AttrakDiff2 questionnaire

during Week 1, and Week 4

User experience over time

Items close together are highly correlated. Lines represent clusters.

An exploratory studyUser experience over time

A framework of adoption

• Silverstone & Haddon (‘92)– Commodification

– Appropriation

– Conversion

Can users’ experiences be articulated in terms of distinct phases?

A 5‐week study of iPhone’s adoption

• Why iPhone– Successful over prolonged use

– beyond usability & usefulness 

• Participants: 6– Prescreening: fake sale advert

– All but one previously owned a smart phone

– Bias for technical background

Day Reconstruction Method

Capturing in‐situ data retrospectively

• Experience Sampling Method– High levels of participant burden

– Not feasible to retrieve rich qualitative accounts

• How does DRM work?– Takes place at the end of the day

– All experiences are listed in a chronological order• Every experience is recalled in relation to preceding ones

Kahneman et al. 2004

Procedure

• 1 week before Purchase: List your expectations

Procedure

• During the 4 weeks:

Procedure

• During the 4 weeks: Day Reconstruction

Procedure

• During the 4 weeks: Experience Narration

Now think of the three experiences that were for you personally most satisfying or unsatisfying experiences of today. Please, use your own feeling or a definition of what “satisfying” and “unsatisfying experience” means. Take a couple of minutes to be sure to come up with three most crucial experiences; you may also want to write them down for yourself. We want you to be open as to which experiences to report.

Procedure

• During the 4 weeks: Experience Narration

Analysis

• 482 experience narratives

• Conventional Content Analysis (Hsieh, 2005)

1. Open coding: 70 codes referring to 700 instancesI can read the news, or check my email much faster than I used to be able to do because I don't have to start up my computer and log in [+, fast access to information] I am not quite sure if this is a good thing; now I really feel connected ALL the time… [‐, increased connectedness].

Analysis

• 482 experience narratives

• Conventional Content Analysis (Hsieh, 2005)

2. Axial coding: • 15 codes, e.g. visual aesthetics, fast access to 

information, daily ritual

• 6 overall categories: Stimulation, Learnability, Long‐term usability, Usefulness, Personal & Social Identification

Analysis

• 482 experience narratives

• Conventional Content Analysis (Hsieh, 2005)

3. Narrative Classification: • As primarily related to one of the of 15 (6) categories

• Interrater Agreement K=.88

Analysis

• 482 experience narratives

• Conventional Content Analysis (Hsieh, 2005)

4. Temporal Distribution of the 6 qualities• Identified 3 Phases:  Orientation, Incorporation, Identification

OrientationStimulation induced by the product’s visual aesthetics (n=12)and the aesthetics in interaction (n=21)

“when I clicked on the album, I just  loved the way it turned around and showed all the songs in it”

Learnability (n=38), reflecting the simplicity with which initial tasks could be carried out

“I tried to set up my iPhone's WiFi which I expected would be a little bit difficult... it was just 3 steps away! amazing! 3 steps away! It automatically detected the WLan and then connected to it.”

IncorporationLong‐term usability (n=43) reflecting design aspects that enhanced efficiency over time

“turning the iPhone sideways not only turns the page but also magnifies it, so text is easily readable. Truly well done! I don't see this kind of attention to details too often”

IncorporationUsefulness (n=70) reflecting ways in which the product was becoming meaningful through its appropriation in diverse settings

Fast access to information (n=33)“it's so easy to just pick up the phone to check the web rather than having to switch the computer on ‐ I am becoming a great fan of it. It's simply saving time”

alleviating boredom in idle periods (n=18) “I like playing ‐ I find it a nice activity when waiting, traveling and at any point when I can’t really do anything else”

capturing momentary information (n=11)“Now I tend to go jogging when I want to think of my work as I can easily write down whatever comes to my head”

IdentificationSocial

•Enabling self‐expression (n=18)“… I felt good having a BETTER device…”

•Creating a sense of community (n=13)“Yet another friend of ours has an iPhone. It's a guaranteed subject of conversation if you see another person having it…”

Personal

•Participating in daily rituals (n=8)“I put a lot of pictures of my daughter on the iPhone… I like that functionality very much, and I look at the pictures at least a few times a day”

Expectations

76% opportunities for positive experiences

“…synchronizing iPod with iCal was not that easy… iPhone will make my life much easier because of its seamless integration with Mac’s iCal”

24% fears of negative implications“… I am curious how the virtual keyboard will be working on the iPhone. I hope it’s not going to have too small keys and it will be really responsive”

Impact on post‐purchase judgments?

Are your expectations of the same  importance as before the purchase?

• only 28% remained stable

• 53% increased– 87% out of them confirmed or exceeded

– Users could not predict their impact

• 19% decreased– Mostly disconfirmed, though not leading to dissatisfaction

– Unrealistic: “Hoped for, but not expected”

What motivates prolonged use?

Designing for meaningful mediation

Designing for the self

Designing for daily rituals

User Experience Over TimeAn Initial Framework

Evangelos Karapanos,  John Zimmerman,  Jodi Forlizzi,  Jean‐Bernard Martens

Orientation Incorporation Identification