Testování použitelnosti webových stránek v T-Mobile - Radek Mašata

08/29/2007Author / Presentation title 1

Testování použitelnosti webových stránek v T-MobilePřípadová studie eShopu

11/06/2009Radek Mašata, eBusiness Proposition & Product Manager 2

Metody měření webových stránek T-Mobile

KPI’s (Key Performance Indicators) slouží k snadnému sledování

výkonnosti

Konverzní poměr pravděpodobnost, že se z

návštěvníka stane „zákazník“

Zákaznická spokojenost kvantitativní i kvalitativní hodnocení

webových stránek a procesů ze strany zákazníků

Srovnání s konkurencí kvalitativní měření výkonnosti oproti

konkurenci

umožňuje reagovat na očekávání zákazníků


Zákaznická spokojenost s weby T-Mobile

Online zpětná vazba základní statistika (počet návštěvníků, shlédnutých stránek apod.)

analýza chování (Google Analytics, WebTrends, ClickTracks)

online studie (heatmapa, dotazníková šetření)

A/B testování

Multi-Variant testing

analýza chyb

Offline zpětná vazba testování použitelnosti (Usability Study)

oční kamera

průzkum trhu

mystery shopping


Testování použitelnosti web stránek v T-Mobile

Účel průběžné kvalitativní testování

vybraných scénářů

Aplikace poznatků potřeba vytvoření metriky -> možnost

sledování vývoje návrhy implementace změn / akční plán

Náklady v provozu je finančně náročnější

aplikovat změny na základě výsledků testů

Účel prověření vybraných stránek, nového

přístupu, nových funkcionalit

Aplikace poznatků akční plán změn okamžité změny v návrhu nebo úpravy v

rámci vývoje

Náklady ve fázi návrhu webu a vývoje je aplikace

změn na základě výsledků testování levnější

Průběžné testování

v T-Mobile ČR > 4 roky

Projektové testování

v T-Mobile nově od konce roku 2008


1) Průběžné testování použitelnosti v T-Mobile

Původně 1x ročně bez metriky pro sledování změn omezené možnosti ověření, zda realizované úpravy pomohly

nemožnost sledovat vývoj

Od r. 2009 2x ročně s definovanými metrikami a jeden mezinárodně srovnatelný KPI ukazatel

Metriky úspěšnost projití scénáře, efektivita a problémy, spokojenost s

procesem

úspěšnost podle prováděné činnosti (fáze zkoumání, formulace, akce)

význam problémů – závažné, středně významné, méně důležité

definiceproblémovéoblasti:


Průběh testování

Definice testovacích scénářů typické akce v oblasti eCare + v oblasti eSales obdobné scénáře ve více zemích možnost srovnání v případě více možností dokončení scénáře identifikování preferované=ideální cesty

Výběr participantů přibližně 50/50 muži a ženy přibližně 50/50 T-Mobile a ne T-Mobile zákazníci (T-Mobile zákazníci jen pokud používají telefon pro

soukromé použití) 8 zákazníků s předplacenou kartou a 16 tarifních zákazníků používají internet > 3 hodiny týdně v posledních 3 letech měnili mobilní telefon věk: 8 x 18-24 let, 8 x 25-34 let, 8 x 35-54 let

Testování účastní se relevantní zástupci T-Mobile odpovědní za korporátní web, eShop, eCare + v případně

zástupci dodavatele

Práce s výsledky vypracování závěrečné zprávy (klíčová zjištění, co šlo dobře, co špatně, doporučení ke změně) výpočet KPI pro možnost mezinárodního srovnání a vývoje od posledního testování

akční plán následných kroků definice klíčových akcí/úprav

identifikace vlastníka

plánu implementací (v případě potřeby sladění s firemními releasy)


2) Testování v rámci projektu - eShop T-Mobile

Cíl testování ověření nového business konceptu (jednotlivé kroky nákupu, nákupní proces celkově, nákupní košík,

checkout) srozumitelnost terminologie umístění a viditelnost ovládacích prvků webu viditelnost nových funkcionalit a preference využití

Scope testování 2 kola pro vybrané scénáře, každého ze dvou kol se účastní rozdílní respondenti první kolo testování pro odhalení elementárních nesnází a překážek pro uživatele provedení úprav na základě klíčových zjištění druhé kolo pro porovnání úspěšnosti provedených úprav proti původnímu návrhu + odhalení dalších

problematických míst

První kolo probíhalo na drátěném modelu / prototypu (omezená funkcionalita mimo testovanou oblast apod.) 6 participantů (60 minut na test včetně interview před testem a po testu)

výběr participantů shodný s rekruitmentem pro pravidelné testování použitelnosti

Druhé kolo 18 participantů (60 minut na test včetně interview před testem a po testu) celkem 3 scénáře, typicky 2-3 s jedním participantem při výběru participantů přidán parametr zkušenost s online nakupováním (9 x 1-2 krát, 9 x 3 krát a více) ->

získání srovnání s nákupními procesy na jiíných eShopech


Ukázky vybraných zjištění a reakce na ně I.Zjištění:

lack of predictability causes confusion in first steps of the process

[expert opinion] separation of shopping and checkout process by appearance and navigation can contribute to this confusion

Doporučení: improve the progress indication

during the process

there are 3 different progress indicators used during the shopping and checkout which slows down the learning process


Ukázky vybraných zjištění a reakce na ně II.

Zjištění: need to make 3 choices at this page is not clear to all

participants MMC graph is too visually intensive and attracts users

attention away from the first necessary choice

Doporučení: progressive disclosure –reveal one step after another visual separation & guidance


Ukázky vybraných zjištění a reakce na ně III.Zjištění:

[expert opinion] upper “proceed to checkout” button can prevent user from selecting delivery option

explanation of code field (“Kód”) is missing and it is understood as mandatory field by several participants

Doporučení:

remove the top “proceed to checkout” button in the basket

explain the “Code” (“Kód”) field well


Ukázky vybraných zjištění a reakce na ně IV.

Zjištění: no one noticed the upper tabs at this page

Zjištění: new indication of already selected add-on in non-

active add-on group was appraised by several participants


Ukázky vybraných zjištění a reakce na ně V.

Zjištění: some perceived main area

(carousel and banners below) as an advertisement

unclear and uncomfortable rotation control

flipping of individual cards on mouse-over proved to be confusing and frequently complained about

Doporučení: redesign carousel


Ukázky vybraných zjištění a reakce na ně VI.

Zjištění: featured phones distract users' attention when

searching for a particular handset users expected to see the whole selection of

handsets but instead only initially saw these 3

Doporučení:

start the full list of phones at the top of the phones page rather than just showing the promotions on 3 specific phones


Otázky?


Děkuji vám za pozornost.

Radek Mašata

[email protected]

Documents

Testování použitelnosti webových stránek v T-Mobile - Radek Mašata