Professioneller Testing-Prozess

Silvia Grabler, e-dialogGoogle Analytics Konferenz 2016

Wien, 23. Februar 2016

Seite 2

Silvia Grabler

Consultant & Teamleitung

Conversion-Optimierung & E-Mail Marketing

A/B- & multivariates Testing

Landingpage Erstellung

Remote Usability Tests

E-Mail Marketing Konzeption & Umsetzung

von der Tool-Evaluierung bis zum

Newsletter-Versand

Seite 3

Worum geht‘s?

Variante A - Vertikal: Variante B - Horizontal:

2 oder mehr Varianten werden auf Basis einer Testhypothese

gegeneinander getestet.

Seite 4

Warum Conversion-Optimierung?

Erfolgsrate OnSite (auch ohne Relaunch) steigern

Vorhandenen Traffic effizient nutzen

Hypothesen verifizieren/falsifizieren

Prüfung welche Elemente die Conversions steigern

ALLEINE der User entscheidet über den Website-Erfolg

Daten werden anhand echtem Userverhalten erhoben

Echte Situationsumgebung

Seite 6

Welche Business Ziele sollen optimiert werden?

Optimierungsbereiche

E-Commerce Optimierung

Engagement Optimierung

Lead-Generierung Optimierung

Self-Service Optimierung

Optimierung von Confirmation Pages

Mögliche Ziele

• Steigerung der Kauf-Rate

• Umsatzsteigerung

• Nutzung der Social Media Funktionen

• Click-through,…

• Steigerung der Newsletter Abonnenten

• Steigerung der Kontakt-Anfragen,…

• Erhöhung der Nutzung von zB FAQs,…

• Social Engagement

• Weitere Aktionen durchführen,….

1. Ziele definieren 2. Ziele priorisieren 3. User Journey festhalten

Seite 7

Richtige Ziele definieren

Unterschiedliche Ziele Unterschiedliche Ergebnisse

Das Macro Ziel ist die entscheidende Messgröße.

Seite 8

Können meine Tests eine angemessene Testdauer erreichen? http://www.convert.com/tools/ab-split-multivariate-test-duration-visitor-calculator/

Testdauer hängt ab von:

• Anzahl an Conversions

• Anzahl an Varianten

• Höhe der Conversion-Veränderung zwischen Control und Variante

Seite 9

Testablauf

Ziel(e)StrategieRoadmap

AnalyseDaten

Seite 10

Quantitativ & Qualitativ

Webanalyse

Mouse-/Klick-/Eye-Tracking Heatmap

Umfragen

Usability Tests (Remote, User Lab)

Feedback aus Kundengesprächen (zB. Call-Center, Verkauf,…)

1. Daten sammeln

2. Daten analysieren

3. Optimierungsbereiche aufdecken

4. Testhypothesen generieren

…

Mehr Analysen liefern mehr Erkenntnisse.

Funnel-Analyse

Content-Analyse

Verhaltensfluss AnalysenUmfragenTraffic Analyse

Heatmaps

Seite 11

Ergänzende und alternative Analyse Methode

Remote Usability Test als

qualitative Analyse Methode:

Verstehen WARUM der User

eine bestimmte Aktion nicht

ausführt.

• Methodik zur Generierung weiterer Testhypothesen

• Alternative für Sites mit zu wenig Conversions

Seite 12

Roadmap erstellen & pflegen

Analyse

Testhypothese und Ziele

definieren

Potential

einschätzen

Status,

Rahmen-

bedingungen,

Outcome

festhalten

Seite 13

Testablauf

Konzeption

ZieleStrategieRoadmap

AnalyseDaten

Warum?

Was?

Wie?

Wo?

Wann?

Wer?

Techn. Requirements?

Seite 14

Generierung von Testhypothesen

Eine Darstellung nebeneinander führt zu einer besseren Sichtbarkeit beider Angebot bietet eine bessere Vergleichsmöglichkeit beider Angebote für den User. Das bietet dem User eine bessere Orientierung und führt daher zu einer erhöhten Kauf-Rate.

Test-Hypothese:

Eine Darstellung des Angebotes untereinander folgt dem natürlichen Lesefluss (links nach rechts, nächste Zeile) und verschafft dem User eine besseren Überblick über das Angebot. Dies führt zu einer erhöhten Kauf-Rate.

Test-Hypothese:

Variante A - Vertikal: Variante B - Horizontal:

Test-Hypothesen geben folgende Auskunft:

1. Was

2. führt warum

3. zu welchem Ziel.

Seite 15

Testing Blindness

B war besser.

Warum?

Immer nur 1 Element in 1 Variante testen!

Jetzt buchen! Heute buchen!vs.

Variante A Variante B

Seite 17

Testablauf

Konzeption

Setup

ZieleStrategieRoadmap

AnalyseDaten

Seite 18

Wie funktioniert‘s?Test-Seite

Testvariante - B

Testing-Tool Code Snippet

Variante A - Vertikal:

Einmaliger Einbau des Basis-Codes. Kein CMS nötig.Bei komplexen Tests ggf. individuelle Code-Erweiterung erforderlich.

Von Tool zu Tool anders -

bei zB. VWO & Optimizely so:

• Zufall welche Variante User sieht

• Lädt zu ersetzenden Inhalt nach

• Tauscht im Browser des Users die

Testelemente aus (in Millisekunden)

Seite 19

Testablauf

Konzeption

Setup

ZieleStrategieRoadmap

Analyse

Monitoring

Daten

• Keine Durchführung von Änderungen

auf den getesteten Seiten

• Original-Page und Traffic

(Kampagnen) stabil halten

Seite 20

Dateninterpretation: Signifikanz ≠ valide!

Je weniger Messwerte vorhanden sind, desto ungenauer sind die Ergebnisse.

Seite 22

Testablauf

Konzeption

Setup

ZieleStrategieRoadmap

Analyse

MonitoringAuswertung

Daten

Seite 23

Warum ist ein Reporting wichtig?

• Überlegungen, Learnings, Schwierigkeiten, etc. nicht im

Tool ersichtlich sind

• In-house über den Test informiert werden soll

• Oft sind keine Screenshots der Testseite im Tool

gespeichert Bei einer Veränderung der Website

verändert sich die Vorschau mit.

Seite 24

Testergebnis

Seite 27

Insights durch Segmentierung generieren

• Nutzer können unterschiedlich auf

Optimierungsmaßnahmen reagieren.

• Neue vs. wiederkehrende Besucher

• Wochentage vs. Wochenenden

• Traffic-Kanäle (Medium, Quelle)

• Region

• Endgeräte: Desktop, Tablet, Mobile

• Warenkorbwert,…

Varianten für bestimmte User-Segmente ausspielen > Personalisierung

Seite 28

Testablauf

Konzeption

Setup

ZieleStrategieRoadmap

Analyse

MonitoringAuswertung

Daten

Fortlaufender Prozess zur Steigerung der Performance.

Seite 29

Der Start ins Testing…- je nach Unternehmenskultur anders -

• Laufender Austausch mit Projektteam & Stakeholdern

• Laufende Analysen• Roadmap-Pflege• Laufendes Testing

• Analysen durchführen• Testhypothesen sammeln

& priorisieren

Ziel(e)Stakeholder

ins Boot holenAnalyse

& RoadmapTestingprozess

startenOptimierungs-

prozess festlegen

• Analyse ob Testing• Ziele definieren & priorisieren• User Flow festhalten

• Wozu Conversion-Optimierung• Inputs anderer Abteilungen einholen• Kommunikation für Abstimmungen

& Austausch festlegen• Umgang mit Einschränkungen &

Zielkonflikten

• Projektteam definieren• Verantwortlichkeiten definieren• Stakeholder ermitteln• Einschränkungen ermitteln• Testing Tool anhand definierter

Kriterien auswählen

• Analysen• Konzeption• Setup• Monitoring• Reporting &

Interpretation

Leben!

Seite 30

Fragen? Display Advertising

www.e-dialog.at

+43-1-309 09 09

Guten Start ins Testing!

www.e-dialog.at/newsletter

Seite 32