Ошибки и грабли в организации A/B и MV тестов

Обзор доступных инструментов тестированияОсобенности их практического использованияЧто учитывать при самостоятельной организации тестирования

Что такое A/B тестирование

Основные вопросы которые возникают при тестировании?

Основные вопросы которые возникают при тестировании?

1. Для чего и когда использовать тестирование

2. При каких условиях тестирование (не)проходит успешно

3. Какие элементы интерфейсов тестировать

4. Чем тестировать5. Как интерпретировать результаты6. Где возникают ошибки

Когда тестирование помогает?Если тестирование - это процесс:1. Установили цели (бизнес-цели > цели на

сайте > KPI > целевые метрики)2. Произвели начальные измерения и

выделили приоритеты в тестировании3. Протестировали4. Оценили результаты и внедрили5. Повторили опять (на других страницах)

Необходимые условия● Статистическая достоверность

результатов● Четкие, явные, количественно измеримые

цели● Достаточные: посещаемость тестируемых

страниц, количество конверсионных действий и однородность аудитории

● Проверенные и отлаженные инструменты тестирования

● Ну, и отдельно поговорим об элементах которые тестируются

Продолжительность экспериментаЗависит от трафика, конверсии, различий в тестируемых вариантах.Считается на калькуляторахЛучше больше чем меньше, многие сервисы определяют самиЖелательно минимум 100 конверсионных действий на вариантОбычно 2-3 недели

Как на самом деле выбрать страницу для тестирования?

Смотрим статистику и выбираем:● Самые посещаемые страницы● Самые посещаемые посадочные

страницы● Страницы с дорогими визитами● Страницы с отказами● Страницы в воронке продаж (если она

настроена) с отказами

Таблица для приоритизации тестирования

Страница Потенциал Важность Легкость изменения

Среднее значение

Насколько можно увеличить конверсию, от 1 до 10

Сколько посетителей приходит на эту страницу и какова стоимость этих посетителей, от 1 до 10

Насколько легко тестировать эту страницу (технически и с точки зрения пользовательского взаимодействия), от 1 до 10

Как на самом деле выбрать элементы для тестирования?

Все просто:1. Выдвините гипотезу, которая объясняет

поведение пользователей2. Предложите решение, за счет изменений

элементов (тестируемые элементы должны напрямую влиять на конверсию)

3. Не тестируйте сразу много элементов (1-2 вполне достаточно)

4. Не берите для тестирования незначительные изменения

Кратко - идеи для тестирования● Добавьте слово «Бесплатно»● Создайте видео с объяснением● Приклейте кнопку регистрации к верхней части

страницы● Сократите форму заявки● Покажите товар «лицом»● Демо-версия vs Денежный возврат● Длительность бесплатной версии● Предложите бонусы, ограниченные по времени● Добавьте денежную ценность бесплатным

предложениям● Поменяйте цвета кнопок

Хотите ещё больше кейсов?● http://lpgenerator.ru/blog/2013/04/05/24-

gipotezy-split-testirovanij/● http://whichtestwon.com/● http://www.abtests.com/● http://visualwebsiteoptimizer.com/split-

testing-blog/

Попробуем угадать какой вариант работает лучше!

Практическая работа30 вариантов для 15 страниц

Инструменты тестирования

1. Эксперименты в Google Analytics2. Яндекс.Метрика3. Visual Website Optimizer4. Optimizely5. ABtest.ru

и еще много других на http://whichMVT.com

Google AnalyticsБесплатно и обычно уже используется на сайтеМожно проводить только A/B тесты на разных URIПрограммисты нужны, но не сильно (создать дополнительный вариант страницы, установить полученный код)Расчёт происходит только по одной цели, но для анализа результатов можно потом применять расширенные сегменты и другие интересные "фичи" GAНет сегментации по посетителям и % трафика на каждую из групп

GA используют "жадный" алгоритм ("многорукий бандит") https://support.google.com/analytics/answer/2844870?hl=ru

Яндекс МетрикаПараметры визитов http://help.yandex.ru/metrika/content/visit-params.xml

Бесплатно и скорее всего уже стоит у многих на сайтеТолько A/B тестирование (но на произвольных страницах)Необходимо привлекать программистов (распределение пользователей по группам - алгоритм тестирования, установка cookie, установка кодов, возможно обсчёт результатов)Для обработки результатов необходимо использовать статистические калькуляторы

Статистические калькуляторы

● http://www.artmetod.ru/a-b-testing/230● http://www.measuringusability.com/calc.php● http://visualwebsiteoptimizer.com/ab-split-

test-duration/● http://visualwebsiteoptimizer.

com/downloads/ab_testing_significance_calculator.xls

Visual Website OptimizerПлатныйA/B тестированиеМультивариантное тестированиеПерсонализация сайта на основе поведения посетителя и геотаргетингаТепловая карта кликов (для каждого из вариантов отдельно)Юзабилити тестирование и тестирование ценВизуальный редакторИнтеграция с различными сервисами (Аналитика: Google Analytics, Adobe SiteCatalyst, Clicky, CMS: WordPress, Joomla, Drupal)

OptimizelyПлатный инструментУмеет проводить A/B и мультивариантные тестированияТак же, как и в VWO, есть визуальный редакторУмеет сегментировать участников экспериментовТоже умеет распределять трафик между вариантами страницСкрипты - расположены на cdn сервиса

ABtest.ruС недавнего времени бесплатный !РусскоязычныйТолько A/B тестыВизуальный редакторСкрипты - расположены на cdn сервисаЕсть простая сегментация пользователей

Блок для "продвинутых"● Большинство (70-80%) ваших тестов провалятся● Делайте A/A тесты (если инструмент которым вы

пользуетесь нов для вас, потом можно отказаться от этого или сразу проводить A/B/A тесты)

● Макро- конверсии лучше, чем микро-. Смотрите конечную конверсию — например продажу

● Высокая конверсия не равна большему заработку.● Понедельник — это не вторник. Тестируйте

неделями

Продолжение● Не бойтесь показателя отказов● Разделяйте тесты. Для мобильных отдельно● Уродцы тоже могут зарабатывать.

Это сайты сосредоточившиеся на функционалеhttp://blog.kissmetrics.com/ugly-websites/

● Уменьшайте сопротивление. Не заставляйте пользователей делать вещи, которые им делать не нужно.

● Не думайте, что надо измерять только один коэффициент, влияющий на конверсию - смотрите на картинку в целом

Локальный максимум и лучший дизайн

Существует ли негативное влияние A/B тестов на SEO?

1. нет, не существует, пруф от Google2. что бы снизить это негативное влияние )))

a. используем rel="canonical" на страницах вариаций

b. если пользователя надо перенаправить на страницу вариации используем 302 редирект

Перспективы развития тестирования

1. Автоматизация, автоматизация и автом...2. Персонализация

какие знания о пользователях есть в минимальном варианте:Geo IPДень неделиВремя сутокЯзык клиентаБраузерОперационная системаТип клиента (например, оптовый или розничный, новый или постоянный)

Чем можно пользоваться для мегакрутой персонализации

1. Facebook или ВКонтакте. Через API или просто составляя рекламные кампании и пересылая пользователей через промежуточные страницы

2. Самостоятельный сбор информации о пользователях

3. Внешние системы. Система IonIntercative персонализирует посетителя сайта по 33 параметрам

Доклад про персонализацию под пользователя

http://events.yandex.ru/events/yac/m/talks/823/

Спасибо за внимание!Вопросы?

Букей МаксимЮзабилити эксперт на 66.ru

Skype: maxgabbaTwitter: maxgabba

E-mail: maxgabba@gmail.com