Embed Size (px)
Citation preview
РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ: РОЛЬ И
ОЦЕНКА ЭФФЕКТИВНОСТИ Константин Савенков
Форум “Секреты детского маркетинга” 22-23 июня 2016
Про себя
• 2014-2015 - операционный директор Bookmate, переключился с технических аспектов на цели и задачи бизнеса
• С 2016 - со-основатель & CEO Intento
• Консультирую несколько компаний по внедрению РС, иногда читаю лекции
Константин Савенков, к.ф-м.н
Занимаюсь рекомендательными системами с 2010 года, проекты Zvooq (музыкальный стриминг), Theory&Practice (образование) и Bookmate (чтение книг по подписке).
План• Теория: поиск, рекомендательные системы, персонализация, холодный старт
• Практика: рекомендательные системы в интерфейсах и коммуникации
• Бизнес: что можно улучшить при помощи рекомендательных систем
• Кейс: РС для оптимизации конверсии
Рекомендательные системы
Между клиентом, который знает что ему нужно, и товаром в наличии не должно стоять ничего. Для всего остального есть рекомендательные системы.
есть в наличии
нет в наличии
ПОИСК
клиент знаетчто ему нужно
РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ
клиент не уверен
Везде, где не хватает места показать всё что есть
Особенно актуально для мобильных интерфейсов
Рекомендательные системы на практике
Пример Bookmate
витрина поиск
фасетный поиск страница книги
библиотека пользователя
уведомления
социальный фид
Несколько важных случаев• заменители (alternative)
• сопутствующие товары (cross sell)
• аксессуары (up sell)
• пустое состояние
• коммуникация
ПОХОЖИЕ ТОВАРЫ, КОТОРЫЕ НЕ ПОКУПАЮТ ВМЕСТЕ
OPEN RATE х2-х3 ЗА СЧЕТ ТАРГЕТИРОВАНИЯ
ОБ ЭТОМ ЧАСТО ЗАБЫВАЮТ
+12-20% К ЧЕКУ
Рекомендательные алгоритмы
Интерфейс
Правильный пользователь
Объяснение
Алгоритм
Каталог
неперсонализированные
персонализированные
на контенте
на поведении
оффлайн
онлайн
Алгоритм - лишь часть рекомендательной системы
ИНТЕРФЕЙСЫ И ПРОСТЫЕ АЛГОРИТМЫ АЛГОРИТМ
АЛГОРИТМ
ДАННЫЕ
Пример простой рекомендательной системы
История покупок в магазине
Популярныетовары
Витрина для нового клиента с максимизацией покрытия аудитории
Заменители / сопутствующие / аксессуары на странице товара (неперс.)
Заменители / сопутствующие / аксессуары в корзине (неперс.)
Таргетированная коммуникация
Персональные рекомендации (оффлайн)
Похожие товары
СЛОЖНОСТЬ
Сделали простую РСЧто дальше?
Прежде, чем тратить больше ресурсов на улучшение рекомендательной системы, нужно:
1. Оценить эффект от простой РС (сплит-тест).
2. Понять, насколько его можно улучшить усложнением.
Давайте с этим разберемся.
Бизнес показателиЮнит-экономика: маржинальные прибыли и убытки
доход с клиента (LTV)
СТОИМОСТЬТОВАРА
ЗАТРАТЫ НА ПРИВЛЕЧЕНИЕ (CAC)
время жизни
клиента
средний чек
средний чек
…
ПРОФИТ!
Продуктовые метрикитраффик
посетители
активированные
покупатели
лояльные
пассивные
реактивированные
%
%
%
%%
Связи на схеме - показатели, на которые влияет изменение продукта (сайта, сервиса, приложения)
Каталог можно представить как матрицу:
РОСТ МАРЖ
А
CAC
активация
конверсия
удержание
реактивация
Влияние рекомендательной системы
Затраты на привлечение
Доход с клиента
Стоимостьпроданного товара
Маркетинговыйбюджет
Новые клиенты
Средний чек
Время жизни клиента
Маржинальность корзины
Конверсия
Удержание
Реактивация
Маржинальность витрины
÷
×
Влияние рекомендательной системы *
*рекомендательная система
Затраты на привлечение
Доход с клиента
Стоимостьпроданного товара
Маркетинговыйбюджет
Новые клиенты
Средний чек
Время жизни клиента
Маржинальность корзины
Конверсия
Удержание
Реактивация
Маржинальность витрины
÷
×
Кейс: Повышение конверсии• Гипотезы для проверки:
1. Конверсия через рекомендуемые товары выше средней
2. Достаточно много пользователей воспользуется рекомендациями
• Единственный путь - сплит-тестирование:– конверсия из разных каналов трафика отличается до 20 раз
– аккуратно контролировать качество трафика сложнее, чем сделать сплит-тест
• Делайте пилоты:– Запуск с ограниченными затратами, затем оценка результатов и решение о масштабировании (масштабирование своей системы, контракт с поставщиком итп)
Кейс Bookmate / E-Contenta
Группа А Группа Б
3 первые книгиот редакции
3 первые книгиот РС хол. старта
Воспользовалисьрекомендациями
Конверсия в покупку
Общая конверсия
Выглядит неплохо!
Неужели стало на 40% больше клиентов?
На самом деле нет, так как лишь 7%
не знало что почитать
Оценим экономическую эффективность
• Для оплаты сторонней РС по модели CPO, комиссия за заказ не должна превышать $0.14 (на самом деле, должна быть еще ниже)
• В случае фиксированного платежа за лицензию в размере $1000**/мес, этот вариант имеет смысл начиная с 7143 новых клиентов/мес, или размера маркетингового бюджета от $35K.
* Величины CAC и маркетингового бюджета - модельные** величина взята с потолка
Общая конверсия С%Цена привлечения = $5
Группа А Группа Б
Общая конверсия 1.028*С%Цена привлечения = $4.86
Конверсия выше в 1.4 разадля 7% пользователей
Общая конверсия по всем каналам - С%
Другие кейсы• Повышение времени жизни клиента
• сложность с проведением сплит-тестов (требуется много времени)
• решение проблемы через когортный анализ
• Повышение маржинальности
• маржинальность корзины зависит от маржинальности витрины
С чего начать?• Анализ: посмотрите на поисковое поведение пользователей, чтобы понять, скольким из них понадобится рекомендательная система (и какая).
• Простая неперсонализированная РС: Сделайте простую неперсонализированную систему, которая будет работать на всех (и новых, и повторных) и даст заменители, сопутствующие и аксессуары
• Простая персонализированная РС: Обязательно сделайте сплит-тест и оцените эффект!
• Стороннее решение холодного старта: Попробуйте какое-то стороннее решение на основе DMP для решения проблемы холодного старта. Обязательно пилот! Платите за улучшение относительно простого решения.
• Стороннее решение на коллаборативной фильтрации, чтобы посмотреть на улучшение относительно простого алгоритма. Обязательно пилот! Платите за улучшение относительно простого решения.
• Экономическая оптимизация. Как только объемы выросли, замените на свою систему или переговоритесь с поставщиком (например, с CPO на фиксированную цену)
