Система аналитики контекстной рекламы своими руками
Иван Красников, CTO K☆50
1
Зачем
Встроенного функционала Яндекс.Директ и Google Adwords недостаточно
Объединение данных от разных источников Сокрытие данных от рекламных систем
2
Что делать
Использовать существующие системы автоматизации
Собрать свою Гибридный вариант
3
Основные этапы
CRM
Системы рекламы
Системы аналитики
База данных
визуализация
автоматизация
Получение данных Хранение Обработка данных4
САКР на базе BI систем
Плюсы:• Есть существующие коннекторы• Богатые возможности визуализацииМинусы:• Только отчетность• Нужны специфические знания• Нет встроенного Я.Д
5
САКР своими руками
Плюсы:• полная кастомизация• все данные внутри компанииМинусы:• Нужны деньги и компетенции на разработку и
поддержку
6
Гибридные варианты
BI системы + существующие системы автоматизацииПлюсы:• Не нужно разрабатывать и поддерживать с вои
коннекторы, решать вопросы с взаимодействием с системами рекламы
Минусы• не у всех систем есть api• нужно платить внешней системе
7
Данные
1) CRM 2) Calltracking 3) Yandex.Direct 4) Google Adwords 5) Google Analytics 6) Yandex Metrika 7) …..
8
CRM чаще всего
Пользователь Сайт CRMOrder Order
Order:Имя: Петров ОлегАдрес: Оконечный переулок 15Заказ: Iphone 7 Сумма: 6700руб.
CRM вариант 1
Пользователь Сайт CRM
Pageview
PageviewOrder Order
Session
Session:Date: 2016-09-13 23:57Refferer: https://yandex.ru/search/?text=icbda%202016&lr=213Landing: http://rusbase.com/tag/icbda/
CRM вариант 2
Пользователь
Сайт CRMPageviewPageviewOrder+UserID
Order+ UserID
UserID: eeef-abcd-0223
Google Analytics,YM\etc
PageviewPageviewUserID
Системы анализа источников звонков (calltracking )
Разные API Данные примерно те-же как в CRMdate: 2016-09-14
number: 79231234567entryPoints: [ 0: [date: 2016-09-13referrer: https://yandex.ru/search/?text=icbda%202016&lr=213landing: http://rusbase.com/tag/icbda/
]
1:….]
12
Yandex Direct 2 версии API ( API4 live , API5) Баллы и лимиты Выкачка отчетов через очереди Изменение статистики Сертификация приложений
13
Выкачка отчета Яндекс.Директ
14
Gearman
Выкачка отчета (общая схема)
Очередь клиент 1w1
w2
Redis
Очередь клиент 2
…
Supervisord
Яндекс.Директ
15
w200Очередь клиент …
Выкачка отчета(воркер)
Есть место?
Удаляем отчеты,
висящие более 5 минут
Ставим в очередь
Отчет готов?
Скачиваем и удаляем
Ждём t+30 секунд
Ждём 30 секунд
Google Adwords
RMF https://developers.google.com/adwords/api/docs/requirementsQuotasГотовые библиотекиБыстрое устаревание API (полгода)
17
Google Analytics Ограничение – 50000 запросов (больше по
согласованию) Сэмплинг Готовые библиотеки Изменение статистики(в течении 24-48
часов)
18
Yandex Metrika
3 API - Старый, Новый*, GA-совместимый
19
Склейка данных
Внешний ID UTM-метки
( utm_source,utm_term,utm_content,utm_campaign,medium)
20
UTM метки
21
Очереди и процедуры
22
Базы данных
У нас MySQL + VerticaПробуем MySQL + Clickhouse
Redshift , BigQuery – показалось дорого
23
Импорт в базу данных
CRM
Системы рекламы
Системы аналитики
MySQL Vertica
24
очередь очередь
Визуализация
d3.js ,highcharts PowerBI, TableAu , Qlick…
25
Управление
26
Condition
Action
Паттерн Event-Condition-Action
Event: