Система аналитики контекстной рекламы своими руками

Иван Красников, CTO K☆50

1

Зачем

Встроенного функционала Яндекс.Директ и Google Adwords недостаточно

Объединение данных от разных источников Сокрытие данных от рекламных систем

2

Что делать

Использовать существующие системы автоматизации

Собрать свою Гибридный вариант

3

Основные этапы

CRM

Системы рекламы

Системы аналитики

База данных

визуализация

автоматизация

Получение данных Хранение Обработка данных4

САКР на базе BI систем

Плюсы:• Есть существующие коннекторы• Богатые возможности визуализацииМинусы:• Только отчетность• Нужны специфические знания• Нет встроенного Я.Д

5

САКР своими руками

Плюсы:• полная кастомизация• все данные внутри компанииМинусы:• Нужны деньги и компетенции на разработку и

поддержку

6

Гибридные варианты

BI системы + существующие системы автоматизацииПлюсы:• Не нужно разрабатывать и поддерживать с вои

коннекторы, решать вопросы с взаимодействием с системами рекламы

Минусы• не у всех систем есть api• нужно платить внешней системе

7

Данные

1) CRM 2) Calltracking 3) Yandex.Direct 4) Google Adwords 5) Google Analytics 6) Yandex Metrika 7) …..

8

CRM чаще всего

Пользователь Сайт CRMOrder Order

Order:Имя: Петров ОлегАдрес: Оконечный переулок 15Заказ: Iphone 7 Сумма: 6700руб.

CRM вариант 1

Пользователь Сайт CRM

Pageview

PageviewOrder Order

Session

Session:Date: 2016-09-13 23:57Refferer: https://yandex.ru/search/?text=icbda%202016&lr=213Landing: http://rusbase.com/tag/icbda/

CRM вариант 2

Пользователь

Сайт CRMPageviewPageviewOrder+UserID

Order+ UserID

UserID: eeef-abcd-0223

Google Analytics,YM\etc

PageviewPageviewUserID

Системы анализа источников звонков (calltracking )

Разные API Данные примерно те-же как в CRMdate: 2016-09-14

number: 79231234567entryPoints: [ 0: [date: 2016-09-13referrer: https://yandex.ru/search/?text=icbda%202016&lr=213landing: http://rusbase.com/tag/icbda/

]

1:….]

12

Yandex Direct 2 версии API ( API4 live , API5) Баллы и лимиты Выкачка отчетов через очереди Изменение статистики Сертификация приложений

13

Выкачка отчета Яндекс.Директ

14

Gearman

Выкачка отчета (общая схема)

Очередь клиент 1w1

w2

Redis

Очередь клиент 2

…

Supervisord

Яндекс.Директ

15

w200Очередь клиент …

Выкачка отчета(воркер)

Есть место?

Удаляем отчеты,

висящие более 5 минут

Ставим в очередь

Отчет готов?

Скачиваем и удаляем

Ждём t+30 секунд

Ждём 30 секунд

Google Adwords

RMF https://developers.google.com/adwords/api/docs/requirementsQuotasГотовые библиотекиБыстрое устаревание API (полгода)

17

Google Analytics Ограничение – 50000 запросов (больше по

согласованию) Сэмплинг Готовые библиотеки Изменение статистики(в течении 24-48

часов)

18

Yandex Metrika

3 API - Старый, Новый*, GA-совместимый

19

Склейка данных

Внешний ID UTM-метки

( utm_source,utm_term,utm_content,utm_campaign,medium)

20

UTM метки

21

Очереди и процедуры

22

Базы данных

У нас MySQL + VerticaПробуем MySQL + Clickhouse

Redshift , BigQuery – показалось дорого

23

Импорт в базу данных

CRM

Системы рекламы

Системы аналитики

MySQL Vertica

24

очередь очередь

Визуализация

d3.js ,highcharts PowerBI, TableAu , Qlick…

25

Управление

26

Condition

Action

Паттерн Event-Condition-Action

Event:

Fin

vanya@k50.ru27