Построение моделей на примере продаж рекламыАлексей Праслованалитик, Avito

Что делать когда нужно протестировать много вариантов?

A B

План презентации

• Подход к решению проблемы

• Как организовывать эксперимент

• Как интерпретировать результаты

• Что нужно учитывать при внедрении результатов

Как распределить трафик между различными каналами продаж

Премиальные прямые продажи

Google AdExchange RTB биржи Остаточные прямые продажи

Рекламные сети

Цена показа известна ü ü û ü û

Подробная статистика ü ü û ü û

Установка порога цены

û ü ü û û

Цена за тысячу показов

Показы

Google AdExchange Премиальные прямые продажи

Остаточные прямые продажи

Какую ставку поставить рекламным сетям и RTB биржамв собственном аукционе?

Общее описание метода

Выбрать параметры для оптимизации

Подготовить дизайн эксперимента

Проведение эксперимента

Построение модели

• Порог цен RTB биржи 1• Порог цен Google AdExchange• Ставка RTB биржи 1• Ставка рекламной сети 1

Разным группам пользователей показываем рекламус разными настройками

Описание эксперимента

Группа пользователей 1 Группа пользователей 2 Группа пользователей 3 Группа пользователей 4 Группа пользователей 5

(1, 3, 3, 6) (3, 3, 6, 9) (3, 3, 9, 12) (3, 6, 6, 12) (1, 3, 9, 12)

𝑋=¿

Преимущества регрессионных моделей

Порог цен RTB биржи

Выр учка=𝑎∗Порог цен  RTB биржи 2+𝑏∗Порог цен RTB  биржи+𝑐

Выручка

• Меньшая чувствительность модели к единичным выбросам

• Необходимо меньшое количество измерений

• Понимание закономерностей внутри исследуемых систем

Дизайн эксперимента: определение границ

• Репрезентативность модели может снижаться на всём диапазоне допустимых значений

• При неправильно определённой области эксперимента модель может быть нерепрезентативной

• Необходимо правильно определить область исследования

Порог цен RTB биржи

Выручка

Дизайн эксперимента: выбор точек• Необходимо обеспечить наименьшую ошибкукоэффициентов при параметрах модели

• Получить информацию об исследуемой области

• Провести исследование в малом количестве точек

Порог цен RTB биржи

Ставка рекламной сети

Для определения оптимального набор экспериментальных точек мы использовали алгоритм ФёдороваРеализован в R в пакете AlgDesign

Федоров В.В. (1971) Теория оптимального эксперимента

Выбор параметров моделирования

• Случайная ошибка

Порог цен RTB биржи

Выручка• Систематическая ошибка

Информационные критерии:

• Критерий Акаике – AIC

• Критерий Шварца – BIC

Выбор параметров моделирования

Количество параметров

модели

Точность модели

Порог цен RTB биржи

Выручка

Одинаковый учёт метрик

• Различные источники статистки могут применять различные методы при подсчёте одних и тех метрик

• Необходимо обеспечить единообразие метода учёта

• Лучше использовать инструменты с понятным поведением

- Yandex RTB - Google Double click for publishers

Необходимо учитывать потери

Площадка

Рекламная сеть

$

Отправлено показов100K

Продано10K

Получено100K

Отправлено90K

Получено обратно90K

100 руб.

𝐶𝑃𝑀=100∗1000

100000−90000=𝟏𝟎 р

CPM – доход на 1000 показов

Необходимо учитывать потери

Площадка

Рекламная сеть

$

Отправлено показов100K Потеряно

5К

Продано10K

Получено95K

Отправлено85K

Потеряно4К

Получено обратно81K

100 руб.

𝑒𝐶𝑃𝑀=100∗1000

95000−85000=𝟏𝟎 р

𝑟 𝐶𝑃𝑀=100∗1000

100000−81000=𝟓 .𝟑 р

При внедрении результатов необходима верификация

Доходность источника спроса зависит от объёма трафика

CPMCPM

Спросна показы

Маленький объём

Большой объём

Высокий средний CPM Низкий средний CPM

Спросна показы

Размер экспериментальной группы влияет на результат

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%0%

1%

2%

3%

4%

5%

6%

7%

8%

9%

10%

размер экспериментальной группы

прирост выручки

Результаты

+6% дохода c оптимизируемых позиций avito.ru после 2 циклов оптимизации

+8% дохода с оптимизируемых позицийm.avito.ru после 1 цикла оптимизации

Благодарю за внимание!

Праслов Алексей

apraslov@avito.ru

alecs812