Embed Size (px)
Citation preview
Михаил Левин Заместитель руководителя разработки рекламной системы Яндекса
Реклама на поиске
2
Реклама над результатами поиска
3
Справа
4
И под результатами поиска
5
• Показы? CPM (Cost-per-mille)
• Конверсии? CPA (Cost-per-action)
• Клики! PPC (Pay-per-click)
За что нам платят рекламодатели?
Показы Конверсии Клики
6
• В соответствии с запросом пользователя • Пример: «пластиковые окна в ростове» • Ключевые фразы
– окна – пластиковое окно – пластиковые окна –ростов – окна –пластиковые – деревянные окна
• Формируем список кандидатов
Как отбирать рекламу?
7
• Одно рекламное место
• Объявление №1: 1000 показов, 100 кликов • Объявление №2: 500 показов, 100 кликов • Объявление №3: 10000 показов, 300 кликов
• Вероятности клика: 10%, 20%, 3%
Что лучше показать?
8
• В соответствии с запросом пользователя • Пример: «пластиковые окна в ростове» • Ключевые фразы
– окна – пластиковое окно – пластиковые окна –ростов – окна –пластиковые – деревянные окна
• Формируем список кандидатов • Ставки!
Как отбирать рекламу?
9
• Одно рекламное место
• №1: 1000 показов, 100 кликов – Ставка $0.3
• №2: 500 показов, 100 кликов – Ставка $0.1
• №3: 10000 показов, 300 кликов – Ставка $2
• Вероятности клика: 10%, 20%, 3% • CPM = денег с 1000 показов: $30, $20, $60
Что лучше показать?
10
• Аукцион: кто больше? • Аукцион 1-й цены: плати свою ставку • Плохо: все «врут», постоянная торговля • Аукцион 2-й цены: плати ставку следующего • Выгодно «говорить правду»
Сколько списать?
11
• Ценность клика v (value-per-click) • Ставка b, наибольшая из остальных b’ • Цена клика c < b • Вероятность клика p • Прибыль с одного показа s = p(v – c) • Выгодно ставить b = v! • b < v - невыгодно
– b’ > v → p = 0, s = 0 в любом случае – b’ < b → с = b’, s = p(v – c) и при b = v – b < b’ < v → s = 0, но при b = v было бы s = p(v – b’)
• Аналогично, b > v - невыгодно
Аукцион второй цены
12
• Что если рекламных мест несколько? • Чем выше, тем больше кликов • Списываемая цена = минимальная ставка, при которой остаемся на той же позиции
Обобщенный аукцион второй цены
13
• Мировой рынок $25 000 000 000 в 2013
• Выручка Яндекса в 2013 > $1 000 000 000
• Типичное улучшение на 2% - $20M в год
Поисковая реклама
14
• Теория игр, теория аукционов • Машинное обучение • Моделирование, симуляции • Эксперименты на пользователях • Статистика, эконометрика • Распределенные вычисления • Big Data – MapReduce и др.
Что используется
15
• CTR (click-through rate) ≔ P(click) = ? • P(click) = Clicks / Shows • Зависит от запроса Q • P(click) = Clicks(Q, Ad) / Shows(Q, Ad) • Слишком много уникальных запросов L • Фраза P – почти то же, что запрос Q • Фраз ограниченное число • P(click) = Clicks(P, Ad) / Shows(P, Ad)
Вероятность клика или CTR
16
«Жирные» слова в заголовке
17
• P(click) = Clicks(P, Ad) / Shows(P, Ad) • За какой период брать статистику? • А если запрос все-таки влияет?
– Ключевая фраза iphone, продают последнюю модель – iphone 3GS, iphone 5, iphone 6, iphone наушники – разный CTR
• Объявление отвечает на запрос? • Есть доставка в регион пользователя? • Смотрит с компьютера или с телефона?
Вероятность клика
18
• Как использовать всю информацию? • Сотни миллионов строк логов • В каждой строке сотни признаков • Машинное обучение
Вероятность клика
Clicks Shows Region Text Relevance … Click? P(click)
10 100 Москва 0.586 … 0 0.11
1 200 Ростов 0.253 … 0 0.003
… … … … … … …
0 1 СПб 0.85 1 0.12
19
• Оценки асессоров • Общие слова запроса и объявления • Статистика по объявлению, домену • Можно убрать 20% лишних показов и не потерять кликов!
Релевантность
20
• Пользователи читают сверху вниз • Первая позиция гораздо лучше второй • Прогнозируем CTR по статистике • Завышаем прогноз объявлению с 1-й позиции
• Можем вообще не показать лучшее объявление!
Позиционный эффект
21
• Две рекламных позиции • Первая позиция на 30% более кликабельна • CPM1=$10, всегда на 1-й позиции • CPM2=$9, 50% на 1-й, 50% на второй • CPM3=$8, всегда на 2-й позиции • 3-е объявление лучше всех:
– CPM1(Pos1) = CPM1 = $10 – CPM2(Pos1) = 0.5 * CPM2 + 0.5 * CPM2 * 1.3 = $10.35 – CPM3(Pos1) = CPM2 * 1.3 = $10.4
• Но оно не покажется L
Позиционный эффект: пример
22
• Разные веса событиям в «обучающем логе» • Клик на второй позиции важнее • Раздельная статистика по позициям • «Многорукий бандит» • Модели поведения пользователя
Позиционный эффект: лечим
23
• Две формулы: старая и новая • Берем запросы из прошлого • Берем всю базу с объявлениями • Симулируем аукцион с обеими формулами • Смотрим, где больше кликов, денег • Откуда взять клики? • Генерируем клики новой формулой
Как узнать, стало ли лучше?
24
• Запустим и посмотрим на клики, деньги • А что если погода плохая? • Эксперимент: на 2% пользователей новая формулу, на остальном - старая
• Сравним клики, деньги в среднем на 1% пользователей
• Как долго ждать? • Оценим статистическую значимость • A/B-тестирование
Как на деле узнать, стало ли лучше?
25
• Не до всех фраз можно догадаться • Но мы-то все знаем! • Найдем похожие фразы у других и добавим • Сейчас все ищут фразы под запросы • А у нас найдется все • Проиндексируем объявления • Найдем все, релевантные запросу
Поможем рекламодателям
26
Вопросы?
