Как устроены сплит-тесты в поиске Рамблера

Сплит-тесты в поиске Рамблера

Свыше 1 млн. хитов в сутки

Я лучше XML посмотрю.

Арни, ты можешь это прочесть?

Кажется, что дизайн можно улучшить

Понабрали по объявлениям!

«Все разбираются в дизайне» ™

font-size: 16px!

Эй, эксперт! Любишь пѐсиков?

К экспертам есть недоверие…

Куда же вы? Потяните

за звѐздочку!

…ибо эксперты тоже ошибаются

На юзабилити-тестирование столько людей не найти

Респондентов вызывали?

Можно «позаимствовать» решения у конкурентов, но делать это вслепую бессмысленно

Лѐха! CSS обфусцирован!

Win! Cлит-тесты понятны всем!

Я знаю в чѐм измерять KPI!

В новых условиях сперва непривычно…

Мы даже это тестируем? Надо больше

метрик…

!?

Идея!

А=↑

B=↓

Важно! Метрики!

Записываем

Планируем

Запускаем

Анализируем

Выкатываем

CTR результатов

Время до первого клика

Запросы без кликов

Средняя позиция кликов

Среднее время на результатах

… ещѐ 25 метрик

Ожидаем:

Изменение средней позиции кликов

Возможен рост сессий (основная метрика)

Вытянули мета-данные в одну строку:

Стали больше кликать на «нижние» результаты

Средняя позиция кликов тоже изменилась

Роста сессий не заметили (возможно, очень малое влияние)

Ожидаем:

Рост выручки от рекламы

Остальные показатели не должны упасть

Оформление рекламных блоков

Было

Стало

Сессии на пользователя остались прежними

CTR объявлений «Бегуна» вырос Выручка повысилась на {NDA}%

1. Меряем только то, что знаем

2. Тестируем только то, где видим проблему

3. Иногда результаты не дают ответа

1. Тестируйте!

2. Продумайте метрики

3. Слабые отличия слабо заметны

Мечтаем, планируем

Вот сделаем перпендикулярные

сплиты…

…и машинные гипотезы

#404fest #rambler @dzimin

Задайте Диме вопрос!

Привет от команды

поиска!