A/B ТЕСТЫили как выстрелить себе в ногу

Тимур Козьменко

twitter : Timrael

ПЛАН

• Базовая статистика

• Основные вопросы про А/Б

• Советы по проведению тестов

• Разбор А/Б тестов каждой команды

Состояние борща на самом деле

Свеж Протух

Состояние борща на самом деле

Свеж Протух

Оценка Пистонского

Думает что свеж ВерноТравится протухшим борщом.

Ошибка II рода

Думает что протухВыбрасывает свежий борщ.Ошибка I рода

Верно

На самом деле скругление call-to-action кнопок прибыль

Не увеличивает Увеличивает

Что показывает А/Б тест

Не увеличивает ВерноПропустили победу.

Ошибка II рода

УвеличиваетУвидели победу там, где ее нет.Ошибка I рода

Верно

Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%.

Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%.

Статистическая значимость = 100% - (ошибка I рода)

Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%.

Статистическая значимость = 100% - (ошибка I рода)

Чем больше разница в вариантах или чем дольше сохраняется разница в вариантах, тем больше мы уверены, что это не погрешность, и тем выше стат. значимость

Самая критическая и распространенная ошибка в A/B-тестировании — останавливать тест, как только становится заметно, что один из вариантов побеждает с существенным отрывом.

Увеличит ли прибыль скругление call-to-action кнопок

Не увеличивает Увеличивает

Что показывает А/Б тест

Не увеличивает ВерноПропустили победу.

Ошибка II рода

УвеличиваетУведели победу там, где ее нет.Ошибка I рода

Верно

Ошибка II рода - это шанс не заметить верную гипотезу. Принято брать значение в 10% - 20%.

Ошибка II рода - это шанс не заметить верную гипотезу. Принято брать значение в 10% - 20%.

Статистическая мощность = 100% - (ошибка II рода)

Какой же размер выборки считать достаточным?

Как определить минимальный размер выборки?

Как определить минимальный размер выборки?

Conversion = X / Y

На какую конверсию смотреть?

Conversion = Clicks / Searches

На какую конверсию смотреть?

Conversion = PBC / Clicks

На какую конверсию смотреть?

Conversion = Profit / Y

На какую конверсию смотреть?

Conversion = Profit / Users

На какую конверсию смотреть?

Conversion = PBC / Users

На какую конверсию смотреть?

Используйте сегментирование

Забудьте про А/Б если у вас нету трафика

Забудьте про А/Б если у вас нету трафика

Проводите тесты только на основе гипотез

Не проводите A/B/C... тестирования

Учитывайте все каналы дохода

Делайте срезы данных

Вариант Б достоверно победил на 30%

Делайте срезы данных

Вариант Б достоверно победил на 30%

+70% выигрыш

Делайте срезы данных

Вариант Б достоверно победил на 30%

+70% выигрыш -40% проигрыш

Не забывайте про повторные заходы

Пример 1: aviasales

Пример 1: aviasales

Пример 1: aviasales

Пример 1: aviasales

Пример 1: aviasales

Пример 2: hotellook

Пример 2: hotellook

Пример 2: hotellook

Пример 3: JetRadar

Пример 3: JetRadar

Пример 4: TravelPayouts

ВОПРОСЫ?