Малоизвестные грабли A/B-тестирования и роль...

Малоизвестные грабли А/Б-тестингаРоман Поборчий

v1.1

График целевой метрики

График целевой метрики

Миллион раз по сто попыток

0 1 2 3 4 5 6 7 8 9

366K 369K

185K

61K15K 2.8K 456 54 4 1

Всё бесполезно?..

A/B тестинг в одном слайде

Разбить юзеров

Показать каждому

своё

Обсчитать результат

Разбить юзеров

Система бакетов

??

Система бакетов

??

?? ?? K

?? ?? ??

Легенда: exp vs. prodХуже

Не отличается

Лучше

Хуже Лучше

Система бакетов

??

K

?? ?? ??

??

Система бакетов

?? ?? K

??

Вред от обиженного бакета

??

?? ?? K

?? ??

??

Вред от обиженного бакета

??

?? ?? K

?? ??

??

Вред от обиженного бакета

??

?? ?? ??

K ?? ??

Вред от обиженного бакета

K

Память поколений

Источник: http://www.exp-platform.com/documents/puzzlingoutcomesincontrolledexperiments.pdf

Помешивайте кашу

Помешивайте кашу

Помешивайте кашу

Помешивайте кашу

Помешивайте кашу

Все животные равны…

Показать каждому своё

Юзеры

Два ДЦ

Амазон:100мс стоят 1% продаж

Обсчитать результат

Распределение цвета глаз

Зависимые действия в жизни

автомат калашникова купить

автомат калашникова настоящий купить

автомат калашникова не макет купить

Зависимые действия в жизни

автомат калашникова купить

автомат калашникова настоящий купить

автомат калашникова не макет купить

нанять киллера

Teh drama

K

50 оттенков серого

K

Оффлайновый А/А тест

Оффлайновый А/А тест

Оффлайновый А/А тест

Так делать не надоБакет # 1 2 3 4 5 6 7 8 9 10

1 X2 X3 X4 X5 X6 X7 X8 X9 X

10 X

Так делать не надоБакет # 1 2 3 4 5 6 7 8 9 10

1 X2 X3 X4 X5 X6 X7 X8 X9 X

10 X

Так делать не надоБакет # 1 2 3 4 5 6 7 8 9 10

1 X2 X3 X4 X5 X6 X7 X8 X9 X

10 X

В реальности будет иначеБакет # 1 2 3 4 5 6 7 8 9 10

1 X2 X3 X4 X5 X6 X7 X8 X9 X

10 X

В реальности будет иначеБакет # 1 2 3 4 5 6 7 8 9 10

1 X2 X3 X4 X5 X6 X7 X8 X9 X

10 X

Silver bullet…

…it is not

Проводите A/A тесты, следите за

Целевой метрикой

Количеством пользователей

Временем ответа (хотя бы на сервере)

Долей несовпадающих метрик

Количеством успешных экспериментов

Ну вы держи́тесь там

Роман Поборчий

prs@poborchy.ru

http://poborchy.ru/

https://www.facebook.com/roman.poborchy