Upload
ontico
View
96
Download
3
Embed Size (px)
Citation preview
Малоизвестные грабли А/Б-тестингаРоман Поборчий
v1.1
График целевой метрики
График целевой метрики
Миллион раз по сто попыток
0 1 2 3 4 5 6 7 8 9
366K 369K
185K
61K15K 2.8K 456 54 4 1
Всё бесполезно?..
A/B тестинг в одном слайде
Разбить юзеров
Показать каждому
своё
Обсчитать результат
Разбить юзеров
Система бакетов
??
Система бакетов
??
?? ?? K
?? ?? ??
Легенда: exp vs. prodХуже
Не отличается
Лучше
Хуже Лучше
Система бакетов
??
K
?? ?? ??
??
Система бакетов
?? ?? K
??
Вред от обиженного бакета
??
?? ?? K
?? ??
??
Вред от обиженного бакета
??
?? ?? K
?? ??
??
Вред от обиженного бакета
??
?? ?? ??
K ?? ??
Вред от обиженного бакета
K
Память поколений
Источник: http://www.exp-platform.com/documents/puzzlingoutcomesincontrolledexperiments.pdf
Помешивайте кашу
Помешивайте кашу
Помешивайте кашу
Помешивайте кашу
Помешивайте кашу
Все животные равны…
Показать каждому своё
Юзеры
Два ДЦ
Амазон:100мс стоят 1% продаж
Обсчитать результат
Распределение цвета глаз
Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет купить
Зависимые действия в жизни
автомат калашникова купить
автомат калашникова настоящий купить
автомат калашникова не макет купить
нанять киллера
Teh drama
K
50 оттенков серого
K
Оффлайновый А/А тест
Оффлайновый А/А тест
Оффлайновый А/А тест
Так делать не надоБакет # 1 2 3 4 5 6 7 8 9 10
1 X2 X3 X4 X5 X6 X7 X8 X9 X
10 X
Так делать не надоБакет # 1 2 3 4 5 6 7 8 9 10
1 X2 X3 X4 X5 X6 X7 X8 X9 X
10 X
Так делать не надоБакет # 1 2 3 4 5 6 7 8 9 10
1 X2 X3 X4 X5 X6 X7 X8 X9 X
10 X
В реальности будет иначеБакет # 1 2 3 4 5 6 7 8 9 10
1 X2 X3 X4 X5 X6 X7 X8 X9 X
10 X
В реальности будет иначеБакет # 1 2 3 4 5 6 7 8 9 10
1 X2 X3 X4 X5 X6 X7 X8 X9 X
10 X
Silver bullet…
…it is not
Проводите A/A тесты, следите за
Целевой метрикой
Количеством пользователей
Временем ответа (хотя бы на сервере)
Долей несовпадающих метрик
Количеством успешных экспериментов
Ну вы держи́тесь там
Роман Поборчий
http://poborchy.ru/
https://www.facebook.com/roman.poborchy