Embed Size (px)
Citation preview
Уроки тестирования
Артём Овсянников, почтальон activizm.ruМосква, RIW2014
Статистически надёжное значение находится за пределами доверительного интервала
Статистически надёжное значение находится за пределами доверительного интервала
P – конверсия (uCTR и т.д.) варианта АN – число наблюдений (доставлено)Z – секретный ингредиент
если нужна надёжность95%, z=299%, z=3
Вариант А
Для любознательныхhttp://www.slideshare.net/evgenyq/ss-32611485
Для ленивых — калькуляторhttp://www.zettasphere.com/abcalculator/
А как у вас со статистической достоверностью?
Отлично!
А доверительный интервал какой?
…
[profit!]
—
—
—
—
Тема 1Время отправки
Когда лучше слать?
9:00
13:00
15:00
17:00
19:00
09:00 … 8,4%
13:00 … 9,2%
15:00 … 9,3%
17:00 … 8,9%
19:00 … 9,0%
А как со статзначимостью?
09:00 … 8,4%
13:00 … 9,2%
15:00 … 9,3%
17:00 … 8,9%
19:00 … 9,0%
А всё равно, только не в 9:00!
09:00 … 8,4%13:00 … 9,2%
15:00 … 9,3%
17:00 … 8,9%
19:00 … 9,0%
Может с кликами картина яснее?
09:00 … 1,04%
13:00 … 1,28%
15:00 … 1,31%
17:00 … 1,31%
19:00 … 1,21%
Нет, вообще всё равно!
09:00 … 1,04%
13:00 … 1,28%
15:00 … 1,31%
17:00 … 1,31%
19:00 … 1,21%
Добро!
Добро!Хотя немного жаль
Тема 2Тема
7 безоговорочных упражнений, неизвестный Конан-Дойл
и другие темы
Сегодня никакой рекламы
uOR uCR7 безоговорочных
упражнений, неизвестный
Конан-Дойл и другие темы
15,1% 1,8%
Сегодня никакой рекламы 15,3% 1,2%
Там упражнения что ли? Ага, точно!
uOR uCR7 безоговорочных
упражнений, неизвестный
Конан-Дойл и другие темы
15,1% 1,8%
Сегодня никакой рекламы 15,3% 1,2%
Тема 3Адаптивный шаблон
Неадаптивный Адаптивный
9,7% 13,1%uCTR
+ 35% uCTR статистическая значимость 99%
YES!
Повторим?
16% 16,4%
Но на этот раз статистической разницы нет!
Уроки тестирования
● Уважать статистическую достоверность
● В теме искать баланс между простотой, точностью и интригой. Точность важнее.
● Перепроверять результаты, особенно положительные
● Не верить на слово
