Уроки тестирования

Уроки тестирования

Артём Овсянников, почтальон activizm.ruМосква, RIW2014

Статистически надёжное значение находится за пределами доверительного интервала

Статистически надёжное значение находится за пределами доверительного интервала

P – конверсия (uCTR и т.д.) варианта АN – число наблюдений (доставлено)Z – секретный ингредиент

если нужна надёжность95%, z=299%, z=3

Вариант А

Для любознательныхhttp://www.slideshare.net/evgenyq/ss-32611485

Для ленивых — калькуляторhttp://www.zettasphere.com/abcalculator/

А как у вас со статистической достоверностью?

Отлично!

А доверительный интервал какой?

…

[profit!]

—

—

—

—

Тема 1Время отправки

Когда лучше слать?

9:00

13:00

15:00

17:00

19:00

09:00 … 8,4%

13:00 … 9,2%

15:00 … 9,3%

17:00 … 8,9%

19:00 … 9,0%

А как со статзначимостью?

09:00 … 8,4%

13:00 … 9,2%

15:00 … 9,3%

17:00 … 8,9%

19:00 … 9,0%

А всё равно, только не в 9:00!

09:00 … 8,4%13:00 … 9,2%

15:00 … 9,3%

17:00 … 8,9%

19:00 … 9,0%

Может с кликами картина яснее?

09:00 … 1,04%

13:00 … 1,28%

15:00 … 1,31%

17:00 … 1,31%

19:00 … 1,21%

Нет, вообще всё равно!

09:00 … 1,04%

13:00 … 1,28%

15:00 … 1,31%

17:00 … 1,31%

19:00 … 1,21%

Добро!

Добро!Хотя немного жаль

Тема 2Тема

7 безоговорочных упражнений, неизвестный Конан-Дойл

и другие темы

Сегодня никакой рекламы

uOR uCR7 безоговорочных

упражнений, неизвестный

Конан-Дойл и другие темы

15,1% 1,8%

Сегодня никакой рекламы 15,3% 1,2%

Там упражнения что ли? Ага, точно!

uOR uCR7 безоговорочных

упражнений, неизвестный

Конан-Дойл и другие темы

15,1% 1,8%

Сегодня никакой рекламы 15,3% 1,2%

Тема 3Адаптивный шаблон

Неадаптивный Адаптивный

9,7% 13,1%uCTR

+ 35% uCTR статистическая значимость 99%

YES!

Повторим?

16% 16,4%

Но на этот раз статистической разницы нет!

Уроки тестирования

● Уважать статистическую достоверность

● В теме искать баланс между простотой, точностью и интригой. Точность важнее.

● Перепроверять результаты, особенно положительные

● Не верить на слово

Артём Овсянниковпочтальон activizm.ru

ao@activizm.ru+ 7 903 757 25 25

fb.com/artem.ovsyannikov