32
Уроки тестирования Артём Овсянников, почтальон activizm.ru Москва, RIW2014

Уроки тестирования

Embed Size (px)

Citation preview

Page 1: Уроки тестирования

Уроки тестирования

Артём Овсянников, почтальон activizm.ruМосква, RIW2014

Page 2: Уроки тестирования

Статистически надёжное значение находится за пределами доверительного интервала

Page 3: Уроки тестирования

Статистически надёжное значение находится за пределами доверительного интервала

P – конверсия (uCTR и т.д.) варианта АN – число наблюдений (доставлено)Z – секретный ингредиент

если нужна надёжность95%, z=299%, z=3

Page 4: Уроки тестирования

Вариант А

Page 5: Уроки тестирования

Для любознательныхhttp://www.slideshare.net/evgenyq/ss-32611485

Page 6: Уроки тестирования

Для ленивых — калькуляторhttp://www.zettasphere.com/abcalculator/

Page 7: Уроки тестирования

А как у вас со статистической достоверностью?

Отлично!

А доверительный интервал какой?

[profit!]

Page 8: Уроки тестирования

Тема 1Время отправки

Page 9: Уроки тестирования

Когда лучше слать?

9:00

13:00

15:00

17:00

19:00

Page 10: Уроки тестирования
Page 11: Уроки тестирования

09:00 … 8,4%

13:00 … 9,2%

15:00 … 9,3%

17:00 … 8,9%

19:00 … 9,0%

Page 12: Уроки тестирования

А как со статзначимостью?

09:00 … 8,4%

13:00 … 9,2%

15:00 … 9,3%

17:00 … 8,9%

19:00 … 9,0%

Page 13: Уроки тестирования

А всё равно, только не в 9:00!

09:00 … 8,4%13:00 … 9,2%

15:00 … 9,3%

17:00 … 8,9%

19:00 … 9,0%

Page 14: Уроки тестирования

Может с кликами картина яснее?

09:00 … 1,04%

13:00 … 1,28%

15:00 … 1,31%

17:00 … 1,31%

19:00 … 1,21%

Page 15: Уроки тестирования

Нет, вообще всё равно!

09:00 … 1,04%

13:00 … 1,28%

15:00 … 1,31%

17:00 … 1,31%

19:00 … 1,21%

Page 16: Уроки тестирования

Добро!

Page 17: Уроки тестирования

Добро!Хотя немного жаль

Page 18: Уроки тестирования

Тема 2Тема

Page 19: Уроки тестирования

7 безоговорочных упражнений, неизвестный Конан-Дойл

и другие темы

Сегодня никакой рекламы

Page 20: Уроки тестирования

uOR uCR7 безоговорочных

упражнений, неизвестный

Конан-Дойл и другие темы

15,1% 1,8%

Сегодня никакой рекламы 15,3% 1,2%

Page 21: Уроки тестирования

Там упражнения что ли? Ага, точно!

uOR uCR7 безоговорочных

упражнений, неизвестный

Конан-Дойл и другие темы

15,1% 1,8%

Сегодня никакой рекламы 15,3% 1,2%

Page 22: Уроки тестирования

Тема 3Адаптивный шаблон

Page 23: Уроки тестирования

Неадаптивный Адаптивный

Page 24: Уроки тестирования

9,7% 13,1%uCTR

Page 25: Уроки тестирования

+ 35% uCTR статистическая значимость 99%

Page 26: Уроки тестирования

YES!

Page 27: Уроки тестирования

Повторим?

Page 28: Уроки тестирования
Page 29: Уроки тестирования

16% 16,4%

Page 30: Уроки тестирования

Но на этот раз статистической разницы нет!

Page 31: Уроки тестирования

Уроки тестирования

● Уважать статистическую достоверность

● В теме искать баланс между простотой, точностью и интригой. Точность важнее.

● Перепроверять результаты, особенно положительные

● Не верить на слово

Page 32: Уроки тестирования

Артём Овсянниковпочтальон activizm.ru

[email protected]+ 7 903 757 25 25

fb.com/artem.ovsyannikov