Главные принципыA/B-тестирования(с картинками)

РИТ++ 2012

Александр Шуркаев (www.alshur.ru)

Где больше кликов на жёлтой кнопке? (A)

Где больше кликов на жёлтой кнопке? (B)

And the winner is...

A B?

Победил вариант A(CTR: +400%)

http://www.abtests.com/test/201001/other-for-icoupon-blog

Методы улучшения веб-продуктов

A/Bтестирование

Юзабилититестирование

Радикальные инновации

Стоимость

Низкая Низкая/средняя Высокая (если вообще повезёт)

Выгода 1-10% 10-100% 100-1000%

Риск Никакого Низкий Высокий

Кто может делать

Каждый Каждый Гении

http://www.useit.com/alertbox/innovation.html

Определения

● A/B/(N)-тестирование (сплит)

A50%

B50%

● Мультивариативное тестирование (MVT)

A1+B125%

A1+B225%

A2+B125%

A2+B225%

Немного о статистике

Есть победитель (α)

Нет победителя (β)

Действительно + +

Случайно - -

Статистическая значимость: 90%, 95%, 99,9%

Кому нужно сплит-тестирование

● Маркетологам

● Веб-аналитикам

● UX-аналитикам

● Менеджерам продуктов

● Копирайтерам

● Разработчикам

● Владельцам веб-проектов

Зачем нужно сплит-тестирование

Примеры целей улучшений:

● CRO = Conversion Rate Optimization

● BRO = Bounce Rate Optimization

● Увеличение просмотров страниц

● Определение оптимальной цены товара

● Увеличение CTR рекламы (у реклов и

партнёров)

Что обычно тестируют

● Call-to-action элементы: размер, цвет, расположение, текст

● Изображения (визуал, размер, качество, расположение и т. д.)

● Кол-во текста или длину веб-формы● Цветовую гамму и layout страниц● Цену товара и спецпредложения● Элементы рекламных блоков● Пункты меню

Циклический процесс A/B-тестирования

1. Генерация идеи2. Выбор инструмента3. Определение целей и KPIs4. Создание альтернативных вариантов5. Случайное распределение вариантов

между посетителями6. Наблюдение за тестом7. Определение победителя8. GOTO label1

Классические примеры A/B-тестов

CTR ссылки: +173%

http://www.dustincurtis.com/you_should_follow_me_on_twitter.html

Классические примеры A/B-тестов

CTR кнопки: +28%

http://visualwebsiteoptimizer.com/split-testing-blog/ab-test-case-study-how-two-magical-words-increased-conversion-rate-by-28/

Классические примеры A/B-тестов

CTR кнопки: +34%

http://dmix.ca/2010/05/how-we-increased-our-conversion-rate-by-72/

Примеры из практики (РСЯ)

Ad CTR: +80%

Примеры из практики(Бегун, layout)

Ad CTR: (no winner)

Примеры из практики(Бегун, отключение)

Ad CTR: -10%

Ещё примеры A/B-тестов

● www.whichtestwon.com

● www.abtests.com

● www.abtest.ru/tour.php?type=case

Инструменты A/B-тестирования

● Готовые сервисы○ Бесплатные и платные○ Работают на клиенте○ Могут тормозить на больших нагрузках

● Программные решения○ Бесплатные (+ интеграция)○ Работают на сервере○ Должна быть защита от ботов, прежде всего

поисковых

Готовые сервисы A/B-тестирования

● Google Website Optimizer (free)

● Google Analytics / Яндекс.Метрика (free)

● Visual Website Optimizer / Optimizely (visual

& pricy)

● Unbounce (LP)

● abtest.ru :-(

Программные решения для A/B-тестирования

● phpA/B (php)

● python-ab (python)

● A/Bingo (ruby on rails)

● genetify (js)

● что-то своё

Калькуляторыдля A/B-тестирования

Статистическая значимость:● http://elem.com/~btilly/effective-ab-testing/g-

test-calculator.html● http://visualwebsiteoptimizer.com/ab-split-

significance-calculator/ (+ Excel)● http://www.usereffect.com/split-test-

calculatorДлительность теста:● http://visualwebsiteoptimizer.com/ab-split-

test-duration/

Ошибки в проведении A/B-тестов

Этапы процесса:

● Подготовка к тесту

● Проведение эксперимента

● Завершение и интерпретация

результатов

NB: подготовка к тесту

● Тестируем версии A и B только одновременно! Трафик всегда разный.

● Если боитесь отпугнуть постоянных посетителей — тестируйте на новеньких

● Меняться должна только одна сущность● Проверяйте чужие тесты, у вас могут

быть другие результаты (контекст!)

NB: проведение теста

● Если Вася Пупкин увидел вариант B, то

он должен и при следующем заходе

видеть вариант B

● ...и должен увидеть вариант B на всех

страницах сайта

● ...и в идеале — на всех своих

устройствах

NB: окончание тестирования

● Победитель должен определяться

статистически, а не «на глазок»

● Не останавливайте тест слишком рано

● Если проверяете на разных страницах —

делайте потом редиректы на победителя

(привет, GWO)

Внедрение процесса A/B-тестирования

Главные роли:

● Идеолог

● «Пытливый исследователь»

● Разработчики

Внедрение: идеолог

● «Чемпион» для продвижения data-driven

культуры

● Правила игры и роли — в отдельном

регламенте, доступном для всех

участников процесса

Внедрение: «пытливый исследователь»

● Возможность быстро стартовать и быстро

завершать тесты

● Качественный dashboard для быстрого

принятия решений

● Автоматизированные отчёты

Внедрение: разработчики

● Unit-тесты на код A/B-тестов

● Переключалка альтернатив (типа, хочу

сейчас посмотреть вариант B) — GET-

параметр

● Повторное использование A/B-тестов

и/или целей — норма

A/B-тестирование: главные выводы

● Тестируйте часто и разнообразно

● Автоматизируйте рутинные операции

● Полагайтесь на статистические выкладки

● Не впадайте в крайности ;-)

Перегибы на местах

Doug Bowman on Design at Google:“Yes, it’s true that a team at Google couldn't decide between two blues, so they’re testing 41 shades between each blue to see which one performs better. I had a recent debate over whether a border should be 3, 4 or 5 pixels wide, and was asked to prove my case. I can’t operate in an environment like that.

http://stopdesign.com/archive/2009/03/20/goodbye-google.html

Спасибо! Вопросы?

Александр Шуркаев — руководитель веб-проектов, аналитик

alshur@ya.ruwww.alshur.ru РИТ++ 2012