Document1

Евгений Трофименко [email protected]

konvrПлюс 70% к конверсииза счет работы с множеством мелких изменений в MVT

Евгений Трофименко

[email protected]

http://konvr.ru/

Skype eugene.trofimenko

+7 (495) 669-32-81

mailto:[email protected]

http://konvr.ru/


План докладаЯ действительно не понимаю,

почему конверсия должна быть ниже 100%

• Кто мы? Когда нам нужна конверсия? И сколько?

• Отличие А/B тестирования от MVT (многовариантного)

• Достоверность результатов – что нужно

• Как работают с достоверностью, требования

• А что, если достоверность сложно обеспечить?

• На помощь придут интерактивность, работа с малой

статистикой, машинное обучение и MVT

• Описание этих преимуществ http://konvr.ru/

• Разбор машинных кейсов

• Разбор реальных кейсов

• Дальше: взгляд в светлое будущее

http://konvr.ru/


Мы все хотим увеличения конверсии!


А/B тестирование

Несколько принципиально разных вариантов


MVT – multivariate testingмноговариантное тестирование

Много изменяемых факторов, у каждого несколько значений


MVT – multivariate testing

Много изменяемых факторов, у каждого несколько значений


Одинаково в классическом A/B и MVT

На каждый уникальный вариант лендинга (в MVT

получается перемножением числа вариантов по всем

изменяемым факторам) мы должны накопить некую

«достоверную» статистику, по ней и выбрать

лучший вариант.

Но есть проблемы.

1. Вариантов может быть очень много

2. Варианты могут слабо отличаться друг от

друга по конверсии


«Достоверность» результатов

https://vwo.com/ab-split-test-significance-calculator/

Существует для отличия двух (более) вариантов

друг от друга, нет достоверности самой по себе

https://vwo.com/ab-split-test-significance-calculator/


P-value как мера достоверности

Вероятность того, что два результата

эксперимента (a1,v1) и (a2,v2) порождены одной

априорной вероятностью P.

Считают нормальной p-value ниже 5%

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

априорная вер-ть

P (a1,v1)

P (a2,v2)


Если мы работаем со слабыми изменениями?

Например, вряд ли сильно влияют:

• Цвет текста и фон текста

• Шрифт (фонт)

• Размер шрифта

• Бордер, иконки, цвет и наличие ссылок, т.д.

Каждое из изменений – слабо повлияет на конверсию.

Но тем сложнее получить достоверные данные

по нему, тем дороже его оттестировать!


Пусть конверсия 10%,а слабое изменение дает +5% (итоговая 10.5%)

Недостоверно… Надо накопить больше статистики…








А если таких параметров 15?

На какое время растянутся ваши тесты?

Сколько они будут стоить?

Например, РСЯ позволяет менять около 15

параметров оформления рекламного блока.

РСЯ – это еще мелочи. Наши желания намного

больше!!!


А что нам хочется тестировать?

Да всё, что пишут в руководствах по лендингам.

Только проверить, а не придумывать:

• у посетителя есть проблема – какая? Все варианты.

• как «другие» ее решают и почему они плохо решают

• как мы эту проблему можем решить

• что мы предлагаем: ценность, гарантии

• что клиент получит и за какие сроки

• кто мы и почему именно мы

• работа с возражениями

• каких усилий от клиента потребует

• ограничения, подарок, тающая скидка, цифры, отзывы

• призыв к действию

• …. любая фантазия


Сергей Спивак


Сейчас много лендинговникто не проверяет

И в А/Б тестировании

И в многофакторном тестировании

Анализ одинаковый:

1. Приведем на уникальный лендинг достаточное

число целевых посетителей

2. Посчитаем конверсию по каждому уникальному

варианту – и чтобы была достоверная статистика

А что делать, если хочется проверить

ОЧЕНЬ МНОГО ВАРИАНТОВ?


Решение: http://konvr.ru/

Построено на нескольких китах:

• Интерактивность (многорукие бандиты)

• Работа с малой статистикой

• Машинное обучение

• MVT (многовариантное тестирование)

http://konvr.ru/


Интерактивное машинное обучение

Мы не обязаны взять много данных, сегментировать и выдать

окончательный ответ. Да и невозможно это. Сегменты будут слишком

маленькие, недостоверные.

Но мы можем проверять наши гипотезы интерактивно, прямо сейчас

показывая посетителю тот лендинг, который считаем перспективным

сейчас. И находить лучший.

Интерактивность – основа «многоруких бандитов».

Такой функционал есть в Google Optimizer, но работа с тысячами-

миллионами лендингов выходит за эти рамки.


«Многорукие бандиты»

Интерактивно выбираем, какой лендинг показать

Проблема: нельзя работать с тысячами лендингов

Награда (вероятность конверсии)

при выборе одного лендинга

0%

20%

40%

60%

80%

100%

1 2 3 4 5 6 7 8 9 10

номер лендинга


Есть ли смысл в малых данных?

1000 конверсий / 3000 просмотров = конверсия 1/3

100 конверсий / 300 просмотров = конверсия 1/3

10 конверсий / 30 просмотров = ???

1 конверсия / 3 просмотра = это вообще что???

Вряд ли кто* скажет, что в малых данных

есть смысл. Просто с ними нужно

правильно работать.

* кто другой


По этой же теме:

Григорий Бакунов, Яндексhttps://events.yandex.ru/lib/talks/823/

Landing Page: другой подходYac/M, май 2013

Отличия:

Там – только три лендинга, но очень много таргетингов

(перемножение сегментов аудитории facebook)

Почему работает (имхо):

Машинное обучение не игнорирует малую статистику

https://events.yandex.ru/lib/talks/823/


Кейс: модель пользователя

Лендинг: 6 факторов по 6 значений = 46656 штук

Модель: самая лучшая комбинация имеет конверсию 50%

При любой ошибке конверсия падает в 2 разаУгадано Конверсия

6 50.00%

5 25.00%

4 12.50%

3 6.25%

2 3.13%

1 1.56%

* Усложним модель – возьмем 6 равноправных

непересекающихся лучших комбинаций, такую задачу

«сливом» рандомного трафика не решить.


Кейс: рост конверсии (модель)

Скрипт «пользователя» «просматривает» лендинг

и делает действия на основе модели

Еще кейсы: http://konvr.ru/pgs_cases.php

http://konvr.ru/pgs_cases.php


Кейс: доля угаданных (модель)

Скрипт «пользователя» «просматривает» лендинг

и делает действия на основе модели

Еще кейсы: http://konvr.ru/pgs_cases.php

http://konvr.ru/pgs_cases.php


Кейс живой 1: рост на 67%после оптимизации оформления рекламы

Сайт: bigpicture.ru

Срок: 3 недели

Конверсия = клик по рекламе, улучшаем CTR

Исходный CTR: 0.52%

Достигнутый CTR: 0.87%

Работа с 15 параметрами оформления (РСЯ):

ориентация, цвета, фоны, иконки, шрифты, размеры, т.д.

Уникальных оформлений: 4976640 вариантов

ЭТО РАБОТАЕТ


Лучшие варианты параметров оформления РСЯ (+67%)

type: ["vertical","horizontal"],

font_family: ["arial","tahoma","verdana"],

title_font_size: ["1","2"],

font_size: ["0,8","0,9","1","1,1","1,2"],

links_underline: ["true","false"],

bg_color: ["FFFFFF","F0F0F0","DDDDDD","FDA24D"],

title_color: ["000000","303030","0066CC"],

text_color: ["000000","303030","0066CC"],

url_color: ["006600","000000","303030","0066CC"],

hover_color: ["FF9900","303030","990000"],

header_bg_color: ["FFFFFF","F0F0F0","DDDDDD","FDA24D"],

border_color: ["FFFFFF","0066CC"],

favicon: ["true","false"],

no_sitelinks: ["true","false"],

limit: ["1","2","3"]



Сайт: muzhzdorov.ru

Срок: 4 недели

Конверсия = клик по рекламе

улучшаем CTR








font_family: ["arial","courier new","tahoma","times new

roman","verdana"],

title_font_size: ["1","2","3"],

font_size: ["0,8","0,9","1","1,1","1,2"],


bg_color: ["FFFFFF","EEEEEE","FEE5C7"],

title_color: ["000000","FF0000","444444","8B2213","E38A42"],

text_color: ["000000","FF0000","444444","8B2213","E38A42"],

url_color: ["006600","0000CC"],


no_sitelinks: ["true","false"],

limit: ["1","2","3","4"]



Сайт: buhgalteria.ru

Срок: 6 недель

Конверсия = клик по рекламе

улучшаем CTR








font_family: ["arial","courier new","tahoma","times new

roman","verdana"],

title_font_size: ["1","2","3"],

font_size: ["0,8","0,9","1","1,1","1,2"],


bg_color: ["FFFFFF","e7e7e7","f2e8cc"],

text_color:

["257cbf","636363","434343","8a734e","f7164f","de5b54","1667a0","0a

345b","0000CC"],

url_color: ["de5b54","257cbf","000000"],


limit: ["1","2","3","4"]


Есть кейсы роста +20% ~ +50%На лендингах, платном трафике, не РСЯ


Мы можем предположить:

1. Что значения факторов не влияют друг на друга

2. Что значения факторов влияют друг на друга

(есть комбинации, которые конвертятся

существенно лучше других)


«Наивный*» метод не работает:* сделать вывод на основании случайных показов, независимости факторов

1. При не очень сильном влиянии на CR (dCR~50%)

2. При увеличении числа факторов (6+)

3. При увеличении числа значений факторов

А если всё это вместе? В кейсах: 9, 11, 15 факторов

Почему нет: влияние «хвоста» всех остальных

сильнее влияния исследуемого фактора.

Демонстрация нерабочести «наивного» подхода:

http://konvr.ru/pgs_cases.php?id=11

http://konvr.ru/pgs_cases.php?id=11


А если факторы – НЕ независимы?

Людей - кто поймёт?

• Быстро, качественно, дешево = подозрительно

• Быстро и качественно – а вдруг по деньгам плохо?

• Быстро и дешево – а кого мы пригнали рекламой?

• Качественно и дешево – а если в Москве жара?

Совокупности параметров важны и

сильно влияют на конверсию.**вероятно


Триггерные лендинги.Чем полнее совпадение -

– тем сильнее цепляетУ посетителей есть некий набор целей, приоритетов

У нас есть возможность предложить им ВСЁ нужное

Только непонятно – что именно им нужно? )

И еще непонятнее – как предлагать?

* Аксиома:Полное соответствие предложения списку целей посетителя

сильно увеличит конверсию!


Важная фишка Konvr:Поиск триггерных лендингов.

У посетителей есть некий набор целей, приоритетов

У нас есть возможность предложить им ВСЁ нужное

Только непонятно – что именно им нужно? )

И еще непонятнее – как предлагать?

* Аксиома:Полное соответствие предложения списку целей посетителя

Способно сильно увеличить конверсию!


Триггерные совокупности:полное попадание в цели

пусть есть общий трафик по «аренде гостиниц»в нем есть два типа людей:

«отдыхающие,семейные»

«бизнес, командировки»

Красивая природа +

Территориально в городе +

Большой номер, развлечения для детей, анлимитед бар

+

Четкость расчетов,чеки и документы

+

Низкие цены + +

Легкость транспорта + +


Полностью попали в «отдых»:нашли всё, что важно группе






+


+




Полностью попали в «бизнес»:нашли всё, что важно группе






+


+




Взгляд в светлое будущее

• Можно увеличивать конверсию за счет мелких

изменений, анализ которых по отдельности

труден и долог, и добавить +70% к конверсии

• Можно находить триггерные лендинги, которые

сильнее «цепляют» посетителя за счет полного

попадания в его цели

• Можно использовать эти подходы много где:

• Оптимизация лендингов и шаблонов сайтов

• Оптимизация кликабельности РСЯ• RTB, e-mail цепочки, всё, где есть интерактивность.


konvrПлюс 70% к конверсииза счет работы с множеством мелких изменений в MVT

Евгений Трофименко

[email protected]

http://konvr.ru/

Skype eugene.trofimenko

+7 (495) 669-32-81

mailto:[email protected]

http://konvr.ru/

Environment

Document1