Управление бизнесом на основе данных

Управление бизнесом на основе данных

Константин Савенков, CEO Intento, Inc.

Константин Савенковк.ф-м.н. (ВМК МГУ), 3 года директор по науке в Zvooq, 2 года операционный директор Bookmate и других проектов Dream Industries

сейчас - CEO

Настраивал работу с данными в проектах

• контентные сервисы B2C/B2B2C

• образовательные проекты

• рекламные проекты• недвижимость

• в режиме консалтинга - online2offline, UGC, биотехнологии

Zvooq, Bookmate

Theory&Practice, Exchanges

Unisound

DI Telegraph

Константин Савенков, 2016

Без данных, люди принимают решения на основе

веры и предрассудков


…решения на основе данных - конкурентное

преимуществоКонстантин Савенков, 2016

Следя за конкурентами, вы идете за ними.

Фокус на клиенте - возможность

идти впереди них.(с) Джефф Безос


…данные помогают сфокусироваться

на клиентеКонстантин Савенков, 2016

Информация - это топливо 21 века, а

его мотор - аналитика.

(с) Питер СондегаардКонстантин Савенков, 2016

… следите за качеством топлива и проходите ТО


Половина денег, которые идут на рекламу, выбрасывается

впустую; но как узнать какая именно

половина?

(с) Уильям ЛеверКонстантин Савенков, 2016

…собирать данные и считать ROI


Средняя по США конверсия в покупку - 2%, вне зависимости от того, что продается - слоны или айфоны

(с) Авинаш КошикКонстантин Савенков, 2016

…данные позволяют быть лучше среднего


План• Уровни использования данных

• Эволюция data driven компании

• Определение целей и KPI

• Измерение эффекта всех инициатив в компании

• Формирование гипотез и постановка экспериментов

• Лидирующие и опережающие индикаторы, прогнозирующие модели

• Автоматизация ручного труда

• Управление изменениями компании

• Данные как актив


МастерствоТрансформация бизнеса

Включение в бизнесМонетизация данных

Принятие решенийОптимизация бизнеса

АналитикаСекреты бизнеса

Уровни использования данных

Сбор данныхМониторинг бизнеса



Для управления бизнесом на основе

данных мало собирать и обрабатывать данные. Нужна культура.


Не оптимизация для улучшения данных! Оптимизация для

обучения!


Все инициативы должны улучшать KPI

Формулируйте гипотезы

Ставьте эксперименты

Данные - проверяют гипотезы в основе ваших решений.

Данные не решают!


Данные

КультураЛюди

ПроцессыТехнологии

Аналитика Бизнес-модель

ПланированиеИтерации

Измерения

Гипотезы

Эксперименты

Изменения


IОпределение целей

и KPI


Вроде все просто

MRR МаржаMAU

но есть нюансы


НЕПОНЯТНОкто отвечает?

как улучшить?

как связано с затратами ресурсов?

(кроме СЕО)

(кроме “работать лучше”)

(когда большая часть бизнес-процессов автоматизирована)


Деревья KPI

MAU

Новые Лояльные Вернувшиеся

Трафик Конверсия Удержание Возврат


Деревья KPIMRR

MRR лояльных

MRR новых нетто

потери MRR

MRR апгрейды

MRR даунгрейды

Новые клиенты

изменение MRR

новый MRR

Ре- активация

прямые продажи


Деревья KPI

Маржа

LTVCAC

COGSARPU

время жизни

Комиссии


ДЛЯ ПРОДВИНУТЫХ

Анализ соотношений

Когортный анализ


ПОМОГАЕТ С:Узкие места

Роли и зоны ответственности

Генерация идей

Эффект от инициативКонстантин Савенков, 2016

IIИзмерение эффекта

инициатив


Планирование блоками задач, оказывающими эффект

Отслеживание результатов запущенных проектов

Культура данных успеха

обученияКонстантин Савенков, 2016

КейсБыло принято вести маркетинговые проекты до запуска

Отслеживание хода полугодовой кросс-промо кампании показало существенный убыток через COGS.

Удалось понять, какие механики к нему привели.

Поменяли механики промо-кампаний, передоговорились с партнерами по нескольким запущенным позднее.

ПРОФИТКонстантин Савенков, 2016

IIIГипотезы и

эксперименты


На самом деле, так не работает

маркетинговая кампания




запустили фичу в продукте

перебои с биллингом

школьники пришли с каникул

фичеринг в аппсторе

народ вернулся с отпусков




запустили фичу в продукте

перебои с биллингом

школьники пришли с каникул

фичеринг в аппсторе

народ вернулся с отпусков

КОНВЕРСИЯ С РАЗНЫХ КАНАЛОВ ОТЛИЧАЕТСЯ

НА ПОРЯДКИ


А ТАКЖЕ:Множество проектов, которые и не надо было запускать

Культура празднования случайного успеха и объяснения неудач внешними факторами

Невозможность учиться на ошибках


формулировка измеримых гипотез

планирование экспериментов

определение критериев успеха/неудачи до реализации

организация сбора и атрибуции данных, сплит-тестирование, контролируемые

переменные, статистическая значимость

явное выведение рисков использование построенных моделей

помощь в приоритезации

и того, как неудача поможет в формулировке следующих гипотез

возможность проверять несколько гипотез одновременно


КейсыПросчет механик маркетинговых проектов до их запуска.

Изменения в продукте с повышением конверсии в 2,5 раза, времени жизни пользователя - в 2 раза

Сплит тестирование таргетирования и креативов рекламных компаний, с достижением конверсии в 2-3 раза выше органической

Резкое увеличение “конверсии” из всех инициатив в успешные

И все остальные выводы об эффективности тех или иных подходов

множество неудачных экспериментов успех несмотря на все внешние факторы

ИНАЧЕ НИКАККонстантин Савенков, 2016

Кейс: Повышение конверсии• Гипотезы для проверки:

1. Конверсия через рекомендуемые товары выше средней

2. Достаточно много пользователей воспользуется рекомендациями

• Единственный путь - сплит-тестирование:– конверсия из разных каналов трафика отличается до 20 раз

– аккуратно контролировать качество трафика сложнее, чем сделать сплит-тест

• Делаем пилот:– Запуск с ограниченными затратами, затем оценка результатов и решение о масштабировании (масштабирование своей системы, контракт с поставщиком итп)

Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015

Кейс: Повышение конверсии

Группа А Группа Б

3 первые книгиот редакции

3 первые книгиот РС хол. старта

Воспользовалисьрекомендациями

Конверсия в покупку

Общая конверсия

Выглядит неплохо!

Неужели стало на 40% больше клиентов?

На самом деле нет, так как лишь 7%

не знало что почитать


Оценим экономическую эффективность

• Для оплаты сторонней РС по модели CPO, комиссия за заказ не должна превышать $0.14 (на самом деле, должна быть еще ниже)

• В случае фиксированного платежа за лицензию в размере $1000**/мес, этот вариант имеет смысл начиная с 7143 новых клиентов/мес, или размера маркетингового бюджета от $35K.

* Величины CAC и маркетингового бюджета - модельные** величина взята с потолка

Общая конверсия С%Цена привлечения = $5

Группа А Группа Б

Общая конверсия 1.028*С%Цена привлечения = $4.86

Конверсия выше в 1.4 разадля 7% пользователей

Общая конверсия по всем каналам - С%


IVОпережающие индикаторы


Планировать работу по результатам месяца или завершенного

проекта - все равно что идти задом наперед


Лучше смотреть вперед или хотя бы под ноги

Заставляем данные работать


Дневные индикаторы

Инкрементальные индикаторы

Опережающие индикаторы

Прогнозирующие модели

узнавайте о проблемах и аномалиях вовремя

пример: baremetrics.io

хороший ввод для маркетинга

точные цели и актуальный финансовый планКонстантин Савенков, 2016

http://baremetrics.io

КейсЧасть постоянных подписчиков продукта отваливалась на 2-3 месяца, что объяснялось отпусками и другими факторами.

На дневных индикаторах стало видно, что это люди, подписавшиеся в будни. Загадка!

Оказалось, что в будни происходит частая выкатка нового кода на сервер, из-за чего сбрасывается очередь продления подписок.

Исправив, повысили время жизни пользователя на 20%


КейсПрогнозирование времени жизни пользователей, приходящих в настоящий момент (точность 10%)Точная оценка юнит-экономики

для B2B2C контрактов, контрактов с поставщиками,

определение ценыКонстантин Савенков, 2016

КейсВероятностная модель сегментирования пользователей

Входные данные для маркетинговых цепочек


КейсТочное определение целей:

лояльные

новые

отток

гарантия роста?

неизбежность стагнации!*

*если не повысить цели по KPIКонстантин Савенков, 2016

КейсТочное планирование

Операционная модель

Маркетинговый план-факт

Финансовый план-факт

Маркетинговый бюджет

CAC, конверсии

прогноз органика

условия контрактов

юнит-экономика прогнозы по контрактам прогнозы по выручке


VАвтоматизация бизнес-процессов


Нанять еще одного сотрудника

или построить еще одну модель?


Все бизнес-процессы, линейно масштабируемые по количеству сотрудников:

служба поддержкиредакция

работа с контентоммаркетинг


КейсыКоличество пользователей растет с 1 до 2млн, удваиваем поддержку?

Вводим автоответ на основе базы знаний и использование шаблонов

Количество рынков растет, добавляем редакторов?Пишем алгоритм подбора шорт-листов на

основе поведения пользователейПоток UGC увеличивается на порядок, добавляем контент-менеджеров?

Используем дедупликацию и подсказки на основе собранных данных


VIУправление

изменениями в компании


Операционная аналитика - улучшаем процесс улучшения

KPI (продуктивность)


ИТЕРАЦИЯ

КейсПродуктивность Agile разработки

ожидания:

ДОРОЖНЫЕ КАРТЫ ДИЗАЙН РАЗРАБОТКА ОТК РЕЛИЗ

ПЛАНИРОВАНИЕ


ИТЕРАЦИЯ


реальность:

ДОРОЖНЫЕ КАРТЫ ДИЗАЙН РАЗРАБОТКА ОТК РЕЛИЗ

ПЛАНИРОВАНИЕ

УВЕЛИЧЕНИЕ ТРУДОЕМКОСТИ

БЭКЛОГ

НОВОЕ

ТЕХ. ДОЛГ

БАГИ

UX

СОФТ OPS

СРОЧНО!

НЕЧЕТКИЙ ДИЗАЙН

НЕЧЕТКОЕ ТЗ

ПОВТОРЫ



измеряем и ищем узкие места:

ПРОДУКТИВНОСТЬ

Оценка ресурсов на запланированное и завершенное

Трудовые ресурсы

ТОЧНОСТЬ

Оценка ресурсов на запланированное и

завершенное

Реальные ресурсы на запланированное и завершенное

ЗАВЕРШАЕМОСТЬ

Реальные ресурсы на запланированное и завершенное

Ресурсы на запланированные задачи

ПЛАНИРУЕМОСТЬ

Ресурсы на запланированные задачи

Реально использованные ресурсы

УТИЛИЗАЦИЯ

Реально использованные

ресурсы

Трудовые ресурсы


Данные как актив


Кейсы• Сравнение B2B2C сделок через юнит-экономику

• Определение качества трафика партнеров

• Партнерства на основе данных

• Таргетированные рассылки

• Персонализация и рекомендательные системы (следующий слайд)

• Бонус: Поиск причин большого кол-ва отказов в интернет-ритейле


Влияние рекомендательной системы *

*рекомендательная система

Затраты на привлечение

Доход с клиента

Стоимостьпроданного товара

Маркетинговыйбюджет

Новые клиенты

Средний чек

Время жизни клиента

Маржинальность корзины

Конверсия

Удержание

Реактивация

Маржинальность витрины

÷

×


Инновационный бизнес экспериментирует, а не работает по

рецептамЧтобы быть первым, надо

экспериментировать быстрее конкурентов


НА САМОМ ДЕЛЕ

данные, построенные на них модели и результаты

экспериментов это актив, который

создает и использует инновационный бизнес


Вопросы и ответы

Константин Савенков [email protected]

mailto:[email protected]

Data & Analytics

Управление бизнесом на основе данных