Управление бизнесом на основе данных

Управление бизнесом на основе данных

Константин Савенков, CEO Intento, Inc.

Константин Савенковк.ф-м.н. (ВМК МГУ), 3 года директор по науке в Zvooq, 2 года операционный директор Bookmate и других проектов Dream Industries

сейчас - CEO

Настраивал работу с данными в проектах

• контентные сервисы B2C/B2B2C

• образовательные проекты

• рекламные проекты• недвижимость

• в режиме консалтинга - online2offline, UGC, биотехнологии

Zvooq, Bookmate

Theory&Practice, Exchanges

Unisound

DI Telegraph

Константин Савенков, 2016

Без данных, люди принимают решения на основе

веры и предрассудков

Константин Савенков, 2016

…решения на основе данных - конкурентное

преимуществоКонстантин Савенков, 2016

Следя за конкурентами, вы идете за ними.

Фокус на клиенте - возможность

идти впереди них.(с) Джефф Безос

Константин Савенков, 2016

…данные помогают сфокусироваться

на клиентеКонстантин Савенков, 2016

Информация - это топливо 21 века, а

его мотор - аналитика.

(с) Питер СондегаардКонстантин Савенков, 2016

… следите за качеством топлива и проходите ТО

Константин Савенков, 2016

Половина денег, которые идут на рекламу, выбрасывается

впустую; но как узнать какая именно

половина?

(с) Уильям ЛеверКонстантин Савенков, 2016

…собирать данные и считать ROI

Константин Савенков, 2016

Средняя по США конверсия в покупку - 2%, вне зависимости от того, что продается - слоны или айфоны

(с) Авинаш КошикКонстантин Савенков, 2016

…данные позволяют быть лучше среднего

Константин Савенков, 2016

План• Уровни использования данных

• Эволюция data driven компании

• Определение целей и KPI

• Измерение эффекта всех инициатив в компании

• Формирование гипотез и постановка экспериментов

• Лидирующие и опережающие индикаторы, прогнозирующие модели

• Автоматизация ручного труда

• Управление изменениями компании

• Данные как актив

Константин Савенков, 2016

МастерствоТрансформация бизнеса

Включение в бизнесМонетизация данных

Принятие решенийОптимизация бизнеса

АналитикаСекреты бизнеса

Уровни использования данных

Сбор данныхМониторинг бизнеса

Константин Савенков, 2016

Константин Савенков, 2016

Для управления бизнесом на основе

данных мало собирать и обрабатывать данные. Нужна культура.

Константин Савенков, 2016

Не оптимизация для улучшения данных! Оптимизация для

обучения!

Константин Савенков, 2016

Все инициативы должны улучшать KPI

Формулируйте гипотезы

Ставьте эксперименты

Данные - проверяют гипотезы в основе ваших решений.

Данные не решают!

Константин Савенков, 2016

Данные

КультураЛюди

ПроцессыТехнологии

Аналитика Бизнес-модель

ПланированиеИтерации

Измерения

Гипотезы

Эксперименты

Изменения

Константин Савенков, 2016

IОпределение целей

и KPI

Константин Савенков, 2016

Вроде все просто

MRR МаржаMAU

но есть нюансы

Константин Савенков, 2016

НЕПОНЯТНОкто отвечает?

как улучшить?

как связано с затратами ресурсов?

(кроме СЕО)

(кроме “работать лучше”)

(когда большая часть бизнес-процессов автоматизирована)

Константин Савенков, 2016

Деревья KPI

MAU

Новые Лояльные Вернувшиеся

Трафик Конверсия Удержание Возврат

Константин Савенков, 2016

Деревья KPIMRR

MRR лояльных

MRR новых нетто

потери MRR

MRR апгрейды

MRR даунгрейды

Новые клиенты

изменение MRR

новый MRR

Ре- активация

прямые продажи

Константин Савенков, 2016

Деревья KPI

Маржа

LTVCAC

COGSARPU

время жизни

Комиссии

Константин Савенков, 2016

ДЛЯ ПРОДВИНУТЫХ

Анализ соотношений

Когортный анализ

Константин Савенков, 2016

ПОМОГАЕТ С:Узкие места

Роли и зоны ответственности

Генерация идей

Эффект от инициативКонстантин Савенков, 2016

IIИзмерение эффекта

инициатив

Константин Савенков, 2016

Планирование блоками задач, оказывающими эффект

Отслеживание результатов запущенных проектов

Культура данных успеха

обученияКонстантин Савенков, 2016

КейсБыло принято вести маркетинговые проекты до запуска

Отслеживание хода полугодовой кросс-промо кампании показало существенный убыток через COGS.

Удалось понять, какие механики к нему привели.

Поменяли механики промо-кампаний, передоговорились с партнерами по нескольким запущенным позднее.

ПРОФИТКонстантин Савенков, 2016

IIIГипотезы и

эксперименты

Константин Савенков, 2016

На самом деле, так не работает

маркетинговая кампания

Константин Савенков, 2016

На самом деле, так не работает

маркетинговая кампания

запустили фичу в продукте

перебои с биллингом

школьники пришли с каникул

фичеринг в аппсторе

народ вернулся с отпусков

Константин Савенков, 2016

На самом деле, так не работает

маркетинговая кампания

запустили фичу в продукте

перебои с биллингом

школьники пришли с каникул

фичеринг в аппсторе

народ вернулся с отпусков

КОНВЕРСИЯ С РАЗНЫХ КАНАЛОВ ОТЛИЧАЕТСЯ

НА ПОРЯДКИ

Константин Савенков, 2016

А ТАКЖЕ:Множество проектов, которые и не надо было запускать

Культура празднования случайного успеха и объяснения неудач внешними факторами

Невозможность учиться на ошибках

Константин Савенков, 2016

формулировка измеримых гипотез

планирование экспериментов

определение критериев успеха/неудачи до реализации

организация сбора и атрибуции данных, сплит-тестирование, контролируемые

переменные, статистическая значимость

явное выведение рисков использование построенных моделей

помощь в приоритезации

и того, как неудача поможет в формулировке следующих гипотез

возможность проверять несколько гипотез одновременно

Константин Савенков, 2016

КейсыПросчет механик маркетинговых проектов до их запуска.

Изменения в продукте с повышением конверсии в 2,5 раза, времени жизни пользователя - в 2 раза

Сплит тестирование таргетирования и креативов рекламных компаний, с достижением конверсии в 2-3 раза выше органической

Резкое увеличение “конверсии” из всех инициатив в успешные

И все остальные выводы об эффективности тех или иных подходов

множество неудачных экспериментов успех несмотря на все внешние факторы

ИНАЧЕ НИКАККонстантин Савенков, 2016

Кейс: Повышение конверсии• Гипотезы для проверки:

1. Конверсия через рекомендуемые товары выше средней

2. Достаточно много пользователей воспользуется рекомендациями

• Единственный путь - сплит-тестирование:– конверсия из разных каналов трафика отличается до 20 раз

– аккуратно контролировать качество трафика сложнее, чем сделать сплит-тест

• Делаем пилот:– Запуск с ограниченными затратами, затем оценка результатов и решение о масштабировании (масштабирование своей системы, контракт с поставщиком итп)

Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015

Кейс: Повышение конверсии

Группа А Группа Б

3 первые книгиот редакции

3 первые книгиот РС хол. старта

Воспользовалисьрекомендациями

Конверсия в покупку

Общая конверсия

Выглядит неплохо!

Неужели стало на 40% больше клиентов?

На самом деле нет, так как лишь 7%

не знало что почитать

Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015

Оценим экономическую эффективность

• Для оплаты сторонней РС по модели CPO, комиссия за заказ не должна превышать $0.14 (на самом деле, должна быть еще ниже)

• В случае фиксированного платежа за лицензию в размере $1000**/мес, этот вариант имеет смысл начиная с 7143 новых клиентов/мес, или размера маркетингового бюджета от $35K.

* Величины CAC и маркетингового бюджета - модельные** величина взята с потолка

Общая конверсия С%Цена привлечения = $5

Группа А Группа Б

Общая конверсия 1.028*С%Цена привлечения = $4.86

Конверсия выше в 1.4 разадля 7% пользователей

Общая конверсия по всем каналам - С%

Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015

IVОпережающие индикаторы

Константин Савенков, 2016

Планировать работу по результатам месяца или завершенного

проекта - все равно что идти задом наперед

Константин Савенков, 2016

Лучше смотреть вперед или хотя бы под ноги

Заставляем данные работать

Константин Савенков, 2016

Дневные индикаторы

Инкрементальные индикаторы

Опережающие индикаторы

Прогнозирующие модели

узнавайте о проблемах и аномалиях вовремя

пример: baremetrics.io

хороший ввод для маркетинга

точные цели и актуальный финансовый планКонстантин Савенков, 2016

КейсЧасть постоянных подписчиков продукта отваливалась на 2-3 месяца, что объяснялось отпусками и другими факторами.

На дневных индикаторах стало видно, что это люди, подписавшиеся в будни. Загадка!

Оказалось, что в будни происходит частая выкатка нового кода на сервер, из-за чего сбрасывается очередь продления подписок.

Исправив, повысили время жизни пользователя на 20%

Константин Савенков, 2016

КейсПрогнозирование времени жизни пользователей, приходящих в настоящий момент (точность 10%)Точная оценка юнит-экономики

для B2B2C контрактов, контрактов с поставщиками,

определение ценыКонстантин Савенков, 2016

КейсВероятностная модель сегментирования пользователей

Входные данные для маркетинговых цепочек

Константин Савенков, 2016

КейсТочное определение целей:

лояльные

новые

отток

гарантия роста?

неизбежность стагнации!*

*если не повысить цели по KPIКонстантин Савенков, 2016

КейсТочное планирование

Операционная модель

Маркетинговый план-факт

Финансовый план-факт

Маркетинговый бюджет

CAC, конверсии

прогноз органика

условия контрактов

юнит-экономика прогнозы по контрактам прогнозы по выручке

Константин Савенков, 2016

VАвтоматизация бизнес-процессов

Константин Савенков, 2016

Нанять еще одного сотрудника

или построить еще одну модель?

Константин Савенков, 2016

Все бизнес-процессы, линейно масштабируемые по количеству сотрудников:

служба поддержкиредакция

работа с контентоммаркетинг

Константин Савенков, 2016

КейсыКоличество пользователей растет с 1 до 2млн, удваиваем поддержку?

Вводим автоответ на основе базы знаний и использование шаблонов

Количество рынков растет, добавляем редакторов?Пишем алгоритм подбора шорт-листов на

основе поведения пользователейПоток UGC увеличивается на порядок, добавляем контент-менеджеров?

Используем дедупликацию и подсказки на основе собранных данных

Константин Савенков, 2016

VIУправление

изменениями в компании

Константин Савенков, 2016

Операционная аналитика - улучшаем процесс улучшения

KPI (продуктивность)

Константин Савенков, 2016

ИТЕРАЦИЯ

КейсПродуктивность Agile разработки

ожидания:

ДОРОЖНЫЕ КАРТЫ ДИЗАЙН РАЗРАБОТКА ОТК РЕЛИЗ

ПЛАНИРОВАНИЕ

Константин Савенков, 2016

ИТЕРАЦИЯ

КейсПродуктивность Agile разработки

реальность:

ДОРОЖНЫЕ КАРТЫ ДИЗАЙН РАЗРАБОТКА ОТК РЕЛИЗ

ПЛАНИРОВАНИЕ

УВЕЛИЧЕНИЕ ТРУДОЕМКОСТИ

БЭКЛОГ

НОВОЕ

ТЕХ. ДОЛГ

БАГИ

UX

СОФТ OPS

СРОЧНО!

НЕЧЕТКИЙ ДИЗАЙН

НЕЧЕТКОЕ ТЗ

ПОВТОРЫ

Константин Савенков, 2016

КейсПродуктивность Agile разработки

измеряем и ищем узкие места:

ПРОДУКТИВНОСТЬ

Оценка ресурсов на запланированное и завершенное

Трудовые ресурсы

ТОЧНОСТЬ

Оценка ресурсов на запланированное и

завершенное

Реальные ресурсы на запланированное и завершенное

ЗАВЕРШАЕМОСТЬ

Реальные ресурсы на запланированное и завершенное

Ресурсы на запланированные задачи

ПЛАНИРУЕМОСТЬ

Ресурсы на запланированные задачи

Реально использованные ресурсы

УТИЛИЗАЦИЯ

Реально использованные

ресурсы

Трудовые ресурсы

Константин Савенков, 2016

Данные как актив

Константин Савенков, 2016

Кейсы• Сравнение B2B2C сделок через юнит-экономику

• Определение качества трафика партнеров

• Партнерства на основе данных

• Таргетированные рассылки

• Персонализация и рекомендательные системы (следующий слайд)

• Бонус: Поиск причин большого кол-ва отказов в интернет-ритейле

Константин Савенков, 2016

Влияние рекомендательной системы *

*рекомендательная система

Затраты на привлечение

Доход с клиента

Стоимостьпроданного товара

Маркетинговыйбюджет

Новые клиенты

Средний чек

Время жизни клиента

Маржинальность корзины

Конверсия

Удержание

Реактивация

Маржинальность витрины

÷

×

Из лекции “Экономическая оценка эффективности рекомендательных систем” К.Савенков 2015

Инновационный бизнес экспериментирует, а не работает по

рецептамЧтобы быть первым, надо

экспериментировать быстрее конкурентов

Константин Савенков, 2016

НА САМОМ ДЕЛЕ

данные, построенные на них модели и результаты

экспериментов это актив, который

создает и использует инновационный бизнес

Константин Савенков, 2016

Вопросы и ответы

Константин Савенков ks@inten.to