Михаил Аветисов, Эксперт SAP 29 апреля 2015 года · 8/5/2015 · SAP Predictive Analytics 2.0: Заставь большие данные ... и прогнозная

Михаил Аветисов, Эксперт SAP

29 апреля 2015 года

SAP Predictive Analytics 2.0: Заставь большие данные

работать

Женщина

20 лет

Студентка

Наш клиент 6 месяцев

В прошлом месяце:

Получила 3 «пятёрки»

Была в 12 районах

Алматы

Разговаривала по

телефону 800 минут с

18 абонентами:

…

…

Мужчина

48 лет

Высшее

Наш клиент 5

лет

В прошлом

месяце:

Купил

велосипед

Был у врача 2

раза

Пользовался

7 разными

ATM

Женщина

35 лет

Высшее

Наш клиент 1 год

В прошлом месяце:

Была в Париже

Средний маршрут

за день 24 км

Средний чек в

магазине 1500 р.

В интернете

смотрела

страницы:

…

…

Мужчина

32 года

К.э.н.

Не наш

клиент

Женщина

29 лет

Высшее

Наш клиент 3

года

Переехала в

Астану 1 год

назад

В прошлом

месяце:

Получила

повышение по

службе

Купила 36

бутылок йогурта

7 разных сортов

Разговаривала с

ребёнком 72 раза

Большие данные…

… и прогнозная аналитика

С

вероятностью

60% сменит

тариф

Готова к

оттоку

Если предложить

доп. скидку, будет

приходить в 2 раза

чаще

Вероятность активации нашей

карты, присланной по почте

29%

Ожидаемый

доход для нас: 50

р/мес

Готова к

оттоку

Как работает прогнозная аналитика

Пол Возраст ДетиДата

повышения… Отток

Жен 32 Да 23-06-2014 ДА

Муж 21 Да Нет

Жен 43 Нет ДА

Муж 35 Да 12-07-2014 ДА

Муж 28 Нет ДА

Жен 17 Да Нет


Муж 44 Нет Нет

Жен 18 Нет ДА


Построение

Модель

Пол Возраст ДетиДата

повышения… Отток

Жен 29 Да 01-10-2014 ?

50%50%

Жен Муж

100% 0%66% 50%75% 66%40%33%

Уникальное решение от SAP

Классический

DataMining

Отбор атрибутов

Выбор алгоритма

Ручная подготовка данных

Выбросы

Пропуски

Нелинейности

Мультиколлинеарность

Проверка распределений


модели – недели

труда статистика

Ориентирован на результат

Полностью автоматизированный

процесс:

Автоматизированное создание

наборов данных

Автоматическое кодирование

данных

Быстрое внедрение


модели – часы и

минуты работы

бизнес-аналитика

Автоматизированное

моделирование SAP

SAP Predictive Analytics 2.0

Идеальная

подстройка для

необычных задач

Быстрые ответы

на тысячи

вопросов

Expert Analytics Automated Analytics

Использует все атрибуты


© 2015 SAP SE or an SAP affiliate company. All rights reserved. 6Public

Cox Коммуникация с абонентом на высокой скорости

260% увеличение

конверсии в кампаниях

14% повышение

количества продуктов на

домовладение

Переход с 20 моделей к

1600 в год

Мы получили ROI за два

месяца.

- Seymour Douglas

Ph.D, Executive Director, Analytics



Больше, больше данных!

CR

M

ER

P

Ca

mp

aig

n

Вручную

Десятки

атрибутов

Тысячи

потенциальных

атрибутов

CRM ERP Loyalty

История

общения

История

заказов

Карты

лояльности

Традиционный подход SAP Automated Analytics

Точки

продажОбращения

Соц.

сети

Логиемайлы

Платежи

Включая Гео-данные

E


Использование информации о связях и

социальной роли абонента

• Дополнительная информация о абоненте

– повышение качества модели

• Оценка уровня «давления оттока» -

средний уровень оттока в сообществе –

повышение качества модели

• Понимание, на ком надо сосредоточится

• Выявление Rotational Churn

Рост качества моделей оттока на 40%

(по данным Telekom Polska)

Повышение качества прогноза – Информация в связях


Связи через продукты

• Два клиента связаны, если они покупают 5 одинаковых продуктов

• Два продукта связаны, если их покупают вместе 100 клиентов

Микросегментация клиентской базы

Рекомендации клиентам

Построение системы рекомендаций

на основе SAP Automated Analytics

Social

08/05/2015 10SAP Automated Analytics Social at

Allegro


130 сайтов в 18 странах


Allegro


Основные категории

„Популярные предложения в категории"


Allegro


Просмотр товара

„Пользователи, которые просмотрели эти товары, также смотрели…"


Allegro


Корзина


Allegro


Микросегментация:

Модная мама, модный ребёнок

08/05/2015 15

Мотивация:

Мой ребёнок – маленькая я.

Профиль:

30 лет, замужем

Высшее образование

Полная занятость в финансовом

секторе

Ипотека в большом городе

Машина

Ноутбук, как основной инструмент

для работы, общения с друзьями и

поиска информации.

Цели:

Приятная и удобная жизнь

Потребление и сфокусированность на

материальных ценностях

Не обязательно удобно, но всегда

модно

SAP Automated Analytics Social at

Allegro


Микросегментация: Модная мама, модный ребёнок

Транзакции:

08/05/2015 16

Обувь:

Ballerinas: Next, Zara, Ecco, Crocs, Bartek, Geox,

Emel

Sport: Adidas, Nike, Puma, Converse, Reebok, Geox

Boots: Bartek, Ecco,

Sandalsi: Ecco, Geox, Bartek, Adidas, Primigi

Slippers: Crocs , Befado

Детская одежда:

Самый популярный бренд: Next

Одежда: Next, Gap, Zara, George

Additional features: suspenders, pipes

Игрушки:

Top brands: My Little Pony, Fisher Price, Disney,

Lego, Polly pocket

Swings, Jumpers: Fisher Price, Barbie

Strollers: Mamas&Papas, Quinny, Espiro

Дом и сад:

Garden pools

Книги: Bajkoczytacz

Спорт:

Детское сиденье для велосипеда:Hamax

Велосипед: B_S, Giant

SAP Automated Analytics Social at

Allegro


Allegro – Poland – Результаты проекта

100M+ персональных рекомендаций ежедневно

• Время отклика < 200ms

Повышение показателей:

• Количество страниц на визит: на 30%

• Кликов на показ: на 500%

• Уровень конверсии: в 40 раз,

По сравнению с показами

«бестселлеров»

Построение социального графа по:

• 20M+ уникальных посетителей

• 15M продуктов, не объединённых в каталог

• 500M просмотров страниц ежедневно


Гео-данные

Основное место покупок

Время на сайте (за неделю)

Тип устройства

Кол-во заказов

$ потрачено

Уровень оттока в районе

Авторизовался

Кол-во звонков в поддержку

Кол-во прочих обращений

Пол

Кол-во посещений без покупок

Город

Гео-

атрибуты

Мы живём в мире наполненном данными

1

миллиард пользователей

Facebook

4

миллиардапросмотров на

YouTube

ежедневно

Данные

удваиваютсякаждые 18

месяцев

15

миллиардовустройств с

web-доступом

5

миллиардовпотенциальный

средний класс


Неструктурированная информация: источники

СМИ в сети интернет

Социальные сети, форумы

Внутренние документы (договора, служебные записки)

Корпоративная почта

Система корпоративного

документооборота


Работа с документами

Обработка данных

Получение данных

Превращение текстовой информации в данные

Crawling

Из файлов

Идентификация языка

Лингвистический анализ

Извлечение объектов

Отношения между объектами

Web-Crawling

Резюме по документам

Категоризация документов

Поиск закономерностей


SAP Text Analysis:

обработка неструктурированной информации

Нес

тр

уктур

ир

ов

ан

ная

ин

фо

рм

ац

ия

Дальше информация может

быть использована для:

Интеграция

Запросы

Анализ

Визуализация

Отчетность

SAP HANA

Выделение из текста

смысловых элементов

Выделяет ключевую информацию из текстовых источников и

делает ее доступной для анализа


Стивен Пол Джобс (24 февраля 1955 – 5 октября 2011) –

американский бизнес-магнат и изобретатель. Наиболее известен как

один из основателей и исполнительный директор компании Apple.

Джобс также был директором Pixar Animation Studios.

После приобретения Pixar компанией Disney в 2006 году, он

стал членом совета директоров Walt Disney Company.

SAP Text Analysis:

пример разбора текста

Стивен Пол Джобс; Джобс Человек

24 февраля 1955; 5 октября 2011; 2006 Дата

один из основателей; исполнительный директор; директор; член совета директоров

Должность (титул)

Apple; Pixar Animation Studios; Pixar; Walt Disney Company; Disney

Коммерческая организация

Американский бизнес-магнат; изобретатель; приобретение

Понятие

…стал членом совета директоров… Смена позиции

…приобретения Pixar компанией Disney… Слияние / поглощение


Типы извлекаемых сущностей

Персона Язык

Должность (титул) Валюта

Национальность Измерение

Организация

Коммерческая

Образование

Прочая

URL

IP-адрес

Телефон E-mail

Продукт Понятие

Адрес Процент

География

Континент

Страна

Регион

Область

Город

Район

Местоположение

Время

Год

Месяц

Дата

День недели

Праздник

Время

Временной интервал

* Расширение выделяемых типов сущностей при помощи

пользовательских словарей

(напр., возможна реализация сущности «Воинские части»)


Разбор зависит от области знанийПример: «Реакция клиента»

В области знаний «Реакция клиента» выявляются такие типы как:

Эмоции

Проблемы

Запросы и пожелания

Ругательства

Смайлики

В каждом из типов выявляются под-типы, все эти типы могут быть

связаны с сущностями

Я ненавижу эту книгу. (Эмоции)

Я так и не получил книгу. (Проблемы)

Пожалуйста, пришлите мне новую книгу. (Запросы)


Разбор зависит от области знанийПример: «Реакция клиента»

ОЦЕНКИ

Сильная положительная

отличный, великолепный, обожаю, итд

Слабая положительная

хороший, приятная мелочь, нравится, итд

Нейтральная

ok, нормально, сойдёт, итд

Слабая негативная

плохо, не нравится итд

Сильная негативная

Ненавижу, ужасно, кошмар, невозможно пользоваться, итд.


Анализ текстов и прогнозная аналитика

Неструктурированная

информация

Смысловые элементы

Связи между

документами


людьми


понятиями

Прогнозная аналитика SAP

Выявление причин

и

прогнозирование

Прогнозирование отклика на предложение по

неструктурированным данным

Выявление причин и прогнозирование


Полученные данные

~900 000 номеров телефонов получателей

О получателях рассылки известны только SMS сообщения, которые им отправляли

в прошлом

1 200 000 отправленных SMS

Текст SMS

Дата отправки

Номер или ID отправителя


Построение моделей оценки вероятности отклика

Задача

По историческим данным

связать известные данные о

получателе SMS с фактом

отклика на предложение

По новым данным сделать

прогноз для нового получателя

SMS – откликнется ли он

ID Пол Возр

(мес)

Данные

июль

… atr n Отклик

1 М 32 20 GB 60 000 НЕТ

2 Ж 25 7GB 45 000 ДА


Модель

Применение

ID Пол Возр

(мес)

Данные

август

… atr n Отклик Прогноз

1102 М 42 3 GB 120 000 ? 0,5

1103 Ж 21 10 GB 25 000 ? 0,2


Определение отклика

Было получено два комплекта данных с разными видами отклика:

• История входящих звонков контакт-центра

• 22 390 звонков от 16 613 клиентов

• из них 2291 (10%) ошибка соединения и 268 (1,1%) жалоб

• История кредитных заявок клиентов

• 9 571 заявка

Два типа отклика:

• Позвонил в контакт-центр (не с жалобой и не было ошибки) – уровень отклика

1,15%

• Сделал заявку на получение кредита – уровень отклика 0,65%


Преобразование данных

1. Данные загружены в БД SAP HANA, высокопроизводительную базу

данных, поддерживающую большие и сверх-большие объёмы данных

2. Структурирование текстовой информации с помощью SAP Text

Analysis:

Уважаемый ЗАЙЦЕВ АЛЕКСАНДР ВЛАДИМИРОВИЧ, напоминаем Вам, что 2014-07-30 у Вас дата еженедельного

платежа по договору займа № 00000000 в ООО «Домашние деньги». Размер платежа к оплате составляет 2724 рублей 0

копеек.Ваш код рекомендателя № ГШ1234.

ATOM_TYPE STANDARD_FORM CUST_NUMBER

PROP_MISC Вам 79036472908

CURRENCY 2724 рублей 79036472908

NOUN_GROUP еженедельного платежа 79036472908

NOUN_GROUP платежа к оплате 79036472908

ORGANIZATION/COMMERCIAL Домашние деньги 79036472908

PERSON ЗАЙЦЕВ АЛЕКСАНДР ВЛАДИМИРОВИЧ 79036472908


Преобразование данных

Средствами SAP Automated Analytics создана аналитическая запись, в

которой для каждого контакта представлено 377 полей

• Количество упоминаний в СМС, отправленных абоненту, различных слов и

словосочетаний (для тех слов, которые встречаются чаще 500 раз в БД) –

331 поле

• Количество СМС от наиболее популярных отправителей по отправителям

(43 поля)

• Отклик каждого типа

CUST_NUMB

ER

INBOUN

D

REQUE

ST

TOPSENDERS_79023815130

_CNT


_CNT


_CNT


_CNT

TOPWORDS_DLJAPOGASHENIJAPROSROCHEN

NOJ_CNT

TOPWORDS_DLJASPASENIJASVO

EJ_CNT

79207540029 0 0 0 0 0 0 0 0

79284360390 0 0 0 0 0 0 0 0

79036391406 1 1 0 0 0 1 0 0

79054160808 1 0 0 0 2 3 0 0

79226932249 0 0 0 0 0 0 0 0

79041619785 0 0 0 0 0 0 0 0

79278566550 0 0 0 0 1 0 0 0


Построение модели

Были построены отдельные модели для

каждого из типов отклика

39© 2015 SAP SE or an SAP affiliate company. All rights reserved.

Время построения модели –

19 мин. 37 секунд (включая

чтение 10GB данных из

СУБД)

Объясняющая

(прогнозирующая)

способность модели: 98%

от идеальной для прогноза

звонков и 95% для заявок

(отличное!)

Обобщающая способность модели

(стабильность): 99% (>95% означает,

что модель нашла истинные

закономерности, а не объяснила

шумы)

40© 2015 SAP SE or an SAP affiliate company. All rights reserved.

Model – Прогноз входящих звонков

•Абоненты, получавшие различные СМС, с

информацией о наиболее часто встречающихся

в СМС семантических единицах и наиболее

частых отправителях

Количество записей: 940,649

Исследуемая популяция

•Абоненты, после получения СМС в рамках

исследуемой кампании, позвонившие в контакт-

центр

Частота целевой аудитории: 1.15%

Целевая группа

Точность объяснения: 0.985

Способность к обобщению: = 0.998

30.11%

60.22%

82.45%

93.38%

Сократив рассылку до 5% абонентов с наибольшей вероятностью

отклика, мы охватим с 97% целевой аудитории, т.е. в 19,5 раз повысим

отклик

Эффективность и качество

Понижает вероятность Название переменной Повышает вероятность

[0] TOPSENDERS_79029551544_CNT ]0 ; 76]

[0] topWords_Vas_CNT ]0 ; 49]

[0] topWords_OOODomashniedeng … ]0 ; 8]

[1] TOPSENDERS_79029551516_CNT ]1 ; 11]

[0] TOPSENDERS_79023815365_CNT ]0 ; 88]

[0] TOPSENDERS_DOMADENGI_CNT ]0 ; 175]

[0] topWords_Vam_CNT ]0 ; 84]

[1 ; 2[ topWords_NANO_CNT [2 ; 3]

[0] topWords_30tysrub_CNT ]0 ; 5]

[1 ; 2] topWords_NANOFINANS_CNT [0 ; 1[

Важнейшие переменные в прогнозной модели, их влияние на отклик

•Description of the Targeting Recommendations

Выводы и рекомендации


-5000000

0

5000000

10000000

15000000

20000000

25000000

0% 5% 10%15%20%25%30%35%40%45%50%55%60%65%70%75%80%85%90%95%

Доход от успешных контактов

Затраты на "пустую" коммуникацию

Результат кампании

Экономическая эффективность модели отклика по

заявкам

Экономическая эффективность кампании определяется соотношением

доходов от успешных контактов и расходов на «ненужные» контакты, т.е.

СМС не приведшие к появлению заявки: ~ (1:2000).

Качественная модель выявления абонентов, склонных к отклику,

позволяет снизить расходы без значительного снижения доходов

Объём оптимизированной

рассылки (% от всей базы)

РублиТочка максимальной

прибыльности кампании

© 2015 SAP SE or an SAP affiliate company. All rights reserved.

Спасибо за внимание!

Documents

Михаил Аветисов, Эксперт SAP 29 апреля 2015 года · 8/5/2015 · SAP Predictive Analytics 2.0: Заставь большие данные ... и прогнозная