DataTalks #4: Что такое предиктивная аналитика и кому она нужна / Надежда Ручанова, Михаил Аветисов

Predictive Analytics Что такое предиктивная аналитика и кому она

нужна

Надежда Ручанова, Михаил Аветисов

Октябрь 10, 2015

Public

© 2015 SAP or an SAP affiliate company. All rights reserved. 2Public

Massive amounts of data lead to

new opportunities...

Transactions Conversations Machines

2© 2015 SAP SE or an SAP affiliate company. All rights reserved.


Simplify Innovate Accelerate

Creating business value



Extend your analytics capabilities to where you want to

be…C

om

peti

tive a

dvan

tag

e

Analytics maturity

Sense and respond Predict and act

Raw

data

Cleaned

data

Standard

reports

Ad hoc

reports

and OLAP

Generic

predictive

analytics

Predictive

modeling

Optimization

What happened?

Why did it happen?

What will happen?

What is the best that

could happen?

The key is unlocking data to move decision making from sense and respond to predict and act



It’s no longer enough to sense and respond

Challenging to

detect meaningful

signals in Big Data

Severe analytics

skills shortage 50%-60% shortfall for experienced

data analystsDun & Bradstreet and McKinsey Global Institute

analysis

68% of organizations

that used predictive

analytics realized a

competitive advantageVentana Research

Difficult to embed

predictive tools into

end-user apps and

business process

to have impact on

business



Predictive analytics – vision

Bringing predictive

analytics to a broad

spectrum of users

Operationalize predictive

and optimization models

across the enterprise

Reduce decision latency

with advanced analytics

Embed smart, agile analytics into decision

processes to deliver business impact

Easy Fast Efficient



Four steps to predictive realization

Exploreand prepare

your data

Design and validate

your model

Deployprocesses and

actions

Analyze and optimize

the results

1 2

34




Exploreand prepare

your data

1 Work with Big Data, departmental data,

or a combination of both

Aggregate/merge data sources quickly

and accurately

Create complex conditions,

expressions, filters, and aggregates

within minutes without SQL

Create dozens to 1000’s of derived

variables and attributes

Build a rich, predictive-ready analytic

dataset automatically




Design and validate

your model

2 Fully automated modeling process for:

Regression & Classification

Clustering/Segmenting

Forecasting

Social & Link Analysis

Textual Analysis

Geolocation

Model in confidence with automated

optimization techniques or manual

techniques

Ensure training data passes validation

and estimation processes




Analyze and optimize

the results

3 Measure performance of training and

test data sets for accuracy and

confidence

Create simulations to maximize gain

and apply model to new data

View statistical and graphical reports of

performance, gain/lift, and more

Visualize predictive information in BI

Tools, MS Excel, and other analytic

platforms




Deployprocesses and

actions

4 One-click deployment of results, scores,

recommendations, etc. into production

In-database scoring (SQL)

Interface with business apps via scoring

equations in:

Databases

ERP/CRM solutions

JAVA, C, and more

Refresh analytic data sets and models

automatically when changes occur

Alert on data and model deviations



Increase your predictive adoption

Low learning curve for novice

users

Intuitive user interface with code-

free experience

Modeling automation for fast

results

Algorithms and model types are

fine-tuned automatically

Creation of rich visualizations,

analytic stories, and publishing

Business User

ONE SOLUTION, MULTIPLE MODES

Expert User

Similar learning curve for expert

users

User interface that supports rapid

model fine-tuning

Smart variable selection and

simulation capabilities

Algorithms are configurable with

ability to use custom R

Use of statistical reports to confirm

reliability of model



Optimize analytics in your organization…

imagine the potential

:-)Brand Sentiment

360O Customer View

Product Recommendation

Propensity to Churn Real-time Demand/

Supply Forecast

Predictive Maintenance

Fraud Prevention

Network Optimization Insider Threats

Real-time

Risk Mitigation

Asset Tracking Personalized Care



Categorical uses of predictive

analytics

CRM Risk

Operations Fraud

Predictive

Analytics

• Customer targeting

• Churn reduction

• Cross Sell / Up Sell

• Viral campaigns

• Segmentation

• Forecasting

• Predictive

maintenance

• Usage forecasting

• Credit scoring

• Compliance

• Crime/Terrorism

• Impact analysis

• Credit card fraud

• Online fraud

• Insurance fraud

• Tax fraud



The SAP difference

Completeend-to-end

analytics solution#1 leader

in analytics*

65,000+analytics

customers

13,000+ partners with proven

track record of success

*Gartner, Market Share Analysis:

Business Intelligence and Analytics Software, 2013



Unleash your collective insight today

Engage SAP in a design thinking workshop today

sapbusinessobjectsbi.com sap.com/predictivesaplumira.com

ENGAGE PREDICTVISUALIZE

Real-time platformsaphana.com



Next Steps

DEMONSTRATION!

1 Read customers case studies www.sap.com/predict-and-me

Learn more and watch it in actionwww.sap.com/predictive & http://scn.sap.com/docs/DOC-32651

2

http://www.sap.com/predict-and-me

http://www.sap.com/predictive

http://scn.sap.com/docs/DOC-32651

© 2014 SAP AG or an SAP affiliate company. All rights reserved. 23

Thank you


Nadezhda Ruchanova

Deputy Country Manager, RU-RCIS-Belarus

Minsk, Nemiga Street 40, 220004, Minsk, Belarus

T +375 17 226-5400, M +375 29 7521246, E [email protected]

mailto:[email protected]

© 2015 SAP SE or an SAP affiliate company. All rights reserved. Customer 1

Как работает прогнозная аналитика

С

вероятностью

60% уйдёт от

нас

Готова

заказать

ещё кофе

Если предложить

доп. скидку, будет

приходить в 2 раза

чаще

Вероятность активации нашей

карты, присланной по почте

29%

Ожидаемый

доход для нас: 50

р/мес


Готова

заказать

ещё кофе

Пол Возраст Дети Последний

контакт …

Заказал

2 кофе

Жен 32 Да 23-06-2014 ДА

Муж 21 Да Нет

Жен 43 Нет ДА

Муж 35 Да 12-07-2014 ДА

Муж 28 Нет ДА

Жен 17 Да Нет


Муж 44 Нет Нет

Жен 18 Нет ДА


Построение

Модель

Пол Возраст Дети Последний

контакт …

Заказал

2 кофе

Жен 29 Да 01-10-2014 ?

История Понимание Прогноз Оптимизация Действие

Применение


Какие задачи решает прогнозная аналитика?

Классификация

Кто (купит | смошенничает | уйдёт …) в следующем (месяце | квартале | году…) ?

Регрессия

Какой будет (выручка | отток … ) в следующем (месяце | квартале)?

Прогноз Как будет меняться ((выручка | отток … ) в следующем году по месяцам?

Рекомендации Что предложить моему клиенту вместе с тем, что он уже (купил | посмотрел | отложил)?

Сегментация

Какие группы клиентов с общим (поведением | профилем …) у меня есть?

Анализ связей

Анализ взаимодействий для выявления (сообществ | лидеров…)


Теория минимизации структурного риска

Основной проблемой при построении прогнозной модели является её

переобучение, то есть ситуация, когда ошибка модели на тестовых

данных намного превышает ошибку модели на обучающих данных

Владимир Вапник и Алексей Червоненкис показали, что разница

между ошибкой на обучающих и тестовых данных а) вычисляема, б)

зависит только от двух показателей: сложности модели и количества

наблюдений

Они предложили меру сложности моделей, называемую VC-

Dimension (размерность Вапника-Червоненкиса)

«Вапник, это Ньютон сегодня»

Недообученная модель Обученная модель Переобученная модель

Задача 1: Кредитный скоринг

Задача построения моделей

оценки вероятности дефолта

• По историческим данным

связать известные данные о

клиенте с фактом

невозврата кредита

• По новым данным оценить

вероятность невозврата

кредита

ID Пол Возр Долж … atr n Дефолт

1 М 32 Нач.отд 60 000 НЕТ

2 Ж 25 бухг 45 000 ДА

ID Пол Возр Долж … atr n Дефолт Прогноз

1102 М 42 директ 120 000 ? 0,5

1103 Ж 21 секрет 25 000 ? 0,2

Построение Модель

Применение


Задача 2. Управление качеством

Задача прогнозирования

возникновения дефектов

• По историческим данным

связать параметры

процесса разливки стали с

фактом вознкновения

дефекта

• Выбрать для контроля

слябы с наибольшей

вероятностью дефектов

• Подобрать для нового

ковша стали параметры

литья, снижающие

вероятность

возникновения дефекта

Машина непрерывного литья стали


От отчетов, через понимание причин, к прогнозам

Исходные

данные

Очищенные

данные

Жесткие

отчёты

Отчёты

«на лету»

и OLAP

Визуальный

анализ

Прогнозное

моделирование

Оптимизация

Что происходило

и происходит?

Почему это

произошло?

Что произойдёт?

Что сделать, чтобы

произошло самое

лучшее?

Отд

ач

а д

ля

би

зн

еса

Развитие аналитических возможностей

Business Intelligence

Общая

прогнозная

аналитика

Прогнозная

Аналитика:

Понимание

Симуляция

Прогноз

Оптимизация

http://imagedirectory.wdf.sap.corp:6085/ImageLibrary/ImageDetailsView?imageId=ee5f5406-e99f-4701-90b6-8eb5cfc9d495

http://imagedirectory.wdf.sap.corp:6085/ImageLibrary/ImageDetailsView?imageId=4b6d2881-d86e-4174-91cf-3ab2c684d0aa


Данные – материнское молоко анализа

Традиционный аналитик

Думает, что ещё можно сделать с

данными

Поменять атрибуты

Применить сглаживание

Перебалансировать выборку

Применить другой алгоритм

…

Современный Аналитик

Знает, что модель уже извлекла всё

что можно из данных…

и думает, какие ещё можно взять

данные

Скомбинировав существующие

Добавив данные из других источников

Поведенческие данные – важный источник информации об объектах

В случае недостаточно хорошей модели


Задача 4. Построение системы персональных рекомендаций

2 клиента связаны если они

Смотрят одинаковые фильмы

или покупают в одних и тех же местах

или посещают одинаковые страницы

Действия:

Связанные клиенты образуют «сообщества»

Предложить клиенту продукты, популярные в его

«сообществе»

Bipartite Graph

Client 1 Product 1

Client 2

Client 3

Client 4

Product 2

Product 3

Product 4

Client 4

Client 1

Client 2

Client 3

2

1 1

Микросегменты

клиентов

2

Product 3

Product 2

Product 1

Product 4

1

Микросегменты

продуктов