SAS Event Stream Processing · file/socket xml / json odbc jms mqtt opc-ua http restful web services websockets smtp network sniffers ... реального времени • Выявление

Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.

SAS Event Stream ProcessingОбзор решения для потоковой аналитики


Жизненный цикл традиционной аналитики

DeployETL

Data Data Storage

f

Access – Store - Analyze

Alerts / Reports


Deploy

Жизненный цикл потоковой аналитики

Sense – Understand - ACT

ETL

Data Data Storage

Alerts / Reports/ Decisioning

Dep

loy

f

Streaming Data Intelligent Filter / Transform

Streaming Model Execution


Непрерывная обработка потока событий

результат

анализа

Действия

SAS In-Memory

SAS®

Event Stream Processing Model

Непрерывный

запрос

Пуб

ли

ка

ци

я

По

дп

ис

ка

Поток событий

Обогащение

данныхПрименение

моделейБизнес

правила


SAS® Event Stream ProcessingРазработан для высокой производительности

Пропускная способность – количество обрабатываемых событий в 1 секунду

Латентность – время обработки события по всему процессу

Миллионы событий в секунду обрабатываются на потоке

Мили-микросекундная латентность ответа

На стандартном аппаратном обеспечении

Высокая пропускная способность и низкая латентность

SAS Event Stream Processing обеспечивает:

Непрерывная обработка в оперативной памяти

Собственное приложение OS

Распределенное выполнение

Кластеризация

Горизонтальное масштабирование

Высокая производительность

Copyright © SAS Inst itute Inc. A l l r ights reserved.

SAS Event Stream ProcessingАрхитектура решения

STUDIO STREAMVIEWEREVENT STREAM

MANAGER

Потоковые данные

ИН

ТЕР

ФЕЙ

С П

УБ

ЛИ

КА

ЦИ

И

ИН

ТЕР

ФЕЙ

С П

ОД

ПИ

СК

И

EVENT STREAM PROCESSING ENGINE

▪ Обрабатывает данные непрерывно, в движении, в RAM с очень высокой скоростью и низкой задержкой

▪ Применение правил и моделей на потоке данных

Фильтрация, агрегация, поиск шаблонов и выбросов, прогнозирование, текстовая аналитика, геолокация,

обработка изображений и многое другое…

Потоковые данные

Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.

SAS® Event Stream ProcessingУправляемая и гибкая среда проектирования

Studio StreamviewerВизуальный интерфейс моделирования для процессов обработки потоков событийПолный набор готовых трансформаций для любых задач обработки данныхИнтерактивное тестированиеРазработка в GUI, XML, Python или C

Панели мониторинга данных в реальном времениРедактирование, встраивание и публикация дашбордовHTML5 и встроенная SAS® Graphs визуализацияПодключение онлайн данных с разных серверов внутри одного отчета


SAS Event Stream Processing SAS ESP Studio

Разработка моделей ESP в визуальном интерфейсе либо из редактора XML

Интерактивное тестирование моделей

Интеграция моделей из SAS Model Manager


Развертывание на edge устройствах для IoTSAS® Event Stream Processing

Поддержка одноплатных компьютеров

Поддержка чипсетов Intel иARM

Поддержка облачных сервисов

Поддержка GPU

Кластеризация

Динамическое обновление моделей

Поддержка развертывания от легких встроенных технологий до облачной распределенной архитектуры

Позволяет выполнять новые требования к архитектуре IoT

Поддержка индустриальных стандартов связи в промышленных сетях

Edge Small Large Cluster Cloud


SAS® Event Stream ProcessingОперативное управление

SAS® Event Stream ManagerУправление локальными и облачными развёртываниями, а также установками на периферийных устройствах (edge devices)Мониторинг узлов GRIDУправление шаблонами проектовУправление заданиями развертыванияВерсионность проектовДинамичное обновление моделей

Развертывание, мониторинг, управление

продуктивными моделями


SAS Event Stream ProcessingПоддержка полного цикла потоковой аналитики

SAS Event Stream ManagerSAS ESP Studio SAS Streamviewer

• Разработка и тестирование• Применение аналитики• Визуальное моделирование• XML или Jupiter

• Автоматизация развертывания• Скрипты и пользовательские

настройки• Шаблоны операций• Исследование и мониторинг

• Мониторинг различных серверов ESP

• Публикация отчетов• Интеграция с SAS Visual

Analytics

Разработчик: Проектирование и тестирование

IT: Развертывание и мониторинг

Бизнес: Анализ и мониторинг


Любые способы фильтрации и агрегации событий

+ SAS® DS2, SAS® Datastep or Python code


Выявление сложных событий

“Выявить когда событие А следует за событием Б и не

наступает событие В

в 3-х минутном интервале времени”

E1 E2AND

FOLLOWED

BY

E4 E5AND

NOT

E6

E3OR

5 MIN

1 HOURFOLLOWED

BY


ГеопозиционированиеРабота с координатами на потоковых данных

• Примеры выявляемых событий:

• Обнаружить момент пересечения границы

• Анализ общего настроения в регионе

• Плотность населения

• И др…

• Позволяет обновлять границы в реальном времени

• Позиционирование объекта на потоковых данных:

• В указанных границах

• Вблизи указанной точки


Текстовая аналитика

• Text Category Window

• Категоризация текстов

• Text Sentiment Window

• Анализ окраса сообщений

• Text Context Window

• Выделение контекста

• Text Topic Window

• Выделение тем

Анализ неструктурированного текста на потоке


Качество данных

SAS© Data Quality

Поддержка алгоритмов качества данных для разных языков из SAS Quality Knowledge Base (QKB):

• Парсинг

• Стандартизация

• Нечеткий поиск

• Восстановление

• Обогащение данных

• Анализ шаблонов

• Идентификационный анализ

• и др.


Углубленная аналитика

Углубленная аналитика на

потоковых данных:

• Дерево решений

• Нейронная сеть

• Регрессия

• Поиск редких событий

(Rule Induction)

• …

Поддерживаемые форматы score-кода: DS2 Code, DS2 Code file, Plug-in, DS External,Micro Analytic Service (MAS), Model Manager ZIP file


Обучение моделейАлгоритмы машинного обучения

• Streaming Summary - Univariate Statistics

• Streaming Pearson’s Correlation

• Streaming Segmented Correlation

• Weibull Distribution Fitting

• Short Time Fourier Transform

• Streaming Text Tokenization

• Streaming K-Means

• Streaming DBSCAN

• Random forest

request

data

model

data

scoreTrain Score

requestdata

scoreCalculate

request

model

modelModel Supervisor

request modelModel Reader



ETL

Data Data Storage

Alerts / Reports / Decisioning

Streaming Data Streaming Model Execution

De

plo

y

Sto

re

Enri

ch

Deploy



ETL

Data Data Storage



De

plo

y

Sto

re

Enri

ch

DeployTrain

Score



ETL

Data Data Storage



De

plo

y

Sto

re

Enri

ch

DeployTrain

Score

Score



ETL

Data Data Storage



De

plo

y

Sto

re

Enri

ch

Deploy

Train

Train

Score

Score



ETL

Data Data Storage



De

plo

y

Sto

re

Enri

ch

Deploy

Train

Train

Score

Supervise

Score



ETL

Data Data Storage



De

plo

y

Sto

re

Enri

ch

Deploy

Train

Train

Score

Supervise

Score


SAS ESP и потоковая аналитика

StreamingAnalytics

StreamingClassification

StreamingClustering

StreamingRegression

StreamingDimensionality

Reduction

Time SeriesProcessing

Text Mining

Image/AudioProcessing

RecommenderSystem

Online Scoring

DescriptiveAlgorithms

Streaming Subspace TrackingOnline t-SNE

Streaming SVMStreaming Logistic Regression

Streaming Linear Regression

Streaming SummaryStreaming Correlation

Streaming Distribution FittingStreaming Histogram

…

Streaming K-MeansStreaming DBSCAN

Text TokenizationText VectorizationText Frequency

Streaming Audio ProcessingStreaming Image Processing…

Short-Time Fourier TransformCepstrum TransformMoving Relative RangeLag Monitoring

Support Vector Description DataRobust PCAStability MonitoringGradient Boosting TreesDeep Neural NetworksDS2 ModelsPython Models (TensorFlow, Keras, JMP)…


Работа с изображениями

Обработка изображений с применением аналитики:

• Изменение размера/обрезка

• Классификация изображений

• Идентификация объектов на изображении

применение моделей: SAS или Python


SAS Event Stream ProcessingРабота с изображениями

• Обработка изображений из камеры в автомобиле в реальном времени

• Классификация изображений по поведению водителя ТС с использованием обученной в офлайн нейронной сети в SAS® Viya®

• Формирование предупреждений в случаях длительного отвлечения водителя от дороги

Анализ видеопотока с целью выявления опасных ситуаций при управлении ТС


SAS Event Stream ProcessingРабота с изображениями

• Обработка изображений из веб-камеры в реальном времени

• Выявление присутствия на изображении объекта с помощью Python™

• Выявления из потока недопустимых шаблонов

Поиск объектов в потоке изображений с помощью

Open Source библиотек


Работа с изображениямиObject Tracking Window

• Окно Object Tracker выполняет мультиобъектноеотслеживание (MOT) в режиме реального времени.

• Отслеживание нескольких объектов: дроны, машины, люди и др…

• Дополняет алгоритмы обработки изображений (например, CNNs, DNNs, и др…) возможностью

- Определить уникальные объекты

- Рассчитать скорость

- Определить направление

- Определить подвижность

- Сформировать траекторию


SAS® Event Stream ProcessingОткрытая платформа для IoT

SAS® DS2

Python

C++ / C

SAS® DATAStep

Открытые API Разработка Выполнение

ESPPy• Разработка потоковых

моделей на Python • Связь с ESP engine

• Преобразование данных в структуры Python

• Публикация проектов ESP • Интеграция аналитики

REST API

REST and WebSocket

Python PUB/SUB API

Java PUB/SUB API

C PUB/SUB API

Экосистемы

Доступен на GitHubdeveloper.sas.com


SAS ESP300+ готовых точек интеграции

OPEN SOURCE

ПРИЛОЖЕНИЯ

API ДЛЯ ПУБЛИКАЦИИ И ПОДПИСКИ

подключение к любым системам через Java, C++ или Python API(полностью документировано)

RendezVous

СТАНДАРТЫ

FILE/SOCKET

XML / JSON

ODBC

JMS

MQTT

OPC-UA

HTTP RESTFUL

WEB SERVICES

WEBSOCKETS

SMTP

NETWORK SNIFFERS

DB LOG SNIFFERS

SYSLOG

UVC

*


Примеры использованияSAS Event Stream Processing


SAS Event Stream ProcessingПримеры использования

• Анализ потока кликов

• Оптимизация клиентского опыта

• Маркетинг и реклама в режиме

реального времени

• Анализ транзакций real-time

• Мониторинг поведения

пользователя

• Анализ профиля клиента

• Оповещения и расследование

• Опрос датчиков в режиме

реального времени

• Выявление аномалий

• Мониторинг производительности

• Запуск триггеров

• Непрерывные расчеты и анализ

рисков

• Снижение времени от совершения

сделки до формирования

отчетности

• Управление оперативными

решениями в режиме реального

времени

• Формирование директив к

системам и сотрудникам

• Анализ CDR\EDR real-time

• Мониторинг поведения

пользователя

• Анализ профиля клиента

• Оповещения и расследование

онлайн Маркетинг

Интернет Вещей (IoT)

Управленческие решения

Предотвращениемошенничества

Телекоммуникации

Финансовые рынки


Прогнозирование обслуживания

БИЗНЕС ЗАДАЧА

• Предсказать потребность в техническом обслуживании отдельных машин до возникновения поломок

• Выявление наиболее подходящего времени для прохождения профилактических работ

• Вывести на рынок новые услуги с высоким SLA

РЕШЕНИЕ

• Сбор данных с 60+ сенсоров/грузовиков

• Интеграция с данными по продуктам, информацией по гарантийным обязательствам и другой связной информацией

• Аналитические модели, предсказывающие определенные типы поломок в течении 30 дней с 90% точностью

• Оценка критериев для повышения качества и производительности

Транспорт


Предотвращение отказов оборудования

Нефтегазовая отрасль


• Мониторинг глубоководного оборудования буровых установок

• Отказ одного насоса приносит убытки около $2M/день; один день потери производительности снижает доходы будущих периодов на $20M

РЕШЕНИЕ

• Более 2.1 миллиона датчиков производят около 3 трлн строк событий в минуту, содержащих информацию о потенциальной поломке (данные по температуре, вибрациям)

• Автоматизированное выявление за доли секунды интересующих событий в потоке данных

• Разрешение инцидентов за короткие сроки, что было недостижимо ранее


Маркетинг в реальном времени


• Повышение дохода от клиентов путем кросс- и апсейл кампаний

• Отсутствие индивидуального профиля по клиенту в реальном времени

• Отсутствие адаптированного и гибкого предложения клиенту в реальном времени

РЕШЕНИЕ

• Анализ потоковых данных по звонкам (CDR) - 20,000+ событий в секунду

• Соответствующее предложение в нужное время и по подходящему каналу коммуникаций

• Оптимизация маркетинга для повышения точности прогнозов и решений

• Увеличение числа кампаний и уменьшение времени реакции

Телекоммуникации


Взаимодействие с клиентамиРозничная торговля

Клиенты получают персонализированные и контекстные обновления, как только приходят в магазин



• Обнаружение интересующих закономерностей в данных по пациенту, для предотвращения резких осложнений и инициирования терапии

• Снятие показаний с датчиков различного оборудования

• Подключение в реальном времени данных приходящих из лабораторий

РЕШЕНИЕ

• Непрерывный анализ данных для инициации действий в случае выявленных шаблонов

• Отправка сообщений по SMS и E-mail

• Мгновенные оповещения в случае необходимости интенсивной терапии

• Дистанционная отправка рекомендаций пациенту

Взаимодействие с пациентамиЗдравоохранение


Выявление мошенничества в реальном времени


• Банк атакуется мошенниками

• Текущие системы некорректно оценивают урон

• Отсутствуют ключевые элементы в логике обнаружения (например, профили клиентов, логи сессий ПК)

• Требуется иметь возможность возмещать нанесенный вред обманутым клиентам, для снижения репутационных рисков

РЕШЕНИЕ

• Анализ транзакций в реальном времени с очень низкой задержкой на принятие решения и действие

• Анализ поведения пользователя с применением аналитики SAS

• Автоматизация блокировок по подозрительным транзакциям

• Уведомления и отправка на ручное расследование

Банки


Интеллектуальный анализ сетей Коммунальные услуги

Непрерывный мониторинг интересующих шаблонов событий

Шаблоны событий:• Выявление• Закономерность• Квалификация


Повышение производительности оборудования

КомпанияПроизводство и техническое обслуживание грузоподъемной техники. Инспекция оборудования, предупредительные ремонты, поставка запасных частей и модернизация.Более 170 000 сервисных контрактовБолее 420 000 обслуживаемых единиц оборудования

ЦелиОптимизация сервисного обслуживания оборудования:• Поиск оптимального времени для регламентного ТО• Прогнозирование и предотвращение поломок• Формирование долгосрочных контрактов с оптимальной

стоимостью


Повышение производительности оборудования

Результат• Мониторинг состояния оборудования в реальном времени• Построение прогнозных моделей поломок на базе собранных

данных и определение своевременного времени прохождения ТО

• Разработка как в GUI так и на Python • Более 20 000 подключенных устройств• Для построения моделей пригодилась многолетняя история по

показаниям датчиков, хранимая на дисках

SAS® Event Stream Processing

sas.com


Спасибо!

http://www.sas.com/

http://www.sas.com/

Documents

SAS Event Stream Processing · file/socket xml / json odbc jms mqtt opc-ua http restful web services websockets smtp network sniffers ... реального времени • Выявление