View
3
Download
0
Category
Preview:
Citation preview
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
SAS Event Stream ProcessingОбзор решения для потоковой аналитики
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Жизненный цикл традиционной аналитики
DeployETL
Data Data Storage
f
Access – Store - Analyze
Alerts / Reports
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Deploy
Жизненный цикл потоковой аналитики
Sense – Understand - ACT
ETL
Data Data Storage
Alerts / Reports/ Decisioning
Dep
loy
f
Streaming Data Intelligent Filter / Transform
Streaming Model Execution
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Непрерывная обработка потока событий
результат
анализа
Действия
SAS In-Memory
SAS®
Event Stream Processing Model
Непрерывный
запрос
Пуб
ли
ка
ци
я
По
дп
ис
ка
Поток событий
Обогащение
данныхПрименение
моделейБизнес
правила
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
SAS® Event Stream ProcessingРазработан для высокой производительности
Пропускная способность – количество обрабатываемых событий в 1 секунду
Латентность – время обработки события по всему процессу
Миллионы событий в секунду обрабатываются на потоке
Мили-микросекундная латентность ответа
На стандартном аппаратном обеспечении
Высокая пропускная способность и низкая латентность
SAS Event Stream Processing обеспечивает:
Непрерывная обработка в оперативной памяти
Собственное приложение OS
Распределенное выполнение
Кластеризация
Горизонтальное масштабирование
Высокая производительность
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Event Stream ProcessingАрхитектура решения
STUDIO STREAMVIEWEREVENT STREAM
MANAGER
Потоковые данные
ИН
ТЕР
ФЕЙ
С П
УБ
ЛИ
КА
ЦИ
И
ИН
ТЕР
ФЕЙ
С П
ОД
ПИ
СК
И
EVENT STREAM PROCESSING ENGINE
▪ Обрабатывает данные непрерывно, в движении, в RAM с очень высокой скоростью и низкой задержкой
▪ Применение правил и моделей на потоке данных
Фильтрация, агрегация, поиск шаблонов и выбросов, прогнозирование, текстовая аналитика, геолокация,
обработка изображений и многое другое…
Потоковые данные
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® Event Stream ProcessingУправляемая и гибкая среда проектирования
Studio StreamviewerВизуальный интерфейс моделирования для процессов обработки потоков событийПолный набор готовых трансформаций для любых задач обработки данныхИнтерактивное тестированиеРазработка в GUI, XML, Python или C
Панели мониторинга данных в реальном времениРедактирование, встраивание и публикация дашбордовHTML5 и встроенная SAS® Graphs визуализацияПодключение онлайн данных с разных серверов внутри одного отчета
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Event Stream Processing SAS ESP Studio
Разработка моделей ESP в визуальном интерфейсе либо из редактора XML
Интерактивное тестирование моделей
Интеграция моделей из SAS Model Manager
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
Развертывание на edge устройствах для IoTSAS® Event Stream Processing
Поддержка одноплатных компьютеров
Поддержка чипсетов Intel иARM
Поддержка облачных сервисов
Поддержка GPU
Кластеризация
Динамическое обновление моделей
Поддержка развертывания от легких встроенных технологий до облачной распределенной архитектуры
Позволяет выполнять новые требования к архитектуре IoT
Поддержка индустриальных стандартов связи в промышленных сетях
Edge Small Large Cluster Cloud
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® Event Stream ProcessingОперативное управление
SAS® Event Stream ManagerУправление локальными и облачными развёртываниями, а также установками на периферийных устройствах (edge devices)Мониторинг узлов GRIDУправление шаблонами проектовУправление заданиями развертыванияВерсионность проектовДинамичное обновление моделей
Развертывание, мониторинг, управление
продуктивными моделями
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Event Stream ProcessingПоддержка полного цикла потоковой аналитики
SAS Event Stream ManagerSAS ESP Studio SAS Streamviewer
• Разработка и тестирование• Применение аналитики• Визуальное моделирование• XML или Jupiter
• Автоматизация развертывания• Скрипты и пользовательские
настройки• Шаблоны операций• Исследование и мониторинг
• Мониторинг различных серверов ESP
• Публикация отчетов• Интеграция с SAS Visual
Analytics
Разработчик: Проектирование и тестирование
IT: Развертывание и мониторинг
Бизнес: Анализ и мониторинг
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
Любые способы фильтрации и агрегации событий
+ SAS® DS2, SAS® Datastep or Python code
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Выявление сложных событий
“Выявить когда событие А следует за событием Б и не
наступает событие В
в 3-х минутном интервале времени”
E1 E2AND
FOLLOWED
BY
E4 E5AND
NOT
E6
E3OR
5 MIN
1 HOURFOLLOWED
BY
Copyright © SAS Inst itute Inc. A l l r ights reserved.
ГеопозиционированиеРабота с координатами на потоковых данных
• Примеры выявляемых событий:
• Обнаружить момент пересечения границы
• Анализ общего настроения в регионе
• Плотность населения
• И др…
• Позволяет обновлять границы в реальном времени
• Позиционирование объекта на потоковых данных:
• В указанных границах
• Вблизи указанной точки
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Текстовая аналитика
• Text Category Window
• Категоризация текстов
• Text Sentiment Window
• Анализ окраса сообщений
• Text Context Window
• Выделение контекста
• Text Topic Window
• Выделение тем
Анализ неструктурированного текста на потоке
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Качество данных
SAS© Data Quality
Поддержка алгоритмов качества данных для разных языков из SAS Quality Knowledge Base (QKB):
• Парсинг
• Стандартизация
• Нечеткий поиск
• Восстановление
• Обогащение данных
• Анализ шаблонов
• Идентификационный анализ
• и др.
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Углубленная аналитика
Углубленная аналитика на
потоковых данных:
• Дерево решений
• Нейронная сеть
• Регрессия
• Поиск редких событий
(Rule Induction)
• …
Поддерживаемые форматы score-кода: DS2 Code, DS2 Code file, Plug-in, DS External,Micro Analytic Service (MAS), Model Manager ZIP file
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Обучение моделейАлгоритмы машинного обучения
• Streaming Summary - Univariate Statistics
• Streaming Pearson’s Correlation
• Streaming Segmented Correlation
• Weibull Distribution Fitting
• Short Time Fourier Transform
• Streaming Text Tokenization
• Streaming K-Means
• Streaming DBSCAN
• Random forest
request
data
model
data
scoreTrain Score
requestdata
scoreCalculate
request
model
modelModel Supervisor
request modelModel Reader
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
ETL
Data Data Storage
Alerts / Reports / Decisioning
Streaming Data Streaming Model Execution
De
plo
y
Sto
re
Enri
ch
Deploy
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
ETL
Data Data Storage
Alerts / Reports / Decisioning
Streaming Data Streaming Model Execution
De
plo
y
Sto
re
Enri
ch
DeployTrain
Score
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
ETL
Data Data Storage
Alerts / Reports / Decisioning
Streaming Data Streaming Model Execution
De
plo
y
Sto
re
Enri
ch
DeployTrain
Score
Score
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
ETL
Data Data Storage
Alerts / Reports / Decisioning
Streaming Data Streaming Model Execution
De
plo
y
Sto
re
Enri
ch
Deploy
Train
Train
Score
Score
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
ETL
Data Data Storage
Alerts / Reports / Decisioning
Streaming Data Streaming Model Execution
De
plo
y
Sto
re
Enri
ch
Deploy
Train
Train
Score
Supervise
Score
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
ETL
Data Data Storage
Alerts / Reports / Decisioning
Streaming Data Streaming Model Execution
De
plo
y
Sto
re
Enri
ch
Deploy
Train
Train
Score
Supervise
Score
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
SAS ESP и потоковая аналитика
StreamingAnalytics
StreamingClassification
StreamingClustering
StreamingRegression
StreamingDimensionality
Reduction
Time SeriesProcessing
Text Mining
Image/AudioProcessing
RecommenderSystem
Online Scoring
DescriptiveAlgorithms
Streaming Subspace TrackingOnline t-SNE
Streaming SVMStreaming Logistic Regression
Streaming Linear Regression
Streaming SummaryStreaming Correlation
Streaming Distribution FittingStreaming Histogram
…
Streaming K-MeansStreaming DBSCAN
Text TokenizationText VectorizationText Frequency
Streaming Audio ProcessingStreaming Image Processing…
Short-Time Fourier TransformCepstrum TransformMoving Relative RangeLag Monitoring
Support Vector Description DataRobust PCAStability MonitoringGradient Boosting TreesDeep Neural NetworksDS2 ModelsPython Models (TensorFlow, Keras, JMP)…
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Работа с изображениями
Обработка изображений с применением аналитики:
• Изменение размера/обрезка
• Классификация изображений
• Идентификация объектов на изображении
применение моделей: SAS или Python
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
SAS Event Stream ProcessingРабота с изображениями
• Обработка изображений из камеры в автомобиле в реальном времени
• Классификация изображений по поведению водителя ТС с использованием обученной в офлайн нейронной сети в SAS® Viya®
• Формирование предупреждений в случаях длительного отвлечения водителя от дороги
Анализ видеопотока с целью выявления опасных ситуаций при управлении ТС
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
SAS Event Stream ProcessingРабота с изображениями
• Обработка изображений из веб-камеры в реальном времени
• Выявление присутствия на изображении объекта с помощью Python™
• Выявления из потока недопустимых шаблонов
Поиск объектов в потоке изображений с помощью
Open Source библиотек
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
Работа с изображениямиObject Tracking Window
• Окно Object Tracker выполняет мультиобъектноеотслеживание (MOT) в режиме реального времени.
• Отслеживание нескольких объектов: дроны, машины, люди и др…
• Дополняет алгоритмы обработки изображений (например, CNNs, DNNs, и др…) возможностью
- Определить уникальные объекты
- Рассчитать скорость
- Определить направление
- Определить подвижность
- Сформировать траекторию
Company Conf ident ia l – For Internal Use OnlyCopyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® Event Stream ProcessingОткрытая платформа для IoT
SAS® DS2
Python
C++ / C
SAS® DATAStep
Открытые API Разработка Выполнение
ESPPy• Разработка потоковых
моделей на Python • Связь с ESP engine
• Преобразование данных в структуры Python
• Публикация проектов ESP • Интеграция аналитики
REST API
REST and WebSocket
Python PUB/SUB API
Java PUB/SUB API
C PUB/SUB API
Экосистемы
Доступен на GitHubdeveloper.sas.com
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS ESP300+ готовых точек интеграции
OPEN SOURCE
ПРИЛОЖЕНИЯ
API ДЛЯ ПУБЛИКАЦИИ И ПОДПИСКИ
подключение к любым системам через Java, C++ или Python API(полностью документировано)
RendezVous
СТАНДАРТЫ
FILE/SOCKET
XML / JSON
ODBC
JMS
MQTT
OPC-UA
HTTP RESTFUL
WEB SERVICES
WEBSOCKETS
SMTP
NETWORK SNIFFERS
DB LOG SNIFFERS
SYSLOG
UVC
*
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Примеры использованияSAS Event Stream Processing
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Event Stream ProcessingПримеры использования
• Анализ потока кликов
• Оптимизация клиентского опыта
• Маркетинг и реклама в режиме
реального времени
• Анализ транзакций real-time
• Мониторинг поведения
пользователя
• Анализ профиля клиента
• Оповещения и расследование
• Опрос датчиков в режиме
реального времени
• Выявление аномалий
• Мониторинг производительности
• Запуск триггеров
• Непрерывные расчеты и анализ
рисков
• Снижение времени от совершения
сделки до формирования
отчетности
• Управление оперативными
решениями в режиме реального
времени
• Формирование директив к
системам и сотрудникам
• Анализ CDR\EDR real-time
• Мониторинг поведения
пользователя
• Анализ профиля клиента
• Оповещения и расследование
онлайн Маркетинг
Интернет Вещей (IoT)
Управленческие решения
Предотвращениемошенничества
Телекоммуникации
Финансовые рынки
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Прогнозирование обслуживания
БИЗНЕС ЗАДАЧА
• Предсказать потребность в техническом обслуживании отдельных машин до возникновения поломок
• Выявление наиболее подходящего времени для прохождения профилактических работ
• Вывести на рынок новые услуги с высоким SLA
РЕШЕНИЕ
• Сбор данных с 60+ сенсоров/грузовиков
• Интеграция с данными по продуктам, информацией по гарантийным обязательствам и другой связной информацией
• Аналитические модели, предсказывающие определенные типы поломок в течении 30 дней с 90% точностью
• Оценка критериев для повышения качества и производительности
Транспорт
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Предотвращение отказов оборудования
Нефтегазовая отрасль
БИЗНЕС ЗАДАЧА
• Мониторинг глубоководного оборудования буровых установок
• Отказ одного насоса приносит убытки около $2M/день; один день потери производительности снижает доходы будущих периодов на $20M
РЕШЕНИЕ
• Более 2.1 миллиона датчиков производят около 3 трлн строк событий в минуту, содержащих информацию о потенциальной поломке (данные по температуре, вибрациям)
• Автоматизированное выявление за доли секунды интересующих событий в потоке данных
• Разрешение инцидентов за короткие сроки, что было недостижимо ранее
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Маркетинг в реальном времени
БИЗНЕС ЗАДАЧА
• Повышение дохода от клиентов путем кросс- и апсейл кампаний
• Отсутствие индивидуального профиля по клиенту в реальном времени
• Отсутствие адаптированного и гибкого предложения клиенту в реальном времени
РЕШЕНИЕ
• Анализ потоковых данных по звонкам (CDR) - 20,000+ событий в секунду
• Соответствующее предложение в нужное время и по подходящему каналу коммуникаций
• Оптимизация маркетинга для повышения точности прогнозов и решений
• Увеличение числа кампаний и уменьшение времени реакции
Телекоммуникации
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Взаимодействие с клиентамиРозничная торговля
Клиенты получают персонализированные и контекстные обновления, как только приходят в магазин
Copyright © SAS Inst itute Inc. A l l r ights reserved.
БИЗНЕС ЗАДАЧА
• Обнаружение интересующих закономерностей в данных по пациенту, для предотвращения резких осложнений и инициирования терапии
• Снятие показаний с датчиков различного оборудования
• Подключение в реальном времени данных приходящих из лабораторий
РЕШЕНИЕ
• Непрерывный анализ данных для инициации действий в случае выявленных шаблонов
• Отправка сообщений по SMS и E-mail
• Мгновенные оповещения в случае необходимости интенсивной терапии
• Дистанционная отправка рекомендаций пациенту
Взаимодействие с пациентамиЗдравоохранение
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Выявление мошенничества в реальном времени
БИЗНЕС ЗАДАЧА
• Банк атакуется мошенниками
• Текущие системы некорректно оценивают урон
• Отсутствуют ключевые элементы в логике обнаружения (например, профили клиентов, логи сессий ПК)
• Требуется иметь возможность возмещать нанесенный вред обманутым клиентам, для снижения репутационных рисков
РЕШЕНИЕ
• Анализ транзакций в реальном времени с очень низкой задержкой на принятие решения и действие
• Анализ поведения пользователя с применением аналитики SAS
• Автоматизация блокировок по подозрительным транзакциям
• Уведомления и отправка на ручное расследование
Банки
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Интеллектуальный анализ сетей Коммунальные услуги
Непрерывный мониторинг интересующих шаблонов событий
Шаблоны событий:• Выявление• Закономерность• Квалификация
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Повышение производительности оборудования
КомпанияПроизводство и техническое обслуживание грузоподъемной техники. Инспекция оборудования, предупредительные ремонты, поставка запасных частей и модернизация.Более 170 000 сервисных контрактовБолее 420 000 обслуживаемых единиц оборудования
ЦелиОптимизация сервисного обслуживания оборудования:• Поиск оптимального времени для регламентного ТО• Прогнозирование и предотвращение поломок• Формирование долгосрочных контрактов с оптимальной
стоимостью
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Повышение производительности оборудования
Результат• Мониторинг состояния оборудования в реальном времени• Построение прогнозных моделей поломок на базе собранных
данных и определение своевременного времени прохождения ТО
• Разработка как в GUI так и на Python • Более 20 000 подключенных устройств• Для построения моделей пригодилась многолетняя история по
показаниям датчиков, хранимая на дисках
SAS® Event Stream Processing
sas.com
Company Conf idential – For Internal Use OnlyCopyr ight © SAS Inst i tute Inc. Al l r ights reserved.
Спасибо!
Recommended