View
1.973
Download
0
Category
Preview:
Citation preview
Ассоциативные правила и анализ больших массивов данных
на платформе SAP HANA
Vasily Sukhanov/ Software engineer
September, 2015 Public
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 2Public
Agenda
Архитектура SAP HANA
Основные компоненты, терминология и базовые понятия
Разработка кода на платформе SAP HANA
Обзор SDK Application Function Library (AFL)
Возможности AFL SDK
Обзор функциональности в составе AFL SDK
Команда COiL в SAP Labs
Цели и задачи
Архитектура SAP HANA
Основные компоненты, терминология и базовые понятия
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 4Public
Архитектура SAP HANA
• Управление данными в памяти – движок in-memory
• Реляционное представление данных в памяти, поддержка языка SQL (спецификации ANSI SQL 92,99,2003,2008)
• Работа с различными уровнями абстракции при обработке данных – движок Graph Engine, Full-Text search, библиотеки базовых
алгоритмов для задач Data Mining, Predictive Analytics и реальных задач – Decision Making, Advertisement targeting, задачи Computer
Vision и т.д.
• Интеграция с различными источниками данных – Smart Data Integration
• Обработка информации в потоковом режиме – Smart Data Streaming
• Интеграция с Hadoop SPARK на основе нового продукта SAP HANA VORA
• Встроенный сервер приложений XS Engine, есть поддержка интеграции с Node.js(в данный момент основной язык XS Engine -
JavaScript ServerSide, планируется поддержка Java, Go, C++ контейнеров в следующей версии XS2)
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 5Public
Архитектура SAP HANA
Разработка кода на платформе SAP HANA
Обзор SDK Application Function Library (AFL)
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 7Public
Use Case: Поиск ассоциативных связей
Алгоритм Apriori -> SAP HANA Predictive Analytics
Реализован метод поиска в ширину,
Ограничения на длину последовательности,
Время работы алгоритма неприемлемо
Требуется обеспечить время поиска связей ~3 секунд
Для массива с общим количеством покупателей – 30 000 000
Среднее количество транзакций одного покупателя – 10
Основные параметры: SUPPORT, CONFIDENCE
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 8Public
Разработка кода на платформе SAP HANA
Алгоритм поиска ассоциативных связей – SPAM
Использует поиск в глубину
Предварительно отсортированный массив транзакций
Использует представление последовательности в виде Bitmap
Определяет операции «И» и «ИЛИ» для Bitmap структур
+ эвристику для минимизации вариантов в дереве решений
для достижения высокой скорости вычислений
Возможности AFL SDK
Обзор функциональности в составе AFL SDK
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 10Public
Возможности AFL SDK
Разработчику
Возможность встраивать в ядро СУБД кастомный код
Доступ к аллокаторам памяти в СУБД
Доступ к multithreading фреймворку
Прямой доступ к данным в памяти SAP HANA
Возможность использования встроенных методов
защиты от сбоев во время выполнения кода
Возможность встраивания уже разработанных
алгоритмов в состав AFL библиотеки
Пользователю
Доступ к AFL библиотеке как к обычной SQL функции
Моделирование трансформаций данных в RealTime –
использование цепочек Data Flow и использования
алгоритмов AFL и библиотек Predictive Analytics
Работы с разнородными источниками данных
(потоковые данные, реляционные структуры,
представления в виде графа) и возможность запуска
алгоритма реализованного в виде AFL на этих данных
в рамках SQL процедуры
Команда COiL в SAP Labs
Цели и задачи
© 2015 SAP SE or an SAP affiliate company. All rights reserved. 12Public
Команда CoiL в SAP Labs Moscow
• Работа с партнёрами SAP в России и вывод решений StartUp на рынок
• Интеграция решений партнёров в продукты SAP
• Продвижение на рынок продуктов SAP + партнёрских решений
• Реализация совместных проектов с клиентами SAP и партнёрами
• Успешный опыт реализации проектов в России
© 2015 SAP SE or an SAP affiliate company. All rights reserved.
Спасибо
Contact information:
Vasily Sukhanov
vasily.sukhanov@sap.com
Software engineer
Recommended