SAP HANA: Новая эпоха в Data · PDF fileSAP HANA: Новая эпоха в Data Management и технологиях разработки. Сергей Кузин, Старший

SAP HANA: Новая эпоха в Data Management

и технологиях разработки.

Сергей Кузин, Старший архитектор бизнес-решений

Апрель, 2015Public

© 2015 SAP SE or an SAP affiliate company. All rights reserved. 2Public


Что же необходимо для решения современных задач?

Обработка потоков данных

SAP HANA Stream Engine

Загрузка и обработка больших объемов

данных

SAP HANA EIM

Хранение больших объемов данных

SAP HANA Dynamic Tiering, Hadoop

Integration

Платформа для разработки

SAP HANA XS and Calculation Engine

Управление ресурсами и приложениями

SAP HANA Multi-Tenant






данных

SAP HANA EIM



Integration






Что является источником нашей

информации?

Биржевые показатели

Транзакции

Социальные сети

Действия пользователей

Сенсоры




Считывание, фильтрация, анализ и реакция

на миллионы событий в секунду в реальном

времени

Сохранение значимой информации в SAP HANA

и прямая запись потоковой информации в Hadoop

Анализ потоков информации – прямая интеграция

с операционными инфопанелями

Построение моделей обработки потоков

используя декларативный язык (CCL) и графические

модели обработки

Администрирование с помощью SAP HANA

Studio и SAP HANA Cockpit

SAP HANA – Stream EngineВстроенная поддержка обработки потоков данных

Incoming

streams

Strea

m

(push)

SAP HANA

Streamin

g

Service




Основная концепция Stream Engine

Входные потоки данных (окна событий)Данные рассматриваются как поток событий

Выходящий поток

(окно событий)Выполнение «continuous

query» к одному или

нескольким входящим

потокам для получения

результирующего потока

Аналогия к базам данных• Потоки – это таблицы

• События – записи в таблицах

• Поля в событиях – колонки

таблицы

Окна событий имеют свои

параметры• Параметры хранения определяют как

много и как долго события хранятся в

окне событий

• Тип событий автоматически учитывается

при обработке события – автоматически

определяется

добавить/обновить/удалить

информацию в окне




SAP HANA Studio – средство для

создания проектов Stream Engine

Создание и

отладка

проекта

Streaming plug-

in добавляет

новые

перспективы в

HANA Studio

Визуальный и

текстовый

формат

разработки








данных

SAP HANA EIM



Integration






Использование встроенных в SAP HANA механизмов для

загрузки данных из внешних систем. Возможность

использования в собственных приложениях функционала

SAP HANA Smart Data Integration (ETL and Data Quality)

Встроенный функционал Real-time replication,

пакетной загрузки, преобразования и очистки данных

Встроенная среда разработки

– SAP HANA Studio

– SAP HANA WebIDE

Поддержка on-premise и cloud источников

Открытый SDK и преднастроенные адаптеры

SAP HANA – Smart Data IntegrationНовое интегрированное решение для загрузки и очистки данных

Загрузка и обработка данных

SAP HANA EIM


SAP HANA EIMВстроенные возможности интеграции нового

уровня

Упрощение ландшафта, Ускорение, Открытый SDK

Загрузка и обработка данных

SAP HANA EIM






данных

SAP HANA EIM



Integration






Использование дискового пространства и

усовершенствованной технологии поколоночного хранения

Поддержка петабайтных решений – отсутствие ограничений

оперативной памяти

Встроенная технология SAP HANA platform – отсутствие

дупликации данных

– «Push down» обработка запросов

– Поддержка SQL и Calculation View

Оптимизация ТСО и нахождение баланса

производительности/стоимости

– Хранение текущей, часто используемой информации в памяти и

исторических данных на диске

Поддержка SAP решениями. В настоящий момент SAP BW 7.4.

SAP HANA - Dynamic TieringРеализация подхода температуры данных – warm data

Hot Warm

SAP HANA

Хранение больших

объемов данных


Прямой доступ к файловой системе HDFS из

SAP HANA

Использование пользовательских функций

для вызова map-reduce jobs

– SAP HANA Studio как единая среда разработки

для вызова Map Reduce jobs

– Поддержка кэширования выполняемых

функций

Поддержка всех текущих версий

распространения Hadoop (Hortonworks,

Cloudera etc.)

SAP HANA – Hadoop Integration Углубленная интеграция

SAP HANA

vUDF

Operator

RFC Hadoop

Hadoop

Map Reduce

HDFS

YARN

HIVE

Virtual

Tables

SDA

(ODBC)

Spark

SQL

ODBC/

JDBC

SDI

Adapter

Framework

Хранение больших

объемов данных






данных

SAP HANA EIM



Integration






SAP HANA – разработка

собственных приложений$£¥ ©™




HANA Web IDE – новая среда

разработки в SP9$£¥ ©™




Новый графический интерфейс для создания

новых расчетных функций и процедур в HANA

Studio

Исполнение функций в SQLScript

Интеграция с:

– Predictive Analysis Library (PAL)

– Business Function Library (BFL)

– Собственными AFL функциями

– R

Поддержка транспортов между системами

(хранится в HANA repository)

$£¥ ©™

SAP HANA – разработка приложенийНовая среда для написания собственных функций




Более 60 AFL прогнозных алгоритмов реализованных в

SAP HANA

Новые алгоритмы, включая:

– Classification Analysis – Neural network

– Clustering - K-medians

– Feature selection & dimensionality – Principal component

analysis

– Time Series Analysis – ARIMA-X, 2nd order exp smoothing,

forecasting with simple linear regression, seasonal linear

regression, Croston’s method, time series comparison,

forecast accuracy, Brown’s simple exp smoothing

– Top-K Association rule mining – KORD

– …

$£¥ ©™

SAP HANA – разработка приложенийРасширение библиотеки прогнозных функций




$£¥ ©™

Deve

lop

er

too

l e

nh

an

ce

me

nts

• Web-based Development Workbench (Web IDE)

• SQLScript Debugging

• SQLScript Editor

• Calculation View editor

• XSOData editor

• Manual test explorer for XSOData artifacts (app explorer)

• Web Templates and code completion

• Application Preview

• Form based role editor for hdb objects

• Check File Access

• XSUnit integration

• CDS/HDBDD Editor with local semantic code completion

• SAP HANA Answers plug-in

• SAP HANA Studio

• Project set up – artifact generation

• Navigation to XS administration tool

• Run as configuration and execution

• Inactive testing

• XSJS/SQLScript Integrated Debugging

• One click debugging

• Direct editing from Repository Browser

• Refactoring services

• Enhanced artifact templates

• Improved Code Completion (SQLScript, HDBDD, and XSODATA)

• Web Bridge (Run WebIDEeditors within the Studio)

Mo

de

lin

g e

nh

an

ce

me

nts

• Web IDE

• Calculation View editor,

• Analytic Privilege editor

• SAP HANA Studio

• Editor usability

• Value help entity reference

• Calculation Views (Rank node, Table function as data sources)

• Script-based CV enhancements (Table function support, Output column structure import)

• History Views support (time travel support)

• Spatial support: spatial joins, spatial expressions in filters

• Harmonize Development- and Modeler- Studio perspectives

• Harmonize object naming

• Debugging Views with drill-down analysis, join cardinality

• Logging and tracing for modeler plugins (preferences)

• Replace node / replace node with a data source

• Propagate semantics from data sources / extract semantics

XS

Pro

gra

mm

ing

mo

de

l e

nh

an

ce

me

nts

• SMTP support in XS

• XML Parser

• ZIP

• $UTIL (CODEC/CRYPTO)

• Extended CORS support

• X-Frame

• New SQL DB interface

• User Self Service applications

• XSDS

• XSProcedures

• XSUnit

• REST API – Repo API

• Better Technical User support –default connection for user

• Better integration of Web Dispatcher

SQ

LS

cri

pt

en

ha

nc

em

en

ts

• Tooling

• SQLScript Debugging in the Web-based Dev Workbench

• SQLScript Editor in the Web-based Dev Workbench

• SQLScript semantic code completion in the HANA Studio

• Enhanced SQL performance analysis in SAP HANA studio

• Language

• Table type definitions for input parameters

• Table type definitions for intermediate variables

• Autonomous transactions

SAP HANA – разработка приложенийПлатформа для написания собственных приложений








данных

SAP HANA EIM



Integration






Schema X

SAP HANA Instance

App X

Schema Y

App Y

HW

OS

Database

Schema

SAP HANA Instance

App

HW

OS

Database

Одна сехма

Одна база данных SAP

HANA

Несколько схем (MCOD)

Одна база данных SAP

HANA

Schema X

Database

SAP HANA Instance

App X

Schema Y

App Y

Database

SAP HANA Instance

Hypervisor

HW

OS OS

Несколько инстанций SAP

HANA в рамках нескольких

виртуальных машин

Schema X

Tenant DB

SAP HANA Instance

App X

Schema Y

App Y

Tenant DB

HW

OS

Несколько «тенантов» баз

данных

Единый HANA сервер

Prior to SPS09 With SPS09 Multi-tenant

database feature

SAP HANA – Multi-tenantОптимизация использования ресурсов




SAP HANA – Multi-tenantКонцепция работы

Новый слой для администрирования всех

систем - System database

• Информация с топологией всего ландшафта

• Установка глобальных параметров

• Выполнение backup для всех «тенантов»

• Управление ресурсами во всей системе (CPU,

memory, disk для отдельных баз данных)

Доступ к базе по названию «тенанта»

• Установка специфических параметров для

отдельного «тенанта»

• Индивидуальное выполнение backup для

«тенанта»

• Управление пользователями и данными конкретной

базы

*Единая версия SAP HANA

*Единые политики по HA/DR

AS ABAP

Connect to:

HAN.DB’A’

SAP HANA

SID: HAN

HAN.DB A

Any

Application

Connect to:

HAN.<port>

HAN.DB B

HAN.SystemDB




SAP HANA System

SAP HANA – Multi-tenantОрганизация работы в scale-out

конфигурации

Tenant DB A.3

Tenant DB B.1

System DB

(standby)System DB

Tenant DB C

Tenant DB B.2

Tenant DB A.2

System DB

(standby)

Tenant DB D

Tenant DB A.1

HOST 1 HOST 3 HOST 2 Standby (HOST 4)

System DB

(standby)




SAP HANA – Multi-tenantДоступ к данным из разных систем

SAP HANA System

Tenant DB

B

Tenant DB

A

Sca

n

Sca

n

Join

Sca

n

Sca

n

Tenant DB

C

Sca

n

HOST 1 HOST 2

Возможность

выполнения

запросов сразу

по нескольким

«тенантам»*

*на текущий

момент Read

only




SAP HANA Monitoring Dashboard –Единое место отслеживания состояния систем




Подводя итоги




данных

SAP HANA EIM



Integration





© 2015 SAP SE or an SAP affiliate company. All rights reserved.

Разрабатывайте свои

приложения с SAP HANA!

Кузин Сергей

Эксперт в области баз данных и технологий, SAP СНГ

t: 8(963)672-57-94

E-mail: [email protected]

Documents

SAP HANA: Новая эпоха в Data · PDF fileSAP HANA: Новая эпоха в Data Management и технологиях разработки. Сергей Кузин, Старший