Upload
vanthuan
View
226
Download
1
Embed Size (px)
Citation preview
SAP NetWeaver Business Warehouse (BW),
powered by SAP HANA
Волощенко Павел,
САП Украина
Киев
11.04.2012
Новый взгляд на корпоративное
хранилище данных
© 2010 SAP AG. All rights reserved. / Page 2
Технология “In-Memory“ от SAP
Технология “In-Memory”
Технология, позволяющая обрабатывать
массивные объемы данных
в режиме реального времени
в оперативной памяти сервера
чтобы обеспечить получение
мгновенного результата
при анализе и обработке транзакций
© 2010 SAP AG. All rights reserved. / Page 3
Идеальный компьютер
Человеческая память
находится в одной
коробке с процессором
© 2010 SAP AG. All rights reserved. / Page 4
Чем ближе данные к процессору, тем выше
скорость их обработки
ДАННЫЕ
SAP HANA хранит данные в оперативной памяти
для оптимальной
производительности
ядер процессора
© 2010 SAP AG. All rights reserved. / Page 5
Скорость – оптимизация для хранения
данных в памяти со стороны ПО
Традиционные базы данных хранят записи в
строках
Хранение данных в колонках позволяет быстрее
обрабатывать такие операции, как агрегаты
Поколоночная организация поддерживает линейный
доступ к памяти
Простой агрегат может быть выполнен в одной операции
линейного чтения
A 10 € B 35 $ C 2 € D 40 € E 12 $
A B C D E 10 35 2 40 12 € $ € € $
адрес памяти
Построчная организация
Поколоночная организация
A 10 €
B 35 $
C 2 €
D 40 €
E 12 $
Концептуальное
представление
Проецирование на память
© 2010 SAP AG. All rights reserved. / Page 6
Построчная организация данных
Построчная организация данных не оптимальна с точки зрения экономии
места и выполнения таких операций как поиск и агрегирование
© 2010 SAP AG. All rights reserved. / Page 7
Поколоночная организация данных в
памяти
Неплохо было бы уместить в своѐм холодильнике целый супермаркет
© 2010 SAP AG. All rights reserved. / Page 8
Компрессия – дальнейшая оптимизация
хранения данных со стороны ПО
Поколоночная организация даѐт дополнительные преимущества для
компрессии данных в памяти
© 2010 SAP AG. All rights reserved. / Page 9
Новый взгляд на архитектуру Клиент/Сервер
Сервер приложений
Приложение
DB
Сервер приложений
Приложение след. поколения
БД In-Memory
Data in
memory Runtime
Procedure code
Program code
Compile
& deploy
Fast data
transfer
Integration Apps
Вчера Сегодня
OTLP + OLAP
© 2010 SAP AG. All rights reserved. / Page 10
В чем секрет скорости SAP NewDB ?
Использование концепции Хран. Процедур
© 2010 SAP AG. All rights reserved. / Page 11
В чем секрет скорости SAP NewDB ?
Тесная связь Application Server и NewDB
© 2010 SAP AG. All rights reserved. / Page 12
Типичная на сегодня архитектура решений
Business Intelligence
Не оперативно
Не гибко
Дорого
© 2010 SAP AG. All rights reserved. / Page 13
Вычисления “In-Memory“
Ускорение обработки – до1000 раз
Не требуется оптимизация
Больше данных при меньшем объѐме
Ускорение аналитических операций
© 2010 SAP AG. All rights reserved. / Page 14
СУБД с поколоночным хранением данных
Ускорение обработки – до1000 раз
Более эффективный расход места
Лучшая компрессия
Больше данных при меньшем объѐме
Отсутствие потребности в агрегатах и
индексах
Ускорение аналитических операций
© 2010 SAP AG. All rights reserved. / Page 15
Analytic Appliance
Ускорение обработки – до1000 раз
Аппаратно поддерживаемая паралельная обработка
Перемещение вычислений ближе к СУБД
Наличие встроенного сервера BI-аналитики
Уменьшение объѐма передаваемых данных
© 2010 SAP AG. All rights reserved. / Page 16
Данные в режиме реального времени
Уменьшение времени задержки
Детальные даные в хранилище данных
Инкрементальное обновление
Отсутствие потребности в выденном хранилище
оперативных данных
Полный цикл: реальная аналитика реального
времени
© 2010 SAP AG. All rights reserved. / Page 17
Управление корпоративной информацией
Интеграция данных, очистка и повышение качества
данных
Даные всех корпоративных систем
Актуальные данные в режиме реального времени
Облегчение загрузки данных из сторонних систем
Неструктурированные данные
Более гибкий, легче обслуживаемый “Business
Intelligence”
SAP NetWeaver Business Warehouse (BW),
powered by SAP HANA
© 2011 SAP AG. All rights reserved. 19
Новая версия BW для значительного увеличения
производительности Когда время становится конкурентным преимуществом
Быстрее отчетность и анализ
(запросы в 10-100 раз быстрее)
– Поколоночное хранение в памяти
– Распараллеливание запросов
– Ускорение Всех запросов
Снижение задержки в данных
(загрузка в 5-10 раз быстрее)
– Трансформации в памяти (ELT vs ETL)
– Инфокубы, оптимизированные для In-memory
– Процесс активации Data Store Object в памяти
Ускорение функций планирования
(расчет в 5-10 раз быстрее)
– Нет индексирования, таблиц агрегатов
– Машина вычислений в памяти (In-memory calculation
engine)
© 2011 SAP AG. All rights reserved. 20
SAP NetWeaver BW
Data Modeling
HANA
Data Management
Data Storage
Analytical / Planning
Engine
DBMS
SAP NetWeaver BW
Data Modeling
Analytical / Planning
Engine
Relational Database
Data Management
Data Storage
SAP NetWeaver BW – ХД, полностью работающее в ОП
© 2011 SAP AG. All rights reserved. 21
Другие ценности SAP NetWeaver BW7.3 on HANA
Более простая инфраструктура
и администрирование
DB и BWA сливаются в единую инстанцию
Благодаря поколоночной организации и высокой компрессии не
требуется хранение избыточных данных и агрегатов
Отпадает необходимость усилий
по ускорению отчетности
Значительно упрощается модель данных
Speed
Scale
Flexible
Демо
a) Быстрая отчетность (по Инфокубам BW on HANA)
b) Новая модель данных в BW on HANA
© 2011 SAP AG. All rights reserved. 23
Статистика компрессии данных
Disk Space
(in GB)
BW
Object
BW on RDB
(relational
DB)
BW on
HDB
(HANA
DB)
Factor
(rounded)
DSO Active
Records
TE11_SMP 19,84 0,98 20
DSO Change Log TE11_SMP 13,26 0,76 17
DSO New Data
(Activation Queue)
TE11_SMP 0 0 0
Cube's Fact Table TE11_SMA
D
7,54 1,58
5
Всего 40,64 3,32 12
© 2011 SAP AG. All rights reserved. 24
Статистика времени выполнения отчѐтов
© 2011 SAP AG. All rights reserved. 25
SAP NetWeaver BW7.3 Powered by SAP HANA Как версия BW 7.3 на HANA отличается от BW на xDB ?
SAP NetWeaver BW 7.x on xDB
• Standard DataStore Objects
• Data Base server and SAP NetWeaver
BWA
• Standard InfoCubes
• BW Integrated Planning
• HANA Data Marts running side-by-side
BW
SAP NetWeaver BW 7.3 on HANA
HANA optimized DataStore Objects
SAP HANA In-Memory platform
HANA optimized InfoCubes
In-Memory planning engine
Consumption of HANA artifacts created via HANA
studio
BW staging from HANA
Миграция не требует перевнедрения – существующие сценарии
продолжают работать
© 2011 SAP AG. All rights reserved. 26
Планирование на базе BW on HANA (BI-IP, BPC 4 NW) Быстрое планирование и более частое планирование
Push-Down Planning Logic to SAP HANA
– Традиционные приложения планирования
выполняют функции планирования на сервере
приложений
– Приложение In-memory запускает функции
планирования непосредственно в БД SAP HANA
Значительное ускорение функций
планирования
– Aggregation, Disaggregation
– Conversions, Revaluation
– Copy, Delete, Set value, Repost, FOX
– Performance boost for plan/actual analysis
Не требует перевнедрения
– Нет изменений в моделях планирования, planning
processes, MultiProvider, Запросах
Технология In-Memory позволяет работать с более короткими
циклами планирования !
Database
Layer
Database
Layer
User interface
Layer User interface
Layer
Application
Layer Application
Layer
Presentation
Orchestration
Calculation
Data
Presentation
Orchestration
Calculation
Data
SAP NW BW
SAP NW BW SAP NW BW
SAP NW BW
SAP
HANA xDB
© 2011 SAP AG. All rights reserved. 27
Архитектура планирования In-Memory
Database
Layer
Application
Layer
User interface
Layer Presentation
BEx query
Plan Session
Data index
Meta data
Delta buffer
constraints
Logic
save
Meta data Aggregation
Engine
Small data flow
Large data flow
© 2011 SAP AG. All rights reserved. 28
Пример: Планирование In-Memory Simple Disaggregation Example
Традиционный подход
1. Определение дельты +50
2. Дезагрегация (на сервере приложений)
по неделям (52)
по подразделениям (500)
26000 комбинаций / значений
3. Запись 26000 значений в БД
Подход, основанный на HANA
1. Определение дельты +50
2. Отправка 1 значения в БД
+ инструкция по дезагрегации
3. Дезагрегация (в In-Memory БД)
по неделям (52)
по подразделениям (500)
создание + сохранение 26000 значений
FY 2010
actual
FY 2011
plan
France 200 200
Germany 250 250
Italy 180 180
FY 2010
actual
FY 2011
plan
France 200 200
Germany 250 300
Italy 180 180
Пользователь меняет
плановое значение
ABAP AS App
DB
ABAP AS Next Generation
Next Generation Apps
HANA
Data in
memory Runtime
Procedure
code
Program
code
compile
& deploy
Fast data
transfer
© 2011 SAP AG. All rights reserved. 29
Rapid database migration of SAP NetWeaver BW to SAP
HANA
Миграция на СУБД HANA при помощи стандартных средств SAP OS/DB migration
SAP BW 7.30 SP07
RDBMS
SAP BW 7.30 SP07
HANA
BI clients BEx Query BI clients BEx Query
Rapid Deployment Solution (RDS):
SAP BW 7.3 SP07+, Unicode
SAP HANA 1.0 SP03+
© 2011 SAP AG. All rights reserved. 30
1) Project Setup based
on the Project
Management Institute
(PMITM) methodology
2) RDS Package
Prerequisite Check
Kickoff
3) Two test migrations
4) Productive Migration
5) Switch to Productive
System
6) Acceptance Test
Support & Go –Live
Support
Что входит в состав RDS (Rapid Deployment Service)
© 2011 SAP AG. All rights reserved. 31
Еще полезные сервисы RDS
• SAP HANA - Assessment Service
• Unicode Conversion Service
• Predefined upgrade assessment for SAP NetWeaver BW
• BW Technical Upgrade Implementation
© 2011 SAP AG. All rights reserved. 32
What others are saying
“A fascinating unreachable goal”
“We can deliver BW on HANA”
“Project completed in less than 2 weeks.. within 10
days”
“Really fast migration path”
“We „ve been able to reduce the database size by 80%”
“Smooth migration project”
“The great thing was - there was no need to change
processes”
“We „ve been able to reduce the load time significantly”
“Nice side effect: reduction of TCO because we have a
simplified landscape”
“We learnt that HANA will give us a boost in
performance”
© 2011 SAP AG. All rights reserved. 33
SAP NetWeaver BW Powered by SAP HANA Ramp Up Early Customer Adopters
© 2011 SAP AG. All rights reserved. 34
BW on HANA Ramp-up Results
Project Scope and Business Scenario:
Lenovo launched their BI Go Live Project in Nov 2011 with BW 7.3 on HANA 1.0 and
BusinessObjects BI 4.0 for reporting in Global Shipment Process. After a successful
implement and pilot, the went live in Mar 2012.
Performance and Benefits:
Reporting performance (Web Intelligence) improved by 2x to 20x
Data in HANA compressed by 2x after loading from database source BW system.
Huge and complicated data scenarios supported in HANA eg. 6 underline tables with more
than 100 million records; 20 tables more than 10 million records.
General BW Query performance improved from hours to minutes
Customer Quote/Feedback : “I personally was very convinced by the HANA technology. With the quick implementation, we are
able turn the HANA product into a solution reality at Lenovo, which significantly increased our
business end to end efficiency, without any business disruption” “Enabling HANA to run under our SAP BW sysemt is a very important milestone. I am now
confident that we have much greater capabilities for advanced reporting which will make our
operations more efficient and productive. In fact, I visited with our world wide manufacturing leads
who already were seeing benefits of this capability as we can now create key reports on shipping
more timely and accurately across all of our plants. This is the kind of capability we need to drive
operational excellence and become #1! “
XiaoYu Liu – VP, GM Global Applications Development
© 2011 SAP AG. All rights reserved. 35
BW-on-HANA: Выводы
The evolution of in-memory technology at SAP moves on
Latest stage: SAP HANA Database as a full fledged in-memory database
SAP BW as one of the first applications fully enabled to leverage the key strength of the new HANA
In-memory database
– Accelerated performance
− No special efforts to guarantee fast BWA like reporting on any DB object
− Accelerated In-Memory planning capabilities
− Performance boost for ETL processes
(DSO Activation 5-10 times faster, InfoCube load 5 times faster )
– Simplified administration and infrastructure
− DB and BWA merging in one instance for lower TCO
− Column based storage with highly compression rates and significantly less data to be
materialized and managed
− Simplified data modeling and reduced materialized layers
Dedicated optimizations available for different BW modeling objects
LSA reference architecture will stay as the recommended model in BW with slight changes
Вопросы и Ответы
Question?
© 2012 SAP AG. All rights reserved. 37
No part of this publication may be reproduced or transmitted in any form or for any
purpose without the express permission of SAP AG. The information contained
herein may be changed without prior notice.
Some software products marketed by SAP AG and its distributors contain
proprietary software components of other software vendors.
Microsoft, Windows, Excel, Outlook, and PowerPoint are registered trademarks of
Microsoft Corporation.
IBM, DB2, DB2 Universal Database, System i, System i5, System p, System p5,
System x, System z, System z10, System z9, z10, z9, iSeries, pSeries, xSeries,
zSeries, eServer, z/VM, z/OS, i5/OS, S/390, OS/390, OS/400, AS/400, S/390
Parallel Enterprise Server, PowerVM, Power Architecture, POWER6+, POWER6,
POWER5+, POWER5, POWER, OpenPower, PowerPC, BatchPipes,
BladeCenter, System Storage, GPFS, HACMP, RETAIN, DB2 Connect, RACF,
Redbooks, OS/2, Parallel Sysplex, MVS/ESA, AIX, Intelligent Miner, WebSphere,
Netfinity, Tivoli and Informix are trademarks or registered trademarks of IBM
Corporation.
Linux is the registered trademark of Linus Torvalds in the U.S. and other
countries.
Adobe, the Adobe logo, Acrobat, PostScript, and Reader are either trademarks or
registered trademarks of Adobe Systems Incorporated in the United States and/or
other countries.
Oracle and Java are registered trademarks of Oracle.
UNIX, X/Open, OSF/1, and Motif are registered trademarks of the Open Group.
Citrix, ICA, Program Neighborhood, MetaFrame, WinFrame, VideoFrame, and
MultiWin are trademarks or registered trademarks of Citrix Systems, Inc.
HTML, XML, XHTML and W3C are trademarks or registered trademarks of W3C®,
World Wide Web Consortium, Massachusetts Institute of Technology.
© 2011 SAP AG. All rights reserved.
SAP, R/3, SAP NetWeaver, Duet, PartnerEdge, ByDesign, SAP BusinessObjects
Explorer, StreamWork, SAP HANA, and other SAP products and services
mentioned herein as well as their respective logos are trademarks or registered
trademarks of SAP AG in Germany and other countries.
Business Objects and the Business Objects logo, BusinessObjects, Crystal
Reports, Crystal Decisions, Web Intelligence, Xcelsius, and other Business
Objects products and services mentioned herein as well as their respective logos
are trademarks or registered trademarks of Business Objects Software Ltd.
Business Objects is an
SAP company.
Sybase and Adaptive Server, iAnywhere, Sybase 365, SQL Anywhere, and other
Sybase products and services mentioned herein as well as their respective logos
are trademarks or registered trademarks of Sybase, Inc. Sybase is an SAP
company.
All other product and service names mentioned are the trademarks of their
respective companies. Data contained in this document serves informational
purposes only. National product specifications may vary.
The information in this document is proprietary to SAP. No part of this document
may be reproduced, copied, or transmitted in any form or for any purpose without
the express prior written permission of SAP AG.