20
即時洞察成就非凡 Real Time Data Platform Ying-Jie Chen / Ben Hsiang July 25, 2013

Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

Embed Size (px)

Citation preview

Page 1: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

即時洞察成就非凡 Real Time Data Platform Ying-Jie Chen / Ben Hsiang July 25, 2013

Page 2: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 2

ERP應用,非ERP應用,BI應用,行動終端等

Enterprise Data Warehouse

HANA應用 1...n

DW應用 (BW)

定制應用 1...n

SQLAnywhere 行動資料庫

Mobile 應用 事件監控應用

大數據 Big Data

行動與雲端 Store & Forward Database

for Mobile and Cloud

即時業務 ERP Real-Time Business

高交易處理應用 Extreme

Transaction Processing

ERP, NW 1...n

ESP 事件流處理 即時監控

ASE 適合企業

核心業務系統

HANA 適合即時企業核心業務和即時分析報表

IQ 資料倉庫和分析

平臺

SAP 資料庫策略: 為不同類型的應用提供資料庫平臺

Page 3: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 3

Database & Technology 戰略

Database & Technology 資料庫和技術

ASE

HANA

IQ

ESP SQLAnywhere BIG

DATA

EIM 企業資訊管理

Meta Data Mgt. 中繼資料管理

Data Asset Maintenance 資料資產維護

Master Data & Reference Data 主資料和參考資料

Integration & Mgt. 資料整合與管理

Data Services (DQ and DI) Process Integration Data Federator Text Analytics Information Steward Data Migration Services Replication Services

Master Data Management Master Data Governance Information Steward

Enterprise Content Management

Document Access Archiving Information Lifecycle

Management

Information Steward Power Designer

Page 4: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 4

SAP Real-Time Data Platform 即時資料平臺

SAP Enterprise Information Management

MPP

Sc

ale-

Out

ASE HANA IQ

ESP

SQLAnywhere

HAD

OO

P

3rd

Par

ty

SAP Sybase Replication Server SAP Data Services SAP MDG, MDM

Open Developer API’s and Protocols

Com

mon

Mod

elin

g Sy

base

Pow

erD

esig

ner

Com

mon

Lan

dsca

pe M

anag

emen

t

SAP Real-time Data Platform

SAP Business

Suite

SAP Business

Warehouse

SAP Analytics

SAP Mobile

SAP Big Data Applications

SAP NetWeaver (On Premise / Cloud)

3rd Party BI Clients

Custom Apps

Page 5: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

Case Sharing: Infineon Technologies How SAP RTDP Is Used to Process High-Velocity Manufacturing Data

Page 6: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 6

Infineon Technologies AG

歐洲第二大半導體公司 automotive, power, chip card

2011 全年營收超過 4 Billion EUR

全球過 26454 個員工

20 R&D locations

Infineon Dresden

Page 7: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 7

目標:Semiconductor Yield Improvement

Highly-Competitive Industry

整個過程需要6-8個星期,約500-1000流程在

無塵室

過程之中任何停止生產的結果將會造成10-100

億美元的美元損失

Yield (良率) = 在生產晶圓的模具上正確執行

的比例

0.1% improvement in Yield leads to $7 mln in

savings

Page 8: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 8

關鍵技術的挑戰

High-velocity

Streaming Sensor Data 100s of sensor per machine with

1kHz

需要低延遲的分析 – 現階段超過30分

鐘才有辦法取得要分析的資料

需要更先進的分析演算法 - Clustering

on streaming data

Novellus Sabre Plating Cell

Page 9: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 9

Clustering Analysis – 設備複雜事件分析

Sensor1: Sensor2

Sensor 1

Sensor 2

time

time

Cluster 1

● (t1,t2) ● (t3,t4)

Exception

● (t5,t6)

t1 t2 t3 t4 t5 t6

∆t

Page 10: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

Demo

Page 11: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 12

Use Case Summary

針對每個廠房超過700個設備都可以進行複雜事件即時分析

Big Data 大數據分析:每個設備每天量測資料超過1 terabyte

可即時的進行分析,達到 improve yield 以及 reduce

downtimes

ASE

HANA

IQ

ESP SQLAnywhere BIG

DATA

Page 12: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

揭密 SAP RTDP 精確分析

Page 13: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 14

海量數據時代資料管理的現況 - 睿智資料管理的急迫性更加突出

資料爆炸 Volume, Variety & Velocity

Glo

bal d

ata

volu

me

Future 2015 2011

1.8 Zettabyte

s

Customer Data

Automobiles Machine

Data

Smart Meter

7.9 Zettabytes

! Point of

Sale

Mobile

Structured Data

Click Stream

Social Network

Location- based Data

Text Data

IMHO, it’s great!

RFID

“Garbage In, Garbage Out”

決策失誤

業務流程出錯, 造成商業損失 !

基礎硬件擴充

Page 14: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 15

SAP RTDP 資訊供應方案 - 即時資料處理平台配套的先進資訊供應鍊

SAP Real-Time Data Platform 搭配的資訊管理 (IM) 解決方案

In-memory/real-time

SAP HANA

SAP Real-time Data Platform

SAP Sybase ESP streams

SAP Sybase SQL Anywhere

mobile and embedded

SAP Sybase IQ EDW

SAP Sybase ASE transactions

SAP Data Services 與 SAP Information

Steward

Common programming APIs

SAP

Syba

se P

ower

Des

igne

r

SAP Sybase Control C

enter m

onitoring Hadoop Big Data

彙整 - 前所未有的信息涵蓋廣度

發掘 - 提供全新視野的信息深度

信賴 - 優化決策品質的信息可信度

Page 15: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 16

非結構化 資料

結構化 資料

強強結合助力業務洞察更上一層樓 - SAP D&T 海量數據分析提升 SAP Business Suite 業務數據價值

Page 16: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 17

網站訪問 客服中心 社交軟體

GPS 定位

條碼 RFID 其他 M2M 數據流 …

SAP RTDP IM 資料供應鍊解決方案 - Out-of-Box 的非結構化數據流接口

Page 17: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 18

轉移

改良

解鎖

治理 端到端的資安管控

網頁版管理介面

Eclipse 設計工具

SAP Data Services 4.x

ETL

資料品管

資料分析 文字分析

統一系統管理, 彈性佈署技術平台

採用 SAP Data Services 方案實現 RTDP 資料供應 - 一站式的數據供應平台

Page 18: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 19

SAP PowerDesigner SAP Information

Steward

建模逆向工程

建模變更 &版本管理

業務與技術建模

業務名詞分享&治理

資料品管監控

資料血源&衝擊分析

業務名詞字庫

元數據

管理

SAP Information Steward 與 PowerDesigner 提升 RTDP 資料治理水準

Page 19: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

© 2013 SAP AG. All rights reserved. 20

千錘百鍊的 SAP RTDP IM 解決方案 - 全球市場領先地位指標

10,000+ 全球 SAP IM 客戶數量

800+ 2012 年度新增的Data Services 客戶數

90% 客戶滿意度

Leader 顧能 2012 年度 [資料品管] & [資料整合] 魔術象限

#1 在 [資料品管] 領域的市占率 Gartner Market Share:

All Software Markets, Worldwide, 2011

:-)

Page 20: Real Time Data Platform 事件流處理 即時監控 ASE HANA 適合企業 適合即時企業核心業 核心業務系統 平臺務和即時分析報表 ... SAP Sybase Replication

Thank you

Contact information: Cheng Ying-Jie [email protected] Ben Hsiang [email protected]