主題：推升企業應用基礎架構性能:智慧平行處理儲存系統

公司名稱：DataCore

主講人：Ken Yang（資深技術顧問）

軟體定義的精神 不受硬體的汰換更迭

服務的回應速度 使用者的體驗

資料的重要性

• 應用服務運行效率不佳影響商業營運

– 儲存瓶頸導致效能無法跟上

• Downtime is expensive

– 儲存的RTO比伺服器長

• 預算老是太緊，但資料成長快速

– 儲存花費將佔未來很高支出比例

• 異質儲存設備造成的不彈性與僵化

– 儲存硬體彼此不相容

IT人的困擾

3

IT效能瓶頸中的最後一哩

傳統硬體儲存架構

應用服務對於速度的迫切需求

• 資料庫系統約佔應用服務的60%;也是公司創造利潤的來源;尋求可以提高更快的交易系統!

• 因為擔心效能，很多重要的資料庫系統通常運行於非虛擬化平台

• 常見作法:將資料庫存放於高速儲存媒體以達成高速交易!

業界寄望於更快的儲存體

磁碟陣列的速度取決於 • Drive RPM • Cache size • Interface speed • RAID levels • Spindle count

快閃磁碟陣列 • Goal: “1 IOPS per

transaction” • Parallelism is essential • Direct I/O access • Network driver

(interrupts) streamlining

Parallel平行 vs. Serial序列

如何加速處理等待的需求們?

VS

8

現代的多核心CPUs

Worker 1

Worker 2

Worker 3

Worker 4

Worker 5

Worker 6

Worker 7

Worker 8

Worker 9

Worker 10

多個 “workers” 能同時處理運算, 網路，與I/O loads

10 cores

9

應用服務效能不佳 不是CPU與記憶體不夠快， 而是底層系統如何處理I/O

VM 1

VM 2

VM 3

VM 4

VM 5

idle I/O idle idle idle

運算 平行處理

I/O 序列處理

VM虛擬化服務

10核心CPU

10-cores

序列 I/O處理瓶頸

高速運算總是在等待I/O處理 Compute

I/O

Workload

序列 I/O處理瓶頸

高速運算總是在等待I/O處理

CPU多核心資源被浪費 Compute

I/O

Workload

序列 I/O處理瓶頸

高速運算總是在等待I/O處理

CPU多核心資源被浪費

龐大資源=完成少許工作

Compute

I/O

Workload

13

序列 I/O處理瓶頸

Compute

I/O

Workload

高速運算總是在等待I/O處理

CPU多核心資源被浪費

龐大資源=完成少許工作

14

序列 I/O處理瓶頸

Compute

I/O

Workload

高速運算總是在等待I/O處理

CPU多核心資源被浪費

龐大資源=完成少許工作

混合的應用負載 (例如虛擬機環境)

Hypervisor (VMware, KVM, Hyper-V…)

VM 2 VM 3 VM 4 VM1

有限的I/O處理技術瓶頸

15

Database Mail ERP Mail

16

結果 :

大量workload

Server 1

17

結果 : 購買更多主機分散大量IO工作

大量workload

Server 1

Server 2

Server 3

18

結果 : 購買更多主機分散大量IO工作

大量workload

Server 1

Server 2

Server 3

Server 4

Server 5

以平行處理提升Raw I/O處理… • 使用DataCore獨家Adaptive Parallel I/O 技術

• 加速成效於Storage Performance Council’s SPC-1™ Benchmark網站 (SPC-1 workload is a database)

• DataCore的虛擬儲存平台亦提升傳統儲存設備效能，資料庫可以取得比原本更快的速度

沒有 Adaptive Parallel I/O… 資料庫 I/O 採循序處理…

使用 Adaptive Parallel I/O… 資料庫 I/O 採平行處理 提升300%

當多執行緒應用遇上平行處理儲存系統 現代的多執行緒應用 + 傳統序列處理儲存系統

現代的多執行緒應用 + 現代的平行處理儲存系統

多執行緒應用服務 (資料庫、虛擬化)

多執行緒應用服務 (資料庫、虛擬化)

多執行緒應用服務 (資料庫、虛擬化)

序列式儲存I/O 序列式儲存I/O 與裝置儲存池化

儲存管理者: 效能不佳、我們需要增加更多磁碟

儲存管理者: 延遲仍舊存在，占用 過多空間，昂貴!

儲存管理者: 效能大幅提升，不佔據 過多空間，

平行式儲存I/O

不中斷 快速消化佇列

定性 平行處理

過多中斷處理 佇列排序 非定性 序列處理

21

15 June 2016

# SPC-1 IOPS™

Tested Product Avg Response

(ms) Price

Price-Performance

1 5,120,098 DataCore Parallel Server 2-node 0.28 $ 506,525 $0.10

2 3,010,007 Huawei OceanStor 18800V3 0.92 $ 2,370,763 $0.79

3 2,004,941 Hitachi VSP G1000 / HP XP7 0.96 $ 2,003,803 $0.98

4 1,239,898 Kaminario K2 (K2F00000700) 2.95 $ 997,348 $0.80

5 1,201,961 DataCore SANsymphony HA-FC 0.22 $ 115,142 $0.10

6 1,005,893 Huawei OceanStor 18800 5.17 $ 2,794,971 $2.78

7 780,081 IBM Power 780 server with SSDs 18.9 $ 3,557,709 $4.56

8 685,281 NetApp FAS8080 EX All-Flash 1.23 $ 1,897,999 $2.77

9 650,987 Huawei OceanStor 6800 V3 3.36 $ 1.488,036 $2.29

10 605,016 NEC Storage M710F 1.71 $ 492,726 $0.81

• SPC-1 IOPS: 5,120,098 Avg: Response Time: 0.28 Milliseconds

• Total Price: $ 506,525 Price-Performance: $0.10 per SPC-1 IOPS

Qty 2 Lenovo X3650 M5 Server, each with:

• 2 – Intel® Xeon® 2.30 GHz E5-2699 V3 processors each with 18 cores

• 1536 GB RAM

• Mix of SSDs and HDDs internal & external

• RAID Controllers & Avago SAS HBA

• Qlogic 16 Gbps Fibre Channel HBAs (host connections)

• Brocade Switch

• UPS

22

SPC-1 World number 1 DataCore™ Parallel Server Software

23

$2,370,764 (兩百三十萬美元)

3,010,007 SPC-1 IOPS

$0.79 / SPC-1 IOPS

0.92 millisecond response

DataCore™ Parallel Server

#2 華為 OceanStor 18800 V3

• 4096 GB Storage Cache • 24櫃共512顆400GB SSD組成

24

• $2,003,803(兩百萬美元)

• 2,004,941 SPC-1 IOPS

• $1.00 / SPC-1 IOPS

• 0.96 millisecond response

#3 Hitachi VSP G1000 a.k.a. OEM HP XP7

DataCore™ Parallel Server

• 2048 GB Storage Cache • 1.6TB Flash Module * 64片

7.4

3.0

1.2 1.1 0.9 0.3

0

2

4

6

8

IBM SVC v6.2

w/ Storwize

$3.6M 0.52M IOPS

Kaminario K2

$1.0M 1.24M IOPS

NetApp FAS8080

EX

$1.9M 0.69M IOPS

Hitachi VS Platform G1000

$2.0M 2.01M IOPS

Huawei OceanStor 18800 V3

$2.3M 3.01M IOPS

DataCore

$0.04M 0.46M IOPS

Latency (milliseconds)

26

DataCore 性價比/最低延遲 第一名

“The DataCore/Lenovo system had an average response of 0.32 milliseconds at 100 percent load.” “The chart-topping Hitachi VSP G1000 had a 1.15 millisecond average response at 100 percent load, 72 percent slower and costing 98 percent more.”

“This is just unreal.”

Chris Mellor

27

使用DataCor前，SQL資料庫磁碟平均回應時間 晚上尖峰交易量

磁碟平均回應時間拉長

28

使用DataCor之後，SQL資料庫磁碟平均回應時間

透過DataCore平行IO處理與快取機制 大幅降低總體磁碟回應時間

降低延遲、提升速度是當下資料庫技術的雙重目標

• 在採購評估昂貴的主機或儲存設備前，嘗試DataCore技術!

• 助您在不異動既有環境前提下，帶來令人訝異的速度提升

Full Stack of Storage Services Feature Highlights Software-defined Storage Platform

AVAILABILITY

Synchronous Mirroring

Snapshots / Backups

CDP

Asynchronous Replication

PERFORMANCE

Caching

Random Write Accelerator

Auto-tiering

Quality of Service (QoS)

EFFICIENCY

Thin Provisioning

Storage Pooling

Data Migration

Deduplication/Compression

MANAGEMENT

NAS/SAN (Unified Storage) VVols Centralized

Management Analysis & Reporting

Cloud Integration

VIRTUALIZED HOSTS PHYSICAL SERVERS

Adaptive Parallel-IO

Stretch Cluster for Higher Availability

Room A

Building A

City A

On-premises

Room B

Building B

City B

Cloud

零停機 • Active/Active雙活容錯回復 • 同地或異地

自動切換與恢復 • 全自動化切換機制 • 線上維護

(升級與遷移)

最低的TCO • 在不同地點掛接異質儲存 • 保留既有儲存設備

Active / Active

Data 資料兩地 鏡像 Data

Virtual disks

Path 1 Path 2

SSV-2 SSV-1

PROTECTION

滴水不漏的資料保護機制

32

Sync Mirror (HA)

CDP Snapshot

Remote Replication (DR)

硬體冗餘(Redundant) 發生單點故障、維護等事件，前端I/O不停頓

最長14日保護周期 以秒為單位的時間點還原

連續性IO日誌紀錄作業

使用IP進行資料傳輸 最經濟的傳輸方式將資料備份至異地 提供測試模式、離線初始化等各種彈性DR方式

可連動本地端主機，將快照拍在異地

以虛擬磁碟為單位進行快照 內建Full clone與View兩種快照 透過特有的快照更新技術，降低clone所需的時間

建立與還原僅需5秒 排程更新快照

台 北

高 雄

PROTECTION

33

Storage Auto-Tiering

支援15分層

Hosts

NL SAS 15k SAS Cloud Storage

Flash

Virtual disks

TIER 1 TIER 2 TIER 3 TIER 4 TIER n

儲存池

SATA

儲存快取

Frequently Accessed

Infrequently Accessed

Moderately Accessed

VIRTUAL DISK

冷卻資料區塊

SAS SATA Flash Cloud

Hot Cold Warm Archive

越活躍資料區塊

PERFORMANCE

資料區塊熱度

資料區塊熱度偵測 : 讀+寫

低成本硬碟的加速器，提升OLTP或隨機寫資料庫寫入速度

34

0 5000 10000 15000 20000 25000 30000 35000 40000 45000

SATA HDD

SSD

RAID5 Mirrored

Before

After

See: RWA Video

33X Faster

3.6X Faster

46X Faster

Note: SATA + DataCore outperforms SSD

IOmeter test: 100% write, 100% random workload with a 4K block size and 64 I/Os outstanding

Random Write Accelerator

PERFORMANCE

更直覺的效能分析資訊 前20大磁碟效能圖表 (IOPS, Throughput, Avg Latency)

OPERATION

36

提供儲存池空間使用預測資訊

• 根據Bytes Allocation數據來預估儲存池成長的趨勢

• 提供管理者儲存設備擴充與採購規劃

OPERATION

37

精細的 QoS 控管

第一層QoS設定於主機層級

第二層QoS設定於虛擬磁碟層級

可結合於 VVOL 應用，提供 VM 層級I/O 流量控管

OPERATION

38

Performance Management

水位警示

效能歷史紀錄

線上效能

報表

MANAGEMENT

39

提供更細緻的權限控管設定

• 適用大型企業或雲端環境進行複雜角色管理

• 能自行新增Role，並設定細部操作權限(Privilege)後，指定給特定 User

MANAGEMENT

支援vSphere VVOLs

VM VM VM VM

依據 VM 的儲存政策管理 (SPBM)，挑選並自動部署到合適的 DataStore (DataCore DiskPool)

1. 儲存設備管理者:

► 依據 DataCore Virtual Disk

Templates 建立儲存容器 (Storage

Container)

2. vSphere 管理者:

► 依據儲存容器所提供的屬性，定義

虛擬機儲存政策– 例如 Gold, Silver,

Bronze

► 在建立新虛擬機時，會依據儲存政

策規則，挑選並自動部署於合適的

儲存容器中

3. 儲存廠商開發的API (VASA) 讓虛擬機

和儲存容器間的操作和關係連結起

來，提供 VM 層級的部署和管理

1

2

Storage Container

3

1

2

3

3

Storage Profiles Disk Type Deduplication Auto-Tiering Sequential Storage CDP

MANAGEMENT

41

DataCore 解決方案應用面

Converged Storage Servers

• 高可用資料 • 精簡儲存架構 • 應用加速

Hyper-converged Cluster

• 中小/遠端分公司 • 應用叢集

Virtualized External SAN

• 應用加速 • 高可用資料 • 異質儲存整合

VM VM VM VM VM VM VM VM

VM VM VM VM VM VM VM VM

VirtualSAN SANsymphony-V

42

完整的資料保護+最佳Cost Performance