SDS (Software Defined Storage) › Guest › Docs › 20140813_88_ActivityFile_5.pdf · • 最新的高效能CPU處理IO作業 • Multi-thread 處理執行緒強化 • 易於擴充IO

Copyright © 2014 DataCore Software Corp. – All Rights Reserved.

SDS (Software Defined Storage) 重塑高效率與靈活彈性的儲存整合平台

Ken Yang / 楊建國

[email protected]

Copyright © 2014 DataCore Software Corp. – All Rights Reserved. 2

巨量的儲存成長


典型的解決方式?

持續採購互不相容的硬體…………..

持續增加的儲存孤島


傳統的硬體儲存設備

4

導入期使用期交替期

資料的價值

硬體設備

的價值

難以預測的儲存需求

導致投資過剩受限於儲存硬體能提供之功能

設備EOL與EOS所造成的限制

僅依賴硬體提供之可靠度

(RAID、Controllers、

Redundant Power)

個別的應用需求

導致不斷增加的儲存孤島擴充性只能侷限於該硬體規格設備汰換時資料遷移造成的服務停止


你的Cloud Infra真的穩固嗎?

１．I/O負載集中

由於虛擬機器集中運作，所產生的I/O負載將比一般傳統應用高，虛擬環境對儲存I/O效能將十分依賴。

２．故障影響層面廣泛

Storage的停擺，意味著將造成所有虛擬機器無法運作。尤其當Storage需要停機維護時，將是管理上的一大挑戰。

３．空間的成長與擴充 ?

由於虛擬機器數量不斷成長，若Storage之擴充能力與延展性不足，對管理員擴充調度上將造成困擾。

Your Cloud Blade Servers Virtual Servers Physical Servers


3 整合所有儲存空間達成中央管控

用對的解決方案做對的事情，軟體的能力應該能…

1 讓不同的儲存設備彼此溝通

甚麼是軟體定義儲存 (Software-defined Storage)?

讓硬體維護,資料遷移, 硬體汰換更方便

4

讓軟硬分家 2


軟體定義的儲存虛擬化

7

Storage HyperVisor

資源

管理

快取

加速

I/O不中斷

無停機

資料

保護

備份

BCP/DR

PCI-e高速

SSD

高階儲存

設備

低階

DAS / SAN

Server

Internal Disk 雲端

儲存

資源與I/O最佳化

提供各種不同資料保護功能

彈性選擇容量、效能、成本之設備

資料最適資源配置

品牌、型號、跨生命週期管理

以虛擬磁碟為管理基礎

支援各種系統與應用平台

聚合各種儲存資源

持續使用既有過保之儲存資源


豐富的儲存控制功能

8

打造屬於自己的儲存 10th generation product

Runs on standard x86 servers

Most comprehensive hardware

agnostic storage stack in the industry

25,000+ deployments worldwide

SANsymphony™-V10 Cross-device Storage Services

Auto-tiering

Async Replication

Storage Pooling

Storage Load Balancing

Centralized Management

Analysis & Reporting

Sync Mirroring

Adaptive Caching

Thin Provisioning

Data Migration

Snapshots

Continuous Data Protection

NAS/SAN (Unified Storage)

Virtual SAN

DataCore

• 1998成立 • 業界第一家SDS方案 • 無硬體色彩


解決儲存與資料的各種困難與議題

9

• 儲存效能提升 • 大量儲存快取 • IO水平延展能力 • 自動儲存分層

Performance

Enhancement

10x

效能提升

• 消除各種計畫性/ 非計劃性停機問題

• 完備的資料保護功能

Data

Protection

100%

降低儲存停機時間

• 空間使用率增加 • 儲存異質整合 • 靈活儲存資源遷移 • 簡便的管理方式 • 既有儲存再利用

Capacity

& Management

75%

儲存成本降低

90%

降低管理時間

4x

空間利用率


關於Capacity Management

10

75%

儲存成本降低

4x

空間利用率

90%

降低管理負擔

• 空間使用率增加

• 儲存異質整合

• 靈活儲存資源遷移

• 簡便的管理方式

• 既有儲存再利用


Storage Hypervisor / 異質儲存整合

11

B儲存設備

C儲存設備

A儲存設備

vDisk

vDisk

vDisk

儲存虛擬化層

業界唯一真正跨異質儲存管理

支援各種介面硬體儲存設備，

儲存資源集中再分配

支援業界標準儲存協定與介面 : SCSI/FC/SAS/SATA/iSCSI(1/10G)/FCoE

Thin Provisioning

虛擬磁碟 Max : 1PB

儲存資源聚合

iSCSI/FC


提供上千個極大的虛擬空間磁碟給前端主機 (例. 100 TB disks)

只佔據實際用到的儲存空間

當需要更多空間自動進行配置

減少LUN resize的機會

搭配作業系統進行自動空間回收

12

Thin Provisioning 精簡配置

隨需配置空間，靈活彈性運用


不停頓的儲存資源維護

• 減少因儲存設備升級的停機時間

• 重整回收原本實體無效率的空間配置方式

線上遷移異質儲存資源 (Zero Downtime)


線上汰換儲存資源 (Pool disk sync)

儲存池

預備淘汰

設備

新購儲存設備

無接縫轉移舊儲存設備資料到新儲存設備 ► 退役舊設備

► 遷移設備至新地點

前端主機無感進行遷移

所有資料保持一致

VDisk


安全的移除資源池中的儲存設備且服務不中斷

► 除役老化、有問題的磁碟設備

► 想縮小儲存池

資料自動分佈至資源池中其他儲存設備

► 不中斷服務

► 不需替換磁碟

► 智慧自動維持最佳效能水準

Auto Re-balancing

15

挪為他用

(測試/備份…)


Resource allocation ► Basis for billing & chargebacks

Configuration reports Exportable to:

► PDF (Adobe) ► HTML (website) ► MHT (single file website) ► RTF (Rich Text) ► XLS (Excel) ► XLSX (Excel 2007+) ► CSV ► TXT (plain text) ► Image (JPEG, PNG, GIF, etc)

Customizable ► Sort / Filter / Search

資源使用率報表

16


即時/歷史效能紀錄功能

17

可匯出成CSV 進一步分析

指定記錄的counter


整合性與管理

Microsoft System Center

Operations Manager

VMware

vCenter Plug-in

• 支援VMware VAAI 、SRM • 支援Microsoft ODX


關於Performance Enhancement

19

• 最高 10X 效能提升

• 大量儲存快取

• IO水平延展能力

• 自動儲存分層


20

越來越高的I/O負載

• 虛擬化易於使用 • 虛擬機數量增加 • IO量相對提升 • 資料量提升

昂貴的儲存設備、有限的處理能力

I/O I/O


Cached Array

CPU

寫入快取直接回應

磁碟陣列

偕同寫入 (write coalesce)

常用數據快取讀出

預讀 (Prefetch & Read-ahead)

高速

Level 1 Cache

（最高支援 1TB）

Non-Cached Array

CPU

CPU CPU

Disk Drive 4000 – 6000

DataCore L1 Cache < 20

Array L2 Cache 250 – 300

平均回應時間 (µS)

Cached Array

Write

Read

高速&大量儲存快取主機主機

DataCore 儲存控制器


DataCore boost Your SAN

22

I/O Request I/O Request

儲存池資源平均分散儲存池資源平均分散

最大1TB快取最大1TB快取

自由擴充CPU與IO port

大量高速儲存快取提升IO回應速度

• DataCore支援最高1TB之快取 • 提升Read / Write IO回應時間 • 相較傳統儲存設備，最經濟的解決方案 • 16年儲存快取設計經驗

隨時可以向上提升擴充資源

• 最新的高效能CPU處理IO作業 • Multi-thread 處理執行緒強化 • 易於擴充IO port (16G/40G/56G)

IO作業分流分散

• 對後端儲存池中使用DataCore I/O分散技術

• 易於擴充作業 • 越多的磁碟加入，IO性能越高 • 可設定閥值用以監控各磁碟與儲存

池效能與水位


以下為利用現有設備進行效能測試結果，儲存設備為 IBM N6040 （OEM from NetApp FAS3140）。

無論是大區塊循序讀寫（模擬大檔案存取）或各種形式小區塊讀寫（模擬 OLTP 資料存取），透過虛擬儲存平台快取機制皆對原有 N6040 儲存設備效能具有顯著加速作用，尤其在小區塊讀寫時，更可將 N6040 效能提昇至 200% 以上 !

效能提升 - 1

23

Seq Rnd BS Read Write N6040 DataCore N6040 DataCore N6040 DataCore

100% 0% 32KB 50% 50% 20,789 22,418 649 700 2.7 2.4

40% 60% 8KB 65% 35% 6,789 10,200 53 79 7.5 4.0

0% 100% 4KB 70% 30% 5,265 12,805 21 50 10.1 3.7

0% 100% 8KB 70% 30% 5,657 12,331 44 96 9.0 3.5

100% 0% 32KB 50% 50% 22,641 24,651 707 770 2.5 2.2

40% 60% 8KB 65% 35% 5,118 12,418 40 97 11.0 4.0

0% 100% 4KB 70% 30% 5,939 14,321 23 55 9.0 3.3

0% 100% 8KB 70% 30% 6,020 13,238 47 103 9 4

Average Resp. Time

(ms per I/O)

Physical

Windows Server

VMware VM

ESX 4.1

I/O

PatternTest

Platform

Transactions

(IOPS)

Throughput

(MB/s)

DataCore - HP DL380 G7

IBM N6040 8GB Cache

FC 8Gbps


Test

Platform I/O

Pattern

Transaction

(IOPS)

Throughput

(MB/s)

Average Resp.Time

(ms per I/O)

Infortrend DataCore Infortrend DataCore Infortrend DataCore

Physical

Windows

Server

Max Throughput

循序性 : 100%

隨機性 : 0%

IO區塊大小 : 32KB

讀寫比例 : 50%讀，50%寫

8298

9082

259.33

283.81

7.0045

6.4055

RealLife

循序性 : 40%

隨機性 : 60%


讀寫比例 : 65%讀，35%寫

1018.62

5257.86

7.96

41.08

54.8409

8.78

Random

循序性 : 0%

隨機性 : 100%


讀寫比例 : 70%讀，30%寫

750.23

5238.00

5.86

40.92

75.4681

8.7182

效能提升 - 2

• 與Infortrend 3000系列（中階儲存設備）進行效能測試結果。

• 與DataCore介接採FC 8Gbps通道。

• 無論是大區塊循序讀寫（模擬大檔案存取）或各種形式小區塊讀寫（模擬

OLTP 資料存取），透過虛擬儲存平台快取機制皆對原有儲存設備效能具有顯著加速作用，尤其在小區塊讀寫時，更可將效能提昇至 800% 以上 !


Test

Platform I/O

Pattern

Transaction

(IOPS)

Throughput

(MB/s)

Average Resp.Time

(ms per I/O)

QNAP DataCore QNAP DataCore QNAP DataCore

Physical

Windows

Server

Max Throughput

循序性 : 100%

隨機性 : 0%


讀寫比例 : 50%讀，50%寫

3479

6571

108

205

17.38

8.26

RealLife

循序性 : 40%

隨機性 : 60%


讀寫比例 : 65%讀，35%寫

170

741

1.33

6.21

350.59

23.44

Random

循序性 : 0%

隨機性 : 100%


讀寫比例 : 70%讀，30%寫

97.8

795

0.76

6.21

612.97

14.95

效能提升 - 3

• 與QNAP TS-1279(7.2K*12 )系列進行效能測試結果。

• 與DataCore介接採iSCSI 1Gbps通道。


OLTP 資料存取），透過虛擬儲存平台快取機制皆對原有儲存設備效能具有顯著加速作用，尤其在小區塊讀寫時，更可將效能提昇至 700% 以上 !


Test

Platform I/O

Pattern

Transaction

(IOPS)

Throughput

(MB/s)

Average Resp.Time

(ms per I/O)

IBM

Flash810

DataCore IBM

Flash810

DataCore IBM

Flash810

DataCore

Physical

Windows

Server

循序性 : 100%

隨機性 : 0%


讀寫比例 : 50%讀，50%寫

21363

38715

667

1209

2.53

1.44

循序性 : 40%

隨機性 : 60%


讀寫比例 : 65%讀，35%寫

45716

61203

357

474

1.04

0.91

循序性 : 0%

隨機性 : 100%


讀寫比例 : 70%讀，30%寫

46405

60753

362

478

1.01

0.90

• 與IBM Flash System 810 (快閃儲存設備)系列進行效能測試結果。

• 與DataCore介接採FC 8Gbps通道。


OLTP 資料存取），透過虛擬儲存平台快取機制皆對原有儲存設備效能具有顯著加速作用，尤其在小區塊讀寫時，仍可將效能壓榨出 130% 以上 !

效能提升 - 4


有效利用高速SSD/Flash

27

• 高速I/O

• 單點錯誤

• 高成本

PCIe Flash

PCIe Flash

PCIe Flash

SAS/SATA

SAS/SATA

• 高速I/O

• Full Redundant

• 伺服器獨佔

• 自動分層

• FC/ISCSI分享

有效運用高速SSD/Flash裝置

• SANsymphony-V 可以活用高成本的SSD/Flash資源，提高其附加價值

• 最低的開銷、最高的I/O服務 • 讓更多的應用服務享受到SSD/Flash

高速回應的優勢

SSD/Flash裝置完全冗餘

• 透過Sync Mirroring (HA) 機制，對SSD/Flash提供高可用保護

SSD/Flash裝置階層化

• 結合Auto Tiering(AST)為企業節省大量投資在Flash/SSD成本

• 效能與成本同時兼顧 (Cost / Performance)


支援15 個儲存階層、隨時線上調整

28

Tier 1 Tier 2 Tier 0 Tier n

Hot Cold Warm Archive

高於平均存取率,移動至上一層低於平均存取率,移動至下一層

以區塊層級評估資料之活躍程度，應用主機資料跨所有儲存階層

Auto Tiering 動態最佳化儲存資源

Flash SAS SATA 雲儲存


DataCore 儲存快取+自動分層( Intel® SSD 910)

29


Your Cloud

Scale Out - 水平延展能力

30

統一管理所有儲存IO節點

Virtual

SAN

Virtual

SAN

Virtual

SAN

#3

#2

#4

#3 #4

+1 #1

N+

1 G

rid

#1 #2

Sca

le O

ut H

A

DataCore 高可用群集

• 水平擴充更多DataCore控制器提供分散式IO處理

• 最高32個節點 • 單一管理介面整合 • 可根據不同需求規劃不同高

可用架構組合

N+1群集

• 星狀群集架構 • 透過中間節點提供所有節點

鏡像備援 • 擴充方便

Scale Out HA 架構

• 從雙節點開始為高可用擴充基準

• IO資源有效利用與平均分散負載


關於Data Protection

31

• 消除各種計畫性/非計劃性停機問題

• 完備的資料保護功能


常見的儲存資料保護方式

32

資料

(鏡像)

儲存控制韌體

資料

(遠端複寫)

儲存控制韌體

資料

儲存控制韌體

Snapshot

1 同機櫃中進行快照（不適用於機體故障情況，備份昂貴）

2 相同廠牌/型號間的鏡像機制（無法提供跨設備自動I/O切換）

3 相同廠牌/型號間的遠端資料複寫（還原、測試流程複雜）

存放資料的儲存硬體、提供功能與管理的韌體，由於綁定關係，導致各種彈性與架構上限制


SANsymphony™-V 提供豐富的資料保護

Sync Mirroring(HA)

同步鏡像

• 無硬體單點故障

• 零停機保養與

維護作業

• 不中斷I/O作業

Disk Snapshot

快照作業

• 差異性資料備份

• 立即可用的狀態

還原

• 全資料複製

CDP

持續資料保護

• 更周密的資料保護與精細的還原點

• 14天週期保護

• 日誌保護技術

Remote Replication

異地複寫

• 異地備份備援

• 隨時資料演練驗證或還原

• 計畫或非計畫停機切換

33

功

能

資

料

保

護

對

象


高可用儲存 – I/O服務不中斷

34

Host (App Servers)

Da

taC

ore

Raw Disk

Block I/O Block I/O

Mirror Path

2. Sync Cache

3. ACK

5. Write I/O 5. Write I/O

虛擬磁碟catalog

• 儲存訊息與metadata皆存放在實體磁碟

• 底層磁碟已有基本硬體RAID(1,5,6)保護

完全Block I/O （Raw Disk）

• 儲存池中之實體資源使用RAW Device，底層之作業系統無辨識能力或控制權

• 完全Block access，非特定檔案系統，

沒有轉換的overhead

多路徑I/O （HA、同步鏡像）

• 透過兩部DataCore控制器提供資料鏡像

• Active / Active

• 結合前端多路徑I/O切換，達成I/O不中斷服務

• 無單點錯誤，實現無停機架構

1. 資料寫入Perfer的DataCore控制節點 2. 透過鏡像通道進行快取鏡像 3. 回應鏡像快取完成 4. 回應前端主機資料寫入完成 5. 偕同寫入快取技術將資料排序寫入磁碟

故障

故障


Snapshot 【磁碟快照保護】

35

Full Snapshot

Different Snapshot

(View)

• 可指定其他儲存池存放異動

• 快照可隨時進行格式轉換時間更新

（還原點更新）

【Snapshot （Full clone與View）】 Snapshot可預先指定快照儲存池、降低備份成本

支援各種快照方式，可做Full Snapshot，Split，差異化 Snapshot，排程快照，，Revert還原，配合異地端快照作業…等多樣化備份方式

寫入異動區塊

更新BitMap

可以透過Split分割

可以轉換為Full


History Log 週期（最長14日）

Destage vDisk

CDP 【持續資料保護】

36

I/O 可指定日誌的存放區最高保存14天的日誌

14日前現在 7日前

可回復任意的還原點

(以秒為單位)

【CDP （Continuous Data Protection）】提供硬體儲存設備無法支援的內建是CDP日誌紀錄保護

快速的還原作業，可連續產生不同還原時間點供各種使用

一鍵即可啟動


Remote Replication與ASR 【非同步IP傳輸】

37

【Remote Replication / Advanced Site Recovery （ASR）】使用IP方式進行傳輸作業，支援雙向複製傳輸，反轉切換等機制

提供TEST mode 降低管理者在進行災備演練時的負擔

預設不斷將異動更新傳輸至異地，亦可排程作業

IP Network

隨時異動更新立刻傳輸

採IP傳輸作業，採壓縮

技術降低頻寬需求

異地端不斷的接收更新

結合快照資料還原


完整的端點間備援

任何應用或服務

各種虛擬化主機

任何儲存設備

低成本建置

Stretch HA + Multiple DR Site


DataCore Virtual SAN (由小而大，靈活彈性的架構)

39

儲存共享儲存共享

儲存共享

虛擬主機增加 (僅需DataCore 兩個HA節點)

擴充實體儲存資源轉移至實體伺服器

儲存共享

節點支援

需要

容量

※ SANsymphony™-V Essentialsは、本製品をソフトバンクBBが販売する際の名称です。


Expand beyond limits of application servers

Fast local primary storage & secondary central pool

Same set of services across both topologies

Leverage central storage resources and services

► Replication, backups, etc.,

Managed from same console

Virtual SAN 與 DataCore SAN的聯盟管理


長期的投資保障

41

• 更快的採納未來的高速儲存硬體技術

• 完整的跨平台儲存整合服務

• 避免廠商硬體綁定與昂貴的擴充升級

• 中央化統一管理介面

• 再利用已淘汰的儲存設備

• 整合白牌或JOBD儲存設備


準備好開始著手你的SDS計畫了嗎?

採購新的儲存設備前

開始考慮採用高速Flash/SSD

預備擴展桌面/伺服器虛擬化的規模時

計畫導入BCP時 (Business

Continuity Plan)

12

6

9 3

1

7

10

4

11

5

8

2


QUESTIONS?

© 2014 DataCore Software Corporation. All Rights Reserved. DataCore, the DataCore logo and SANsymphony are trademarks or registered trademarks

of DataCore Software Corporation. All other products, services and company names mentioned herein may be trademarks of their respective owners.

Documents

SDS (Software Defined Storage) › Guest › Docs › 20140813_88_ActivityFile_5.pdf · • 最新的高效能CPU處理IO作業 • Multi-thread 處理執行緒強化 • 易於擴充IO